Version 2 (modified by mafoipsl, 13 years ago) (diff) |
---|
Bascule CCRT vers TGCC
Cette page décrit les étapes nécessaires pour intégrer dans nos chaines de calcul les évolutions dues à la bascule du CCRT vers le TGCC.
Constat
L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille.
Evolution de la chaine de calcul
- Utilisation de l'espace /scratch par les simulations en cours d'execution,
- Gestion/ménage de l'espace /scratch par la chaine,
- Output : Ajout d'étape de compactage des fichiers Output (voir outil create_pack).
- On essaye par 10 ans. Voir calcul dimension.
- Stockage du résultat dans STOREDIR
- Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR.
- Création depuis /scratch ou depuis fichiers Output compactés sur STOREDIR
- Prévoir accès par dods des fichiers SE et TS.
- Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR
- Debug :
- fichiers gardés sur /scratch seulement?
- seulement les 10 premières années compactés et gardés?
- ATLAS et MONITORING :
- fichiers gardés sur /work avec accès par dods.
- tar et stockage sur STOREDIR
Transition
- Déplacement des simulations de dmnfs vers STOREDIR
- Faut-il avoir toutes les variables (1D et HF) en TS?
- Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output
- Analyse : Besoin d'outils de transferts pour le répertoire Analyse
- Debug : ménage
- Restart : sélection de 1/12 et transfert
Dimension des ressources
- dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante.
- dimension dods ATLAS et MONITORING : 10 To
Outils
- create_pack :
- Basé sur create_SE
- prend 10 ans, fait les nccat, stocke sur STOREDIR
- extension possible pour les simulations prolongées dans un 2ème temps
Moyen terme
- faire les simus par an
- utilisation de l'ioserver pour éviter l'étape rebuild
- stockage en netcdf4 compressé
Attachments (2)
-
Fichiers historical taille var-2.xls
(31.5 KB) -
added by mafoipsl 13 years ago.
fichier excel donnant les tailles de fichiers pour une simulation de type historical
- point_migration_20120503.pdf (139.0 KB) - added by aclsce 12 years ago.
Download all attachments as: .zip