Bascule CCRT vers TGCC

Cette page décrit les étapes nécessaires pour intégrer dans nos chaines de calcul les évolutions dues à la bascule du CCRT vers le TGCC.

Constat

L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille.

Evolution de la chaine de calcul

• Utilisation de l'espace /scratch par les simulations en cours d'execution,
• Gestion/ménage de l'espace /scratch par la chaine,
• Output : Ajout d'étape de compactage des fichiers Output (voir outil create_pack).
  • On essaye par 10 ans. Voir calcul dimension.
  • Stockage du résultat dans STOREDIR
• Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR.
  • Création depuis /scratch ou depuis fichiers Output compactés sur STOREDIR
  • Prévoir accès par dods des fichiers SE et TS.
• Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR
• Debug :
  • fichiers gardés sur /scratch seulement?
  • seulement les 10 premières années compactés et gardés?
• ATLAS et MONITORING :
  • fichiers gardés sur /work avec accès par dods.
  • tar et stockage sur STOREDIR

Transition

• Déplacement des simulations de /dmnfs vers STOREDIR
• Faut-il avoir toutes les variables (1D et HF) en TS?
• Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output
• Analyse : Besoin d'outils de transferts pour le répertoire Analyse
• Debug : ménage
• Restart : sélection de 1/12 et transfert

Dimension des ressources

• dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante.
• dimension dods ATLAS et MONITORING : 10 To

Outils

• create_pack :
  • Basé sur create_SE
  • prend 10 ans, fait les nccat, stocke sur STOREDIR
  • extension possible pour les simulations prolongées dans un 2ème temps
  • utilisation depuis /scratch dans la nouvelle chaine ou depuis /dmnfs pour les transferts
• pack_checker :
  • vérification de l'existence des fichiers Output packés sur STOREDIR
  • lance create_pack depuis /dmnfs

Planning

• dimension espaces : août 2011
• présentation IPSL : septembre 2011
• prototypes outils : septembre 2011

Evolution à moyen terme

• faire les simus par an
• utilisation de l'ioserver pour éviter l'étape rebuild
• stockage en netcdf4 compressé