Bascule CCRT vers TGCC

Cette page décrit les étapes nécessaires pour la bascule du CCRT vers le TGCC de nos chaînes de calcul.

Constat

L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille.

Chaine de calcul

• Utilisation de l'espace /scratch par les simulations en cours d'execution,
• Gestion/ménage de l'espace /scratch par la chaine,
• Output : Ajout d'étape de compactage des fichiers Output (create_pack). On essaye par 10 ans.
• Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR.
  • Création depuis /scratch ou depuis fichiers Outputs compactés
  • Prévoir accès par dods des fichiers SE et TS.
• Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR
• Debug : fichiers gardés sur /scratch seulement? seulement les 10 premières années compactés et gardés?
• ATLAS et MONITORING : fichiers gardés sur /work avec accès par dods.

Transition

• Déplacement des simulations de dmnfs vers STOREDIR
• Faut-il avoir toutes les variables (1D et HF) en TS?
• Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output
• Analyse : Besoin d'outils de transferts pour le répertoire Analyse
• Debug : ménage
• Restart : sélection de 1/12 et transfert

Dimension des resosurces

• dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante.
• dimension dods ATLAS et MONITORING : 10 To

Outils

• create_pack :
  • Basé sur create_SE
  • prend 10 ans, fait les nccat, stocke sur STOREDIR
• create_pack pour extension :