| | 1 | = Bascule CCRT vers TGCC = |
| | 2 | |
| | 3 | Cette page décrit les étapes nécessaires pour la bascule du CCRT vers le TGCC de nos chaînes de calcul. |
| | 4 | |
| | 5 | == Constat == |
| | 6 | |
| | 7 | L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille. |
| | 8 | |
| | 9 | == Chaine de calcul == |
| | 10 | |
| | 11 | * Utilisation de l'espace /scratch par les simulations en cours d'execution, |
| | 12 | * Gestion/ménage de l'espace /scratch par la chaine, |
| | 13 | * Output : Ajout d'étape de compactage des fichiers Output (create_pack). On essaye par 10 ans. |
| | 14 | * Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR. |
| | 15 | * Création depuis /scratch ou depuis fichiers Outputs compactés |
| | 16 | * Prévoir accès par dods des fichiers SE et TS. |
| | 17 | * Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR |
| | 18 | * Debug : fichiers gardés sur /scratch seulement? seulement les 10 premières années compactés et gardés? |
| | 19 | * ATLAS et MONITORING : fichiers gardés sur /work avec accès par dods. |
| | 20 | |
| | 21 | == Transition == |
| | 22 | * Déplacement des simulations de dmnfs vers STOREDIR |
| | 23 | * Faut-il avoir toutes les variables (1D et HF) en TS? |
| | 24 | * Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output |
| | 25 | * Analyse : Besoin d'outils de transferts pour le répertoire Analyse |
| | 26 | * Debug : ménage |
| | 27 | * Restart : sélection de 1/12 et transfert |
| | 28 | |
| | 29 | == Dimension des resosurces == |
| | 30 | * dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante. |
| | 31 | * dimension dods ATLAS et MONITORING : 10 To |
| | 32 | |
| | 33 | == Outils == |
| | 34 | * create_pack : |
| | 35 | * Basé sur create_SE |
| | 36 | * prend 10 ans, fait les nccat, stocke sur STOREDIR |
| | 37 | * create_pack pour extension : |
