Changes between Version 1 and Version 2 of BasculeCCRTTGCC
- Timestamp:
- 07/12/11 12:09:43 (13 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
BasculeCCRTTGCC
v1 v2 1 1 = Bascule CCRT vers TGCC = 2 2 3 Cette page décrit les étapes nécessaires pour la bascule du CCRT vers le TGCC de nos chaînes de calcul.3 Cette page décrit les étapes nécessaires pour intégrer dans nos chaines de calcul les évolutions dues à la bascule du CCRT vers le TGCC. 4 4 5 5 == Constat == … … 7 7 L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille. 8 8 9 == Chaine de calcul ==9 == Evolution de la chaine de calcul == 10 10 11 11 * Utilisation de l'espace /scratch par les simulations en cours d'execution, 12 12 * Gestion/ménage de l'espace /scratch par la chaine, 13 * Output : Ajout d'étape de compactage des fichiers Output (create_pack). On essaye par 10 ans. 13 * Output : Ajout d'étape de compactage des fichiers Output (voir outil create_pack). 14 * On essaye par 10 ans. Voir calcul dimension. 15 * Stockage du résultat dans STOREDIR 14 16 * Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR. 15 * Création depuis /scratch ou depuis fichiers Output s compactés17 * Création depuis /scratch ou depuis fichiers Output compactés sur STOREDIR 16 18 * Prévoir accès par dods des fichiers SE et TS. 17 19 * Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR 18 * Debug : fichiers gardés sur /scratch seulement? seulement les 10 premières années compactés et gardés? 19 * ATLAS et MONITORING : fichiers gardés sur /work avec accès par dods. 20 * Debug : 21 * fichiers gardés sur /scratch seulement? 22 * seulement les 10 premières années compactés et gardés? 23 * ATLAS et MONITORING : 24 * fichiers gardés sur /work avec accès par dods. 25 * tar et stockage sur STOREDIR 20 26 21 27 == Transition == … … 27 33 * Restart : sélection de 1/12 et transfert 28 34 29 == Dimension des res osurces ==35 == Dimension des ressources == 30 36 * dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante. 31 37 * dimension dods ATLAS et MONITORING : 10 To … … 35 41 * Basé sur create_SE 36 42 * prend 10 ans, fait les nccat, stocke sur STOREDIR 37 * create_pack pour extension : 43 * extension possible pour les simulations prolongées dans un 2ème temps 44 45 == Moyen terme == 46 * faire les simus par an 47 * utilisation de l'ioserver pour éviter l'étape rebuild 48 * stockage en netcdf4 compressé