= Bascule CCRT vers TGCC =
Juillet 2011

Cette page décrit les étapes nécessaires pour intégrer dans nos chaines de calcul les évolutions dues à la bascule du CCRT vers le TGCC.

== Constat ==

L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille.

== Evolution de la chaine de calcul ==

 * Utilisation de l'espace /scratch par les simulations en cours d'execution, 
 * Gestion/ménage de l'espace /scratch par la chaine,  
 * Output : Ajout d'étape de compactage des fichiers Output (voir outil create_pack). 
    * On essaye par 10 ans. Voir calcul dimension. 
    * Stockage du résultat dans STOREDIR
 * Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR. 
   * Création depuis /scratch ou depuis fichiers Output compactés sur STOREDIR
   * Prévoir accès par dods des fichiers SE et TS.
 * Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR
 * Debug : 
  * fichiers gardés sur /scratch seulement? 
  * seulement les 10 premières années compactés et gardés?
 * ATLAS et MONITORING : 
   * fichiers gardés sur /work avec accès par dods.
   * tar et stockage sur STOREDIR

== Transition ==
 * Déplacement des simulations de /dmnfs vers STOREDIR
 * Faut-il avoir toutes les variables (1D et HF) en TS?
 * Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output
 * Analyse : Besoin d'outils de transferts pour le répertoire Analyse
 * Debug : ménage
 * Restart : sélection de 1/12 et transfert

== Dimension des ressources ==
 * dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante.
 * dimension dods ATLAS et MONITORING : 10 To 

== Outils ==
 * create_pack :
   * Basé sur create_SE
   * prend 10 ans, fait les nccat, stocke sur STOREDIR
   * extension possible pour les simulations prolongées dans un 2ème temps
   * utilisation depuis /scratch dans la nouvelle chaine ou depuis /dmnfs pour les transferts
 * unpack :
   * basé sur ncks pour extraire et éclater les fichiers selon nomenclature /scratch
 * pack_checker :
  * vérification de l'existence des fichiers Output packés sur STOREDIR
  * lance create_pack depuis /dmnfs 

== Planning ==
 * dimension espaces : août 2011
 * test outils :
   * nccat sur fichiers de 148 Go, avec netcdf4 compressé en sorties, 
 * présentation IPSL : septembre 2011
 * prototypes outils : septembre 2011

== Evolution à moyen terme ==
 * faire les simus par an
 * utilisation de l'ioserver pour éviter l'étape rebuild
 * stockage en netcdf4 compressé

== Dimension et nombre de fichiers pour une simulation historical : 156 ans ==

|| Résolution || || Pack par 120 mois || Pack par 60 mois ||
|| 96x95x39 || nb fichiers || 3852 || 4339 ||
|| || nb fichiers Restart || 1404 || 1404 ||
|| || espace fichiers Restart || 88 Go || 88 Go ||
|| ||le plus gros || 65 Go || 32 Go ||
|| || moyenne || 3,5 Go || 3 Go ||
|| || Total espace || 13 To || 13 To ||
|| 144x142x39 || nb fichiers || 3852 || 4339 ||
|| || nb fichiers Restart || 1404 || 1404 ||
|| || le plus gros || 148 Go || 73 Go ||
|| || moyenne || 7 Go || 6 Go ||
|| || Total espace || 25 To || 25 To ||
|| || espace fichiers Restart || 100 Go || 100 Go ||