= Bascule CCRT vers TGCC =

Cette page décrit les étapes nécessaires pour intégrer dans nos chaines de calcul les évolutions dues à la bascule du CCRT vers le TGCC.

== Constat ==

L'utilisation de /dmnfs comme espace de stockage est à revoir. Au TGCC, l'espace fichier : $STOREDIR est un espace d'archivage. Son utilisation doit être l'archivage de fichiers de grande taille.

== Evolution de la chaine de calcul ==

 * Utilisation de l'espace /scratch par les simulations en cours d'execution, 
 * Gestion/ménage de l'espace /scratch par la chaine,  
 * Output : Ajout d'étape de compactage des fichiers Output (voir outil create_pack). 
    * On essaye par 10 ans. Voir calcul dimension. 
    * Stockage du résultat dans STOREDIR
 * Analyse : Stockage des fichiers Analyse tels quels sur STOREDIR. 
   * Création depuis /scratch ou depuis fichiers Output compactés sur STOREDIR
   * Prévoir accès par dods des fichiers SE et TS.
 * Restart : prévoir sélection d'un fichier par an dans /scratch avant stockage dans STOREDIR
 * Debug : 
  * fichiers gardés sur /scratch seulement? 
  * seulement les 10 premières années compactés et gardés?
 * ATLAS et MONITORING : 
   * fichiers gardés sur /work avec accès par dods.
   * tar et stockage sur STOREDIR

== Transition ==
 * Déplacement des simulations de dmnfs vers STOREDIR
 * Faut-il avoir toutes les variables (1D et HF) en TS?
 * Output : Besoin d'un outil de type Pack_checker qui prend les répertoires depuis /dmnfs et lance l'outil create_pack pour compacter les répertoires Output
 * Analyse : Besoin d'outils de transferts pour le répertoire Analyse
 * Debug : ménage
 * Restart : sélection de 1/12 et transfert

== Dimension des ressources ==
 * dimension espace /scratch pour les simus : 6 fois 50 ans soit 30 To au départ. Prévoir 50 To l'année suivante.
 * dimension dods ATLAS et MONITORING : 10 To 

== Outils ==
 * create_pack :
   * Basé sur create_SE
   * prend 10 ans, fait les nccat, stocke sur STOREDIR
   * extension possible pour les simulations prolongées dans un 2ème temps

== Moyen terme ==
 * faire les simus par an
 * utilisation de l'ioserver pour éviter l'étape rebuild
 * stockage en netcdf4 compressé