Prestation CCRT TGCC

Contexte

L'IPSL produit sur les machines de calcul du CCRT vectorielles et scalaires ainsi que sur les machines scalaires de l'IDRIS des simulations climatiques. Les données produites jusqu'alors par ces simulations étaient stockées sur le système de stockage du CCRT et /ou de l'IDRIS. L'écosystème du CCRT, qui va être intégré au TGCC, évolue et en particulier son système de stockage. C'est dans le contexte de changement de système de stockage que prend place la prestation " Evolution des outils de traitement et de synchronisation des données et audit de la chaîne de calcul de l’IPSL".

Réunion de lancement - 13/06/2012

La réunion de lancement a eu lieu au LSCE. Les présentations faites lors de la réunion :

• Présentation générale : Presentation_generale.pdf​
• Outil de traitement des données de l'IPSL : Presentation_Outil.pdf​
• Organisation de la prestation : Réunion_de_lancement.pdf​

Etat d'avancement (au 03/08/2012)

Fait :

• gestion des erreurs pour les 2 scripts (listes et pack)
• tests si "nco" est chargé et si c'est la version 4.1.0.
• procédure de redémarrage pour le script de listes.
• visualisation de l'état d'avancement des 2 scripts (listes et pack).
• option "force" -f ajoutée dans les 2 scripts pour repartir de 0.
• information sur le temps pris par le traitement de chaque liste dans le script de pack.
• timing global depuis le lancement du pack
• traitement propre du cas "pas de répertoire Restart" ou "pas de fichiers Restart"
• possibilité d'avoir des données d'entrée sur un login et des données résultats sur un autre login (avec droits d'écriture)

En cours :

• soumission du traitement (concaténation, tar ou cp) des listes : deux possibilités.
  • version "ancienne" séquentielle qui est sous svn. Cette version ne tourne pas en batch sur curie (pb compatibilité bash-batch curie).
  • version "nouvelle" séquentielle ou parallèle. Cette version tourne en batch sur curie. A finaliser (option au lancement du choix seq ou para + nb de procs) + commit + tests.

A faire :

• traitement du cas particulier "pas de répertoire Debug" (voir si c'est nécessaire)
• option d'activation (ou désactivation) des check (-md5_sum ou -W) à ajouter.
• création d'un script de check global des données avant-après : 1ère méthode envisagée : le double check.
• tests "grandeur nature"
• extrapolation et estimation du temps pour les données globales
• documentation
• mise en forme (accès web ?) des informations sur l'état d'avancement du traitement des données (voir avec Patrick)
• portage IDRIS

Documentation

Une documentation de l'outil de traitement des données développé par l'IPSL est disponible là : Doc_outil_pack.pdf​