Prestation CCRT TGCC

Contexte

L'IPSL produit sur les machines de calcul du CCRT vectorielles et scalaires ainsi que sur les machines scalaires de l'IDRIS des simulations climatiques. Les données produites jusqu'alors par ces simulations étaient stockées sur le système de stockage du CCRT et /ou de l'IDRIS. L'écosystème du CCRT, qui va être intégré au TGCC, évolue et en particulier son système de stockage. C'est dans le contexte de changement de système de stockage que prend place la prestation " Evolution des outils de traitement et de synchronisation des données et audit de la chaîne de calcul de l’IPSL".

Réunion de lancement - 13/06/2012

La réunion de lancement a eu lieu au LSCE. Les présentations faites lors de la réunion :

• Présentation générale : Presentation_generale.pdf​
• Outil de traitement des données de l'IPSL : Presentation_Outil.pdf​
• Organisation de la prestation : Réunion_de_lancement.pdf​

Etat d'avancement de la prestation (au 19/07/2012)

Fait :

• gestion des erreurs pour les 2 scripts (listes et pack)
• tests si "nco" est chargé et si c'est la version 4.1.0.
• procédure de redémarrage pour le script de listes.
• visualisation de l'état d'avancement des 2 scripts (listes et pack).
• option "force" -f ajoutée dans les 2 scripts pour repartir de 0.
• information sur le temps pris par le traitement de chaque liste dans le script de pack.

En cours :

• traitement propre du cas "pas de répertoire Restart" ou "pas de fichiers Restart".
• timing global depuis le lancement du pack.

A faire :

• traitement du cas particulier "pas de répertoire Debug"
• possibilité d'avoir des données d'entrée sur un login et des données résultats sur un autre login (avec droits d'écriture)
• option d'activation (ou désactivation) des check (-md5_sum ou -W) à ajouter.
• soumission parallèle du traitement (concaténation, tar ou cp) des listes.
• création d'un script de check global des données avant-après : 1ère méthode envisagée : le double check.
• mise en forme (accès web ?) des informations sur l'état d'avancement du traitement des données (voir avec Patrick)
• création d'un rapport final de pack (memoire traitée, temps, ...)
• tests pour détecter d'éventuels problèmes/cas particuliers, valider l'outil "bon pour la mise en production", évaluer les performances
• documentation
• (portage IDRIS)

Documentation

Une documentation de l'outil de traitement des données développé par l'IPSL est disponible là : Doc_outil_pack.pdf​