| | 80 | === Résumé (23/02/2012) === |
| | 81 | J'ai mis les dernières versions des scripts dans le répertoire '''/home/cont003/p86cozic/SCRIPTS_DEM/FINAL/''' |
| | 82 | |
| | 83 | - __'''find_directory_simul.job'''__ : |
| | 84 | * prend en entrée un fichier texte du même type que celui donné à ccc_archive -ipsl_pack. Ce fichier contient donc le path de plusieurs simulation, ou d'un répertoire maître (IGCM_OUT, IGCM_OUT/IPSLCM5A/ etc...) Exemple /home/cont003/p86cozic/SCRIPTS_DEM/FINAL/param_AC.txt. |
| | 85 | * crée un fichier liste_simul_.... (dans mon exemple liste_simul_param_AC.txt) qui contient le path de toutes les simulations découlant du fichier de paramètres. |
| | 86 | |
| | 87 | - __'''create_config_card.job'''__ |
| | 88 | * prend en entrée un fichier texte de type liste_simul_... créé par find_directory_simul.job |
| | 89 | * crée pour chaque simulation contenue dans liste_simul_... un fichier config_card$!JobName stocké dans un répertoire $SCRATCHDIR/tmp_$!JobName/. Ce fichier contient les infos suivantes : !JobName, !DateBegin, !DateEnd, PATH_SIMUL(=$R_OUT/$!JobName) |
| | 90 | |
| | 91 | __A faire ou corriger__ : |
| | 92 | * ajouter le calendrier. Difficile de faire la différence entre leap et noleap si il n'y a pas d'année bissextile dans la simulation (mais dans ce cas là la différence n'est pas vraiment utile ... sauf si l'on veut prolonger la simulation) |
| | 93 | * il y a un bug dans DateBegin, elle indique le dernier jour du premier mois et non pas le premier jour. Cela dit vu qu'après on ne travaille jamais avec les jours cela ne doit pas poser de problèmes. DateBegin est trouvée à partir des dates indiquées dans les fichiers de restart, car il peut y avoir des trous dès la première période dans les outputs. Pour connaître le premier jour il faut tenir compte du periodlength (1D, 5D, 1M, 1Y), et pour le connaître il faut analyser le nom d'un fichier d'output. |
| | 94 | |
| | 95 | - __'''archive_restart.job'''__ |
| | 96 | * prend en entrée $1 un fichier config_card créé par create_config_card.job et $2 une période pour les pack de type 5M ou 20Y |
| | 97 | * crée un répertoire $SCRATCHDIR/ARCHIVE_RESTART_${!JobName} dans lequel seront contenus les tar des restarts (renommés) par période_pack |
| | 98 | |
| | 99 | __Note__ : |
| | 100 | * Sébastien a remanié ce job pour l'introduire à libIGCM et il m'avait dit qu'il l'avait optimisé, cela vaut certainement le coup de récupérer sa version. |
| | 101 | |
| | 102 | - __'''find_size_pack.job'''__ |
| | 103 | * prend en entrée $1 un fichier config_card créé par create_config_card.job et $2 le path d'un fichier information_dmnfs_2011-09-21 |
| | 104 | * calcule si 20 ans c'est une période de pack acceptable pour avoir au final des fichiers de taille comprise entre 20G et 70G, ou sinon calcul la nouvelle période de package. Cette période (20 ans ou nouvelle période) est écrit dans un fichier $SCRATCHDIR/tmp_${!JobName}/period_pack.txt |
| | 105 | |
| | 106 | __Note__ : |
| | 107 | * Si la simulation analysée fait moins de 20 ans cela sera pris en compte |
| | 108 | * Si la simulation analysée fait moins d'un an ça plante pour l'instant (testé sur une simulation de 1 mois) |
| | 109 | * le calcul de la période est fait en analysant 10 périodes de 20 ans, cela n'a de sens que si il y a des fichiers non-homogènes dans les sorties. Sinon l'analyse d'une seule période suffit. Est-ce que cela vaut le coup ? |
| | 110 | |
| | 111 | - __'''write_liste_pack.job'''__ |
| | 112 | * prend en entrée $1 config_card et $2 information_dmnfs_2011-09-21 |
| | 113 | * pour la période calculée dans find_size_pack.job crée les listes des fichiers à concaténer avec ncrcat et repère si il y a des trous auquel cas transforme la liste ncrcat en liste tar dans $SCRATCHDIR/tmp_$JobName. Si jamais il y a des fichiers manquants un fichier ${type_file}_manquant.list sera créé (ex: 1M_histmth.nc_manquant.list) dans $SCRATCHDIR/tmp_$!JobName. |
| | 114 | |
| | 115 | __Note__ : |
| | 116 | * Comment gérer les fichiers non-homogènes ? Il faut vérifier que ncrcat file1 file2 renvoie bien un warning si file1 contient moins de variables que file2. |
| | 117 | |
| | 118 | === Notes précédentes (janvier et février 2012) === |
