[1709] | 1 | #!/bin/bash |
---|
| 2 | ###################### |
---|
| 3 | ## TITANE CEA ## |
---|
| 4 | ###################### |
---|
| 5 | #MSUB -r ipsl_pack # Nom du job |
---|
| 6 | #MSUB -eo |
---|
| 7 | #MSUB -n 1 # Reservation du processus |
---|
| 8 | #MSUB -T 86400 # Limite de temps elapsed du job |
---|
| 9 | #MSUB -p gen2211 |
---|
| 10 | #MSUB -q mono |
---|
| 11 | |
---|
[1727] | 12 | # ex : ./launch_ipsl_pack.sh fichier_param_test1.txt |
---|
| 13 | # ex : ./launch_ipsl_pack.sh param_SL.txt |
---|
| 14 | # ex : ./launch_ipsl_pack.sh param_OM.txt |
---|
[1709] | 15 | |
---|
| 16 | export JOB_DIR=${LS_SUBCWD:-${PWD}} |
---|
| 17 | export EXE_DIR=${JOB_DIR} |
---|
| 18 | |
---|
[1822] | 19 | ##### gpdebug : addition ################################## |
---|
| 20 | # Boucle qui gere les parametres du script (permet l'introduction d'une option -f |
---|
| 21 | # qui force l'execution de toute les etapes du script de listes) |
---|
| 22 | execEveryStep=0 |
---|
| 23 | LISTE_SIMUL= |
---|
| 24 | while [ $# -gt 0 ] |
---|
| 25 | do |
---|
| 26 | echo "boucle sur les arguments du script ..." |
---|
| 27 | echo "@=$@" |
---|
| 28 | case $1 in |
---|
| 29 | -f) execEveryStep=1 |
---|
| 30 | echo "force..." |
---|
| 31 | ;; |
---|
| 32 | *) LISTE_SIMUL=${1} |
---|
| 33 | echo "autres..." |
---|
| 34 | ;; |
---|
| 35 | |
---|
| 36 | esac |
---|
| 37 | shift |
---|
| 38 | done |
---|
| 39 | echo "Fin boucle sur arguments" |
---|
| 40 | export execEveryStep=${execEveryStep} |
---|
[1709] | 41 | |
---|
[1822] | 42 | # fichier de progression d'execution |
---|
| 43 | extSuiviListes=`echo ${LISTE_SIMUL} | sed 's;\.[[:alnum:]]*$;;' ` |
---|
| 44 | # echo "extSuiviListes=$extSuiviListes" # gpdebug : a virer |
---|
| 45 | export MonitoringDir="${PWD}/SuiviListes_${extSuiviListes}" |
---|
| 46 | # echo "MonitoringDir=$MonitoringDir" # gpdebug : a virer |
---|
| 47 | # exit 0 # gpdebug : a virer |
---|
| 48 | |
---|
| 49 | export generalMonitorFile=${MonitoringDir}/general.txt |
---|
| 50 | export nbSimuFile=${MonitoringDir}/nbSimu.txt |
---|
| 51 | |
---|
| 52 | ##### gpdebug : fin ##################################### |
---|
| 53 | |
---|
| 54 | # LISTE_SIMUL=${1} # gpdebug : suppr --> cette affectation est maintenant faite dans la boucle while des arg du script ################ |
---|
| 55 | |
---|
[1709] | 56 | #LISTE_SIMUL=${JOB_DIR}/param_SL.txt |
---|
| 57 | #LISTE_DMNFS=${JOB_DIR}/SL_information_dmnfs_2012-03-21 |
---|
| 58 | |
---|
| 59 | # LISTE_SIMUL=${JOB_DIR}/param_OM.txt |
---|
| 60 | # LISTE_DMNFS=${JOB_DIR}/OM_information_dmnfs_2012-03-21 |
---|
| 61 | |
---|
| 62 | LISTE_SIMUL_NAME=$(basename ${LISTE_SIMUL} ) |
---|
| 63 | SCRIPT_NAME=$(basename ${0} ) |
---|
| 64 | |
---|
| 65 | export IGCM_DEM=${SCRATCHDIR}/IGCM_DEM |
---|
| 66 | export IGCM_TMP=${SCRATCHDIR}/IGCM_DEM/tmp |
---|
| 67 | export clean_tmp=${clean_tmp:-yes} |
---|
| 68 | export DEM_LOG=${JOB_DIR}/dem_${LSB_JOBID:-${$}}.log |
---|
| 69 | export LOG_LEV=2 |
---|
[1822] | 70 | export FileParam=${LISTE_SIMUL} # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh |
---|
| 71 | export FatherPID=$$ # gpdebug : pour appel (dans DEM_utilities.sh) a showListsProgress.sh |
---|
[1709] | 72 | |
---|
| 73 | source ${EXE_DIR}/DEM_utilities.sh |
---|
| 74 | |
---|
[1822] | 75 | # gpdebug : prepare le fichier de suivi de la progression |
---|
| 76 | prepareMonitoringDir |
---|
| 77 | # exit 0 # gpdebug : a virer ############## |
---|
| 78 | |
---|
| 79 | # gpdebug : Execute la function errorReceive() si reception d'un signal TERM |
---|
| 80 | trap 'DEM_errorReceive' TERM ######## |
---|
| 81 | |
---|
| 82 | # gpdebug : liste des processus à détruire en cas d'erreur bloquante |
---|
| 83 | export listPID=$$ ######## |
---|
| 84 | |
---|
| 85 | # gpdebug : fichier pour la transmission des messages d'erreur d'un fils au prog principal |
---|
| 86 | export errorMsgFile="${PWD}/errorMsg.txt" ######## |
---|
| 87 | |
---|
[1709] | 88 | DEM_log -0 "Demarrage de ${SCRIPT_NAME}" |
---|
| 89 | |
---|
| 90 | mkdir -p ${IGCM_DEM} |
---|
| 91 | mkdir -p ${IGCM_TMP} |
---|
| 92 | |
---|
| 93 | rm -rf ${IGCM_TMP}/tmp/* |
---|
| 94 | rm -f ${DEM_LOG} |
---|
| 95 | |
---|
[1713] | 96 | # 0- on cree le listing correspondant au fichier param |
---|
| 97 | # on efface les tests precedents |
---|
[1822] | 98 | |
---|
| 99 | # rm -f ${IGCM_DEM}/Listing.txt # gpdebug : en cas de reprise, on ne peut pas laisser ca en l'etat --> suppr |
---|
| 100 | # gpdebug : Donc on rajoute le if qui suit |
---|
| 101 | if [ "x${execEveryStep}" == "x1" ] |
---|
| 102 | then |
---|
| 103 | rm -f ${IGCM_DEM}/Listing.txt |
---|
| 104 | fi |
---|
| 105 | |
---|
[1713] | 106 | for DIR in $( awk '{print $0}' ${LISTE_SIMUL} ) ; do |
---|
| 107 | ./create_listing.sh $DIR |
---|
| 108 | done |
---|
| 109 | |
---|
| 110 | LISTE_DMNFS=${IGCM_DEM}/Listing.txt |
---|
| 111 | |
---|
[1709] | 112 | # 1- A partir de param_list - on recherche l'ensemble des simulations a packer |
---|
| 113 | # la liste creee (liste_simul_$1) est stockee dans $SCRATCHDIR/IGCM_DEM |
---|
| 114 | |
---|
| 115 | ${EXE_DIR}/find_directory_simul.sh ${LISTE_SIMUL} ${LISTE_DMNFS} |
---|
| 116 | |
---|
[1822] | 117 | # sleep 2 # gpdebug : a virer |
---|
| 118 | # echo "Le script principal continue..." # gpdebug : a virer |
---|
| 119 | # exit 0 # gpdebug : a virer |
---|
| 120 | |
---|
| 121 | #################################################################### |
---|
| 122 | # gpdebug : partie vidée pour simplifier. Voir le fichier original. |
---|
| 123 | |
---|
[1709] | 124 | # 2- Pour chacune des simulations listees on cree un fichier config.card correspondant |
---|
| 125 | # ces fichiers seront stockes dans ${IGCM_DEM}/arborescence/ |
---|
| 126 | # un fichier recapitulatif des fichiers config.card (config_card.liste) crees sera stocke dans ${IGCM_DEM} |
---|
| 127 | |
---|
[1717] | 128 | ${EXE_DIR}/create_config_card.sh ${IGCM_DEM}/liste_simul_${LISTE_SIMUL_NAME} ${LISTE_DMNFS} |
---|
[1709] | 129 | |
---|
[1822] | 130 | # exit 0 # gpdebug : a virer ######### |
---|
| 131 | |
---|
[1709] | 132 | #3- recherche de la taille ideale de pack pour chacune des simulations - puis creation des listes |
---|
| 133 | |
---|
| 134 | for CONFIG in $( awk '{print $1}' ${IGCM_DEM}/config_card.liste ) ; do |
---|
| 135 | |
---|
[1714] | 136 | DEM_log -2 ${CONFIG} |
---|
[1709] | 137 | |
---|
| 138 | eval $(grep IGCM_DEM_SIMU ${CONFIG}) |
---|
| 139 | ${EXE_DIR}/calcul_size_simul.sh ${CONFIG} ${LISTE_DMNFS} |
---|
[1822] | 140 | # exit 0 # gpdebug : a virer ######### |
---|
[1714] | 141 | DEM_state=$( DEM_read_state ${IGCM_DEM}/config_card.liste ${CONFIG} ) |
---|
| 142 | if [[ "${DEM_state}" != "WriteListTarDone" ]] ; then |
---|
| 143 | |
---|
| 144 | DEM_log -3 "la simulation est superieur a 1Go alors on pack" |
---|
[1709] | 145 | ${EXE_DIR}/find_size_pack.sh ${CONFIG} ${LISTE_DMNFS} |
---|
| 146 | ${EXE_DIR}/write_liste_pack.sh ${CONFIG} ${LISTE_DMNFS} |
---|
[1728] | 147 | ${EXE_DIR}/archive_restart.sh ${CONFIG} ${LISTE_DMNFS} |
---|
[1822] | 148 | # DEM_errorSend "${SCRIPT_NAME}:${LINENO}:On arrete expres !" # gpdebug : a virer ######## |
---|
[1728] | 149 | ${EXE_DIR}/archive_debug.sh ${CONFIG} ${LISTE_DMNFS} |
---|
[1714] | 150 | |
---|
[1709] | 151 | fi |
---|
| 152 | done |
---|
[1822] | 153 | #################################################################### |
---|
[1709] | 154 | |
---|
| 155 | DEM_log -0 "Fin de ${SCRIPT_NAME}" |
---|