Changeset 590 for trunk/libIGCM/AA_pack_restart

Timestamp:

03/21/12 11:02:21 (12 years ago)

Author:

sdipsl

Message:

• can extract needed restart from a tar (up to 20 minutes on titane)
  • still to do : introduce a lag when cleaning the restart buffer so that we don't look into the tar too often
  • still to do : work on the clean_month procedure
• rebuild process submit pack_output process if needed
  • still to do : a pack_output able to submit create_ts/create_se if needed
• bugfixes/cosmetics/cleaning
• SX9 and titane OK.

File:

• trunk/libIGCM/AA_pack_restart (modified) (11 diffs)

trunk/libIGCM/AA_pack_restart

@@ -3 +3 @@
 #-Q- cesium ## CESIUM   CEA ##
 #-Q- cesium ######################
-#-Q- cesium #MSUB -r PACKRESTART    # Nom du job                
+#-Q- cesium #MSUB -r PACKRESTART    # Nom du job
 #-Q- cesium #MSUB -N 1              # Reservation du noeud
 #-Q- cesium #MSUB -n 1              # Reservation du processus
@@ -27 +27 @@
 #-Q- sx8brodie # Nom du travail LoadLeveler
 #-Q- sx8brodie # @ job_name   = PACKRESTART
-#-Q- sx8brodie # Fichier de sortie standard du travail       
+#-Q- sx8brodie # Fichier de sortie standard du travail
 #-Q- sx8brodie # @ output     = $(job_name).$(jobid)
 #-Q- sx8brodie # Fichier de sortie d'erreur du travail
@@ -81 +81 @@
 #-Q- sx9mercure ## CESIUM   CEA ##
 #-Q- sx9mercure ######################
-#-Q- sx9mercure #MSUB -r PACKRESTART    # Nom du job                
+#-Q- sx9mercure #MSUB -r PACKRESTART    # Nom du job
 #-Q- sx9mercure #MSUB -N 1              # Reservation du noeud
 #-Q- sx9mercure #MSUB -n 1              # Reservation du processus
@@ -91 +91 @@
 #-Q- titane ## TITANE   CEA     ##
 #-Q- titane ######################
-#-Q- titane #MSUB -r PACKRESTART    # Nom du job                
+#-Q- titane #MSUB -r PACKRESTART    # Nom du job
 #-Q- titane #MSUB -eo
 #-Q- titane #MSUB -n 1              # Reservation du processus
@@ -178 +178 @@
 #RESTART/ATM_****.nc
 #RESTART/OCE_****.nc
-#Attention de bien conserver les dates d'origines 
+#Attention de bien conserver les dates d'origines
 #
 #Dans le cadre de la production nouvelle chaine
 #ils auront directement le bon nom
 #
-#On veut egalement que l'archive soit par periode de temps 
-# cette periode est definie par la taille du pack donc connue 
-# en entree du script (1M, 1Y, 5Y, 10Y etc...) 
-#
-# $1= PATH/config_card d'une simulation avec 
-# TagName/JobName/ExperimentName/SpaceName/DateBegin/DateEnd/PATH_SIMUL
+#On veut egalement que l'archive soit par periode de temps
+# cette periode est definie par la taille du pack donc connue
+# en entree du script (1M, 1Y, 5Y, 10Y etc...)
+#
+# $1= PATH/config_card d'une simulation avec
+# TagName/JobName/ExperimentName/SpaceName/DateBegin/DateEnd
 # $2=PeriodPack en M/m ou Y/y
 
@@ -223 +223 @@
 fi
 
-#
+#====================================================
 # First of all
 #
-#### 0- lecture de config.card 
-#### on veut les renseignements suivants : 
-#### JobName, PATH_SIMUL, DateBegin et DateEnd
+# Read config.card
 
 IGCM_card_DefineArrayFromSection     ${CARD_DIR}/config.card UserChoices
@@ -250 +248 @@
 
 #====================================================
-#R_SAVE : Job output storage directory
-#R_BUFR : Job output buffered directory
+# Prepare environment
+#R_SAVE        : Job output storage directory
+#R_BUFR        : Job output buffered directory
+#STORE_RESTART : Where we store tar files
 
 if ( [ ! X${config_UserChoices_SpaceName} = X ] && [ ! X${config_UserChoices_ExperimentName} = X ] ) ; then
@@ -264 +264 @@
 [ $? != 0 ] && IGCM_debug_Exit "IGCM_sys_TestDirArchive"
 
-#### Preparation de l'environnement
-# repertoire dans lequel seront crees les archives
-#STORE_RESTART=/scratch/cont003/p86denv/Pack_Test/RESTART
+#STORE_RESTART=/ccc/store/cont003/dsm/p86denv/.../RESTART
 STORE_RESTART=${R_SAVE}/RESTART
 IGCM_sys_MkdirArchive ${STORE_RESTART}
 
+#cd ${STORE_RESTART}
+#rm -f *
+
 # Switch to script variables meaning (try to be compatible with ipsl_pack TGCC moving procedure)
 JobName=${config_UserChoices_JobName}
-PATH_SIMUL=${R_BUFR}
-echo $JobName $PATH_SIMUL $DateBegin $DateEnd
-
-#### 1- renommer les fichiers ######
-#cd ${STORE_RESTART}
-#rm -rf *
-
-# On les copie sur le scratchdir en changeant le nom et conservant la date
+echo $JobName $R_BUFR $DateBegin $DateEnd
+
 # Clear txt file lists
 rm -f ${RUN_DIR}/liste_restart_files.txt
@@ -286 +281 @@
 
 # Create sorted restart list to work with
-find ${PATH_SIMUL}/*/Restart -name "*nc" | sort >> ${RUN_DIR}/liste_restart_files.txt
+find ${R_BUFR}/*/Restart -name "*nc" | sort >> ${RUN_DIR}/liste_restart_files.txt
 
 # Rename restart files we will work with using symlinks
@@ -318 +313 @@
     extract_date_file=$( echo ${file}  | sed -e "s/.*${JobName}_//" )
     date_file=$( echo ${extract_date_file} | sed 's/\([0-9]\{8\}\)_.*$/\1/g' )
-#   echo pack n°${number_pack}  ${date_file} ${date_begin_pack} ${date_end_pack} 
-    if [ ${date_file} -le ${date_end_pack} ] && [ ${date_file} -ge ${date_begin_pack} ] ; then 
-        echo $( basename ${file} ) >> ${RUN_DIR}/liste_pack_${number_pack}.txt
-        echo $( readlink ${file} ) >> ${RUN_DIR}/liste_remove_pack_${number_pack}.txt
-
-#    Will not work. Need to find a better ordering.
-#    elif [ ${date_file} -ge ${date_end_pack} ] ; then
-#      break
+#   echo pack n°${number_pack}  ${date_file} ${date_begin_pack} ${date_end_pack}
+    if [ ${date_file} -le ${date_end_pack} ] && [ ${date_file} -ge ${date_begin_pack} ] ; then
+      echo $( basename ${file} ) >> ${RUN_DIR}/liste_pack_${number_pack}.txt
+      echo $( readlink ${file} ) >> ${RUN_DIR}/liste_remove_pack_${number_pack}.txt
+#   Will not work. Need to find a better ordering.
+#   elif [ ${date_file} -ge ${date_end_pack} ] ; then
+#     break
     fi
   done
@@ -350 +344 @@
 
 done
+
+# Clean RUN_DIR_PATH (necessary for cesium and titane only)
+IGCM_sys_RmRunDir -Rf ${RUN_DIR_PATH}
+
+date