source: TOOLS/PACK_IPSL/DEM_utilities.sh @ 1861

Last change on this file since 1861 was 1857, checked in by gpincka, 12 years ago

Modif fonction verifiant chargement de libccc_user
File size: 16.4 KB
Line 
1#!/bin/bash
2
3#
4# Fonctions utiles pour les scripts de Pack IPSL
5#
6
7function DEM_read_state {
8# Lire l'état du pack pour une simulation
9    local L_CONFIG_FILE=${1}
10    local L_CONFIG_CARD=${2}
11
12    local L_OLD_STATE=$( grep ${L_CONFIG_CARD} ${L_CONFIG_FILE} | awk '{print $2}' )
13   
14    if [ ${?} -eq 0 ] 
15    then
16        echo ${L_OLD_STATE}
17        return 0
18    else
19        return 1
20    fi
21    return 0
22}
23
24function DEM_write_state {
25# Mettre à jour l'état du pack pour une simulation
26    local L_CONFIG_FILE=${1}
27    local L_CONFIG_CARD=${2}
28    local L_NEW_STATE=${3}
29
30    local L_MAX_TRY=10 L_TRY=0 L_CHECK L_PP
31
32    # On essaye ${L_MAX_TRY} fois de mettre à jour le fichier
33    while [ ${L_TRY} -le ${L_MAX_TRY} ]
34    do
35        if [[ ! -f ${L_CONFIG_FILE}.lock ]]
36        then
37            echo ${$}  >> ${L_CONFIG_FILE}.lock     ; chmod -w ${L_CONFIG_FILE}.lock
38            L_CHECK=$( wc -l ${L_CONFIG_FILE}.lock | awk '{print $1}' )
39            if [[ ${L_CHECK} -gt 1 ]]
40            then
41                DEM_log -0 "Erreur. Plusieurs processus on pose un verrou sur ${L_CONFIG_FILE}"
42                for L_PP in $( awk  '{print $1}' ${L_CONFIG_FILE}.lock ) 
43                do
44                    DEM_log -0 "Erreur. Process : ${L_PP}"
45                done
46                return 1
47            fi
48
49            local L_OLD_LINE=$( grep ${L_CONFIG_CARD} ${L_CONFIG_FILE} )
50            [[ ${?} -eq 0 ]] || ( return 1 ; )
51            if [[ ${L_OLD_LINE} = "" ]]
52            then
53                DEM_log -0 "Erreur. Dans le fichier : ${L_CONFIG_FILE}, Experience ${L_CONFIG_CARD} non trouvee"
54                return 1
55            fi
56            local L_OLD_STATE=$( echo ${L_OLD_LINE} | awk '{print $2}' )
57            [[ ${?} -eq 0 ]] || ( return 1 ; )
58           
59            L_NEW_LINE="${L_CONFIG_CARD} ${L_NEW_STATE}"
60
61            sed -i "s%${L_OLD_LINE}%${L_NEW_LINE}%" ${L_CONFIG_FILE}
62            rm -f ${L_CONFIG_FILE}.lock
63            break
64        else
65            (( L_TRY = L_TRY + 1 ))
66            DEM_log -3 "Fichier ${L_CONFIG_FILE} en cours de modif par un autre processus. Essai ${L_TRY}"
67            sleep 1
68        fi
69           
70    done
71   
72    if [[ ${L_TRY} -ge ${L_MAX_TRY} ]]
73    then
74        DEM_log -0 "Erreur. Verrou sur le fichier : ${L_CONFIG_FILE}"
75        return 1
76    fi
77
78    return 0
79}
80
81function DEM_min {
82# Calcul du minimum d'un nombre quelconque d'entiers
83    local l_min=${1} l_xx
84 
85    for l_xx in ${*:2:${#}}
86    do
87        [[ ${l_xx} -lt ${l_min} ]] && l_min=${l_xx}
88    done
89    echo ${l_min}
90}
91
92function DEM_max {
93# Calcul du maximum d'un nombre quelconque d'entiers
94    local l_max=${1} l_xx
95 
96    for l_xx in ${*:2:${#}}
97    do
98        [[ ${l_xx} -gt ${l_max} ]] && l_max=${l_xx}
99    done
100    echo ${l_max}
101}
102
103function DEM_log {
104# Affichage d'un message sur stdout et dans un fichier de log
105# DEM_log [-0|-1|-2|-3] Message
106#
107    local MESSAGE P_LINE L_NAME
108    LOG_LEV=${LOG_LEV:-3}
109    local OPTARG OPTIND L_LOG=1
110    local L_DEM_LOG=${DEM_LOG:-dem_log.${$}}
111
112    while getopts 0123 L_NAME
113    do
114        case ${L_NAME} in
115            ( 0 )  L_LOG=1 ;;
116            ( 1 )  L_LOG=1 ;;
117            ( 2 )  L_LOG=2 ;;
118            ( 3 )  L_LOG=3 ;;
119        esac
120    done
121    shift $(( ${OPTIND} - 1 ))
122
123    if [[ ${L_LOG} -le ${LOG_LEV} ]]
124    then
125        MESSAGE=${*}
126        P_LINE="$(date) - ${MESSAGE}"
127       
128        echo ${P_LINE}
129        echo ${P_LINE} >> ${L_DEM_LOG}
130    fi
131    return
132}
133
134# gpdebug : fonctions de gestion des erreurs ########################################################
135function DEM_errorSend {
136    # Envoi d'un msg d'erreur au programme principal.
137    # Suppression des processus du programme principal au fils emetteur de l'erreur
138   
139    echo "########## DEM_errorSend : Error detected ==> Sending an error..."
140   
141    msgToSend=${1}
142    listPIDtoKill=${2}
143    if [ "x${listPIDtoKill}" == "x" ]
144    then
145        listPIDtoKill=${listPID}
146    fi
147    # --------------------------------
148    # Verif du format de listPIDtoKill
149    # --------------------------------
150    listPIDformat='^[[:digit:]]*\([[:blank:]][[:digit:]]*\)*$'
151    isListPIDformatOK=`echo ${listPIDtoKill} | grep -e ${listPIDformat} | wc -l `
152    if [ "x$isListPIDformatOK" == "x0" ]
153    then
154       echo "      Attention : le format de la liste de PID est incorrecte :"
155       echo "      $listPIDtoKill"
156       kill -TERM ${listPID}
157    fi
158
159   
160    # -----------------------------------
161    # Verif du Format du ${msgToSend}
162    # -----------------------------------
163    errorFormat='^[^:]*\.sh:[[:digit:]]*:.*$'
164    isErrorFormatOK=`echo ${msgToSend} | grep -e ${errorFormat} | wc -l `
165    if [ "x$isErrorFormatOK" == "x0" ]
166    then
167       echo "      Attention : le format du message d'erreur est incorrect :"
168       echo "      $msgToSend"
169    fi
170   
171    # Envoi du msg dans le fichier d'erreur
172    # -------------------------------------
173    #    test sur la var contenant le nom du fichier d'erreur
174    if [ "x${errorMsgFile}" != "x${PWD}/errorMsg.txt" ]
175    then
176        echo "      Le fichier d'erreur a un nom incorrect"
177    fi
178   
179    echo $msgToSend > $errorMsgFile
180   
181    echo "killing ${listPIDtoKill}"
182    kill -TERM ${listPIDtoKill}
183   
184    exit -1 # utile : sinon le script qui appelle cette fonction continue un peu l'exec --> pas propre
185}
186
187function DEM_errorReceive {
188    # Récupération et affichage du msg d'erreur emis par un processus fils
189   
190    # Lecture du msg dans le fichier d'erreur
191    # ---------------------------------------
192    #    test sur la var contenant le nom du fichier d'erreur
193    if [ "x${errorMsgFile}" != "x${PWD}/errorMsg.txt" ]
194    then
195       echo "      Le fichier d'erreur a un nom incorrect"
196       exit -1 
197    fi
198   
199    #    Lecture   
200    errorReceived=`cat $errorMsgFile `
201   
202    # -----------------------------------
203    # Verif du Format du ${errorReceived}
204    # -----------------------------------
205    errorFormat='^[^:]*\.sh:[[:digit:]]*:.*$'
206    isErrorFormatOK=`echo ${errorReceived} | grep -e ${errorFormat} | wc -l `
207    if [ "x$isErrorFormatOK" == "x0" ]
208    then
209       echo "      Attention : le format du message d'erreur est incorrect :"
210       echo "      $errorReceived"
211       exit -1
212    fi
213   
214    echo "########## DEM_errorReceive : $SCRIPT_NAME received an error..."
215    echo $errorReceived
216   
217    # echo "Current PID:$$"
218    # echo "FatherPID:$FatherPID"
219    # On fait un bilan de la progression seulement si c'est une erreur bloquante : lorsque le proc pere est tue.
220    if [ "x${FatherPID}" == "x$$" ]
221    then
222        ./showListsProgress.sh $FileParam
223    fi
224       
225    exit -1
226}
227
228# Verification de la version de nco chargee
229function check_nco_version
230{
231   # nom du présent prog (pour gestion des erreurs)
232   PROGNAME="DEM_utilities.sh" #########
233   . /etc/profile
234   module list >& myModuleList.txt
235   
236   if [ "x$?" != "x0" ]
237   then
238       # echo "La commande module list a rencontre un pb !"
239       DEM_errorSend "${PROGNAME}:${LINENO}:La commande module list a rencontre un pb !"
240   fi
241   
242   if [ ! -e myModuleList.txt ]
243   then
244       # echo "Le fichier 'myModuleList.txt'  n existe pas"
245       DEM_errorSend "${PROGNAME}:${LINENO}:Le fichier 'myModuleList.txt' n'existe pas."
246   fi   
247   
248   # Presence de la chaine "n) nco/" ou n est un nombre 
249   ncoLines=` grep -e '[[:digit:]]*) nco/' myModuleList.txt `
250   # ncoLines=` grep -e '[[:digit:]]*) nco/' moduleList.txt `
251   # echo "ncoLines=${ncoLines}|"
252   # echo "----------------------------------------"
253
254   # Plus besoin du myModuleList.txt
255   rm -f myModuleList.txt
256 
257   # La chaine "nco" est remplacee par le caractere "#"
258   temp1=`echo $ncoLines | sed 's;nco;#;g' `
259   # echo "$temp1"
260   # echo "----------------------------------------"
261
262   # On supprime tout ce qui n'est pas "n) #/..." avec n un nombre et "..." une chaine sans blanc
263   temp2=`echo $temp1 | sed 's;[[:blank:]]*[[:digit:]]*) [^#][^[:blank:]]*;;g' `
264   # echo "$temp2"
265   # echo "----------------------------------------"
266
267
268   # Recuperation du numero de version du nco au format x.y.z
269   # C'est une liste de num de version (a priori ici, il pourrait y en avoir plusieurs,
270   # mais dans les faits, les nco s'excluent les uns les autres)
271   temp3=`echo $temp2 | sed 's;[[:blank:]]*[[:digit:]]*) #/;|;g' `
272   temp3=`echo $temp3 | sed 's;^|;;g' `
273   temp3=`echo $temp3 | sed 's;|; ;g' `
274   # echo "$temp3"
275   # echo "----------------------------------------"
276   
277   # comptage du nombre de nco
278   versionNCO=
279   count=0
280   for ver in $temp3
281   do
282     # echo "ver=$ver"
283     versionNCO=$ver
284     count=$(( $count + 1 ))
285   done
286   # echo "count=$count"
287   
288   # si aucun nco n'est charge, on sort.
289   if [ $count -eq 0 ]
290   then
291     # echo "nco pas charge"
292     DEM_errorSend "${PROGNAME}:${LINENO}:Aucun nco n'est charge"
293   fi
294   
295   # si plus d'un nco sont charges, on sort (n'arrive jamais en pratique).
296   if [ $count -gt 1 ]
297   then
298     DEM_errorSend "${PROGNAME}:${LINENO}:Au moins 2 versions de nco sont chargees"
299   fi
300   
301   # Si un seul nco est charge, on supprime les "." de son numero de version (x.y.z ==> xyz)
302   verNCOnumber=`echo $versionNCO | sed 's;[^[:digit:]];;g' `
303   # echo "versionNCO=$versionNCO"
304   
305   # On verifie que xyz est un nombre a 3 chiffres
306   verNCOnumberOK=`echo $verNCOnumber | grep -e '^[0-9]\{3\}$' | wc -l `
307   #  if ! [[ "$verNCOnumber" =~ ^[0-9]\{3\}$ ]] # gpdebug : ne marche pas sous curie si ksh.
308   if [ "x${verNCOnumberOK}" == "x0" ]
309   then
310      # echo "verNCOnumber is not a number"
311      DEM_errorSend "${PROGNAME}:${LINENO}:La variable verNCOnumber n'est pas un nombre --> $verNCOnumber"
312   fi
313   
314   
315   # On verifie que le num de version est >= 4.1.0
316   if [ $verNCOnumber -lt 410 ]
317   then
318       # echo "version < 4.1.0 . STOP."
319       DEM_errorSend "${PROGNAME}:${LINENO}:La version de nco < 4.1.0 ==> $versionNCO"
320   fi
321   
322   echo "La version de nco chargee est : $versionNCO"
323   
324}
325
326function check_libccc_user
327{
328   # nom du présent prog (pour gestion des erreurs)
329   PROGNAME="DEM_utilities.sh" #########
330   . /etc/profile
331   module list >& myModuleList.txt
332   
333   if [ "x$?" != "x0" ]
334   then
335       # echo "La commande module list a rencontre un pb !"
336       DEM_errorSend "${PROGNAME}:${LINENO}:La commande module list a rencontre un pb !"
337   fi
338   
339   if [ ! -e myModuleList.txt ]
340   then
341       # echo "Le fichier 'myModuleList.txt'  n existe pas"
342       DEM_errorSend "${PROGNAME}:${LINENO}:Le fichier 'myModuleList.txt' n'existe pas."
343   fi   
344   
345   # Presence de la chaine "n) nco/" ou n est un nombre 
346   nb_of_libLines=` grep -e '[[:digit:]]*) libccc_user/' myModuleList.txt | wc -l `
347
348   if [ "x${nb_of_libLines}" == "x0" ]
349   then
350       DEM_errorSend "${PROGNAME}:${LINENO}:Aucun libccc_user n'est charge"
351   fi
352
353   # Plus besoin du myModuleList.txt
354   # rm -f myModuleList.txt
355
356}
357function prepareMonitoringDir
358{
359   # nom du présent prog (pour gestion des erreurs)
360   PROGNAME="DEM_utilities.sh" #########
361   
362   MonitoringDirDefined=`echo $MonitoringDir | grep "SuiviListes" | wc -l `
363   if [ "x${workFlowDirDefined}" == "x0" ]
364   then
365      DEM_errorSend "${PROGNAME}:${LINENO}:Le repertoire de suivi est mal defini."
366   fi
367   
368   #  Si l'option de forcage de toute les etapes est activee,
369   #  on vide le fichier
370   if [ "x${execEveryStep}" == "x1" ]
371   then
372      echo "${MonitoringDir}:destruction..."
373      rm -rf ${MonitoringDir}
374   fi
375   
376   # Si le rep de suivi n'existe pas, on le créé.
377   if [ ! -d ${MonitoringDir} ]
378   then
379      mkdir ${MonitoringDir}
380   fi
381
382}
383
384function generalMonitoring
385{ 
386   # Si l'etape courante a ete executee (correctement), on sort du script appelant cette fonction
387   
388   # nom du présent prog (pour gestion des erreurs)
389   PROGNAME="DEM_utilities.sh" #########
390
391   currentStep=${1}
392   stepMsg=`echo $currentStep | grep -e '^.*\.sh-->OK$' | wc -l `
393   if [ "x${stepMsg}" == "x0" ]
394   then
395      DEM_errorSend "${PROGNAME}:${LINENO}:Le nom de l'etape courante n'est pas au bon format !"
396   fi
397   
398   currentStepScriptName=`echo $currentStep | sed 's;\.sh-->OK;;' `
399   # si le fichier de suivi general n'existe pas, il n'y a pas eu de passage de script de liste avant.
400   # ==> on sort normalement
401   if [ ! -e ${generalMonitorFile} ]
402   then
403      return 0
404   fi
405   
406   currentStepPassed=`grep ${currentStep} ${generalMonitorFile} | wc -l `
407   if [ "x${currentStepPassed}" != "x0" ]
408   then
409      echo "${currentStepScriptName} a deja ete passee ..."
410      exit 0
411   fi
412
413}
414
415function createListingMonitoring_Check
416{
417   
418   # La presence de createListingOK.txt dans le sous rep (associe a un rep de param_AC.txt) du rep de suivi
419   # indique que le bon deroulement de l'action de create_listing.sh sur le repertoire de param_AC.txt
420   DIR=$(basename ${1})   
421   MonitSubDir=${MonitoringDir}/${DIR}
422   
423   createListingOK=${MonitSubDir}/createListingOK.txt
424   
425   if [ -e $createListingOK ]
426   then
427      echo "create_listing a deja ete passe pour ${DIR}..."
428      exit 0     
429   fi   
430
431}
432
433function createListingMonitoring_OK
434{
435   
436   # A partir du nom du rep courant (contenant des res de simulation), creation d'un sous rep de suivi
437   DIR=$(basename ${1})
438   MonitSubDir=${MonitoringDir}/${DIR}
439   mkdir $MonitSubDir
440   
441   # dans ce sous rep de suivi, creation d'un fichier dont la presence indique le bon deroulement
442   # de l'action de create_listing.sh sur le repertoire en argument (celui contenant des simus)
443   createListingOK=${MonitSubDir}/createListingOK.txt 
444   touch $createListingOK 
445
446}
447
448function simuMonitoring_check
449{
450   # nom du présent prog (pour gestion des erreurs)
451   PROGNAME="DEM_utilities.sh" #########
452   
453   currentStep=${1}
454   config=${2}
455   # echo "######### simuMonitoring_check --> config:$config"
456   # former le nom du fichier de suivi de la simu a partir de "config"
457   getSimuMonitFileName $config
458   
459   # si le fichier de suivi de simu n'existe pas, il n'y a pas eu de passage de script de liste avant.
460   # ==> on sort normalement
461   if [ ! -e ${simuMonitoringFile} ]
462   then
463      return 0
464   fi
465   
466   stepMsg=`echo $currentStep | grep -e '^.*\.sh-->OK$' | wc -l `
467   if [ "x{stepMsg}" == "x0" ]
468   then
469      DEM_errorSend "${PROGNAME}:${LINENO}:Le nom de l'etape courante n'est pas au bon format !"
470   fi
471   
472   currentStepScriptName=`echo $currentStep | sed 's;\.sh-->OK;;' `
473   
474   currentStepPassed=`grep ${currentStep} ${simuMonitoringFile} | wc -l `
475   
476   # echo "######### simuMonitoring_check --> currentStep:$currentStep"
477   # echo "######### simuMonitoring_check --> simuMonitoringFile:$simuMonitoringFile"
478   # echo "######### simuMonitoring_check --> currentStepPassed:$currentStepPassed"
479   if [ "x${currentStepPassed}" != "x0" ]
480   then
481      echo "${currentStepScriptName} a deja ete passee ..."
482      # echo "-----------------------------------------------------------------------------"
483      exit 0
484   fi
485   
486}
487
488function simuMonitoring_OK
489{
490   currentStep=${1}
491   config=${2}
492   # echo "######### simuMonitoring_OK --> config:$config"
493   # former le nom du fichier de suivi de la simu a partir de "config"
494   getSimuMonitFileName $config
495   
496   echo $currentStep >> $simuMonitoringFile
497}
498
499function getSimuMonitFileName
500{
501   # nom du présent prog (pour gestion des erreurs)
502   PROGNAME="DEM_utilities.sh" #########
503   
504   config=${1}
505   # echo "######### getSimuMonitFileName --> config:$config"
506   configBaseName=$(basename ${config})
507     
508   # On cherche dans quel sous rep du rep de suivi on va chercher le fichier de suivi de la simu
509   listMonitSubDir=`ls -l ${MonitoringDir} | grep -e '^d' | awk '{print $NF}' `
510   
511   # echo "######### getSimuMonitFileName --> listMonitSubDir:$listMonitSubDir"
512   
513   searchedDir=
514   for dir in $listMonitSubDir
515   do
516       found=`echo $config | grep "/${dir}/" | wc -l `
517       if [ "x${found}" != "x0" ]
518       then
519          searchedDir=$dir
520          break
521       fi
522   done
523   
524   if [ "x$searchedDir" == "x" ]
525   then
526      DEM_errorSend "${PROGNAME}:${LINENO}:Sous rep de suivi non trouve !"
527   fi
528   
529   # On forme le nom du fichier de suivi pour la simu courante
530   # ... on debarasse config du fichier de config
531   repConfig=$(dirname $config)
532   # ... on supprime du path tout ce qui est devant le nom du sous rep
533   simu=`echo $repConfig | sed "s;^.*/$searchedDir;$searchedDir;" `
534   # ... remplacement des "/" par des "_#_" (les "/" ne sont pas acceptes dans les noms de fichiers)
535   simuMonitoringFile=`echo $simu | sed 's;/;_#_;g' `
536   # ... On rajoute un ".txt" a la fin du nom de fichier
537   simuMonitoringFile="${simuMonitoringFile}.txt"
538   
539   simuMonitoringFile="${MonitoringDir}/${searchedDir}/${simuMonitoringFile}"
540}
541
542
543function getDateMilliSeconds
544{
545   test=`date +%s%N`
546   testnum=${#test}
547   millisec=${test:0:$testnum-6}
548   echo "$millisec"
549}
550
551function getTimeDiffSeconds
552{
553   startTimeMilliSec=$1
554   endTimeMilliSec=$( getDateMilliSeconds )
555   
556   diffMilliSec=$(( $endTimeMilliSec - $startTimeMilliSec ))
557   
558   diffSeconds=$(awk 'BEGIN { print '$diffMilliSec'/'1000' }')
559   echo "$diffSeconds" 
560
561}
562
563# gpdebug : fin #####################################################################################
564
Note: See TracBrowser for help on using the repository browser.