Changeset 1899


Ignore:
Timestamp:
06/12/20 11:42:45 (5 years ago)
Author:
yushan
Message:

trunk : cleanup

Location:
XIOS/trunk/xios_test_suite
Files:
1 added
4 deleted
8 edited

Legend:

Unmodified
Added
Removed

  • XIOS/trunk/xios_test_suite/ENV/irene.env

    r1826 r1899  
    11module load subversion 
    22module load cmake 
     3module load python3 
    34 
    45CHMOD() { chmod --quiet ug+rwX,o+rX "$@" ;} 
    … …  
    910export xios_thredds_dir=/ccc/work/cont003/thredds/p86yann/XIOS_TEST_SUITE 
    1011export xios_reference_dir=/ccc/work/cont003/gen0826/gen0826/XIOS_TEST_SUITE_REPOSITORY 
     12export ref_location=/ccc/cont003/home/gencmip6/wangyush/cron_xios 
     13export ref_file=reference.tar.gz 
    1114 
    1215mkdir -p $xios_test_suite_repository ; CHMOD $xios_test_suite_repository 

  • XIOS/trunk/xios_test_suite/ENV/jeanzay.env

    r1826 r1899  
    11module load subversion 
    22module load cmake 
     3module load python/3.7.5 
    34 
    45CHMOD() { setfacl -m u::rwX,u:rpsl565:rwX,u:rpsl954:rwX,u:rgzi016:rwX,g::r-X,o::r-X,m::rwX "$@" ;} 
    … …  
    910#export xios_thredds_dir=/ccc/work/cont003/thredds/p86yann/XIOS_TEST_SUITE 
    1011export xios_reference_dir=/gpfswork/rech/psl/commun/XIOS_TEST_SUITE_REPOSITORY 
     12 
     13export ref_location=/gpfswork/rech/psl/rpsl954/cron_xios 
     14export ref_file=reference.tar.gz 
     15 
     16 
    1117mkdir -p $xios_test_suite_repository ; CHMOD $xios_test_suite_repository 
    1218#mkdir -p $xios_thredds_dir ; CHMOD $xios_thredds_dir 

  • XIOS/trunk/xios_test_suite/TEST_SUITE/job_irene.sh

    r1828 r1899  
    11#!/bin/bash 
    2 ###################### 
    3 ## CURIE   TGCC/CEA ## 
    4 ###################### 
    5 #MSUB -r XIOS 
    6 #MSUB -o client_output.out    # standard output 
    7 #MSUB -e client_error.err    #error output 
    8 #MSUB -eo 
    9 #MSUB -c 1 
    10 #MSUB -n 48  # Number of MPI tasks (SPMD case) or cores (MPMD case) 
    11 #MSUB -X  
    12 #MSUB -x  
    13 #MSUB -T 1800      # Wall clock limit (seconds) 
    14 #MSUB -q skylake           # thin nodes 
    15 #MSUB -A gen0826 
    16 #MSUB -Q test 
    17 #MSUB -m work,scratch 
     2 
     3export build_dir=xios_test_suite/RUN_TEST_SUITE/build_${arch}_${mode} 
     4export svnR=$(svn info --show-item revision ../../) 
     5 
     6echo "Start Building XIOS ... " 
     7bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 4" 
     8 
     9export build_status=$? 
     10if [[ ${build_status} == 0 ]] 
     11then 
     12  echo "XIOS Build Finished. Start Unit Tests" 
     13  bash ./my_prod.sh 
     14  rundir=${xios_test_suite_repository}/RUN 
     15  mkdir -p $rundir ; CHMOD  $rundir 
     16  mkdir -p ${rundir}/test_${xios_machine_name} ; CHMOD ${rundir}/test_${xios_machine_name} 
     17 
     18  cp report_${svnR}_${arch}_${mode}.txt ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
     19 
     20  CHMOD ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
     21 
     22  mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/RUN/def_files 
     23  mkdir -p ${rundir}/def_files/${svnR} ;  CHMOD ${rundir}/def_files/${svnR} 
     24 
     25  for i in $(ls -d test_*/) 
     26  do 
     27    mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
     28    cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
     29    for j in $(ls -d ${i%%/}/CONFIG_*) 
     30    do 
     31      mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
     32      cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
     33    done 
     34    CHMOD ${rundir}/def_files 
     35  done 
    1836 
    1937 
    20 #============================= X64_IRENE_prod ============================= 
    21  
    22  
    23 cd $BRIDGE_MSUB_PWD 
    24  
    25 export arch=X64_IRENE 
    26 export mode=prod 
    27  
    28 ./run_test 
    29  
    30  
    31 #============================= X64_IRENE_debug ============================= 
    32  
    33  
    34 cd $BRIDGE_MSUB_PWD 
    35  
    36 export arch=X64_IRENE 
    37 export mode=debug 
    38  
    39 ./run_test 
     38else 
     39  echo "XIOS Build Failed. Skip Unit Tests" 
     40fi 
    4041 
    4142 
    4243 
    43  

  • XIOS/trunk/xios_test_suite/TEST_SUITE/job_jeanzay.sh

    r1893 r1899  
    11#!/bin/bash 
    2 ##SBATCH --nodes=2 
    3 #SBATCH --ntasks=32              # Nombre total de processus MPI 
    4 ##SBATCH --ntasks-per-node=16 
    5 ##SBATCH --cpus-per-task=1 
    6 #SBATCH --hint=nomultithread 
    7 #SBATCH -t 00:10:00              # Temps elapsed maximum d'exécution 
    8 #SBATCH -o output.out     # Nom du fichier de sortie 
    9 #SBATCH -e error.err     # Nom du fichier d'erreur 
    10 ##SBATCH -p cpu_port             # Nom de la partition d'exécution 
    11 ##SBATCH -A sos@cpu 
    12 ##SBATCH --distribution=arbitrary 
    13 #SBATCH --account=psl@cpu 
     2export build_dir=xios_test_suite/RUN_TEST_SUITE/build_${arch}_${mode} 
     3export svnR=$(svn info --show-item revision ../../) 
     4export ref_location=/gpfswork/rech/psl/rpsl954/cron_xios 
     5export ref_file=reference.tar.gz 
    146 
    15 ulimit -c 0 
     7echo "Start Building XIOS ... " 
     8bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 4" 
    169 
    17 cd ${SLURM_SUBMIT_DIR} 
     10export build_status=$? 
     11if [[ ${build_status} == 0 ]] 
     12then 
     13  echo "XIOS Build Finished. Start Unit Tests" 
     14  bash ./my_prod.sh 
     15  rundir=${xios_test_suite_repository}/RUN 
     16  mkdir -p $rundir ; CHMOD  $rundir 
     17  mkdir -p ${rundir}/test_${xios_machine_name} ; CHMOD ${rundir}/test_${xios_machine_name} 
    1818 
    19 #============================= X64_JEANZAY_prod ============================= 
     19  cp report_${svnR}_${arch}_${mode}.txt ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    2020 
    21 export arch=X64_JEANZAY 
    22 export mode=prod 
     21  CHMOD ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    2322 
    24 time ./run_test 
     23  mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/def_files 
     24  mkdir -p ${rundir}/def_files/${svnR} ;  CHMOD ${rundir}/def_files/${svnR} 
     25 
     26  for i in $(ls -d test_*/) 
     27  do 
     28    mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
     29    cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
     30    for j in $(ls -d ${i%%/}/CONFIG_*) 
     31    do 
     32      mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
     33      cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
     34    done 
     35    CHMOD ${rundir}/def_files 
     36  done 
    2537 
    2638 
    27 #============================= X64_JEANZAY_debug ============================= 
     39else 
     40  echo "XIOS Build Failed. Skip Unit Tests" 
     41fi 
    2842 
    29 export arch=X64_JEANZAY 
    30 export mode=debug 
    3143 
    32 time ./run_test 

  • XIOS/trunk/xios_test_suite/TEST_SUITE/run_test

    r1893 r1899  
    11#!/bin/bash 
    22 
    3 source ../ARCH/arch-${arch}.env 
    4 cd .. ; source load_env ; cd RUN_TEST_SUITE  
    5  
    6 export machine_name=$xios_machine_name 
    7 export machine_full_name=$xios_full_machine_name 
    8 export xios_dir=$(bash -c "cd ../.. && pwd" 2>&1) 
    9  
    10 export reference_file=xios_reference.tar.gz 
    11 export reference_folder=xios_reference 
    12  
    133export build_dir=xios_test_suite/RUN_TEST_SUITE/build_${arch}_${mode} 
    14 export xios_revision=$(svn info --show-item revision ../.. 2>&1) 
    15 export relurl=$(svn info --show-item relative-url ../.. 2>&1) 
    16  
    17  
    18 set -x  
     4export svnR=$(svn info --show-item revision ../../) 
    195 
    206echo "Start Building XIOS ... " 
    21 bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 16 &> /dev/null" 
     7bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 4" 
     8 
    229export build_status=$? 
    2310if [[ ${build_status} == 0 ]] 
    2411then 
    2512  echo "XIOS Build Finished. Start Unit Tests" 
     13  bash ./my_prod.sh 
     14  rundir=${xios_test_suite_repository}/RUN 
     15  mkdir -p $rundir ; CHMOD  $rundir 
     16  mkdir -p ${rundir}/test_${xios_machine_name} ; CHMOD ${rundir}/test_${xios_machine_name} 
     17 
     18  cp report_${svnR}_${arch}_${mode}.txt ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
     19 
     20  CHMOD ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
     21 
     22  mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/RUN/def_files 
     23  mkdir -p ${rundir}/def_files/${svnR} ;  CHMOD ${rundir}/def_files/${svnR} 
     24 
     25  for i in $(ls -d test_*/) 
     26  do 
     27    mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
     28    cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
     29    for j in $(ls -d ${i%%/}/CONFIG_*) 
     30    do 
     31      mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
     32      cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
     33    done 
     34    CHMOD ${rundir}/def_files 
     35  done 
     36 
     37 
    2638else 
    2739  echo "XIOS Build Failed. Skip Unit Tests" 
    2840fi 
    2941 
    30 #----------- Fetch reference ----------- 
    31 cp ${xios_reference_dir}/${reference_file} ./ 
    32 tar -xzvf ${reference_file} 
    33  
    34 rm -f ${reference_file} 
    35  
    36 for i in $(ls ${reference_folder}/)  
    37 do 
    38   folder=${i%%} 
    39   bash -c "cd ${folder} && rm -rf config_*" 
    40   bash -c "cp -r ${reference_folder}/${folder}/config_* ./${folder}" 
    41 done 
    42  
    43 rm -rf ${reference_folder} 
    4442 
    4543 
    46 rm -f plain_report.txt 
    47  
    48 echo "#revision" ${xios_revision} >> plain_report.txt 
    49 echo "#relurl" ${relurl} >> plain_report.txt 
    50 echo "#machine" ${machine_name} >> plain_report.txt 
    51 echo "#build_dir" ${xios_dir}/${build_dir} >> plain_report.txt 
    52 echo "#arch" ${arch} >> plain_report.txt 
    53 echo "#mode" ${mode} >> plain_report.txt 
    54  
    55 if [[ ${build_status} == 0 ]] 
    56 then 
    57  
    58 rm -f setup.sh 
    59 touch setup.sh 
    60 >setup.sh 
    61 for i in $(ls -d test_*/) 
    62 do 
    63   cp setup.py ${i%%/}       
    64   cp default_param.json ${i%%/}   
    65   cp param_list.py ${i%%/}       
    66   cp run_sub_test.sh ${i%%/}  
    67   echo "bash -c \"cd " ${i%%/} " && python setup.py\" ">> setup.sh 
    68   echo "echo \"setup.py called from " ${i%%/} "\"">> setup.sh 
    69 done 
    70  
    71 export output=$(python user_config.py 2>&1 >/dev/null) 
    72  
    73 if [ "$output" -ne 0 ] 
    74 then 
    75         echo "user_config.py failed" 
    76         exit 
    77 else 
    78         echo "user_config.py OK" 
    79 fi 
    80  
    81  
    82 cmake . 
    83 ctest -V -j16 
    84 #ctest --output-on-failure 
    85 make report 
    86  
    87 rm -f test_*/setup.py 
    88 rm -f test_*/run_sub_test.sh 
    89 rm -f test_*/run_test_*.py 
    90 rm -f test_*/CMakeLists.txt 
    91 rm -f test_*/context_grid_dynamico.xml 
    92 rm -f test_*/dynamico_grid.nc 
    93 rm -f test_*/default_param.pyc 
    94 rm -f test_*/user_param.pyc 
    95 rm -f test_*/user_param.py.* 
    96  
    97 rundir=${xios_test_suite_repository}/RUN 
    98 mkdir -p $rundir ; CHMOD  $rundir 
    99 mkdir -p ${rundir}/test_${machine_name} ; CHMOD ${rundir}/test_${machine_name} 
    100  
    101 ll=$(wc -l plain_report.txt | awk '{print $1}') 
    102  
    103 if [[ $(($ll > 6))  ]] ; then 
    104   #echo "report ok" 
    105  
    106   cp plain_report.txt ${rundir}/test_${machine_name}/test_${xios_revision}_${machine_name}_${arch}_${mode}.txt 
    107   CHMOD ${rundir}/test_${machine_name}/test_${xios_revision}_${machine_name}_${arch}_${mode}.txt 
    108  
    109   mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/RUN/def_files 
    110   mkdir -p ${rundir}/def_files/${xios_revision} ;  CHMOD ${rundir}/def_files/${xios_revision} 
    111  
    112   for i in $(ls -d test_*/) 
    113   do 
    114     mkdir -p ${rundir}/def_files/${xios_revision}/${i%%} 
    115     cp ${i%%}/user_param.json ${rundir}/def_files/${xios_revision}/${i%%}       
    116     for j in $(ls -d ${i%%/}/config_*) 
    117     do 
    118       mkdir -p ${rundir}/def_files/${xios_revision}/${j%%} 
    119       cp ${j%%}/setup/all_param.def ${rundir}/def_files/${xios_revision}/${j%%}   
    120     done 
    121     CHMOD ${rundir}/def_files 
    122   done 
    123 fi 
    124  
    125 fi 
    126  

  • XIOS/trunk/xios_test_suite/TEST_SUITE/run_test_irene

    r1890 r1899  
    11#!/bin/bash 
    2 module load subversion 
    3 module load python3 
    42 
    53export arch=X64_IRENE 
    64export mode=prod 
    7 export build_dir=xios_test_suite/RUN_TEST_SUITE/build_${arch}_${mode} 
    8 export svnR=$(svn info --show-item revision ../../) 
    9 export ref_location=/ccc/cont003/home/gencmip6/wangyush/cron_xios 
    10 export ref_file=reference.tar.gz 
    115 
    12 echo "Start Building XIOS ... " 
    13 bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 4" 
    14  
    15 export build_status=$? 
    16 if [[ ${build_status} == 0 ]] 
    17 then 
    18   echo "XIOS Build Finished. Start Unit Tests" 
    19   bash ./my_prod.sh 
    20   rundir=${xios_test_suite_repository}/RUN 
    21   mkdir -p $rundir ; CHMOD  $rundir 
    22   mkdir -p ${rundir}/test_${xios_machine_name} ; CHMOD ${rundir}/test_${xios_machine_name} 
    23  
    24   cp report_${svnR}_${arch}_${mode}.txt ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    25  
    26   CHMOD ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    27  
    28   mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/RUN/def_files 
    29   mkdir -p ${rundir}/def_files/${svnR} ;  CHMOD ${rundir}/def_files/${svnR} 
    30  
    31   for i in $(ls -d test_*/) 
    32   do 
    33     mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
    34     cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
    35     for j in $(ls -d ${i%%/}/CONFIG_*) 
    36     do 
    37       mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
    38       cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
    39     done 
    40     CHMOD ${rundir}/def_files 
    41   done 
     6bash ./run_test 
    427 
    438 
    44 else 
    45   echo "XIOS Build Failed. Skip Unit Tests" 
    46 fi 
     9export arch=X64_IRENE 
     10export mode=debug 
    4711 
     12bash ./run_test 
    4813 
    49  
    50  
    51 #ccc_msub -E "--wait" job_irene.sh  
    52  
    53 #bash -c "python generate_test.py" 
    54 #mv _test_${xios_machine_name}_info.js test_${xios_machine_name}_info.js 
    55 #copy_to_thredds  test_${xios_machine_name}_info.js 
    56 #mv test_${xios_machine_name}_info.js _test_${xios_machine_name}_info.js 

  • XIOS/trunk/xios_test_suite/TEST_SUITE/run_test_jeanzay

    r1894 r1899  
    11#!/bin/bash 
    2 module load subversion 
    3 module load python/3.7.5 
    42 
    53export arch=X64_JEANZAY 
    64export mode=prod 
    7 export build_dir=xios_test_suite/RUN_TEST_SUITE/build_${arch}_${mode} 
    8 export svnR=$(svn info --show-item revision ../../) 
    9 export ref_location=/gpfswork/rech/psl/rpsl954/cron_xios 
    10 export ref_file=reference.tar.gz 
    115 
    12 echo "Start Building XIOS ... " 
    13 bash -c "cd ../.. && ./make_xios --arch_path `pwd`/../ARCH --arch ${arch} --${mode} --build_dir ${build_dir} --job 4" 
    14  
    15 export build_status=$? 
    16 if [[ ${build_status} == 0 ]] 
    17 then 
    18   echo "XIOS Build Finished. Start Unit Tests" 
    19   bash ./my_prod.sh 
    20   rundir=${xios_test_suite_repository}/RUN 
    21   mkdir -p $rundir ; CHMOD  $rundir 
    22   mkdir -p ${rundir}/test_${xios_machine_name} ; CHMOD ${rundir}/test_${xios_machine_name} 
    23  
    24   cp report_${svnR}_${arch}_${mode}.txt ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    25  
    26   CHMOD ${rundir}/test_${xios_machine_name}/test_${svnR}_${xios_machine_name}_${arch}_${mode}.txt 
    27  
    28   mkdir -p ${rundir}/def_files ;  CHMOD ${rundir}/def_files 
    29   mkdir -p ${rundir}/def_files/${svnR} ;  CHMOD ${rundir}/def_files/${svnR} 
    30  
    31   for i in $(ls -d test_*/) 
    32   do 
    33     mkdir -p ${rundir}/def_files/${svnR}/${i%%} 
    34     cp ${i%%}/user_param.json ${rundir}/def_files/${svnR}/${i%%} 
    35     for j in $(ls -d ${i%%/}/CONFIG_*) 
    36     do 
    37       mkdir -p ${rundir}/def_files/${svnR}/${j%%} 
    38       cp ${j%%}/all_param.def ${rundir}/def_files/${svnR}/${j%%} 
    39     done 
    40     CHMOD ${rundir}/def_files 
    41   done 
     6bash ./run_test 
    427 
    438 
    44 else 
    45   echo "XIOS Build Failed. Skip Unit Tests" 
    46 fi 
     9export arch=X64_JEANZAY 
     10export mode=debug 
    4711 
    48  
    49 #sbatch --wait job_jeanzay.sh  
    50  
    51 #bash -c "python generate_test.py" 
    52 #mv _test_${xios_machine_name}_info.js test_${xios_machine_name}_info.js 
    53 #copy_to_forge  test_${xios_machine_name}_info.js 
    54 #mv test_${xios_machine_name}_info.js _test_${xios_machine_name}_info.js 
     12bash ./run_test 

  • XIOS/trunk/xios_test_suite/TEST_SUITE/step1.py

    r1895 r1899  
    4242        with open(fn, "w") as fh: 
    4343            fh.write("#!/bin/bash\n") 
     44            fh.write("#====================================================\n") 
     45            fh.write("# Generated by step1.py\n") 
     46            fh.write("# Called by my_run.sh -> run_test -> run_test_irene\n") 
     47            fh.write("#====================================================\n") 
    4448            fh.write("#MSUB -r XIOS\n") 
    4549            fh.write("#MSUB -eo\n") 
    … …  
    6165        with open(fn, "w") as fh: 
    6266            fh.write("#!/bin/bash\n") 
     67            fh.write("#====================================================\n") 
     68            fh.write("# Generated by step1.py\n") 
     69            fh.write("# Called by my_run.sh -> run_test -> run_test_jeanzay\n") 
     70            fh.write("#====================================================\n") 
    6371            fh.write("#SBATCH --ntasks="+str(n)+"\n") 
    6472            fh.write("#SBATCH --hint=nomultithread\n") 
    … …  
    9098        with open("full_job_"+arch+"_"+mode+".sh", "w") as fh: 
    9199            fh.write("#!/bin/bash\n") 
     100            fh.write("#====================================================\n") 
     101            fh.write("# Generated by step1.py\n") 
     102            fh.write("# Called by my_run.sh -> run_test -> run_test_irene\n") 
     103            fh.write("#====================================================\n") 
    92104            fh.write("#MSUB -r XIOS\n") 
    93105            fh.write("#MSUB -eo\n") 
    … …  
    112124        with open("full_job_"+arch+"_"+mode+".sh", "w") as fh: 
    113125            fh.write("#!/bin/bash\n") 
     126            fh.write("#====================================================\n") 
     127            fh.write("# Generated by step1.py\n") 
     128            fh.write("# Called by my_run.sh -> run_test -> run_test_jeanzay\n") 
     129            fh.write("#====================================================\n") 
    114130            fh.write("#SBATCH --ntasks="+str(nb_proc_jz)+"\n") 
    115131            fh.write("#SBATCH --hint=nomultithread\n") 
Note: See TracChangeset for help on using the changeset viewer.