Changes between Version 29 and Version 30 of Pirates2022/Tuning2023


Ignore:
Timestamp:
05/12/23 12:06:24 (14 months ago)
Author:
jmignot
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • Pirates2022/Tuning2023

    v29 v30  
    11== 12 mai 20203 ==  
    2 Notes collectives Pirates 12 mai 2023 
    3  
    4 Présent·es: Julie, Juliette, Brady, Olivier B, Maya, Masa, Etienne, Didier, Jean-Baptiste, Pierre S, Olivier M, Guillaume Gastineau, Arnaud, Clément Dehondt, Guillaume Gachon, Sébastien Fromang, Thomas, Sébastien N, Philippe P, , Patricia 
    5  
    6  
    7 News : 10 Mh CPU disponibles sur irene-rome gen7403 (allocation A13), qui est en sous-consommation 
    8  idem pour gen2212 (allocation A13) 
     2Notes collectives Pirates 12 mai 2023[[BR]] 
     3Présent·es: Julie, Juliette, Brady, Olivier B, Maya, Masa, Etienne, Didier, Jean-Baptiste, Pierre S, Olivier M, Guillaume Gastineau, Arnaud, Clément Dehondt, Guillaume Gachon, Sébastien Fromang, Thomas, Sébastien N, Philippe P, , Patricia[[BR]] 
     4 
     5News : 10 Mh CPU disponibles sur irene-rome gen7403 (allocation A13), qui est en sous-consommation, idem pour gen2212 (allocation A13) 
    96  
    10 Choix des 12 paramètres 
    11  
    12     Christian a intégré les modifications nécessaires pour mettre les paramètres dans les .def 
    13  
    14     Lien entre keywords (en capitales)  qui sortent du préconditonnement et paramètres qui apparaissent dans les namelist.  
    15  
    16     Transfert ente ces 2 étapes= David (parti), Beyrem et Myriam 
    17  
    18  
    19 Préconditionnement  
    20 (= vague 1D et atm seule (AMIP) avant de commencer en couplé = pré-sélection) 
    21 input : paramètres et ranges  
    22 output : tableau 2D avec valeurs des paramètres pour chaque simulation 
     7Choix des 12 paramètres[[BR]] 
     8    Christian a intégré les modifications nécessaires pour mettre les paramètres dans les .def[[BR]] 
     9    Lien entre keywords (en capitales)  qui sortent du préconditonnement et paramètres qui apparaissent dans les namelist. [[BR]] 
     10    Transfert ente ces 2 étapes= David (parti), Beyrem et Myriam[[BR]] 
     11Préconditionnement [[BR]] 
     12(= vague 1D et atm seule (AMIP) avant de commencer en couplé = pré-sélection)[[BR]] 
     13input : paramètres et ranges [[BR]] 
     14output : tableau 2D avec valeurs des paramètres pour chaque simulation[[BR]] 
     15 
    2316 
    241740 waves with 1D then 1 wave at 3D then combination of both (+ emulator) , producing finally 60 acceptable configurations (ie parameter sets) - only atmopsheric parameters have been tested / preconditionnned. But oceanic parameters have been sampled through LHS from the very beginning of the procedure  
    25 -> comment passer des 60 configurations aux 120 finales ? cf 12 paramètres * 10  
    26  
    27 Pour aboutir à 120 simulations qui incluent un échantillonnage des paramètres océaniques + orchidée :  
    28  
    29         [choix a] Idéalement il faudrait refaire depuis le préconditonnement 1D pour aboutir à 120 simulations  
    30  
    31         [choix b] Ici, on pourrait refaire uniquement la dernière vagues, en relâchant le seuil d’acceptabilité de I (matrice d'implausibilité) et aboutir à 120 configurations 
    32  
    33          [choix c] sans relâcher le seuil d’acceptabilité juste echantilloner 120 et non 60 sets de paramètres dans l'espace NROY de la dernière vague 
    34  
    35 Production de 1 préconditionnement 40 waves 1D puis 1 waves 3D avec LMDZOR 
    36 STORE 7600 inodes,  3Tb 
    37 90 000 CPUh on qstcmip6 
    38 1 jour de calculs en gros  
    39 -> Pas contraignant. on ne change pas cette procédure. 
    40  
    41 reste 1 étape à réaliser : combiner préconditionnement 1D et 3D pour avoir les 120 sets de paramètres finaux (incluant ocean et orchidee) 
    42  
    43 Préparation des configurations 
    44 a priori Christian a tout fait, Myriam aussi pour VLR 
    45 états initiaux prêts aussi  
    46 https://forge.ipsl.jussieu.fr/igcmg/wiki/Pirates2022/Tuning2023 
    47  
    48 configuration avec DYNAMICO (equivalent LR) prete à partir aussi ! run en cours pour obtenir etat initial 
    49  
    50 pour info Christian reste disponible par email si besoin 
    51  
    52 Vagues à lancer 
    53 on part sur des jobs de 10 ans ? si fréquence de pack de 20 ans alors simulations de 20 ans aussi... 
    54  
    55 on conserve le dernier restart (seulement) (via l'option LightRestartPack=TRUE dans le config.card, section [Post])  sur le STORE (inclut dans l'aide technique préparée par Christian. ) 
    56  
    57 on conserve les outputs sur STORE ou SCRATCH ? comme on ne sait pas combien de temps va nous prendre la production des métriques, on n'est pas surs que la limite de 40 jours du SCRATCH soit suffisante -> on se dirige vers une production "classique" avec une fréquence de pack de 20 ans (= durée de la simulation). 
    58  
    59 Arnaud propose de demander une augmentation TEMPORAIRE du nombre d'inodes sur le STORE, le temps de lancer les scripts de pack avec dimension "ensemble", et de pouvoir ensuite "faire du ménage" 
    60  
    61 alternativement Arnaud va discuter si c'est possible d'augmenter la date limite de 40 jours sur SCRATCH (point TGCC dans une 10aine de jour) 
    62  
    63 Métriques 
    64 coordination avec Patricia, Philippe et Guillaume Gachon pour inclure métriques sur land et végétation 
    65  
    66     Flux d'énergie, d'eau et de carbone. (On ne sort pas de stock, sauf neige) 
    67  
    68     Il faudra sortir des variables climat.  
    69  
    70     Débits des fleuves 
    71  
    72  
    73     Pour l'instant, calcul de scalaires, pas de métriques en tant que distance à une référence... 
    74  
    75  
    76 Prochain point 26 mai 9h30 
     18-> comment passer des 60 configurations aux 120 finales ? cf 12 paramètres * 10 [[BR]] 
     19 
     20Pour aboutir à 120 simulations qui incluent un échantillonnage des paramètres océaniques + orchidée : [[BR]] 
     21        [choix a] Idéalement il faudrait refaire depuis le préconditonnement 1D pour aboutir à 120 simulations[[BR]] 
     22        [choix b] Ici, on pourrait refaire uniquement la dernière vagues, en relâchant le seuil d’acceptabilité de I (matrice d'implausibilité) et aboutir à 120 configurations[[BR]] 
     23         [choix c] sans relâcher le seuil d’acceptabilité juste echantilloner 120 et non 60 sets de paramètres dans l'espace NROY de la dernière vague[[BR]] 
     24 
     25Production de 1 préconditionnement 40 waves 1D puis 1 waves 3D avec LMDZOR[[BR]] 
     26STORE 7600 inodes,  3Tb[[BR]] 
     2790 000 CPUh on qstcmip6[[BR]] 
     281 jour de calculs en gros [[BR]] 
     29-> Pas contraignant. on ne change pas cette procédure.[[BR]] 
     30 
     31Reste 1 étape à réaliser : combiner préconditionnement 1D et 3D pour avoir les 120 sets de paramètres finaux (incluant ocean et orchidee)[[BR]] 
     32 
     33'''Préparation des configurations'''[[BR]] 
     34a priori Christian a tout fait, Myriam aussi pour VLR[[BR]] 
     35états initiaux prêts aussi [[BR]] 
     36https://forge.ipsl.jussieu.fr/igcmg/wiki/Pirates2022/Tuning2023[[BR]] 
     37 
     38configuration avec DYNAMICO (equivalent LR) prete à partir aussi ! run en cours pour obtenir etat initial[[BR]] 
     39 
     40pour info Christian reste disponible par email si besoin[[BR]] 
     41 
     42'''Vagues à lancer'''[[BR]] 
     43on part sur des jobs de 10 ans ? si fréquence de pack de 20 ans alors simulations de 20 ans aussi...[[BR]] 
     44on conserve le dernier restart (seulement) (via l'option LightRestartPack=TRUE dans le config.card, section [Post])  sur le STORE (inclut dans l'aide technique préparée par Christian. )[[BR]] 
     45on conserve les outputs sur STORE ou SCRATCH ? comme on ne sait pas combien de temps va nous prendre la production des métriques, on n'est pas surs que la limite de 40 jours du SCRATCH soit suffisante -> on se dirige vers une production "classique" avec une fréquence de pack de 20 ans (= durée de la simulation).[[BR]] 
     46 
     47Arnaud propose de demander une augmentation TEMPORAIRE du nombre d'inodes sur le STORE, le temps de lancer les scripts de pack avec dimension "ensemble", et de pouvoir ensuite "faire du ménage"[[BR]] 
     48 
     49alternativement Arnaud va discuter si c'est possible d'augmenter la date limite de 40 jours sur SCRATCH (point TGCC dans une 10aine de jour)[[BR]] 
     50 
     51'''Métriques'''[[BR]] 
     52coordination avec Patricia, Philippe et Guillaume Gachon pour inclure métriques sur land et végétation[[BR]] 
     53    Flux d'énergie, d'eau et de carbone. (On ne sort pas de stock, sauf neige)[[BR]] 
     54    Il faudra sortir des variables climat. [[BR]] 
     55    Débits des fleuves[[BR]] 
     56 
     57    Pour l'instant, calcul de scalaires, pas de métriques en tant que distance à une référence...[[BR]] 
     58 
     59'''Prochain point 26 mai 9h30''' 
    7760 
    7861