Changes between Version 1 and Version 2 of Modipsl_titane

Timestamp:

07/06/11 14:18:32 (13 years ago)

Author:

acosce

Comment:

--

Modipsl_titane

@@ -1 +1 @@
 = Utiliser Modipsl sur titane = 
+
+[[PageOutline]]
 
 == Environnement minimum == 
@@ -31 +33 @@
 processors
 }}}
+
+==== Lancer IPSLCM5A sur la machine Titane (machine Xeon du CCRT) ====
+
+ * Etape préalable : assurez-vous que votre login est autorisé à tourner sur la machine titane à l'aide de la commande groups :
+{{{
+mercure - /home/cont003/p86caub : groups
+}}}
+Si ce n'est pas le cas, demandez l'autorisation au CCRT en passant par votre responsable de projet.
+
+Les étapes à faire sont les mêmes que pour tourner le modèle IPSLCM5A sur mercure, a ceci près :
+
+ * Avant la compilation ET l'exécution, il faut charger les modules nécessaires :
+{{{
+module load netcdf/3.6.3
+}}}
+
+ * N'oubliez pas de verifier que votre PATH contient bien le path pour l'outil FCM. Plus d'infos [wiki:ModipslBeginner#FCM là].
+
+
+ * Avant la génération du Job de soumission via la commande ./ins_job, il faut préciser le nombre de CPUs demandés dans le config.card en mettant la variable !JobNumProcTot à 32. Par défaut, cela signifie que la composante atmosphérique tournera sur 30 CPUs alors que la composante océanique et le coupleur utiliseront chacun 1 CPU.
+
+{{{
+JobNumProcTot=32
+}}}
+
+ * La soumission du job se fait à l'aide de la commande ccc_msub
+
+{{{
+ccc_msub Job
+}}}
+
+ * A noter, que les post-traitements s'effectueront sur la machine cesium.
+Rappel : Pour que cela marche il faut avoir créé des clés avec une '''passphrase vide''' pour ssh et s'être connecté sur cesium au moins une fois.
+(Attention, si vous vous servez pour vos connexions de clés ssh déjà générées avec des passphrases non vides de ne pas les écraser.)
+[[BR]]
+Mémo :
+{{{
+
+mercure : cd ~/.ssh
+mercure : ssh-keygen -t rsa
+Generating public/private rsa key pair.
+Enter file in which to save the key (/home/cont003/xxxxxx/.ssh/id_rsa): 
+Enter passphrase (empty for no passphrase): (RETURN)
+Enter same passphrase again: (RETURN)
+Your identification has been saved in ...../.ssh/id_rsa.
+Your public key has been saved in ...../.ssh/id_rsa.pub.
+The key fingerprint is:
+af:....
+mercure : cat id_rsa.pub >>authorized_keys
+mercure : ssh cesium
+}}}
+
+ * Pour améliorer légerement les performances :
+
+La configuration par défaut du modèle couplé à la résolution 96x95x39 est quasiment équilibrée, cad que le modèle d'atmosphère sur 30 CPUs est très légerement plus rapide que le modèle d'ocean sur 1 CPU.
+[[BR]]
+1 jour simulé par LMDZ sur 30 CPUs : 25s
+[[BR]]
+1 jour simulé par NEMO sur 1 CPU : 27s
+[[BR]]
+ce qui donne 1 mois simulé en 900s (par comparaison on a 1 mois simulé en 600s sur 4 CPUs SX9).
+
+
+On voit donc que c'est le modèle d'océan qui va "guider" le temps de restitution du modèle couplé complet. En utilisant 2 process MPI pour l'océan on obtient :
+[[BR]]
+1 jour simulé par LMDZ sur 29 CPUs : 25s
+[[BR]]
+1 jour simulé par NEMO sur 2 CPU : 15s
+[[BR]]
+ce qui va donner 1 mois simulé en 840s.
+
+On voit donc que désormais, c'est le modèle d'atmosphère qui va "guider" le temps de restitution du modèle couplé complet. Mais à cette résolution là, il n'est pas possible d'utiliser plus de process pour LMDZ en parallélisation MPI seule (limite à 3 bandes de latitudes par process MPI).
+
+La configuration idéale est donc : 29 CPUs ATM, 2 CPUs OCE et 1 CPU pour Oasis (lorsque PISCES n'est pas activé).
+Si PISCES est activé (c'est le cas avec IPSLCM5A CMIP5) la configuration ideale est : 26 CPUs ATM, 5 CPUs OCE et 1 CPU pour Oasis
+Pour activer cette configuration-là, deux étapes sont nécessaires :
+
+    * Compilation : 
+     * Pour des raison de qualité (restartabilité NEMO), enlever les cles cpp suivantes pour la compilation : key_vectopt_loop key_vectopt_memory. Pour faire cela :
+{{{
+vi modipsl/config/IPSLCM5A/AA_make 
+supprimer les cles cpp "key_vectopt_loop key_vectopt_memory" de la varibale P_P à la ligne :
+
+orca2: ../../modeles/NEMO/WORK
+       (cd ../../modeles/NEMO/WORK; P_P='key_trabbl_dif key_vectopt_loop key_vectopt_memory ...
+
+cd modipsl/util ; ./ins_make
+}}}
+     * Compiler NEMO pour qu'il tourne sur 5 process MPI en modifiant directement le code :
+{{{
+vi modipsl/modeles/NEMO/WORK/par_oce.F90 (lignes 29-31)
+      jpni   = 1,                   &  !: number of processors following i
+      jpnj   = 5,                   &  !: number of processors following j
+      jpnij  = 5                       !: nb of local domain = nb of processors
+
+cd modipsl/config/IPSLCM5A ; gmake
+}}}
+
+    * Execution
+     * Cas particulier : si vous souhaitez faire utiliser à votre NEMO parallèle un restart généré par un NEMO mono-processeur, alors il faut forcer une resoumission (ccc_msub) apres le 1er run de la simulation. Pour cela :
+      * mettre !PeriodNb=1 dans votre Job ; ccc_msub Job
+      * une fois le 1er run en machine, remettre !PeriodNb=48