Travailler sur Vargas

Index/Environnement de Calcul/Vargas

Environnement minimum sur vargas

Il faut avoir accès à :

• subversion :

  module load svn 
  

• fcm :

  export PATH=/homegpfs/rech/psl/rpsl035/FCM/bin:$PATH 
  

Chemin vers certains utilitaires plus à jour :

/opt/freeware/bin/ls

On trouvera aussi la commande stat dans ce répertoire.

Commandes de gestion de Jobs sur vargas et sur ulam

• La limite de temps dans les jobs se compte en temps réel. 1h sur 32 procs compte pour 32h. Attention à ne pas avoir trop de temps sur 1 processeur.
• llsubmit --> soumissions de job
• llcancel --> suppression de job
• llq -u login --> indique tous les jobs en queue ou running pour login
• Qstat --> ses propres jobs avec des informations un peu plus complètes
• Qstat -a --> les informations des jobs de tous les utilisateurs
• Astuce : paramétrer l'affichage de llq pour avoir les noms de jobs : llq -u $(whoami) -f %jn %id %st %c %dq %h
• Post-mortem : jar , jar -l #jobid#, pour avoir le lendemain du job les informations détaillées : mémoire, temps réel, efficacité, ...

Compilation

N'oubliez pas de verifier que votre PATH contient bien le path pour l'outil FCM : /homegpfs/rech/psl/rpsl035/FCM/bin .
Plus d'infos ​là.

Comment choisir le nombre de processus demandés ?

La méthode de parallélisation de LMDZ impose la règle suivante : il faut au moins 3 bandes de latitude par processus Si vous avez choisi un trop grand nombre de processus la simulation s'arrête avec le message suivant :

Arret : le nombre de bande de lattitude par process est trop faible (<2).
  ---> diminuez le nombre de CPU ou augmentez la taille en lattitude

Pour modifier le nombre de processus il faut changer la valeur de la variable JobNumProcTot dans config.card AVANT de lancer la commande ins_job.

Les post-traitement

Les post-traitements se font sur la machine de l'IDRIS : Ulam

Compiler IPSLCM5A

• Depuis le 8 décembre 2011, le couplé IPSLCM5A est prêt pour être compilé directement sur vargas.

Faire une simulation avec le modèle IPSLCM5A

• Repérer un état initial à utiliser :
  • Attention : create_etat0_limit ne fonctionne pas actuellement sur vargas. Il est compilé en parallèle (pour gagner du temps) et l'executable tourne sur le nombre de procs demandé par le job : 32 (ou 16). Comme ce n'est pas prévu dans ce0l, il s'arrête. Il faut donc partir d'un état initial créé autrement : autre simulation, ce0l executé ailleurs, par exemple sur brodie.
• Il faut également utiliser la commande adéquate de lancement. Décommenter la ligne suivante et supprimer l'ancienne valeur de JobRunOptions dans config.card :

  JobRunOptions='"-pgmmodel MPMD -cmdfile"'
  

• On recommande de faire les rebuild sur aulam depuis les répertoires d'archive. Mettre dans config.card :

  RebuildFromArchive=true
  

Spécificités libIGCM sur vargas

Comment refaire une simulation et avoir exactement les mêmes résultats?

Attention pour reproduire exactement la même simulation, sur vargas, il faut utiliser le même fichiers Bands d'équilibrage des calculs.

Voir COMP/lmdz.card.

Qu'est-ce que c'est que ce répertoire POSTPONE?

Qu'est-ce que c'est que ce répertoire POSTPONE qui est apparu dans mon répertoire de soumission sur vargas?
La machine ulam peut être arrêtée alors que votre job tourne sur vargas. Dans ces cas-là, les jobs de post-traitement ne peuvent pas être soumis. Le répertoire POSTPONE est là pour les garder au chaud ; lors de la prochaine soumission de jobs de post-traitement, les anciens travaux de post-traitements seront soumis en les prenant dans ce répertoire.