---

Performances IPSLCM5A

2015

Pour les demandes d'heures 2015, voir les performances là : wiki:PerformancesIPSLCM6

2014

Mise à jour en septembre 2013.

Ressources disponibles

• Procédure nationale (tier 1) : ​https://www.edari.fr/
  • date limite : 18 octobre 2013
• Procédure Prace européenne (tier 0, curie et 6 autres machines) : ​http://www.prace-ri.eu/Call-Announcements?lang=en
  • date limite : 15 octobre 2013 pour allocations en mars 2014
• Exposé sur les ressources, fait à la réunion climat du LMD , 2/9/2013, slides​

Centre	Supercalculateurs	Estimation des ressources disponibles DARI 2013 (tier 1)	Prace (tier 0)
CINES	IBM Power7 - Yoda	1 150 000	-
	SGI ICE - Jade	95 920 000	-
IDRIS	IBM Noeuds larges - Ada	53 100 000	-
	IBM BG/Q - Turing	345 560 000	-
TGCC	Bull - Curie nœuds larges	9 930 000	28 000 000
	Bull - Curie nœuds fins	62 100 000	201 000 000
	Bull - Curie nœuds hybrides GPU	270 000	600 000

Dossier technique et mésocentre IPSL

Dossier technique pour les demandes d'heures 2014. En cours. Version 2 du 9/10/2013 : dossier technique IPSL​

A noter : l'audit de la chaine de calcul, cité dans le dossier technique, est disponible là : ​audit en pdf

Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. Il s'agit de l'ensemble CICLAD+CLIMSERV que nous avons identifié ainsi. N'hésitez pas à le citer dans votre demande d'heures.

---

Volume de résultats

Ce paragraphe de la documentation ? détaille les volumes produits par la configuration IPSLCM5A.

---

Performances :

---

IDRIS IBM - Ada

• La machine va un peu moins vite que curie.
• Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements.
• Rappel : il faut de l'ordre de 20 To sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

IPSLCM5A

Mesure consommation 10 ans pour résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
ada (IDRIS)	32 (5 océan + 26 atmosphère)	1000 s	36 h	36x32 = 1 200h

Mesure consommation 10 ans pour résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel	Temps à demander
ada	64 (16 océan + 1 oasis + 47 atm	1400 s	48 h	48x64 = 3 000h

LMDZOR

Ancienne physique résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	15 min	30 h	30x32 = 960h

Nouvelle physique NPv3 résolution 96x95x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	35 min	70 h	70x32 = 2240h

Ancienne physique résolution 144x142x39, estimation consommation 10 ans

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	30 min	62 h	62x32 = 2000h

Nouvelle physique NPv3 résolution 144x142x39, estimation consommation 10 ans, NB: temps avec iphysiq=5

machine	Nb CPU	Temps réel / mois	Temps réel total	Temps à demander
ada (IDRIS)	32	100 min	210 h	210x32 = 6700h

NEMO

ORCA2_LIM, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	1	3h	30h	30x1 = 30h

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	32	1h	10h	10x32 = 320h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	32	16 mn	2h40mn	2h40mnx32 = 85h

ORCA1_LIM3_L75, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	64	1h40	~17h	~1100h

ORCA025_LIM2_PISCES_L46, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
ada (IDRIS)	485 ( 437 ocean + 48 xios )	16h	160h	160x500 ~ 80000h

---

TGCC Bull curie

• Il faut bien préciser les besoins, en particulier en production :
  • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.

    > ccc_quota
    Disk quotas for user p86maf (uid 9920):
    
                 ------------------- SPACE --------------------  ------------------- INODE --------------------
     Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
     ----------       -----        ----        ----       -----     -------        ----        ----       -----
           home     543.34M          3G          3G           -           -           -           -           - 
        scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
           work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
          store           -           -           -           -     512.61k        550k        551k           - 
    
    Account scoring:
    ----------------
    Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
    store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
    
    Detailed inode count:
    Filesystem      type    cnt
    store           file    500099
    store           dir     11212
    store           symlink 1301
    

  • Demander plus de quotas si besoin, mais sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir.
  • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres. Bien préciser le nombre d'heures qui se feront en production avec le nombre de processeurs utilisés.

noeuds larges : post-traitement

• Les post-traitements se font sur curie noeuds larges. Il faut donc demander des heures sur noeuds larges pour le post-traitement et sur noeuds fins pour les calculs. On conseille de demander 10 % du nombre d'heures demandées sur noeuds fins.

noeuds fins : calculs

Mesure consommation 10 ans IPSLCM5A Résolution 96x95x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	32	900 s	30 h	1000 h	250 h

Mesure consommation 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2

machine	Nb CPU	Temps réel/mois	Temps réel/10 ans	Temps à demander sur noeuds fins	Temps à demander sur noeuds larges
curie	64	1200 s	40 h	2500 h	600 h

Estimation consommation 10 ans IPSLCM5A Résolution 280x280x39 - ORCA025

machine	Temps à demander sur noeuds fins
curie	50000 h

Détail du calcul de l'estimation pour le 280x280x39 - ORCA025:

• Grand challenge (sur CINES/jade) :
  • LMD 768x768x39 (2000 coeurs) - ORCA025 (70 coeurs) : équilibre entre temps océan et atmosphère.
  • Atm : temps de restitution : 10 ans en 15 jours sur 2000 CPUs = 700 000 h /10 ans pour Atm 768x768x39
  • 700 000 / (768/280)x(768/280)x(768/280(CFL)) = 35 000 h/10 ans pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 35 000 h x 2 = 70 000h/10 ans pour Atm 280x280x39 - ORCA025
• 10 ans IPSLCM5A Résolution 144x142x39 - ORCA2 = 2500h
  • ORCA2 = 10-20 % de IPSLCM5A
  • 2500 h pour 10 ans 144x142x39 = 2500h x ( 280/140) x (280/140) (280 x 140 (CFL)) = 20 000h pour Atm 280x280x39
  • IPSLCM5A = Atm + Oce = 20 000h x 2 = 40 000h/10 ans pour Atm 280x280x39 - ORCA025
• 1ere méthode : 70 000h, 2ème méthode : 40 000 h => estimation 50 000 h pour 10 ans.

Estimation LMDZOR 144x142x39

Estimation basée sur 3mois de simulation pour LMDZOR MR Ancien physique Choisnel donne : "1500H curie noeud fin / 10 ans de simulation". Pour nouvelle physique, prendre le même rapport que sur ada, disons fois 2.5.

NEMO

ORCA2_LIM_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	30mn	5h	5x32 = 160h

ORCA2_OFF_PISCES, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	32	14 mn	~2h30mn	2h30mnx32 ~ 80h

ORCA1_LIM3_PISCES_L75, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
curie	90 ( 80 ocean + 10 xios )	5h	50h	4500h

ORCHIDEE_OL

1/2 °, forcage CRU-NCEP, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel 10ans	Temps à demander
curie	64	~25min	~4h	4Hx64 ~ 300h

---

TGCC Bull curie noeuds hybrides

Pas d'utilisation à ce jour

Performances estimées

CINES : l'environnement des simulations IPSL n'est pas installé.

CINES IBM yoda

Pas de performances connues

CINES SGI jade

Grand challenge

NEMO (Drakkar)

ORCA025_LIM2_L46 (1442x1021x46) - rdt = 1440s, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~1h	~10h	10x856 ~ 8560h

ORCA025_LIM2_PISCES_CFC_L46 - rdt = 1440s, estimation consommation 10 ans

machine	Nb CPU	Temps réel / an	Temps réel total	Temps à demander
jade (IDRIS)	856	~7h	~70h	70x856 ~ 60000h

Config ORCA025.L75 (1442x1021x75)

Informations en provenance de JM Molines / Albanne Lecointre :

• Configuration :
  • NEMO 3.4/ LIM2 EVP
  • time_step=1080 sec
  • 592 cores
• Performances sur jade2 (prec Nehalem)
  • 1 an sans trends ni sortie de kztide : environ 3000 h cpu soit environ 5h elapsed; 1 an de sortie a 5 j : 204 Gb; 1an de moyennes : 77 Gb; restarts : 17 Gb ; soit total : 298 Gb ( 609 inodes/an)
  • 1 an avec trends et kztide : environ 3600 h cpu soit environ 6h elapsed; 1 an de sortie a 5 j : 277 Gb; 1an de moyennes : 90 Gb; restarts : 17 Gb ; soit total : 384 Gb ( 694 inodes/an )

Config ORCA012.L46 (4322x3059x46)

• NEMO 3.4/ LIM2 EVP
• time_step=360 sec
• 3000 cores
• 1 year : ~15 h elapsed time ; ~45 000 CPU hours (jade) ; Disk space for 1y, 5d output : 900 Gb

Config ORCA012.L75 (4322x3059x75)

• NEMO 3.4/ LIM2 EVP
• time_step=360 sec
• 3000 cores
• 1 year : ~22 h elapsed time ; ~65 000 CPU hours (jade) ; Disk space for 1y, 5d output : 1.5 Tb

Attention : pas d'environnement modipsl/libIGCM à ce jour.

IPSLCM5A : 96x95x39 - ORCA2

Mesure consommation 10 ans

machine	Nb CPU	Temps réel	Temps à demander
jade	32	60h	1920 h

IDRIS BlueGene Turing

Pas encore de test sur cette nouvelle machine. Il serait utile d'avoir des heures pour faire des tests avec LMDZ (dyn3dmem).

2013

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2012

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.

2010

Informations supprimées. Voir l'historique des changements pour les retrouver si besoin.