Performances IPSL-CM6

Cette page liste quelques performances mesurées et estimées du modèle IPSL-CM6. Il rappelle également les ressources calcul disponibles au niveau national et les dates clés.

Dernière modifications

• Préparation appel A16 et allocation complémentaire A15: date limite 7 février 2024 à minuit
  • Ressources disponibles
  • Performances des configurations IPSL sur irene (skl et amd) et jeanzay

Prochains appels Prace

Voir : ​https://prace-ri.eu/hpc-access/calls-for-proposals/

Demandes d'heures A16 : date limite 7 février 2024 minuit

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A16 (et pour des demandes complémentaires A15) est ouvert jusqu’au 7 février à minuit pour une utilisation de début mai 2024 à fin avril 2025 pour A16.

Pour les allocations A16 sont disponibles :

Centre	Machine	Description	Heures disponibles
IDRIS	Jean Zay GPU	HPE CSL + V100	1 875 084
IDRIS	Jean Zay GPU	HPE CSL + A100	735 000
IDRIS	Jean Zay CPU	HPE CSL	18 684 000
TGCC	Joliot-Curie Irene SKL	Bull Skylake	186 696 000
TGCC	Joliot-Curie Irene AMD	Bull	714 208 000
TGCC	Joliot-Curie Irene v100	Bull	244 000
CINES	Adastra Genoa CPU	HPE AMD	255 442 000
CINES	Adastra MI250 GPU	HPE AMD	3 528 000

Nous n'utilisons pas de GPU en production. La chaîne de calcul n'est pas disponible sur les calculateurs du CINES.

Performances juin 2020

Tableau des performances sur Irene-SKL

Configuration	Nb total de coeurs	Nn années simulées/jour	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSL-CM6.2-MR1	1200	8.8	28 h	33 600 h
IPSL-CM6.2-MR025	4720	11	22 h	103 900 h
IPSL-CM6.1.11-LR	976	16	15 h	14 800 h
IPSL-CM5A2-VLR	437	95	2.5h	1 200 h
eORCA1-LIM3-PISCES	433 ( 432 nemo + 1 xios )	20	12 h	5 200 h
LMDZOR_v6.1.10-LR	576	20	12 h	7 000 h

Tableau des performances sur Irene-AMD

Configuration	Nb total de coeurs	Nn années simulées/jour	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSL-CM6.1.11-LR	1952 (dépeuplement x 2)	24	10 h	20 000 h
IPSL-CM5A2-VLR	604	97	2.5h	1 500 h
eORCA1-LIM3-PISCES	640 ( 502 nemo + 1 xios noeud dédié )	23.5	10.2h	6600
eORCA025-LIM3-PISCES	3064 nemo dépeuplement x 2 + 32 xios dépeuplement x 16 )	7.2	34h	230000 h
LMDZOR_v6.1.10-LR	1136 (dépeuplement x 2)	25	10 h	11 000 h

Tableau des performances sur JeanZay

Configuration	Nb total de coeurs	Nn années simulées/jour	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSL-CM6.1.11-LR	1071	24	10 h	10 800 h
IPSL-CM5A2-VLR	399	93	2.6h	1 100 h
eORCA1-LIM3-PISCES	428	40	6 h	2 600 h
LMDZOR_v6.1.10-LR	711	23	10.5 h	7 500 h

Demandes d'heures A14 : date limite 14 février 2023 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A14 (et pour des demandes complémentaires A13) est ouvert jusqu’au 14 février à 11h pour une utilisation de début mai 2023 à fin avril 2024 pour A14.

Pour les allocations A14 sont disponibles :

Centre	Machine	Description	Heures disponibles
IDRIS	Jean Zay GPU	HPE CSL + V100	6 370 000
IDRIS	Jean Zay GPU	HPE CSL + A100	775 480
IDRIS	Jean Zay CPU	HPE CSL	145 743 000
TGCC	Joliot-Curie Irene SKL	Bull Skylake	144 360 000
TGCC	Joliot-Curie Irene AMD	Bull	577 954 000
TGCC	Joliot-Curie Irene v100	Bull	296 000
CINES	Adastra Genoa CPU	HPE AMD	243 076 000
CINES	Adastra MI200 GPU	HPE AMD	3 363 000

Nous n'utilisons pas de GPU en production. A noter le retour des heures CINES sur la nouvelle machine Adastra.

Demandes d'heures A13 : date limite 9 septembre 2022 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A13 (et pour des demandes complémentaires A12) est ouvert jusqu’au 9 septembre 2022 à 11h pour une utilisation de début novembre 2022 à fin octobre 2023 pour A13.

Pour les allocations A13 sont disponibles :

Centre	Machine	Description	Heures disponibles
IDRIS	Jean Zay GPU	HPE CSL + V100	5 740 000
IDRIS	Jean Zay CPU	HPE CSL	155 334 000
TGCC	Joliot-Curie Irene SKL	Bull Skylake	189 096 000
TGCC	Joliot-Curie Irene KNL	Bull Knights Landing	63 724 000
TGCC	Joliot-Curie Irene AMD	Bull	638 081 000
TGCC	Joliot-Curie Irene v100	Bull	290 000
CINES	Adastra MI200	HPE AMD	3 059 000

Nous n'utilisons à priori pas Irene KNL et GPU, Jean Zay GPU (sauf pour ceux qui veulent tester!). A noter le retour des heures CINES sur la nouvelle machine Adastra.

Demandes d'heures A11 : date limite 3 septembre 2021 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A11 (et pour des demandes complémentaires A10) est ouvert jusqu’au 3 septembre 2021 à 11h pour une utilisation du 1er nov 2021 au 31 octobre 2022.

Pour les allocations A11 sont disponibles :

Centre	Machine	Description	Heures disponibles
IDRIS	Jean Zay GPU	HPE CSL + V100	4 735 000
IDRIS	Jean Zay CPU	HPE CSL	155 510 000
TGCC	Joliot-Curie Irene SKL	Bull Skylake	150 710 000
TGCC	Joliot-Curie Irene KNL	Bull Knights Landing	141 123 000
TGCC	Joliot-Curie Irene AMD	Bull	631 392 000
TGCC	Joliot-Curie Irene v100	Bull	306 000

Nous n'utilisons à priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!). A noter qu'il n'y a pas d'heures sur Occigen (CINES) sur cet appel à projets car la machine est en renouvellement.

Demandes d'heures A10 : date limite 7 septembre 2020 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A9 (et pour des demandes complémentaires A8) est ouvert jusqu’au 12 février 2021 à 10h pour une utilisation du 1er mai 2021 au 30 avril 2022.

Pour les allocations A10 sont disponibles :

Centre	Machine	Description	Heures disponibles
CINES	Occigen	Bull noeuds fins 24-core/28-core	xxx
IDRIS	Jean Zay GPU	HPE CSL + V100	xxx
IDRIS	Jean Zay CPU	HPE CSL	xxx
TGCC	Joliot-Curie Irene SKL	Bull Skylake	xxx
TGCC	Joliot-Curie Irene KNL	Bull Knights Landing	xxx
TGCC	Joliot-Curie Irene AMD	Bull	xxx
TGCC	Joliot-Curie Irene v100	Bull	xxx

Nous n'utilisons a priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!).

Demandes d'heures A8 : date limite 7 février 2020 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A8 (et pour des demandes complémentaires A7) est ouvert jusqu’au 7 février 2020 à 11h pour une utilisation du 1er mai 2020 au 30 avril 2021.

Pour les allocations A8 sont disponibles :

Centre	Machine	Description	Heures disponibles	Début de l'allocation	Fin de l'allocation
CINES	Occigen	Bull noeuds fins 24-core/28-core	214382000	1 mai 2020	30 avr. 2021
IDRIS	Jean Zay GPU	HPE CSL + V100	1282000	1 mai 2020	30 avr. 2021
IDRIS	Jean Zay CPU	HPE CSL	148740000	1 mai 2020	30 avr. 2021
TGCC	Joliot-Curie Irene SKL	Bull Skylake	79342000	1 mai 2020	30 avr. 2021
TGCC	Joliot-Curie Irene KNL	Bull Knights Landing	62474000	1 mai 2020	30 avr. 2021
TGCC	Joliot-Curie Irene AMD	Bull	312550000	1 mai 2020	30 avr. 2021
TGCC	Joliot-Curie Irene v100	Bull	313000	1 mai 2020	30 avr. 2021

Nous n'utilisons a priori pas Irene KNL et Jean Zay GPU (sauf pour ceux qui veulent tester!).

Performances janvier 2020

Tableau des performances sur Irene

Configuration	Nb total de coeurs	Nn années simulées/jour	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSL-CM6.2-MR1	1200	8.8	28 h	33 600 h
IPSL-CM6.2-MR025	4720	11	22 h	103900 h
IPSL-CM6.1.11-LR	976	16	15 h	14 800 h
IPSL-CM5A2-VLR	437	95	2.5h	1 200 h
eORCA1-LIM3-PISCES	433 ( 432 nemo + 1 xios )	20	12 h	5 200 h
LMDZOR_v6.1.10-LR	576	20	12 h	7 000 h

Tableau des performances sur JeanZay?

Configuration	Nb total de coeurs	Nn années simulées/jour	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSL-CM6.1.11-LR	1071	24	10 h	10 800 h
IPSL-CM5A2-VLR	399	93	2.6h	1 100 h
eORCA1-LIM3-PISCES	428	40	6 h	2 600 h
LMDZOR_v6.1.10-LR	711	23	10.5 h	7 500 h

Demandes d'heures A7 : date limite 9 septembre 2019 10h

Pour les allocations A7 sont disponibles :

Centre	Machine	Description	Heures disponibles	Début de l'allocation	Fin de l'allocation
CINES	Occigen	Bull noeuds fins 24-core/28-core	214382000	1 nov. 2019	31 oct. 2020
IDRIS	Jean Zay GPU	HPE CSL + V100	1282000	1 nov. 2019	31 oct. 2020
IDRIS	Jean Zay CPU	HPE CSL	148740000	1 nov. 2019	31 oct. 2020
TGCC	Joliot-Curie	Irene SKL Bull Skylake	85693000	1 nov. 2019	31 oct. 2020
TGCC	Joliot-Curie	Irene KNL Bull Knights Landing	56244000	1 nov. 2019	31 oct. 2020
TGCC	Joliot-Curie	Irene AMD Bull	312550000	1 mars 2020	31 oct. 2020

Performances janvier 2019 sur irene

Tableau des performances NEMO sur Irene

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
eORCA1-LIM3-PISCES	433 ( 432 nemo + 1 xios )	12 h	5 200 h
eORCA025-LIM3	1 302 ( 1 295 nemo + 7 xios )	40 h	52100 h
eORCA025-LIM3-PISCES	1 302 ( 1 295 nemo + 7 xios )	130 h	170000 h
eORCA025-LIM3-PISCES-CRS	860 ( 853 nemo + 7 xios )	84 h	73 000 h

Tableau des performances IPSLCM5A2

IPSLCM5A2: chiffrages fournis par Pierre Sepulchre, 25 juillet 2018.

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSLCM5A2	32x8 (LMDZ) + 60 (NEMO) +1 = 317 soit 7 noeuds 336 coeurs	3.09 h	1 040 h

Tableau des performances IPSLCM6-LR

Mesures janvier 2019 :

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
IPSL-CM6.1.8-LR	960	18 h	18 000 h	avec workflow CMIP6, 5 000 s par an avec une marge

A noter : l'équilibrage des charges sur Irene est excellent. Il est obtenu avec la même configuration que sur curie : 71 tâches MPI et 8 OpenMP pour LMDZ, 360 tâches MPI pour NEMO et 12 tâches pour XIOS.

Tableau des performances IPSLCM6-LR atmosphère/surfaces continentales

Mesures janvier 2019 : chiffrages fournis par A. Sima (estimations à partir de RFMIP et AMIP)

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
IPSL-CM6.1.8-LR	576 = 71 x 8 (LMDZ) + 1 (XIOS)	12 h	7 000 h	workflow CMIP6, sorties mensuelles
IPSL-CM6.1.8-LR	624 = 71 x 8 (LMDZ) + 12 x 3 (XIOS)	53 h	33 000 h	workflow CMIP6, max de sorties (inst, 3hr, station, etc ...)

Tableau des performances IPSLCM6-MR1 : LMDZ 256x256x79-eORCA1

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
IPSL-CM6.1.8-MR1	1 200	27 h	32 000 h	avec sorties très limitées, 9 655 s par an avec une marge, moyenne sur 250 ans de run sur Irene

A noter : ceci est obtenu avec : 128 tâches MPI et 8 OpenMP pour LMDZ, 171 tâches MPI pour NEMO et 1 tâche pour XIOS.

Tableau des performances IPSLCM6-HR atmosphère seule

Mesures issues de HighResMIP, avec Workflow CMIP6.

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
CM6.1-ATM-H	2 512 (180*12 + 44*8)	75 h	200 000 h	avec workflow CMIP6, mesuré sur la simulation CM6.1-ATM-HR-highresSST-present.4

Tableau des performances LMDZORINCA_v6

Les informations sont disponibles ​ici

Tableau des performances ORCHIDEE offline sur Irene

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
Offline historique, forçage 2 degree global	32 ( 31 orchidee + 1 xios )	1h	32h
Offline historique, forçage 0.5 degree global	64 ( 63 orchidee + 1 xios )	7h	450h

Document technique 2019

Voir là le dossier technique mis à jour le 10/1/2019 pour inclure IPSLCM6-LR en production sur Irene : dossier technique IPSL en pdf ​ et dossier technique IPSL en doc​

Logiciels demandés

Documents 2017 toujours valables

• logiciels demandés sur curie et sur irene ​
• logiciels demandés sur ada ​

Pour ada

Les performances reprises ici sont celles de 2017 valables pour ada'''

Configuration	Océan				Atmosphère				Nb OpenMP atm	Nb MPI atm		Nb MPI oce		Nb IO server		Nb total de coeurs	Commentaire
IPSL-CM6.0.10-LR	362	332	75		144	143	79		8	71		480		1		(1 049) 1 056	Mesuré
IPSL-CM6-MR/eORCA1	362	332	75		256	256	79		8	128		220		1		(1 245) 1 248	Mesure août 2017 sur ada
IPSL-CM6-MR/eORCA025	1442	1207	75		256	256	79		8	128		1295		1		1 024 + 1 295 = 1645	Estimation 2017
IPSL-CM6-HR / atmosphère seule					512	360	79		8	180				1		1 441 (1 472)	Estimation 2017

Tableau des performances IPSL-CM6

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
IPSL-CM6.0.10-LR	1 056	19 h	21 500 h	Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus
IPSL-CM6-MR/eORCA1	1 248	42 h	55 000 h	Mesure sur ada inclus +5% post-traitement
IPSL-CM6-MR/eORCA025	1 648	140 h	238 000 h	Estimation 2017
IPSL-CM6-HR /atmosphère seule	1 472	100 h	155 000 h	Estimation 2017

Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) :

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSLCM5A2	304	5.9 h	1 800 h

Tableau des performances LMDZOR_v6

Configuration	Résolution	Nb total de coeurs	Nb coeurs facture	Temps réel pour 10 ans	Temps à demander pour 10 ans	Comment
LMDZOR_v6	144x142x79	569 (71 mpi*8omp gcm) +1mpi xios	576	17 h	11 000 h	Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé
LMDZOR_v6	256x256x79	1 024 (124mpi*8omp gcm) +1mpi xios		34 h	40 000 h	Mesure sur ada inclus +5% post-traitement

Tableau des performances LMDZORINCA_v6

Configuration	Résolution	Nb total de coeurs	Nb coeurs facture	Temps réel pour 10 ans	Temps à demander pour 10 ans	Comment
LMDZORINCA_v6 AER	144x142x79	377 (47mpi*8omp gcm) + 1 mpi xios	384	87h	34 000 h	temps calculé avec LMDZORINCA_v6.0.11
LMDZORINCA_v6 NMHC_AER	96x95x39	129 (32mpi*4 omp gcm) + 1 mpi xios	144	51h	7 500 h	temps calculé avec LMDZORINCA_v6.0.11

Tableau des performances NEMO

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
eORCA1-LIM3-PISCES	512 ( 496 nemo + 16 xios )	14 h	7 200 h
eORCA1-OFF-PISCES	498 ( 496 nemo + 2 xios )	4 h	2 000 h

Tableau des performances DYNAMICO

Demandes d'heures A5 : date limite 22 août 2018 11h

Voir : ​https://www.edari.fr/

L’appel à projets pour l’allocation A5 (et pour des demandes complémentaires A4) est ouvert jusqu’au mercredi 22 août 2018 à 11h. Un peu plus de 600 millions d’heures de calcul sont disponibles dans le cadre de l’allocation A5, pour une utilisation du 1er novembre 2018 au 31 octobre 2019.

Pour obtenir une allocation d’heures à l'IDRIS, les porteurs de projets sont invités à chiffrer leurs besoins sur 1 an en heures équivalentes ada (ou Turing). Les allocations seront sur 1 an, sur les 2 machines successivement en tenant compte du ratio retenu.

Pour les allocations A5 sont disponibles :

• 63,6 millions d’heures sur irene Skylake
• 66,9 millions d'heures sur Irene KNL ===> que nous n'utiliserons pas a priori
• 25,4 millions d’heures sur ada
• 264 millions d'heures sur Turing ===> que nous n'utilisons pas
• 215 millions d’heures sur occigen

Pour les extensions des projets A4 pour 6 mois : novembre 2018 à avril 2019, sont disponibles :

• 3,6 millions d’heures sur ada
• 24 millions d’heures sur occigen
• 15,6 millions d’heures sur irene Skylake

L’appel à projets pour l’allocation A6 sera ouvert dans 6 mois pour une allocation à partir de mai 2019.

Argumentaire pour une allocation dédiée pour fin 2018-2019-2020-2021

Modélisation globale

Les projets CMIP5 et CMIP6 ont chacun généré une intense activité de développement du modèle de climat de l'IPSL suivie d'une période de production de simulations de référence. Il y a en effet nécessité de concentrer l'essentiel de la production CMIP sur une période bornée dans le temps de manière à suivre le calendrier international et à réaliser un ensemble complet de simulations climatiques avec une version donnée du modèle (DECK et MIPs en ce qui concerne CMIP6). Par contre, avoir des périodes de développement de modèle trop concentrées dans le temps n'apparaît pas comme un mode de fonctionnement idéal. Cela génère des risques par rapport au calendrier international, une absence de recul sur certains choix effectués, et du stress pour les équipes travaillant sur le modèle. Il nous semble plus approprié de garder un fond d'activité de développement de modèle entre deux projets CMIP de manière à lisser dans le temps l'évolution du modèle de climat (qui ne doit pas être seulement vu comme la juxtaposition de ses composantes atmosphérique, océanique, et continentale). De plus, il est important de pouvoir documenter les évolutions du modèle et attribuer ses changements de propriétés à des changements de paramétrisations ou de résolution. Cette vision est aussi celle du Working Group on Climate Modelling qui a conçu les expériences de référence du DECK de manière à ce qu'elles puissent être menées régulièrement (Eyring et al., 2016) :

The persistence and consistency of the DECK will make it possible to track changes in performance and response characteristics over future generations of models and CMIP phases. Although the set of DECK experiments is not expected to evolve much, additional experiments may become enough well established as benchmarks (routinely run by modelling groups as they develop new model versions) so that in the future they might be migrated into the DECK. The common practice of including the DECK in model development efforts means that models can contribute to CMIP without carrying out additional computationally burdensome experiments. All of the DECK and the historical simulations were included in the core set of experiments performed under CMIP5 (Taylor et al., 2012), and all but the abrupt-4×CO2 simulation were included in even earlier CMIP phases.

Nous envisageons à l'issu du projet CMIP6 de développer 3 versions du modèle IPSL-CM par an de manière à intégrer les développements effectués à tour de rôle par les composantes, comme le CO2 atmosphérique interactif, le cycle de l'azote, le changement de coeur dynamique (DYNAMICO en lieu de l'ancienne dynamique atmosphérique), etc... Nous savons par expérience qu'une nouvelle version coûte en moyenne environ 2000 années de simulations (par ex. 20 tests techniques de 1 an, 9 tests atmosphériques de 20 ans, 9 tests couplés de 100 ans, et 2 tests couplés de 200 ans pour ajuster un certain nombre de paramètres atmosphériques et océaniques et un spin-up de 500 ans). Plusieurs tests longs sont nécessaires car certaines propriétés émergentes du système (THC, biais de l'océan profond) mettent longtemps à se manifester. Les tests techniques englobent ce qui était fait historiquement dans le projet "gen0926/rpsl" qui s’intitule "Développement du système couplé IPSL et partage de données".

Il nous semble également approprié de réaliser un DECK par an (soit un toutes les 3 versions du modèle). Un DECK requiert un supplément d'environ 1000 années de simulations (500 ans de piControl, 150 ans de abrupt4co2, 150 ans de 1pctco2, 165 ans de historical et 35 ans d'AMIP).

Cela fait donc un total de 7000 années de simulation IPSL-CM6 par an, soit 14 millions d'heures équivalent curie en résolution LR, et 52 millions d'heures en résolution MR. On envisage aussi 100 années de simulations en HR d'ici à 2021, soit 30 millions d'heures.

Certaines expériences liées à CMIP6 nécessitent en outre une réactualisation régulière des expériences. Un des volets du protocole est lié aux expériences de prévision décennnale (DCPP), il implique ainsi de répéter les expériences de prévision chaque année. Il s'agit de tirer partie de l'année écoulée pour pouvoir actualiser les conditions initiales des prévisions, et donc reculer d'une année l'échéance de prévision. Le protocole DCPP devient donc plus continu. Cela implique 10 simulations de 10 ans à produire chaque année, soit 100 ans / année. Cependant, selon le type d'anomalies climatiques détectées dans les prochaines années, le protocole d'initialisation développé dans le cadre de CMIP6 au vu des anomalies moyennes des 60 dernières années pourrait nécessité d'être revu, et ce afin d'optimiser en continu les prévisions futures. Cela impliquera une nouvelle simulation de construction des états initiaux (60 années) et une nouvelle série de prévisions rétrospectives (30 dates de prévision * 5 membres * 10 ans = 1500 années de simulations), indispensables pour débiaiser la prévision future. A cause de ce coût, cette réévaluation de la procédure d'initialisation des prévision ne sera envisagée qu'une fois au cours des 3 prochaines années L'aspect semi-opérationnel du volet B du "Decadal Climate Prediction Project" implique donc 1500 + 60 + 100*3 = 1860 années de simulations à répartir sur les 3 prochaines années (soit 100, 100 et 1660 années en 2019-2020-2021, correspondant à 0,2, 0,2 et 3,3 millions d'heures en résolution LR).

Modélisation régionale

En parallèle du développement des versions successives du modèle IPSL-CM6, la régionalisation des simulations CMIP5/CMIP6 se poursuit dans le cadre de Copernicus. Cela correspond à xxx simulations de xxx années à la résolution xxx, soit 5 millions d'heures équivalent curie par an.

Allocation pluri-annuelle dédiée fin 2018-2019-2020-2021

Sauf mention contraire, toutes les heures sont des heures équivalent curie. La conversion en heures curie-2 n'est pas encore connue pour les modèles IPSL-CM6 et WRF mais on peut utiliser un facteur 2 pour obtenir une première estimation.

Dans le cadre de l'infrastructure CLIMERI-France, nous avons besoin d'une allocation pluri-annuelle offrant la visibilité requise et permettant de réaliser :

• 7000 années IPSL-CM6 par an, soit 14 millions d'heures pour le LR et 52 millions pour le MR
• 1860 années IPSL-CM6-LR réparties sur 3 ans (2019-2021) pour la prévision décennale
• des simulations "opérationnelles" CORDEX-Europe, pour 5 millions heures.

Nous demandons donc sur la machine curie-2 une allocation dédiée de :

• 4 millions d'heures pour le dernier trimestre 2018 (trusting, 1/4 du LR)
• 38 millions d'heures pour 2019 (trusting, 1/2 LR + 1/2 MR, décennal en LR, CORDEX)
• 57 millions d'heures pour 2020 (trusting, MR, décennal en LR, CORDEX)
• 91 millions d'heures pour 2021 (trusting, MR, réinitialisation du décennal en LR, CORDEX, HR)

soit 2, 19, 29 et 46 millions d'heures curie-2.

En parallèle, nous chiffrons des besoins de stockage de l'ordre de

• xxx Po

Simulations hors allocation multi-annuelle dédiée faisant l'objet de demandes DARI ou PRACE

L'allocation dédiée évoquée ci-dessus n'a pas vocation à couvrir tous les besoins de l'IPSL. Les activités suivantes doivent continuer à faire l'objet de demandes DARI ou PRACE:

• Développement des composantes
• Projets scientifiques
• Run démo à très haute résolution
• ...

Nous savons d'expérience que les besoins en calcul évoluent par pallier à chaque projet CMIP, ce qui nous permet d'anticiper des besoins totaux de l'ordre de 100 millions d'heures équivalent curie à compter de 2019 qui viendront compléter la demande d'allocation dédiée (soit des demandes agrégées de l'ordre de xx millions d'heures pour DARI et PRACE au niveau de l'activité climat de l'IPSL).

Performances et estimations 2017

Voir là le dossier technique mis à jour le 2/8/2017 : dossier technique IPSL en pdf ​ et dossier technique IPSL en doc​

Les performances suivantes sont pour curie et ada.

Logiciels demandés, septembre 2017

• logiciels demandés sur curie ​
• logiciels demandés sur ada ​

Résolutions 2017 et future

Configuration	Océan				Atmosphère				Nb OpenMP atm	Nb MPI atm		Nb MPI oce		Nb IO server		Nb total de coeurs	Commentaire
IPSL-CM6.0.10-LR	362	332	75		144	143	79		8	71		480		1		(1 049) 1 056	Mesuré
IPSL-CM6-MR/eORCA1	362	332	75		256	256	79		8	128		220		1		(1 245) 1 248	Mesure août 2017 sur ada
IPSL-CM6-MR/eORCA025	1442	1207	75		256	256	79		8	128		1295		1		1 024 + 1 295 = 1645	Estimation 2017
IPSL-CM6-HR / atmosphère seule					512	360	79		8	180				1		1 441 (1 472)	Estimation 2017

Tableau des performances IPSL-CM6

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Commentaire
IPSL-CM6.0.10-LR	1 056	19 h	21 500 h	Mesuré sur CM6010.2-LR-pdCtrl-01, +5% post-traitement inclus
IPSL-CM6-MR/eORCA1	1 248	42 h	55 000 h	Mesure sur ada inclus +5% post-traitement
IPSL-CM6-MR/eORCA025	1 648	140 h	238 000 h	Estimation 2017
IPSL-CM6-HR /atmosphère seule	1 472	100 h	155 000 h	Estimation 2017

Sans oublier IPSLCM5A2, chiffrage pour tenir compte des pas de temps réduits pour paléo (2 mn pour dynamique LMDZ et 1h20 pour NEMO) :

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSLCM5A2	304	5.9 h	1 800 h

Tableau des performances LMDZOR_v6

Configuration	Résolution	Nb total de coeurs	Nb coeurs facture	Temps réel pour 10 ans	Temps à demander pour 10 ans	Comment
LMDZOR_v6	144x142x79	569 (71 mpi*8omp gcm) +1mpi xios	576	17 h	11 000 h	Revu avec temps type IPSLCM6.0.10, ajouter 5% pour simulation guidé
LMDZOR_v6	256x256x79	1 024 (124mpi*8omp gcm) +1mpi xios		34 h	40 000 h	Mesure sur ada inclus +5% post-traitement

Tableau des performances LMDZORINCA_v6

Configuration	Résolution	Nb total de coeurs	Nb coeurs facture	Temps réel pour 10 ans	Temps à demander pour 10 ans	Comment
LMDZORINCA_v6 AER	144x142x79	377 (47mpi*8omp gcm) + 1 mpi xios	384	87h	34 000 h	temps calculé avec LMDZORINCA_v6.0.11
LMDZORINCA_v6 NMHC_AER	96x95x39	129 (32mpi*4 omp gcm) + 1 mpi xios	144	51h	7 500 h	temps calculé avec LMDZORINCA_v6.0.11

Tableau des performances NEMO eORCA025

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
eORCA1-LIM3-PISCES	512 ( 496 nemo + 16 xios )	14 h	7 200 h
eORCA1-OFF-PISCES	498 ( 496 nemo + 2 xios )	4 h	2 000 h
eORCA025-LIM3	1 302 ( 1 295 nemo + 7 xios )	50 h	75 000 h
eORCA025-LIM3-PISCES	1 302 ( 1 295 nemo + 7 xios )	140 h	200 000 h

Tableau des performances DYNAMICO

Concernant le coût de DYNAMICO : les estimations dont je dispose sont basées sur des simus aquaplanètes ancienne physique à résolution modérée, mais elles indiquent que :

• la partie dynamique n’est pas plus chère que LMD-Z (elle était moins chère il y a 2-3 ans mais Yann a amélioré LMD-Z depuis donc la différence n’est peut-être pas énorme)
• mais elle est plus scalable

Sachant que la physique est la même, une approche prudente consiste à estimer la consommation totale comme comparable à celle de LMD-Z, avec un gain à attendre sur le nombre d’années/jours en mettant plus de CPUs.

Thomas

Exposé DARI 2017

5. Millour a présenté au LMD la campagne DARI 2017. Voir exposé en pdf​

Ressources calcul disponibles en 2017

• Procédure nationale (tier 1) : ​https://www.edari.fr/
  • Attention au changement de calendrier et de procédure.
  • Note de cadrage 2017 : ​http://www.genci.fr/sites/default/files/Courrier-cadrage-campagne-genci.pdf
  • Date limite : entre le 3 et le 30 octobre 2016
  • A1 : 10 mois de 1/1/2017 à 31/10/2017, suivi de A3 en novembre 2017
  • A2 : 16 mois sur ada et occigen, de 1/1/2017 à 30/4/2018, suivi de A4 en mai 2018. rien sur curie car attente de curie2.
  • il faut faire sa demande en A1 ou A2 mais chiffrer le cas où on serait transféré de l'un à l'autre
  • bien préciser sur quelle machine vous pouvez travailler : l'environnement IPSL libIGCM n'est pas fait pour Occigen

		Estimation des ressources disponibles	Estimation des ressources disponibles
Centre	Supercalculateurs	DARI 2017 - A1	DARI 2017 - A2
CINES	Bull - Occigen	239 455 000	313 468 000
IDRIS	IBM Noeuds larges - Ada	31 134 000	40 757 000
	IBM BG/Q - Turing	303 217 000	396 939 000
TGCC	Bull - Curie nœuds fins	201 376 000	-

• Procédure européenne ie Prace. Date limite le 21 novembre 2016. Voir : ​http://www.prace-ri.eu/prace-project-access/

Tableau : PRACE systems available in this Call:

System	Architecture	Site (Country)	Core Hours	Node Hours
Curie	Bull Bullx cluster	GENCI@CEA (FR)	113 million	7 million
Hazel Hen	Cray XC40 System	GCS@HLRS (DE)	57 million	2.4 million
Juqueen	IBM BlueGene/Q system	GCS@JSC (DE)	350 million	4.6 million
Marconi	Lenovo System	CINECA (IT)	630 million (KNL)	9.2 million
			35 million (Broadwell)	1 million
MareNostrum	IBM System X iDataplex	BSC (ES)	316 million	T.B.D.
Piz Daint	Cray XC30 System	CSCS (CH)	476 million	7 million
SuperMUC	IBM System X iDataplex/ Lenovo NextScale	GCS@LRZ (DE)	30 million (SuperMUC 1)	1.9 million
			14 million (SuperMUC 2)	0.5 million

Projet gencmip6

Voir détails des ressources pour le projet CMIP6 à l'IPSL en fin de page.

Mésocentre IPSL

Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW.

Projet 0826

Le projet 0826, intitulé : "Développement du système couplé IPSL et partage de données." demande un petit peu d'heures sur toutes les machines disponibles et les espaces nécessaires pour les données partagées. Si vous voulez tester une machine : turing ou occigen, par exemple, n'hésitez pas à demander à en faire partie. contact MA Foujols.

Mais aussi à l'UPMC/SU

• des calculateurs et des services : ​http://asclepios.dsi.upmc.fr/wp/

Dossier technique

Dossier technique pour les demandes d'heures 2017. Avec les performances IPSLCM6. Version 1 du 6/10/2016 : dossier technique IPSL en pdf ​ et dossier technique IPSL en doc​

Performances estimées 2016 :

Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres.

IPSLCM6 2016

Les performances ci-dessous sont fait a base des modèles en aout 2016.

Tableau des résolutions

Configuration	Océan				Atmosphère				Nb OpenMP atm	Nb MPI atm		Nb MPI oce		Nb IO server		Nb total de coeurs
IPSLCM5A2 (idem IPSLCM5A-LR CMIP5)	182	142	31		96	95	39		8	32		45		1		304
IPSLCM5A2-chimie	182	142	31		96	95	39		8	32		45		1		304
IPSLCM6-LR	362	332	75		144	142	79		8	47		180		1		(557) 560
IPSLCM6-LR et aérosols interactifs	362	332	75		144	142	79		8	47		180		1		560
IPSLCM6-MR	362	332	75		256	256	79		8	86		180		1		(869) 880
IPSLCM6-HR / atmosphère seule					512	360	79		8	120				1		(961) 976

Tableau des performances IPSLCM6

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
IPSLCM5A2	304	4.5 h	1 500 h
IPSLCM5A2-chimie	304	70h	21 280 h
IPSLCM6-LR	560	44 h	27 000 h
IPSLCM6-LR et aérosols interactifs	560	190 h (estimation)	105 840 h
IPSLCM6-MR	880	80 h	76 000 h (estimation revue en 2016)
IPSLCM6-HR / atmosphère seule	976	180 h	195 000 h (estimation revue en 2016)

Tableau des performances LMDZOR_v6

Configuration	Resolution	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans	Comment
LMDZOR_v6	144x142x79	377 (47mpi*8omp gcm +1mpi xios, soit 12 noeuds entiers)	34 h	14 000 h	Mise en place comme pour IPSLCM6.0.6
LMDZOR_v6	96x95x79	249 (31mpi*8omp gcm +1mpi xios, soit 8 noeuds entiers)	19 h	5 000 h	Estimation mise en place equivalent au IPSLCM6.0.6
LMDZOR_v6	96x95x39	125 (31mpi*4omp gcm +1mpi xios, soit 4 noeuds entiers)	14 h	2 000 h	Mise en place avec NPv3.2 et CWRR

Tableau des performances NEMO_v6

Configuration	Nb total de coeurs	Temps réel pour 10 ans	Temps à demander pour 10 ans
eORCA1-LIM3-PISCES	512 ( 496 nemo + 16 xios )	14 h	7200 h
eORCA1-OFF-PISCES	498 ( 496 nemo + 2 xios )	4 h	2000 h

Et pour les fichiers ?

Configuration	Océan			Atmosphère			Facteur multiplicatif fichiers atm 3D	atm 2D	Facteur multiplicatif fichiers océan 3D	océan 2D	Commentaire
IPSLCM5A2	182	142	31	96	95	39	1	1	1	1
IPSLCM6-LR	362	332	75	144	142	79	4,5	2,2	10	4	100 Go pour 1 an avec sorties par défaut 2016
IPSLCM6-LR et aérosols interactifs	362	332	75	144	142	39	2,2 et aérosols	2,2 et aérosols	10	4
IPSLCM6-LR et chimie	362	332	75	144	142	39	2,2 et chimie	2,2 et chimie	10	4
IPSLCM6-MR	362	332	75	280	280	79	17	4	10	4
IPSLCM6-HR	1442	1021	75	280	280	79	17	4	130	54

Particularités des centres

IDRIS IBM - Ada

• La machine va aussi vite que curie.
• Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements.
• Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS.

TGCC Bull curie

• Il faut bien préciser les besoins, en particulier en production :
  • Pour faire de la production, il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres lorsque le projet est 'en avance' dans sa consommation (ccc_myproject).
• Une demande collective unique d'extension du nombre d'inodes IPSL sera faite fin 2016. A suivre.
  • Pour avoir plus de quotas sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 31/1/2017 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle.
  • ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes.

    > ccc_quota
    Disk quotas for user xxxxxx (uid xxxxx):
    
                 ------------------- SPACE --------------------  ------------------- INODE --------------------
     Filesystem       usage        soft        hard       grace     entries        soft        hard       grace
     ----------       -----        ----        ----       -----     -------        ----        ----       -----
           home     543.34M          3G          3G           -           -           -           -           - 
        scratch       1.56T         20T         20T           -      76.03k          2M          2M           - 
           work     328.15G       9.31T       9.31T           -       1.13M          3M          3M           - 
          store           -           -           -           -     512.61k        550k        551k           - 
    
    Account scoring:
    ----------------
    Filesystem volume(TB)  inodes non_files files<32M  files<1G avg_fsize(MB)    score      score_detail
    store         822.325  512612     2.44%    20.14%    43.50%          1724    13/20      6/6, 3/7, 1/3, 3/4
    
    ...
    

post-traitement aussi

• Dans la chaîne IPSL, les post-traitements se feront sur curie. Il faut donc demander quelques heures en plus (5%) pour le post-traitement.

CINES Bull occigen

Il est possible de demander des heures en 2017 sur cette machine. La chaîne complète ne sera pas portée mais il est possible de compiler les modèles IPSL sur occigen. A savoir :

• peu d'expérience des serveurs de fichiers du CINES à ce jour.
• un datanode ESGF existe au CINES
• pas d'environnement de production IPSL (libIGCM)

Ressources dédiées CMIP6 à l'IPSL

Demande

Voir note n° 32 : stratégie calcul en modélisation du climat (synthèse et document technique) ​http://icmc.ipsl.fr/index.php/publications/reports-notes/scientific-notes

2018

Mise en réserve :

• 8 millions d'heures ada
• 96 millions d'heures curie

2017

• 8 millions d'heures ada
• 96 millions d'heures curie

2016

Voir suivi consommation IDRIS et TGCC là : ​https://vesg.ipsl.upmc.fr/thredds/fileServer/IPSLFS/igcmg/ConsoGENCI/index.html

• curie noeuds fins : 60 millions d'heures. Voir: ​consommation, jobs et production de fichiers.
• ada : 6 millions d'heures et 600 To de quota de stockage sur ergon

En 2016, la 1ère phase des espaces dédiés CMIP6 a été installée au TGCC. Il s'agit de GENCMIP6_HOME GENCMIP6_CCCWORKDIR et GENCMIP6_CCCSTOREDIR et ils sont gérés par quota groupe.

2015

• 2eme semestre :
  • 12 millions d’heures curie_nf, sorties minimales (700 To), cela correspond à 6 000 ans de couplé IPSLCM6-LR.
  • 2 millions d’heures ada, sorties normales, cela correspond à 1 000 ans de couplé IPSLCM6-LR et cela produit 300 To.
• 1er semestre :
  • 5 millions d'heures curie_nf et 270 To.

Historique

• 6/2018 : préparation appel A5
• 7/2017 : préparation appel A3
• 18/3/2016 : ajout informations ressources dédiées CMIP6 à l'IPSL
• 20/10/2015 : vérification des ressources IPSLCM6-VLR et IPSLCM6-LR et mise à jour doc technique.
• 5/10/2015 : Ressources disponibles en 2016
• 7/10/2014 :
  • modification chiffrage IPSLCM6-VLR
  • ajout chiffrage IPSLCM6-XLR, idem IPSLCM5A-MR, configuration a priori non supportée.

Pour mémoire : les performances de 2014 pour IPSL-CM5A : wiki:PerformancesIPSLCM5A.