= Performances IPSL-CM6 et demandes d'heures y compris CMIP6 = Cette page liste quelques performances mesurées et estimées du modèle IPSLCM6. Il rappelle également les ressources calcul disponibles au niveau national en 2016 et les dates clés. Il inclut les informations pour l'allocation dédiée à CMIP6. Pour mémoire : les performances de 2014 pour IPSL-CM5A : wiki:PerformancesIPSLCM5A. == Modifications == * 18/3/2016 ajout informations ressources dédiées CMIP6 à l'IPSL * 20/10/2015 : vérification des ressources IPSLCM6-VLR et IPSLCM6-LR et mise à jour doc technique. * 5/10/2015 : Ressources disponibles en 2016 * 7/10/2014 : * modification chiffrage IPSLCM6-VLR * ajout chiffrage IPSLCM6-XLR, idem IPSLCM5A-MR, configuration a priori non supportée. == Ressources dédiées CMIP6 à l'IPSL == === Demande === Voir note n° 32 : stratégie calcul en modélisation du climat (synthèse et document technique) http://icmc.ipsl.fr/index.php/publications/reports-notes/scientific-notes === 2016 === Voir suivi consommation TGCC uniquement (temporaire): http://dods.ipsl.jussieu.fr/igcmg/ConsoGENCMIP6/ Voir suivi consommation IDRIS et TGCC là : http://dods.ipsl.jussieu.fr/igcmg/ConsoGENCI/ * curie noeuds fins : 75 millions d'heures. Voir: [http://dods.ipsl.jussieu.fr/igcmg/ConsoGENCMIP6/ consommation, jobs et production de fichiers]. * ada : 4 millions d'heures. === 2015 === * 2eme semestre : * 12 millions d’heures curie_nf, sorties minimales (700 To), cela correspond à 6000 ans de couplé IPSLCM6-LR. * 2 millions d’heures ada, sorties normales, cela correspond à 1000 ans de couplé IPSLCM6-LR et cela produit 300 To. * 1er semestre : * 5 millions d'heures curie_nf et 270 To. == Ressources calcul disponibles en 2016 == * Procédure nationale (tier 1) : https://www.edari.fr/ * Note de cadrage 2016 : http://www.genci.fr/sites/default/files/Courrier-cadrage-campagne-genci.pdf * Date limite : entre le 2 et le 26 octobre 2015 * Session spéciale curie noeud fin, dossier spécial en novembre 2015 : 100 millions d'heures à consommer entre avril et août 2016 || '''Centre''' || '''Supercalculateurs''' || '''Estimation des ressources disponibles DARI 2016''' || || '''CINES''' || Bull - Occigen || 245 000 000 || || '''IDRIS''' || IBM Noeuds larges - Ada || 52 000 000 || || || IBM BG/Q - Turing || 530 000 000 || || '''TGCC''' || Bull - Curie nœuds fins || 200 000 000 || == Projet gencmip6 == Voir détails des ressources pour le projet CMIP6 à l'IPSL là :http://forge.ipsl.jussieu.fr/igcmg/wiki/IPSLCM6#CMIP6resources == Projet 0826 == Le projet 0826, intitulé : "Développement du système couplé IPSL et partage de données." demande un petit peu d'heures sur toutes les machines disponibles et les espaces nécessaires pour les données partagées. Si vous voulez tester une machine : turing ou occigen, par exemple, n'hésitez pas à demander à en faire partie. contact MA Foujols. == Mésocentre IPSL == Nous avons fait apparaître le mésocentre IPSL dans la liste des méso-centres. Il s'agit de l'ensemble CICLAD+CLIMSERV que nous avons identifié ainsi. N'hésitez pas à le citer dans votre demande d'heures. Il suffit juste de le sélectionner dans la liste des mésocentres proposés sur le site WWW. == Mais aussi à l'UPMC/SU == * mesu, un calculateur : http://ics.sorbonne-universites.fr/services/calcul-intensif.html * visu, une plateforme de visualisation : http://ics.sorbonne-universites.fr/services/visualisation.html == Dossier technique == Dossier technique pour les demandes d'heures 2016. Avec les performances IPSLCM6. Version 1 du 19/10/2015 : [attachment:DossierTechnique_2015_v1.pdf dossier technique IPSL en pdf ] et [attachment:DossierTechnique_2015_v1.doc dossier technique IPSL en doc] == Performances estimées : == Les 3 machines ada (IDRIS), curie (TGCC) et occigen (CINES) ont presque les mêmes performances. Par souci de simplicité on donne un seul tableau de performances. Voir plus loin les spécificités des centres. == IPSLCM6 == === Tableau des résolutions === || Configuration || Comment || || Océan || || || Atmosphère || || || || Nb OpenMP atm || Nb MPI atm || ||Nb MPI oce || ||Nb IO server || || Nb total de coeurs || || IPSLCM6-VLR (idem IPSLCM5A-LR CMIP5) || MPI-OpenMP (idem IPSLCM5A-LR CMIP5) || 182 || 142 || 31 || || 96 || 95|| 39 || || 4 || 32 || || 31 || || 1 || || 160 || || IPSLCM6-XLR (idem IPSLCM5A-MR CMIP5, non supportée) || MPI-OpenMP || 182 || 142 || 31 || || 144 || 142 || 39 || || 4 || 47 || || 31 || || 1 || || 220 || || IPSLCM6-LR || MPI-OpenMP (Nouvelle physique)|| 362 || 292 || 75 || || 144 || 142|| 79 || || 8 || 47 || || 221 || || 1 || || 608 || || IPSLCM6-LR et aérosols interactifs || MPI-OpenMP (Nouvelle physique) || 362 || 292 || 75 || || 144 || 142|| 79 || || 8 || 47 || || 221 || || 1 || || 608 || || IPSLCM6-LR et chimie || MPI-OpenMP (Nouvelle physique) || 362 || 292 || 75 || || 144 || 142|| 39 || || 4 || 47 || || 67 || || 1 || || 256 || || IPSLCM6-MR || MPI-OpenMP (Nouvelle physique) || 362 || 292 || 75 || || 280 || 280|| 79 || || 8 || 92 || || 221 || || 1 || || 958 || || IPSLCM6-HR || MPI-OpenMP (Nouvelle physique) || 1442 || 1021 || 75 || || 280 || 280|| 79 || || 8 || 92 || || 592 || || 1 || || 1 328 || === Tableau des performances IPSLCM6 === || Configuration || Commentaire || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM6-VLR''' (idem IPSLCM5A-LR) || MPI-OpenMP || 160 || 8h || '''1 300 h''' || || IPSLCM6-VLR-CHT(idem IPSLCM5CHT-LR) || MPI-OpenMP || 128 || 25h || 3200 h || || IPSLCM6-XLR (idem IPSLCM5A-MR) || MPI-OpenMP || 208 || 15h || 3 200 h (estimation) || || '''IPSLCM6-LR''' || MPI-OpenMP || 608 || 43 h || '''28 750 h''' || || IPSLCM6-LR et aérosols interactifs || MPI-OpenMP || 443 || 80 h || 35 440 h (estimation) || || IPSLCM6-LR et chimie || MPI-OpenMP || 256 || 200 h || 51 200 h (estimation) || || IPSLCM6-MR || MPI-OpenMP || 958 || 70 h || 64 300 h (estimation) || || IPSLCM6-HR || MPI-OpenMP || 1 328 || 70 h || 107 000 h (estimation) || === Tableau des performances LMDZOR_v6 === || Configuration || Commentaire || Nb total de coeurs || Temps réel pour 10 ans || '''Temps à demander pour 10 ans''' || || '''IPSLCM6-LR''' || MPI-OpenMP || 376 || 43 h || '''17 800 h''' || === Et pour les fichiers ? === || Configuration || Commentaire ||Océan || || || Atmosphère || || || Facteur multiplicatif fichiers atm 3D || atm 2D || Facteur multiplicatif fichiers océan 3D || océan 2D || || IPSLCM5A || MPI seul || 182 || 142 || 31 || 96 || 95|| 39 || 1 || 1 || 1 || 1 || || IPSLCM6-VLR (idem IPSLCM5A-LR) || MPI-OpenMP || 182 || 142 || 31 || 96 || 95|| 39 || 1 || 1 || 1 || 1 || || IPSLCM6-XLR (idem IPSLCM5A-MR) || MPI-OpenMP || 182 || 142 || 31 || 144 || 142|| 39 || 2,2 || 2,2 || 1 || 1 || || IPSLCM6-LR || MPI-OpenMP || 362 || 292 || 75 || 144 || 142|| 79 || 4,5 || 2,2 || 10 || 4 || || IPSLCM6-LR et aérosols interactifs || MPI-OpenMP || 362 || 292 || 75 || 144 || 142 || 39 || 2,2 et aérosols || 2,2 et aérosols|| 10 || 4 || || IPSLCM6-LR et chimie || MPI-OpenMP || 362 || 292 || 75 || 144 || 142 || 39 || 2,2 et chimie || 2,2 et chimie || 10 || 4 || || IPSLCM6-MR || MPI-OpenMP || 362 || 292 || 75 || 280 || 280|| 79 || 17 || 4 || 10 || 4 || || IPSLCM6-HR || MPI-OpenMP || 1442 || 1021 || 75 || 280 || 280|| 79 || 17 || 4 || 130 || 54 || == Particularités des centres == === IDRIS IBM - Ada === * La machine va un peu moins vite que curie. * Les post-traitements se font sur des noeuds dédiés adapp et ne sont pas comptés. Il n'est donc pas nécessaire de demander des ressources pour les post-traitements. * Rappel : il faut de l'ordre de 20 To par personne sur le WORKDIR pour faire tourner les chaînes de calcul. Demander les quotas nécessaires dès que possible sur le serveur intranet de l'IDRIS. === TGCC Bull curie === * Il faut bien préciser les besoins, en particulier en production : * Pour faire de la '''production''', il faut enchaîner les jobs de calcul. Le calcul de priorité actuel tient compte des heures déjà consommées, autrement dit plus on a consommé, plus on attendra avant de rentrer en exécution. Ceci rend impossible la production basée sur l'enchaînement de jobs lancés les uns par les autres lorsque le projet est 'en avance' dans sa consommation (ccc_myproject). * Une demande collective unique d'extension du nombre d'inodes IPSL sera faite fin 2015. A suivre. * Pour avoir plus de quotas sur CCCSTOREDIR, il faut avoir un bon score ( noté sur 20 : 13/20 dans l'exemple) pour les obtenir. De plus, toute dérogation a une date limite. 15/1/2016 pour la plupart. Attention à être inclus dans la demande d'extension inodes IPSL annuelle. * ccc_quota vous donne votre occupation sur les différents espaces, en espace et en nombre d'inodes. {{{ > ccc_quota Disk quotas for user xxxxxx (uid xxxxx): ------------------- SPACE -------------------- ------------------- INODE -------------------- Filesystem usage soft hard grace entries soft hard grace ---------- ----- ---- ---- ----- ------- ---- ---- ----- home 543.34M 3G 3G - - - - - scratch 1.56T 20T 20T - 76.03k 2M 2M - work 328.15G 9.31T 9.31T - 1.13M 3M 3M - store - - - - 512.61k 550k 551k - Account scoring: ---------------- Filesystem volume(TB) inodes non_files files<32M files<1G avg_fsize(MB) score score_detail store 822.325 512612 2.44% 20.14% 43.50% 1724 13/20 6/6, 3/7, 1/3, 3/4 ... }}} ==== post-traitement aussi ==== * Dans la chaîne IPSL, les post-traitements se feront sur curie noeuds fins. Il faut donc demander quelques heures en plus (10%) pour le post-traitement sur noeuds fins. === CINES Bull occigen === Il est possible de demander des heures en 2016 sur cette machine. La chaîne complète ne sera pas portée mais il est possible de compiler les modèles IPSL sur occigen. A savoir : * peu d'expérience des serveurs de fichiers du CINES à ce jour. Plus d'informations dès que possible. * un datanode ESGF existe au CINES