Rebuild Performances

Cette page rassemble des éléments quantitatifs sur les performances de rebuild sur les différents calculateurs : mercure, tx7, brodie, rhodes.

Ceci devrait permettre in fine de trouver le mode de fonctionnement optimum.

Couplé IPSLCM4_v2

• Résolution 96x71
  • mercure : A cette résolution, sur 4 processeurs (3 pour LMDZ/ORCHIDEE et 1 pour OPA/OASIS), 1 mois prend environ 7mn sur mercure (temps elapsed) et les rebuild (sur mercure) prennent 1 mn.
  • brodie : A cette résolution, sur 4 processeurs (3 pour LMDZ/ORCHIDEE et 1 pour OPA/OASIS), 1 mois prend environ 9mn sur brodie (temps elapsed) et les rebuild (sur brodie) prennent 2 mn.

Résolution	Machine	Fichier	Taille des fichiers initiaux	Taille du fichier combiné	Temps elapsed total
96x71x19	mercure	histmth	6786404, 6517600, 6786404	19419796	-
=	=	histday	13883920, 13329420, 13883920	39945024	1mn
=	brodie	histmth	6786400, 6517596, 6786400	19419792	-
=	=	histday	13883916, 13329416, 13883916	39945020	2 mn

• Résolution 144x142
  • brodie : A cette résolution, sur 6 processeurs (5 pour LMDZ/ORCHIDEE et 1 pour OPA/OASIS), 1 mois prend 48 mn sur brodie (temps elapsed) et les rebuild 90 mn (/tmpdir)! Prend 45 mn sur /workdir.
  • mercure : A cette résolution, sur 6 processeurs, l'ensemble des rebuild (histmt, histrac, histda histhf) prend 3 mn.

Résolution	Machine	Fichier	Taille des fichiers initiaux	Taille du fichier combiné	Temps elapsed
144x142x19	brodie	histmth	12162628, 11759424, 11759424, 11759424, 12162628	57724284	1 mn
=	=	histday	24974064, 24142316, 24142316, 24142316, 24974064	118961192	7 mn-10 mn
=	=	histrac	6459092, 6244240, 6244240, 6244240, 6459092	30736972	1 mn
=	=	histhf	149316592, 144339948, 144339948, 144339948, 149316592	711676968	79 mn (33 mn en /workdir)
=	=	sechiba_out	2787544, 2695380, 2695380, 2695380, 2787544	13201680	1 mn
144x142x19	mercure	histmth + histday +histrac +histhf		> 930 Mo	3 mn

• Petit fichier histmth:
  • essai en interactif sur brodie01 :

    brodie01 - /workdir/rech/psl/rpsl003/REBUILD/test : time rebuild -o histmth.nc histmth_*.nc
    
    real    0m2.29s
    user    0m0.88s
    sys     0m0.46s
    

  • essai en interactif sur zahir/$WORKDIR :

     zahir001-rpsl003 : time rebuild -o histmth.nc histmth_*
    
    real    0m5.97s
    user    0m0.81s
    sys     0m1.64s
    

  • essai en interactif sur rhodes/$WORKDIR :

     rhodes - /workdir/rech/psl/rpsl003/REBUILD : time rebuild -o histmth.nc histmth_*.nc
    
    real    0m56.71s
    user    0m10.34s
    sys     0m3.81s
    

Tests sur mercure

Voici plusieurs tests réalisés sur mercure.
A chaque fois il s'agit de reconstruire un fichier de données inca_avgr.nc de taille 772M coupé en 6 (6x 140M)

• essai en interactif sur le scratchdir/ :

  elapsed time (s) : 1.3337 e+03
  cpu time (s) : 7.2045 e+02
  

• essai en batch sur le $LOCALTMPDIR

  Real Time (sec) : 67.379782
  User Time (sec) :  4.167928
  Sys  Time (sec) : 62.203794
  

• essai en batch sur le scratchdir/

  Real Time (sec) : 1069.691442
  User Time (sec) :    4.132475
  Sys  Time (sec) :  216.605864