Grand Challenge TGCC / Irene Joliot-Curie
Explorer la montée en résolution dans la modélisation du climat
Abdoul Khadre TRAORE15, Frédéric HOURDIN15, Thomas DUBOS35, OlivierBOUCHER14, Yann MEURDESOIF26, Arnaud CAUBEL26, Laurent
FAIRHEAD15, Joséfine GHATTAS14, Marie-Alice FOUJOLS14, SébastienDENVIL14, Jérome SERVONNAT26, Ehouarn MILLOUR15, Olivier MARTI26 ,
Sonia LABETOULLE14, Venkatramani BALAJI26
1CNRS 2CEA 3Polytechnique 4IPSL 5LMD/IPSL 6LSCE/IPSL
● Contexte
● Objectifs pour Grand Défi
● Bilan autour d’Irene
● Résultats : Grand Défi et post-GC
● Vers de nouveaux défis ?
Le temps : une réalisation ● Simuler● Prévoir
● 10jours en <1h = x200
Le climat : une statistique et son évolution● Modéliser● Comprendre/expliquer● Anticiper
● 30 ans en 1j (30 SYPD) = x10 000● au moins 3 SYPD = x1000
ContexteGrand Défi Irene – TGCC 24/06/19
P. Siebesma
différentes échelles, différents processus
ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
ServeurXIOS
Environnement decontrôle
libIGCM / modipsl
Le modèle de climat de l'IPSL
ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,
plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)
● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.
● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km
en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)
● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP
● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
Montée en résolution
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
LM
DZ
DY
NA
MIC
O
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
HighResMIP Protocol
Tier 1 : Atmosphere-only historical 1950-2016● IPSL-CM6-LR 144x142 ( ~200 km at mid-lat)
● IPSL-CM7A-LR 10x402 ( ~200 km)● IPSL-CM6-HR 512x360 ( ~50 km at mid-lat)
● IPSL-CM7A-HR 10x1602 ( ~50 km)● IPSL-CM7A-VHR 10x3202 ( ~25 km)
Tier 2 : Ocean-Atmosphere historical 1950-2016 + future 2015-2050
Tier 3 : Atmosphere-only future 2015-2050-2100
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
HighResMIP ProtocolHaarsma et al., (2016) Geosci. Model Dev.
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
Workflow du modèle IPSL-CM6
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,
plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)
● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.
● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km
en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)
● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP
● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km
ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL
Scaling of DYNAMICO (dynamics + 4 tracers only)
Mill
isec
onds
per
full
time
step
Atmospheric columns / core
Weak and strong scaling, down to ~10ms/step for 50 columns/core
Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Bilan autour d’Irene
Performance en calcul purvs Curie:
● 1x à 2x selon les cas
● Environ 1.3x enmoyenne
● Ratio calcul/mémoire ?
● Une machine proche de Curie => beaucoup d’éléments fonctionnels des le 1er jour
Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Principales difficultés rencontrées
● I/O : une partie importante du défi est de réaliser des simulations avec des sorties detype CMIP
● Pb de performance (<3SYPD) de LMDZOR avec toutes les sorties demandéespar HighResMIP
● => désactivation de certaines sorties pour atteindre 3SYPD à 50km
● => pas de runs LMDZOR à 25km
● Runs DYNAMICO-LMDZ à grands nombre de coeurs (>3000)
● Difficultés initiales avec configurations DYNAMICO-LMDZ qui avaient tourné surCurie
● Environnement systeme évolutif => apparition/disparition de problemes
● Mélange de problemes syteme, disparus progressivement au cours du Défi, etde problemes liés aux codes (scalabilité mémoire / logs) identifiés et résoluspendant et apres le défi
● => runs DYNAMICO-LMDZ à basse résolution seulement pendant le grand Défi,à haute résolution apres (travail encore en cours, 50km et 25km)
● => encore du travail nécessaire pour atteindre 8km (CoE ESIWACE2)
Relative humidityZonal wind Temperature
=> some reduction of mean biases at higher resolution
Colors : bias = model-OBS
IPSL-CM6.1-LR
IPSL-CM6.1-HR
Contours : OBS (ERA)
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
IPSL-CM6.1-HR
IPSL-CM6.1-LRAgoufou au Mali,
Distribution of precipitation at the Agoufou weather station, Mali :observed and modelled in 2004, 2005, 2006
Suggests better ability to produce high-intensity rainfall at higher resolution
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Liquid water
IPSL-CM7A-HR : DYNAMICO-LMDZ, 25km (1 024 000 atmospheric columns)
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
IPSL-CM7A-HR : DYNAMICO-LMDZ, 50km (256 000 atmospheric columns)
Low-level cloudiness
RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Prospects for higher-resolution climate modelling
● CMIP requires a throughput of x10000 (30SYPD)● Some climate modelling still doable with x1000 (3SYPD)● Ability to attain x1000 depends on maximum stable time step (numerics) and walltime
needed to perform one time step (implementation)● Assuming a large enough machine, reducing walltime is a strong scaling problem● For DYNAMICO, dt (in sec) is about 2.5*dx (in km)
=> ms/time step required to reach 3SYPD :● 25km 60 ms per full time step● 8km 20 ms per full time step● 1km 2.5 ms per full time step
CMIP6 physics (79 vertical levels) cost 2-3 ms per column per call (24 SYPD with 96 calls per day, 36 columns per core)
If physics are called every 5 dynamics time steps :
100 columns/core => 20+(100*2/5)=60 ms => 3 SYPD at 25 km with 10 000 cores
30 columns/core => 10+(30*2/5)=22 ms => 3 SYPD at 8 km with 300 000 cores ?
10 columns/core => 3+(10*2/5)=7 ms => 1 SYPD at 1 km with 50 million cores ??
Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL
Que serait une machine française à >> 100 000 coeurs ?
● Irene Skylake x 10 … ?
● CPU + GPU/IA
Jean Zay …
● CPU + accélérateur vectoriel ( NEC SX Aurora)
contrat 50 M€ NEC/Deutscher Wetterdiensthttps://www.nec.com/en/press/201906/global_20190617_01.html
100 colonnes/coeur => 20+(100*2/5)=60 ms => 3 SYPD at 25 km avec 10 000 coeurs
30 colonnes/coeur => 10+(30*2/5)=22 ms => 3 SYPD à 8 km avec 300 000 coeurs ?
10 colonnes/coeur => 3+(10*2/5)=7 ms => 1 SYPD at 1 km avec 50 millions de coeurs ?