+ All Categories
Home > Documents > Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer...

Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer...

Date post: 09-Jul-2020
Category:
Upload: others
View: 1 times
Download: 0 times
Share this document with a friend
22
Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE 15 , Frédéric HOURDIN 15 , Thomas DUBOS 35 , Olivier BOUCHER 14 , Yann MEURDESOIF 26 , Arnaud CAUBEL 26 , Laurent FAIRHEAD 15 , Joséfine GHATTAS 14 , Marie-Alice FOUJOLS 14 , Sébastien DENVIL 14 , Jérme SERVONNAT 26 , Ehouarn MILLOUR 15 , Olivier MARTI 26 , Sonia LABETOULLE 14 , Venkatramani BALAJI 26 1 CNRS 2 CEA 3 Polytechnique 4 IPSL 5 LMD/IPSL 6 LSCE/IPSL
Transcript
Page 1: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Grand Challenge TGCC / Irene Joliot-Curie

Explorer la montée en résolution dans la modélisation du climat

Abdoul Khadre TRAORE15, Frédéric HOURDIN15, Thomas DUBOS35, OlivierBOUCHER14, Yann MEURDESOIF26, Arnaud CAUBEL26, Laurent

FAIRHEAD15, Joséfine GHATTAS14, Marie-Alice FOUJOLS14, SébastienDENVIL14, Jérome SERVONNAT26, Ehouarn MILLOUR15, Olivier MARTI26 ,

Sonia LABETOULLE14, Venkatramani BALAJI26

1CNRS 2CEA 3Polytechnique 4IPSL 5LMD/IPSL 6LSCE/IPSL

Page 2: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

● Contexte

● Objectifs pour Grand Défi

● Bilan autour d’Irene

● Résultats : Grand Défi et post-GC

● Vers de nouveaux défis ?

Page 3: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Le temps : une réalisation ● Simuler● Prévoir

● 10jours en <1h = x200

Le climat : une statistique et son évolution● Modéliser● Comprendre/expliquer● Anticiper

● 30 ans en 1j (30 SYPD) = x10 000● au moins 3 SYPD = x1000

ContexteGrand Défi Irene – TGCC 24/06/19

Page 4: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

P. Siebesma

différentes échelles, différents processus

ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 5: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

ServeurXIOS

Environnement decontrôle

libIGCM / modipsl

Le modèle de climat de l'IPSL

ContexteGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 6: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,

plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)

● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.

● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km

en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)

● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP

● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 7: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Montée en résolution

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 8: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

LM

DZ

DY

NA

MIC

O

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 9: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

HighResMIP Protocol

Tier 1 : Atmosphere-only historical 1950-2016● IPSL-CM6-LR 144x142 ( ~200 km at mid-lat)

● IPSL-CM7A-LR 10x402 ( ~200 km)● IPSL-CM6-HR 512x360 ( ~50 km at mid-lat)

● IPSL-CM7A-HR 10x1602 ( ~50 km)● IPSL-CM7A-VHR 10x3202 ( ~25 km)

Tier 2 : Ocean-Atmosphere historical 1950-2016 + future 2015-2050

Tier 3 : Atmosphere-only future 2015-2050-2100

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 10: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

HighResMIP ProtocolHaarsma et al., (2016) Geosci. Model Dev.

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 11: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 12: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Workflow du modèle IPSL-CM6

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 13: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 14: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

● objectif général : explorer la montée en résolution spatiale de configurations globalesavec le modele de climat LMDZ,

plus précisément : LMDZOR (LMDZ-ORCHIDEE) et ICOLMDZOR (DYNAMICO-LMDZ-ORCHIDEE)

● motivation : étude d’événements extremes tels que cyclones ou précipitationsintenses, possible modification de leur fréquence et de leur intensité en réponse auréchauffement global.

● 3 sous-objectifs / 3 configurations :● montée en résolution de la configuration standard du modele : 50 km

en suivant le protocole HighResMIP (High Resolution Model IntercomparisonProject), partie de CMIP6 (Climate Model Intercomparison project)

● montée en résolution supplémentaire : 25 km – si nécessaire, sorties allégéespar rapport à HighResMIP

● configuration similaires avec DYNAMICO (plus scalable), voire à résolutionsplus fines jusqu’à 8 km

ObjectifsGrand Défi Irene – TGCC 24/06/19 – T.Dubos / IPSL

Page 15: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Scaling of DYNAMICO (dynamics + 4 tracers only)

Mill

isec

onds

per

full

time

step

Atmospheric columns / core

Weak and strong scaling, down to ~10ms/step for 50 columns/core

Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Bilan autour d’Irene

Performance en calcul purvs Curie:

● 1x à 2x selon les cas

● Environ 1.3x enmoyenne

● Ratio calcul/mémoire ?

● Une machine proche de Curie => beaucoup d’éléments fonctionnels des le 1er jour

Page 16: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Bilan autour d’IreneGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Principales difficultés rencontrées

● I/O : une partie importante du défi est de réaliser des simulations avec des sorties detype CMIP

● Pb de performance (<3SYPD) de LMDZOR avec toutes les sorties demandéespar HighResMIP

● => désactivation de certaines sorties pour atteindre 3SYPD à 50km

● => pas de runs LMDZOR à 25km

● Runs DYNAMICO-LMDZ à grands nombre de coeurs (>3000)

● Difficultés initiales avec configurations DYNAMICO-LMDZ qui avaient tourné surCurie

● Environnement systeme évolutif => apparition/disparition de problemes

● Mélange de problemes syteme, disparus progressivement au cours du Défi, etde problemes liés aux codes (scalabilité mémoire / logs) identifiés et résoluspendant et apres le défi

● => runs DYNAMICO-LMDZ à basse résolution seulement pendant le grand Défi,à haute résolution apres (travail encore en cours, 50km et 25km)

● => encore du travail nécessaire pour atteindre 8km (CoE ESIWACE2)

Page 17: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Relative humidityZonal wind Temperature

=> some reduction of mean biases at higher resolution

Colors : bias = model-OBS

IPSL-CM6.1-LR

IPSL-CM6.1-HR

Contours : OBS (ERA)

RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Page 18: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

IPSL-CM6.1-HR

IPSL-CM6.1-LRAgoufou au Mali,

Distribution of precipitation at the Agoufou weather station, Mali :observed and modelled in 2004, 2005, 2006

Suggests better ability to produce high-intensity rainfall at higher resolution

RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Page 19: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Liquid water

IPSL-CM7A-HR : DYNAMICO-LMDZ, 25km (1 024 000 atmospheric columns)

RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Page 20: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

IPSL-CM7A-HR : DYNAMICO-LMDZ, 50km (256 000 atmospheric columns)

Low-level cloudiness

RésultatsGrand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Page 21: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Prospects for higher-resolution climate modelling

● CMIP requires a throughput of x10000 (30SYPD)● Some climate modelling still doable with x1000 (3SYPD)● Ability to attain x1000 depends on maximum stable time step (numerics) and walltime

needed to perform one time step (implementation)● Assuming a large enough machine, reducing walltime is a strong scaling problem● For DYNAMICO, dt (in sec) is about 2.5*dx (in km)

=> ms/time step required to reach 3SYPD :● 25km 60 ms per full time step● 8km 20 ms per full time step● 1km 2.5 ms per full time step

CMIP6 physics (79 vertical levels) cost 2-3 ms per column per call (24 SYPD with 96 calls per day, 36 columns per core)

If physics are called every 5 dynamics time steps :

100 columns/core => 20+(100*2/5)=60 ms => 3 SYPD at 25 km with 10 000 cores

30 columns/core => 10+(30*2/5)=22 ms => 3 SYPD at 8 km with 300 000 cores ?

10 columns/core => 3+(10*2/5)=7 ms => 1 SYPD at 1 km with 50 million cores ??

Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Page 22: Explorer la montée en résolution dans la …...Grand Challenge TGCC / Irene Joliot-Curie Explorer la montée en résolution dans la modélisation du climat Abdoul Khadre TRAORE15,

Vers de nouveaux défis ?Grand Défi Irene – TGCC 24/06/19 – T.Dubos/IPSL

Que serait une machine française à >> 100 000 coeurs ?

● Irene Skylake x 10 … ?

● CPU + GPU/IA 

Jean Zay …

● CPU + accélérateur vectoriel ( NEC SX Aurora)

contrat 50 M€ NEC/Deutscher Wetterdiensthttps://www.nec.com/en/press/201906/global_20190617_01.html

100 colonnes/coeur => 20+(100*2/5)=60 ms => 3 SYPD at 25 km avec 10 000 coeurs

30 colonnes/coeur => 10+(30*2/5)=22 ms => 3 SYPD à 8 km avec 300 000 coeurs ?

10 colonnes/coeur => 3+(10*2/5)=7 ms => 1 SYPD at 1 km avec 50 millions de coeurs ?


Recommended