28
Modèles autorégressifs à changements de régimes markoviens Applications aux séries temporelles de vent
Page 1
Pierre Ailliot
Modèles autorégressifs à changements de régimes markoviens
Applications aux séries temporelles de vent
Introduction
Page 2
Motivations
• Conditions d’états de mer (vent, vagues) influencent...• Evolution d’un trait de côte
• Faisabilité d’une opération en mer
• Rentabilité d’une ligne maritime
• Données disponibles sur des périodes relativement
courtes ( maxi)
• Utilisation d’un modèle stochastique afin de simuler de
nouvelles séries temporelles d’états de mer
• Relations complexes entre les paramètres...• Dans un premier temps, séries temporelles de vent
• Les vagues sont générées par le vent...• Reconstitution à partir des séries temporelles de vent
• Filtrage non paramétrique (Monbet et al., 2003)
50 ans≈
Introduction
Page 3
Exemple d’application (projet Egide)
• Objectif: étudier la rentabilité d’une ligne
maritime en Mer Egée pour un bateau donné
• Données océano-météorologiques disponibles
• Conditions d’états de mer sur la ligne (3 ans)
• ...utilisation d’un modèle stochastique afin de
simuler de nouvelles séries (500 ans)
• Vent puis vagues
• Réponse du navire dans les différents états de mer
• Vitesse maximale du bateau dans chaque état de mer
• Contraintes structurelles, confort des passagers
• ...développement d’un “simulateur” de traversée
• Entrée: conditions d’états de mer sur la ligne pendant la traversée
• Sortie: traversée normale, retardée ou annulée
21E 28E34N
39N
30.0
25.0
20.0
15.0
10.0
0
45
90
135
180
225
270
315
Hs=3m and Tp=7sec
Introduction
Page 4
• Résultats obtenus
• Variabilité de ces quantités
Répartition du pourcentage de traversées annulées (à gauche) et retardées (à droite)
• 8% des années avec plus de 30% de traversées retardées
Données (3 ans) Simulées (500 ans)
% de traversées annulées 0.00% 0.58%
% de traversées retardées 11.1% 11.2%
0 5 100
100
200
300
400
0 20 400
20
40
60
80
100
1
1
Introduction
Page 5
Plan de l’exposé
1. Définition des modèles MS-AR
2. Etude théorique des modèles MS-AR
3. Modèles en un point fixe
4. Modèle spatio-temporel
5. Perspectives
Définition
Page 6
1. Définition
Définition: suit un modèle MS-AR si c’est une chaîne de
Markov (CM) à espace d’état (avec ) telle que
•
• CM homogène ou non-homogène
• ,
• avec compact de
• Processus non observé
•
• : probabilités d’émission
•
• Processus observé
: noyau de transition de la CM “complète”
Xt
{ } StY
t,{ }=
1…M{ } Y× Y Rd⊂
P StS
t 1–
st 1–
Yt 1–
y=
t 1–… S
0s0Y0
y0
=,=, , ,=( ) P StS
t 1–
st 1–
=( )=
qθt( )i j,( ) P St j St 1–
i==( )= Qθt( )
qθt( )i j,( )( )i j 1…M{ }∈,=
θ Θ∈ Θ Rp
P YtS
ts
t= S
t 1–s
t 1–Y,=,
t 1–y
t 1–… S,
0s0
= Y,0
y0
=,=( ) P YtS
ts
tY
t 1–
yt 1–
=,=( )=
P YtS
ts
tY
t 1–y
t 1–=,=( )
P Yt
dy∈ St
stY
t 1–y
t 1–=,=( ) gθ y
ts
ty
t 1–,( )dy=
Πθt( )
Xt
{ } StY
t,{ }=
Définition
Page 7
Cas particuliers
• CM cachées:
• Modèles autorégressifs (M=1)
Deux types de modèles MS-AR utilisés pour le vent...
• Modèle MS-LAR
• Introduit par Hamilton (1989) en économétrie
• Variable cachée représente les cycles économiques (croissance/récession)
• Modèle spatio-temporel pour les champs de vent
• Définition:
• , et
• un bruit blanc gaussien, indépendant de pour
• Probabilités d’émission:
P YtS
ts
t= Y,
t 1–y
t 1–=( ) P Y
tS
ts
t=( )=
Yt
AθS
t( )
Yt 1–
BθS
t( )
HθS
t( )εt
+ +=
Aθs( )
MdR( )∈ Bθ
s( )M
d 1, R( )∈ Σ θs( )
Hθs( )Hθ
s( )( )' Sd
+R( )∈=
εt{ } ε t Y t' t' t<
P YtS
ts
tY
t 1–y
t 1–=,=( ) N Aθ
st( )Y
t 1–Bθ
st( )Σθ
st( )
,+( )∼
Définition
Page 8
• Modèle MS-γAR
• à valeurs dans
• Intensité du vent, hauteur significative des vagues...
• Définition: suit une loi gamma
• de moyenne avec et
• d’écart-type
Yt
{ } R+
P YtS
ts
tY
t 1–y
t 1–=,=( )
µs
t( )
yt 1–( ) a
st( )
yt 1–b
st( )
+= as( )
0≥ bs( )
0>
σs
t( )
0>
gθ yt st y,t 1–
( )
µs
t( )
yt 1–( ) σ
st( )
( )2
Γµ
st( )
yt 1–( )
σs
t( )-------------------------
2
⁄=
ytµs
t( )
yt 1–( )
σs
t( )
( )2
-----------------------------
µ yt 1–( )
σst( )-------------------
2
1–
ytµ
st( )
yt 1–( )
σst( )
( )2
-----------------------------–
1R+ y
t( )exp
Etude théorique des modèles MS-AR
Page 9
2. Etude théorique des modèles MS-AR
Estimation
• Objectif: estimer le paramètre inconnu à partir d’une
réalisation du processus
Définition: un estimateur du maximum de vraisemblance (EMV) est un maximum de la fonction de vraisemblance
avec une condition initiale arbitraire
• Calcul numérique des EMV?
• Qualité des EMV?
Validation
• Le modèle permet-il de décrire le phénomène observé?
θ Θ∈y
t{ }
t 0…T{ }∈ Yt
{ }
LT s
0, θ( ) qθ
t( )
t 1=
T
∏ st 1–
st,( )gθ y
tyt 1–
st,( )
s1… s
T, ,( ) 1…M{ } T∈
∑=
s0
1…M{ }∈
Etude théorique: calcul numérique des EMV
Page 10
Calcul numérique des EMV
Algorithme EM (Baum et al. (1970), Dempster et al. (1977))
Principe: algorithme itératif, partant de . A chaque itération:
• Etape E (Expectation): calcul de la fonction intermédiaire
• Expression en fonction des probabilités de lissage
• Algorithme Forward-Backward
• Etape M (Maximisation): calcul de
• Selon les modèles, expression analytique ou optimisation numérique
Inconvénients:
• Convergence possible vers des extrema locaux
• Taux de convergence asymptotique linéaire
θ 0( ) Θ∈
R θ θ n 1–( ),( ) Eθ n 1–( ) pθ y
1
TS1
Ty0s0,,( ) y
0
Ts0,ln[ ]=
pθ Sty0
TS0
s0
=,( )
θ n( )argmaxθ Θ∈ R θ θ n 1–( ),( )=
Etude théorique: calcul numérique des EMV
Page 11
Algorithme quasi-Newton
• Taux de convergence asymptotique super-linéaire
• Nécessite d’évaluer la fonction de vraisemblance et son gradient
en un nombre de points importants
• ...se calculent à partir du filtre de prédiction
• ...qui vérifie une relation de récurrence (algorithme Forward)
Algorithme utilisé en pratique
• Localisation d’un extremum “intéressant”
• Choix de plusieurs valeurs initiales de manière aléatoire
• Utilisation de itérations de l’algorithme EM
• Estimation finale avec l’algorithme quasi-Newton
• Valeur approchée de la matrice d’information observée
pθ Sty0
t 1–S0
s0
=,( )
θ 0( )
N1
IT s
0,
obs ∇– θ2
LT s
0, θ̂T s
0,( )( )ln=
Etude théorique: propriétés asymptotiques des EMV
Page 12
Propriétés asymptotiques des EMV
Bibliographie
• Baum et al. (1966)
• Consistance et normalité asymptotique dans les modèles CMC ( fini)
• Leroux (1992)• Consistance des EMV dans les modèles CMC
• Francq et al. (1998), Krishnamurty et al. (1998)
• Consistance des EMV dans les modèles MS-AR
• Bickel et al. (1998)• Normalité asymptotique des EMV dans les modèles CMC
• Douc et al. (2004)
• Consistance et normalité asymptotique des EMV dans les modèles MS-AR
...conditions vérifiées par les modèles MS-LAR
Y
Etude théorique: propriétés asymptotiques des EMV
Page 13
Consistance des EMV (modèles MS-γAR homogènes)
• On suppose que le processus suit un modèle MS-γAR de paramètres
• Notation: si les deux paramètres définissent le même modèle, à la
numérotation près des états
Proposition: Supposons que les deux conditions ci-dessous sont vérifiées:
(C1) (stabilité): , la matrice est irréductible, le noyau admet une
unique probabilité invariante et la solution stationnaire est ergodique et possède
un moment d’ordre
(C2) (identifiabilité): si
alors, si désigne la loi stationnaire de , on a
, p.s. quand
pour la topologie quotient associée à ~
Yt
{ }
θ0
θS 0, θR 0,1( ) … θR 0,
M( ), , ,( )=
θ1θ2
∼
θ∀ Θ∈ Qθ Πθ
κ 2>
θR 0,i( ) θR 0,
j( )≠ i j≠
Pθ0
YYt{ }
s0
1…M{ }∈∀ θˆ T s0, θ
0→ Pθ
0
YT ∞→
Etude théorique: propriétés asymptotiques des EMV
Page 14
Stabilité (modèles MS-γAR homogènes)
• Résultats existants valables pour les modèles fonctionnels de la
forme
• Holst et al. (1994), Francq et al. (1998), Yao et al. (2000 et 2001)
Proposition: Soit un processus MS-γAR, tel que soit irré-
ductible et apériodique de probabilité invariante .
Si l’hypothèse (S1) est vérifiée alors est géométriquement ergodique
(S1)
Si en outre l’hypothèse (S2) avec est vérifiée alors la loi stationnaire de admet des moments d’ordre
(S2) avec
• Conditions (C2) et (S2) (avec ) impliquent la consistance des EMV
MS AR–
Yt
fS
t( )
Yt 1–( ) ε
t+=
Xt
{ } StY
t,{ }= S
t{ }
π π1… πM, ,( )=
Xt{ }
πi ai( )( )log 0<
1 i M≤ ≤∑
κ 1≥Yt{ } κ
ρ Rκ( ) 1< Rκ (q i j,( )(a j( ))κ)i j 1…M{ }∈,=
κ 2>
Etude théorique: propriétés asymptotiques des EMV
Page 15
Normalité asymptotique (modèles MS-γAR homogènes)
• Résultats de Douc et al. (2004) ne s’appliquent pas
Etude de la qualité des EMV par simulation
• Simulation de N=1000 réalisations de longueur d’un modèle
• équivalent à 22 ans de données de vent ( )
• Comparaison à l’écart-type calculé à partir de la matrice d’information
q(1,1) q(2,2) a(1) a(2) b(1) b(2) σ(1) σ(2)
Vraie valeur 0.97 0.96 0.84 0.78 1.06 2.10 1.23 2.30
Biais 0.001 -0.001 -0.003 -0.002 0.020 0.019 0.001 -0.006
Ecart-type 0.028 0.033 0.049 0.058 0.337 0.499 0.126 0.218
σinformation 0.030 0.036 0.055 0.061 0.384 0.604 0.125 0.216
supθ Θ∈ y0
y1
s, ,( ), Y Y S××∈ gθ y1y0s,( ) ∞=
T MS γAR–
T T 2700≈
Etude théorique: validation de modèle
Page 16
Validation de modèle
Différents critères sont généralement utilisés...
• Interprétabilité de la variable cachée• Cycles économiques, types de temps, déplacement des masses d’air...
• Propriétés des résidus• Test d’indépendance, variance du résidu
Tests d’adéquation
• Choix de différents critères, selon l’application
• Fonction de répartition marginale, fonction d’autocorrélation...
• Pour chacun de ces critères, choix d’une statistique de test • Exemple: distance de Kolmogorov-Smirnov
• Estimation de la loi de sous par simulation
Sélection de modèle
• Première sélection avec le critère
W
W H0
BIC 2l θ̂( )– npar
T( )ln+=
Modèles en un point fixe
Page 17
3. Modèles en un point fixe
Données utilisées
• Produites par OCEANWEATHER
• Données de “hindcast”
• 22 ans,
• Point étudié: (46.25N, 1.67 E)
• : intensité du vent ( ), : direction du vent (degré)
Composantes non stationnaires
• Pas de tendance significative
• Composantes saisonnières
• Données mois par mois
• Composantes journalières
• Négligeables en hiver
• Modèle spécifique en été
∆t 6h=
Ut
{ } ms1– Φ
t{ }
0 5 10 15 200
5
10
15
20
25
temps (années)
U
0 1 20
2
4
6
8
10
Modèles en un point fixe
Page 18
Modèles pour l’intensité du vent (mois de janvier)
• Méthode usuelle (TGP) (Borgman et al., 1991)
• Hypothèse: est un processus gaussien
• et fonctions de répartition de et de la loi
• Simulation du processus gaussien par des méthodes exactes
• Permet de décrire la loi marginale et la structure d’ordre 2
• Ne permet pas de décrire l’existence de “type de temps”
• Modèle MS-γAR
• Première sélection avec BIC
• Modèles à 2 ou 3 régimes?
• Interprétabilité de la variable cachée et tests d’adéquation
M 1 2 3 4 5
BIC 10485 10316 10307 10343 10387
Vt
{ } Φ 1– °FUU
t( ){ }=
FUΦ U
tN 0 1,( )
Vt
{ }
Modèles en un point fixe
Page 19
Interprétabilité des différents régimes (M=2)
• Paramètres régissant l’évolution dans les différents régimes
• Premier régime: faiblement perturbé, conditions anticycloniques
• Deuxième régime: volatilité plus importante, conditions dépressionnaires
• Matrice de transition de la CM cachée
• Temps de séjour moyen:
• dans le premier régime
• dans le deuxième régime
Régime 1 (s=1) 1.37 [0.12] 0.79 [0.05] 1.46 [0.33]
Régime 2 (s=2) 2.40 [0.21] 0.77 [0.06] 2.24 [0.49]
0.98 [0.03] 0.02 [0.03]
0.03 [0.04] 0.97 [0.04]
σ s( ) a s( ) b s( )
q i j,( ) j 1= j 2=
i 1=
i 2=
14 jours≈ 7 jours≈
Modèles en un point fixe
Page 20
• Exemple d’évolution des probabilités de lissage
• Répartition empirique de la direction du vent dans les différents régimes
• Conditions dépressionnaires associées à des vents de Sud-Ouest
0 5 10 15 20 25 300
10
20
0
1
0 5 10 15 20 25 300
1
P(St=1/u1,...uT)
P(St=2/u1,...uT)
Ut
temps (jours)
Régime 1 Régime 2
Modèles en un point fixe
Page 21
• Comparaison des modèles et
• Valeur entre crochets: limite de la région de rejet au seuil
Statistique observée (noir) et correspondant au modèle (rouge)
TGP M=2 M=3
Fonct. répart. marginale 0.808 [0.012] 0.000 [0.012] 0.641 [0.024]
Fonct. d’autcorrél. 0.062 [0.012] 0.057 [0.009] 0.086 [0.022]
Fonct. répart. durée tempêtes (14 ms-1) 0.053 [0.012] 0.367 [0.032] 0.080 [0.016]
Fonct. répart. durée inter-tempêtes 0.002 [0.006] 0.284 [0.002] 0.053 [0.009]
Fonct. répart. durée calme (7 ms-1) 0.124 [0.031] 0.009 [0.031] 0.346 [0.004]
TGP MS γAR–
α 5%=
0 10 20 300
0.2
0.4
0.6
0.8
1
0 5 10 15 20 250
0.2
0.4
0.6
0.8
1
Modèles en un point fixe
Page 22
Deux extensions (chaîne cachée non-homogène)
• En présence de composantes journalières
• une matrice stochastique, , ,
• Pour décrire la relation avec la direction du vent
qθt( )
i j,( ) P St
j= St 1–
i=( ) qi j, κ j ωt Φj+( )cos( )exp∼=
Q qi j,( )= κ j 0> Φj 0 2π[,[∈ ω π 2⁄=
0 0.5 1 1.5 20
5
10
15
20
25
30
35
40
qθt( )
i j,( ) P St j= St 1–i=( ) qi j, κ j Φt Φj–( )cos( )exp∼=
−20 −10 0 10 20−15
−10
−5
0
5
10
15
20
Modèle spatio-temporel
Page 23
4. Modèle spatio-temporel
Données utilisées
• Produites par ECMWF
• Données de “hindcast”• Disponibles sur tout le globe
• ,
• 11 ans (mois de janvier)
• Restriction à une zone
•
• points
Notations
• , : composantes zonale et méridienne
•
v
u
Wφ
−35 −30 −25 −20 −15 −10 −5 0
40
45
50
55
0
8
16
25
−30 −28 −26 −24
45
46
47
48
49
x∆ y∆ 1.125°= = ∆t 6h=
R0
600km 600km×N 35=
ZtR0
( ) u r1
t,( ) … u rN
t,( ) v r1
t,( ) …v rN
t,( ),,,,( )=
u v
R0
r1… r
N, ,( )=
Modèle spatio-temporel
Page 24
Choix du modèle
Les structures météo se déplacent...
• déplacement entre et
• A valeurs dans
• Vitesses inférieures à
Utilisation d’un modèle
Paramétrisation et estimation
• Estimation des valeurs prises par le processus
• Utilisation d’information supplémentaire (champs sur une plus grande zone)
• Utilisation de ces déplacements estimés pour...
• Choisir des formes paramétriques pour , , et
• Obtenir une première estimation de
• Réestimation des paramètres du modèle
−30 −20 −10 0
40
45
50
55
0
8
16
25
−30 −20 −10 0
40
45
50
55
0
8
16
25
4/01/1998 12h 4/01/1998 18h
St
t 1– t
a1… a
M, ,{ } Z
2⊂
150kmh 1–
MS LAR–
ZtR0
( ) AθS
t( )Z
t 1–R0
( ) BθS
t( )
HθS
t( )εt
+ +=
St
{ }
Aθs( )Bθ
s( ) Σθs( )
Hθs( )Hθ
s( )( )'= Qθ
θ
Modèle spatio-temporel
Page 25
Paramétrisation de
•
• : déformation du champ entre les instants et
• fixée, permettant d’extrapoler le champ sur la zone à par-
tir du champ sur la zone
Paramétrisation de
•
• 6 paramètres
Paramétrisation de
• 7 paramètres
As( )
Zt 1–
R0
( ) Z≈tR0
St
+( ) δt
+
δt
t 1– t
As( )
R0
R0
s+
Ms( )
I As( )
–( ) 1–B
s( )=
Ms( )
Fs G+=
20 40 60
20
40
60
−5
0
5
10
15
20 40 60
20
40
60
−5
0
5
10
15
Paramétrique (s=(3,0))Empirique (s=(3,0))
Σ s( )
Modèle spatio-temporel
Page 26
Paramétrisation de l’évolution de la CM cachée
• 6 paramètres
Estimation des paramètres
• Nombre total de paramètres: 19
• Première estimation à partir des déplacements estimés
• EM puis quasi-Newton
• Temps de calcul importants...
• Grand nombre d’états pour la CM cachée
• Complexité des probabilités d’émission
q i j,( ) P= St
aj St 1–ai= =( )
ai aj– 2
σ2---------------------– aj a
0–( )'O 1–
aj a0
–( )– exp∼
Modèle spatio-temporel
Page 27
Validation
• En prédiction• Comparaison avec un modèle AR(1) (trait fin)
• En simulation
• Structure d’ordre 2 bien reproduite
• Lois marginales aux différents points mal reproduites
−26−24
−22−20
44
46
48
500
2
4
6
8
10
12
−26−24
−22−20
44
46
48
500
5
10
15
20
Composante zonale Composante méridienne
Perspectives
Page 28
Perspectives
• Etude théorique des modèles MS-AR
• Normalité asymptotique des EMV dans les modèles
• Propriétés asymptotiques des EMV lorsque est non-homogène
• Sélection de modèle
• Modèles en un point fixe
• Tester les modèles sur d’autres paramètres ( , ,...)
• Tester les modèles sur des mesures “in-situ”
• Modèles paramétriques pour les séries directionnelles ( , ,...)
• Modèle spatio-temporel
• Algorithmes plus efficaces pour le calcul des paramètres
• Tester d’autres paramétrisations
• Reconstruction de , ,... à partir des séries de vent
• Boîte à outils (Matlab)
MS γAR–
St
{ }
Hs Tp
Φ Θm
HsTp
