Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Prévision de séries temporelles faiblementdépendantes
Avec M. Cornec (INSEE), O. Wintenberger (Dauphine), X. Li (Cergy)
Pierre Alquier
Groupe de travail “Prévision”, ENGREF, 13 avril 2012
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
1 Résumé des épisodes précédents : prévision de la croissancedu PIB
Introduction et notationsApplication à la prévision de la croissance du PIB
2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Contexte
Soit (Xt)t∈Z un processus stationnaire à valeurs dans Rm. Onobserve (X1, ...,Xn). But : apprendre à prédire le processus.
On se donne une famille de prédicteurs (experts) :
F ⊂{f : (Rm)k → Rm mesurables
}.
Définition
Pour tout f ∈ F , X̂ ft := f (Xt−1, . . . ,Xt−k).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Contexte
Soit (Xt)t∈Z un processus stationnaire à valeurs dans Rm. Onobserve (X1, ...,Xn). But : apprendre à prédire le processus.
On se donne une famille de prédicteurs (experts) :
F ⊂{f : (Rm)k → Rm mesurables
}.
Définition
Pour tout f ∈ F , X̂ ft := f (Xt−1, . . . ,Xt−k).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Familles classiques de prédicteurs
Définition
Pour tout f ∈ F , X̂ ft = f (Xt−1, . . . ,Xt−k).
Prédicteurs AR(k) :
X̂ ft = θ0 +
k∑i=1
θiXt−i .
Modèle additif non paramétrique, pour une base (ϕj)∞j=1,
X̂ ft =
k∑i=1
∞∑j=1
θi ,jϕj(Xt−i).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Familles classiques de prédicteurs
Définition
Pour tout f ∈ F , X̂ ft = f (Xt−1, . . . ,Xt−k).
Prédicteurs AR(k) :
X̂ ft = θ0 +
k∑i=1
θiXt−i .
Modèle additif non paramétrique, pour une base (ϕj)∞j=1,
X̂ ft =
k∑i=1
∞∑j=1
θi ,jϕj(Xt−i).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Fonction de perte & risque
Soit ` une fonction de perte : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur
commise par le prédicteur f à la date t.
Définition - le risque R
Pour tout f ∈ F , R(f ) := E[`(X̂ f
t ,Xt
)].
On peut l’estimer par
Définition - le risque empirique rn
Pour tout f ∈ F , rn(f ) := 1n−k
∑nt=k+1 `
(X̂ f
t ,Xt
).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Fonction de perte & risque
Soit ` une fonction de perte : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur
commise par le prédicteur f à la date t.
Définition - le risque R
Pour tout f ∈ F , R(f ) := E[`(X̂ f
t ,Xt
)].
On peut l’estimer par
Définition - le risque empirique rn
Pour tout f ∈ F , rn(f ) := 1n−k
∑nt=k+1 `
(X̂ f
t ,Xt
).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Le problème de la prévision de la croissance
But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.
Information disponible :
1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Le problème de la prévision de la croissance
But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.
Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.
2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Le problème de la prévision de la croissance
But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.
Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.
3 toute autre information quantitative ou qualitative.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Le problème de la prévision de la croissance
But : lors du 3ème mois du trimestre t, annoncer quelle sera lacroissance ∆GDPt lors de ce trimestre.
Information disponible :1 le passé : ∆GDPt−1, ..., ∆GDP1, date 1 : 1988-T1.2 les enquêtes de conjoncture, mensuelles, de l’INSEE.3 toute autre information quantitative ou qualitative.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Les enquêtes de conjoncture
Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :
1 proviennent directement des agents qui font vivrel’économie.
2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).
→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Les enquêtes de conjoncture
Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :
1 proviennent directement des agents qui font vivrel’économie.
2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).
→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Les enquêtes de conjoncture
Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :
1 proviennent directement des agents qui font vivrel’économie.
2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).
→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Les enquêtes de conjoncture
Il s’agit de questionnaires mensuels envoyés aux plus grandesentreprises françaises, et à un échantillon d’entreprises pluspetites. Ces données :
1 proviennent directement des agents qui font vivrel’économie.
2 sont disponibles quasiment en temps réel (lors dutroisième mois du trimestre, on connaît les résultats pourles deux premiers mois).
→ les résultats sont synthétisés par l’INSEE dans l’indicateurde climat, disons It−1.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Résultats connus
La famille de prédicteurs
∆̂GDPf
t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|
a été utilisée par Cornec (CIRET conference, 2010). Onobtient :
1 des prévisions globalement aussi précises que celles del’INSEE.
2 des prévisions d’autant moins précises que la conjonctureest mauvaise.
→ nécessité de donner un intervalle de confiance ou uneindication de précision.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Résultats connus
La famille de prédicteurs
∆̂GDPf
t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|
a été utilisée par Cornec (CIRET conference, 2010). Onobtient :
1 des prévisions globalement aussi précises que celles del’INSEE.
2 des prévisions d’autant moins précises que la conjonctureest mauvaise.
→ nécessité de donner un intervalle de confiance ou uneindication de précision.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Résultats connus
La famille de prédicteurs
∆̂GDPf
t = α+β∆GDPt−1 + γIt−1 + δ(It−1− It−2)|It−1− It−2|
a été utilisée par Cornec (CIRET conference, 2010). Onobtient :
1 des prévisions globalement aussi précises que celles del’INSEE.
2 des prévisions d’autant moins précises que la conjonctureest mauvaise.
→ nécessité de donner un intervalle de confiance ou uneindication de précision.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Résultats : prévision
Prévisions en utilisant la fa-mille de prédicteurs de Cor-nec et la fonction de perte`(x , x ′) = |x − x ′|.Prédicteur :
f̂ ∈ argminf ∈F
rn(f ).
Les performances moyennessont voisines de celles obte-nues par l’INSEE.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Introduction et notationsApplication à la prévision de la croissance du PIB
Résultats : intervalles de confiance
Intervalles de confiance enutilisant la fonction de pertequantile de Koenker :
`(x , x ′)= (x−x ′)(τ−1(x−x ′ < 0)).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
1 Résumé des épisodes précédents : prévision de la croissancedu PIB
Introduction et notationsApplication à la prévision de la croissance du PIB
2 Dépendance faible et inégalités PAC-BayésiennesEstimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Et en théorie ?
On a utiliséf̂ = argmin
f ∈Frn(f )
mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !
Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :
1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”
2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Et en théorie ?
On a utiliséf̂ = argmin
f ∈Frn(f )
mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :
1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”
2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Et en théorie ?
On a utiliséf̂ = argmin
f ∈Frn(f )
mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :
1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”
2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Et en théorie ?
On a utiliséf̂ = argmin
f ∈Frn(f )
mais il n’y a pas, a priori, de théorie pour justifier une telleméthode !Justifié par la théorie des processus ARMA si on suppose quela croissance du PIB est un processus ARMA (�).Il reste deux possibilités :
1 � “Je n’ai pas besoin de théorie, ça marche en pratique !La théorie produit des choses optimales en théorie maisqui ne marchent pas en pratique.”
2 Y si ça marche en pratique, la théorie doit pouvoir direquelque chose dessus !
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Fonction de perte & risque (suite)
Rappel : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur commise par le
prédicteur f à la date t.
Rappel - le risque de prévision R
Pour tout f ∈ F , R(f ) := E[`(X̂ f
t ,Xt
)].
Pour tout estimateur f̂ ,
R(f̂ ) = infF
R︸︷︷︸“biais”
+[R(f̂ )− infF
R︸ ︷︷ ︸“variance”
].
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Fonction de perte & risque (suite)
Rappel : `(X̂ ft ,Xt) ≥ 0 mesure l’erreur commise par le
prédicteur f à la date t.
Rappel - le risque de prévision R
Pour tout f ∈ F , R(f ) := E[`(X̂ f
t ,Xt
)].
Pour tout estimateur f̂ ,
R(f̂ ) = infF
R︸︷︷︸“biais”
+[R(f̂ )− infF
R︸ ︷︷ ︸“variance”
].
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Estimateur de Gibbs - minimisation de rn
Définition - min. du risque empiriqueOn pose
f̂ = argminf ∈F
rn(f ).
Soit π une loi a priori sur l’ensemble F .
Définition - l’estimateur de Gibbs f̂λOn pose
f̂λ =
∫fe−λrn(f )π(df )∫e−λrn(f )π(df )
=:
∫f π−λrn(df ).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Estimateur de Gibbs - minimisation de rn
Définition - min. du risque empiriqueOn pose
f̂ = argminf ∈F
rn(f ).
Soit π une loi a priori sur l’ensemble F .
Définition - l’estimateur de Gibbs f̂λOn pose
f̂λ =
∫fe−λrn(f )π(df )∫e−λrn(f )π(df )
=:
∫f π−λrn(df ).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Hypothèses
1 Le processus (Xt) est borné p.s.,
P(‖Xt‖ ≤ B) = 1.
2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,
‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤
k∑j=1
aj(f )‖xj − x ′j‖,
k∑j=1
aj(f ) ≤ K .
4 k ≤ n/2.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Hypothèses
1 Le processus (Xt) est borné p.s.,
P(‖Xt‖ ≤ B) = 1.
2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.
3 Pour tout f ∈ F ,
‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤
k∑j=1
aj(f )‖xj − x ′j‖,
k∑j=1
aj(f ) ≤ K .
4 k ≤ n/2.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Hypothèses
1 Le processus (Xt) est borné p.s.,
P(‖Xt‖ ≤ B) = 1.
2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,
‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤
k∑j=1
aj(f )‖xj − x ′j‖,
k∑j=1
aj(f ) ≤ K .
4 k ≤ n/2.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Hypothèses
1 Le processus (Xt) est borné p.s.,
P(‖Xt‖ ≤ B) = 1.
2 `(x , x ′) = g(x − x ′) avec g convexe et L-Lipshitz.3 Pour tout f ∈ F ,
‖f (x1, . . . , xk)− f (x ′1, . . . , x′k)‖ ≤
k∑j=1
aj(f )‖xj − x ′j‖,
k∑j=1
aj(f ) ≤ K .
4 k ≤ n/2.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Inégalité PAC-Bayésienne pour la prédiction
ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,
P
(R(f̂λ) ≤ inf
ρ
{∫Rdρ +
λκ2nn
+K(ρ, π) + log
(2ε
)λ
})≥ 1− ε.
κn =√2K (1 + L)(B + θ∞,n(1)).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Coefficient de θ-dépendance faible
Introduits par Doukhan et Louhichi (SPA, 1999). SoitFi = σ(Xt , t ≤ i). Pour i < j1 < · · · < j` on pose
θp(Fi , (Xj1 , . . . ,Xjp))
:= supg 1-Lipshitz
‖E [g(Xj1 , . . . ,Xj`)|Fi ]− E [g(Xj1 , . . . ,Xj`)]‖p .
Enfin,
θp,r (k) := max`≤r
supi+k≤j1<j2<···<j`
θp(Fi , (Xj1 , . . . ,Xjp))).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Exemples de calculs de coefficients θTout processus
Xt = F (ξt , ξt−1, ξt−2, . . . )
avec les ξi iid et bornés par b, et
‖F (x1, x2, . . . )− F (x ′1, x′2, . . . )‖ ≤
∞∑j=1
aj‖xj − x ′j‖
vérifie :
θ∞,n(1) ≤ 2b∞∑j=1
jaj .
Inclut par exemple :
Xt = G (ξt ,Xt−1) = G (ξt ,G (ξt−1,Xt−2)) = · · · = H(ξt , ξt−1, . . . ).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Rappel
ThéorèmeSous les hypothèses précédentes, pour tout ε ∈]0, 1[, pourtout λ > 0,
P
(R(f̂λ) ≤ inf
ρ
{∫Rdρ +
2λκ2nn
+ 2K(ρ, π) + log
(2ε
)λ
})≥ 1− ε.
κn =√2K (1 + L)(B + θ∞,n(1)).
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas où card(F) = M <∞ (1/2)
Si π uniforme,
R(f̂λ) ≤ infρ
{∫Rdρ +
2λκ2nn
+ 2K(ρ, π) + log
(2ε
)λ
}
≤ inff ∈F
{R(f ) +
2λκ2nn
+ 2log(M) + log
(2ε
)λ
}
et λ =√
n log(M)/κn (�) conduit à
Théorème
R(f̂λ) ≤ infF
R + 2κn
√2 log(M)
n+
2κn log(2ε
)n log(M)
.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas où card(F) = M <∞ (1/2)
Si π uniforme,
R(f̂λ) ≤ infρ
{∫Rdρ +
2λκ2nn
+ 2K(ρ, π) + log
(2ε
)λ
}
≤ inff ∈F
{R(f ) +
2λκ2nn
+ 2log(M) + log
(2ε
)λ
}
et λ =√
n log(M)/κn (�) conduit à
Théorème
R(f̂λ) ≤ infF
R + 2κn
√2 log(M)
n+
2κn log(2ε
)n log(M)
.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas où card(F) = M <∞ (2/2)
Et pour le minimiseur du risque empirique f̂ ?
Un calcul similaire conduit à
ThéorèmePour un c > 0 connu,
R(f̂ ) ≤ infF
R + c .κn
√log(M)
n+
c .κn log(2ε
)√n log(M)
.
Gros avantage : ne nécessite pas la connaissance de κn.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas où card(F) = M <∞ (2/2)
Et pour le minimiseur du risque empirique f̂ ?
Un calcul similaire conduit à
ThéorèmePour un c > 0 connu,
R(f̂ ) ≤ infF
R + c .κn
√log(M)
n+
c .κn log(2ε
)√n log(M)
.
Gros avantage : ne nécessite pas la connaissance de κn.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas des prédicteurs AR (1/2)On se restreint à Xt ∈ R et, pour f ∈ F ,
f (Xt−1, ...,Xt−k) =k∑
j=1
θjXt−j
avec ‖θ‖1 ≤ L. Cette fois, on prend π uniforme.
Un calcul similaire quoique plus moche et le choixλ =√
kn/κn (�) conduisent à :
Théorème
R(f̂λ) ≤ infF
R + 2κn
√knlog(
e2LBκn
√nk
)+
2κn log(2ε
)√
nk.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas des prédicteurs AR (1/2)On se restreint à Xt ∈ R et, pour f ∈ F ,
f (Xt−1, ...,Xt−k) =k∑
j=1
θjXt−j
avec ‖θ‖1 ≤ L. Cette fois, on prend π uniforme.
Un calcul similaire quoique plus moche et le choixλ =√
kn/κn (�) conduisent à :
Théorème
R(f̂λ) ≤ infF
R + 2κn
√knlog(
e2LBκn
√nk
)+
2κn log(2ε
)√
nk.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas des prédicteurs AR (2/2)
Et pour le minimiseur du risque empirique f̂ ?
Un calcul similaire conduit à
ThéorèmePour un c > 0 connu,
R(f̂ ) ≤ infF
R + c .κn
√knlog(n) +
c .κn log(2ε
)√
nk.
Gros avantage : ne nécessite pas la connaissance de κn.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas des prédicteurs AR (2/2)
Et pour le minimiseur du risque empirique f̂ ?
Un calcul similaire conduit à
ThéorèmePour un c > 0 connu,
R(f̂ ) ≤ infF
R + c .κn
√knlog(n) +
c .κn log(2ε
)√
nk.
Gros avantage : ne nécessite pas la connaissance de κn.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Cas généralOn peut introduire une mesure de la complexité de l’ensemblede prédicteurs F , en fait :
C(F , π) := supλ>c
log(
1π{θ:R(θ)−infF R≤ 1
λ}
)log(λ)
.
Le résultat est alors :
Théorème
Pour une constante c > 0 connue et λ '√
C(F , π)n/κn,
R(f̂λ)
R(f̂ )
. infF
R + c .
√C(F , π)
nlog(n) + c .
log(1ε)
√n.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Sélection de modèles (1/3)
Soient M familles de prédicteurs F1, ..., FM . Par exemple,
F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1
C(F1, π1) ' 1
F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2
C(F2, π2) ' 2
......
...
Fk : f (Xt−1, ...,Xt−k) =k∑
j=1
θjXt−j
C(Fk , πk) ' k
On fixe des lois a priori dans chaque famille de prédicteurs :
π1, . . . , πM .
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Sélection de modèles (1/3)
Soient M familles de prédicteurs F1, ..., FM . Par exemple,
F1 : f (Xt−1, ...,Xt−k) = θ1Xt−1 C(F1, π1) ' 1F2 : f (Xt−1, ...,Xt−k) = θ1Xt−1 + θ1Xt−2 C(F2, π2) ' 2...
......
Fk : f (Xt−1, ...,Xt−k) =k∑
j=1
θjXt−j C(Fk , πk) ' k
On fixe des lois a priori dans chaque famille de prédicteurs :
π1, . . . , πM .
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Sélection de modèles (2/3)
On choisit
p1, . . . , pM ≥ 0 avecM∑i=1
pi = 1.
On pose
π =M∑i=1
piπi .
Rappel
π−λrn(df ) =e−λrn(f )π(df )∫e−λrn(g)π(dg)
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Sélection de modèles (3/3)
Définition
λ̂ = argminλ∈Λ
{∫rndπ−λrn +
λκ2nn
+K(π−λrn , π) + log(|Λ|/ε)
λ
}sur une grille finie Λ bien choisie.
Théorème
R(f̂λ̂)
≤ inf1≤j≤M
infFj
R + c .
√C(Fj , πj)
nlog(n) + c .
log(2 log(n)εpj
)√
C(Fj , πj)n
.
Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
Sélection de modèles (3/3)
Définition
λ̂ = argminλ∈Λ
{∫rndπ−λrn +
λκ2nn
+K(π−λrn , π) + log(|Λ|/ε)
λ
}sur une grille finie Λ bien choisie.
Théorème
R(f̂λ̂)
≤ inf1≤j≤M
infFj
R + c .
√C(Fj , πj)
nlog(n) + c .
log(2 log(n)εpj
)√
C(Fj , πj)n
.Pierre Alquier Prévision de séries temporelles faiblement dépendantes
Introduction : problème de la prévisionDépendance faible et inégalités PAC-Bayésiennes
Estimateur de Gibbs / minimisation du risque empiriqueBornes PAC-BayésiennesExemples
The end
Merci !
Pierre Alquier Prévision de séries temporelles faiblement dépendantes