Estimation dans un mod ele de r egression semi-param etriquepfraysse/Tunis.pdfP. Fraysse (Bordeaux...

Estimation dans un modèle de régressionsemi-paramétrique

Bernard Bercu, Philippe Fraysse

Université Bordeaux 1INRIA Bordeaux Sud-Ouest

Gammarth, 25 Mai 2011

P. Fraysse (Bordeaux 1) Régression semi-paramétrique Gammarth, 25 Mai 2011 1 / 22

Présentation du problème

1 Présentation du problème

2 Estimation de θRobbins-MonroEstimateur pour notre problèmeRésultats obtenus

3 Estimation de fNadaraya-WatsonEstimateur pour notre problèmeRésultats obtenus

4 Simulations

On s’intéresse au modèle de régression fonctionnel

Yn = f(Xn − θ) + εn

où (εn)n≥0 est une suite i.i.d. telle que E [εn] = 0 et E[ε2n]= σ2 < +∞.

Inconnues : θ et f .

Hypothèses :

(H1) f est paire, 1-périodique, bornée.(H2) (Xn)n≥0 iid de densité g symétrique à support compact

sur [−12 ,12 ], deux fois dérivable à dérivées bornées.

(H3) f est lipschitzienne.

Objectif : estimer θ et f .

Hypothèses :

Yn = f(Xn − θ) + εn.

Commentaires :

εn n’est pas nécessairement gaussien.

On peut se passer de l’hypothèse de parité sur f .

Le fait de prendre f périodique n’est pas très restrictif : de nombreuxphénomènes réels donnent lieu à des signaux périodiques (astronomie,économétrie, médecine, . . .)

θ est un paramètre de translation.

Commentaires :

Estimation de θ

4 Simulations

Estimation de θ Robbins-Monro

Soit φ une fonction inconnue telle qu’il existe x∗ tel que φ(x∗) = 0.

Hypothèses :

φ est continue.

∀x ∈ R, avec x 6= x∗, (x− x∗)φ(x) < 0 (en particulier, ceci est vrai sig est strictement décroissante).

Objectif : trouver x∗.

Hypothèses :

φ est continue.

Hypothèses :

φ est continue.

Hypothèses :

φ est continue.

X0 ∈ R.

Xn+1 = Xn + γnTn+1.

E [Tn+1|Fn] = φ(Xn) p.s.

E[T 2n+1|Fn] ≤ C(1 +X2n) p.s.∑n≥1 γn = +∞ et

∑n≥1 γ

2n < +∞.

limn→+∞

Xn = x∗ p.s.

(Robbins H. et Monro S. (1951), Duflo M. (1997), Kushner H.J et Yin G.(2003))

X0 ∈ R.

∑n≥1 γ

2n < +∞.

limn→+∞

Xn = x∗ p.s.

X0 ∈ R.

∑n≥1 γ

2n < +∞.

limn→+∞

Xn = x∗ p.s.

Estimation de θ Estimateur pour notre problème

On cherche φ continue telle que φ(θ) = 0 et (t− θ)φ(t) < 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

Si |t− θ| < 1/2 et f1 > 0, alors (t− θ)φ(t) < 0.

Si |θ| < 1/4 et |t| < 1/4, alors (t− θ)φ(t) < 0.

Difficulté : on n’a pas (t− θ)φ(t) < 0 sur R tout entier.⇒ projection sur K = [−1/4, 1/4].

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

Difficulté : on n’a pas (t− θ)φ(t) < 0 sur R tout entier.

⇒ projection sur K = [−1/4, 1/4].

∀t ∈ R, φ(t) = E[sin(2π(X1−t)

)f(X1−θ)

g(X1)

].

φ(t) = sin(2π(θ − t))f1, où f1 =∫ 1/2−1/2

cos(2πu)f(u)du.

φ(θ) = 0.

Estimation de θ Résultats obtenus

θ̂0 ∈ [−1/4, 1/4].

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Tn+1 =sin(2π(Xn+1−θ̂n))Yn+1

g(Xn+1).

E[Tn+1|Fn] = φ(θ̂n) p.s. et E[T 2n+1|Fn] ≤ C p.s.∑n≥1 γn = +∞ et

∑n≥1 γ

2n < +∞.

Théorème

Sous (H1) et (H2) et si |θ| < 1/4,

limn→+∞

θ̂n = θ p.s.

θ̂0 ∈ [−1/4, 1/4].

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

g(Xn+1).

∑n≥1 γ

2n < +∞.

Théorème

Sous (H1) et (H2) et si |θ| < 1/4,

limn→+∞

θ̂n = θ p.s.

θ̂0 ∈ [−1/4, 1/4].

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

g(Xn+1).

∑n≥1 γ

2n < +∞.

Théorème

Sous (H1) et (H2) et si |θ| < 1/4,

limn→+∞

θ̂n = θ p.s.

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

Le nombre de fois que θ̂n + γn+1Tn+1 sort de K est fini p.s.

Conséquence : Le comportement asymptotique p.s. est le même que pourun algorithme de Robbins-Monro classique.(Mokkadem A. et Pelletier M. (2007), Pelletier M. (1998))

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

On suppose (H1), (H2) et |θ| < 1/4. Si de plus, (εn) a un moment finid’ordre > 2 et que 4πf1 > 1, alors on a la loi du log-itéré

lim supn→+∞

( n2 log log n

)1/2(θ̂n − θ) = − lim inf

n→+∞

( n2 log log n

)1/2(θ̂n − θ)

= ξ(θ) p.s.

De plus, on a la loi forte quadratique

limn→+∞

1

log n

n∑k=1

(θ̂k − θ

)2= ξ2(θ) p.s.

où ξ2(θ) = ϕ(θ)4πf1−1 et ϕ(t) =∫ 1/2−1/2

sin2(2π(x−t))g(x) (f

2(x− θ) + σ2) dx.

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

lim supn→+∞

( n2 log log n

)1/2(θ̂n − θ) = − lim inf

n→+∞

( n2 log log n

)1/2(θ̂n − θ)

= ξ(θ) p.s.

limn→+∞

1

log n

n∑k=1

(θ̂k − θ

)2= ξ2(θ) p.s.

où ξ2(θ) = ϕ(θ)4πf1−1 et ϕ(t) =∫ 1/2−1/2

2(x− θ) + σ2) dx.

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

lim supn→+∞

( n2 log log n

)1/2(θ̂n − θ) = − lim inf

n→+∞

( n2 log log n

)1/2(θ̂n − θ)

= ξ(θ) p.s.

limn→+∞

1

log n

n∑k=1

(θ̂k − θ

)2= ξ2(θ) p.s.

où ξ2(θ) = ϕ(θ)4πf1−1 et ϕ(t) =∫ 1/2−1/2

2(x− θ) + σ2) dx.

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Corollaire

lim supn→+∞

( n2 log log n

)1/2(θ̂n − θ) = − lim inf

n→+∞

( n2 log log n

)1/2(θ̂n − θ)

= ξ(θ) p.s.

limn→+∞

1

log n

n∑k=1

(θ̂k − θ

)2= ξ2(θ) p.s.

où ξ2(θ) = ϕ(θ)4πf1−1 et ϕ(t) =∫ 1/2−1/2

2(x− θ) + σ2) dx.P. Fraysse (Bordeaux 1) Régression semi-paramétrique Gammarth, 25 Mai 2011 11 / 22

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Théorème

On suppose (H1), (H2) et |θ| < 1/4. Si de plus, (εn) a un moment finid’ordre > 2 et que 4πf1 > 1, alors on a la normalité asymptotique

√n(θ̂n − θ)

L−→ N (0, ξ2(θ)).

(Kushner H.J, Yin G. (2003))

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Théorème

On suppose (H1), (H2) et |θ| < 1/4. Si de plus, (εn) a un moment finid’ordre > 2 et que 4πf1 > 1, alors on a la normalité asymptotique

√n(θ̂n − θ)

L−→ N (0, ξ2(θ)).

(Kushner H.J, Yin G. (2003))

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Pour résumer, lorsque |θ| < 1/4, on a la convergence p.s. de θ̂n vers θ, unevitesse de convergence p.s. (loi du log itéré et loi forte quadratique) et lanormalité asymptotique.

- 1.0

- 0.5

0.0

0.5

500 1000 1500 2000 2500 3000 3500 4000 4500 50000.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

- 2.0 - 1.5 - 1.0 - 0.5 0.0 0.5 1.0 1.5 2.0

Figure:

θ̂n+1 = πK(θ̂n + γn+1Tn+1).

Pour résumer, lorsque |θ| < 1/4, on a la convergence p.s. de θ̂n vers θ, unevitesse de convergence p.s. (loi du log itéré et loi forte quadratique) et lanormalité asymptotique.

- 1.0

- 0.5

0.0

0.5

500 1000 1500 2000 2500 3000 3500 4000 4500 50000.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

- 2.0 - 1.5 - 1.0 - 0.5 0.0 0.5 1.0 1.5 2.0

Figure:

Estimation de f

4 Simulations

Estimation de f Nadaraya-Watson

On considère le modèle Yn = f(Xn) + εn.

Si K est une fonction noyau, l’estimateur de Nadaraya-Watsonrécursif (1964) est donné par

∀x ∈ R, f̂n(x) =∑n

i=11hiK(Xi−xhi )Yi∑n

i=11hiK(Xi−xhi )

où hi = i−α.

Théorème (Noda 1976)

∀ 0 < α < 1, ∀x ∈ R, f̂n(x) −→n→+∞

f(x) p.s.

Théorème (Schuster 1972)

∀ 15< α < 1, ∀x ∈ R,

√nhn

(f̂n(x)− f(x)

) L−→ N(0, ν2f(x)1 + α

)où ν2 =

∫RK(x)

2dx.

On considère le modèle Yn = f(Xn) + εn.Si K est une fonction noyau, l’estimateur de Nadaraya-Watsonrécursif (1964) est donné par

∀x ∈ R, f̂n(x) =∑n

i=11hiK(Xi−xhi )

où hi = i−α.

∀ 0 < α < 1, ∀x ∈ R, f̂n(x) −→n→+∞

f(x) p.s.

∀ 15< α < 1, ∀x ∈ R,

√nhn

(f̂n(x)− f(x)

) L−→ N(0, ν2f(x)1 + α

)où ν2 =

∫RK(x)

2dx.

∀x ∈ R, f̂n(x) =∑n

i=11hiK(Xi−xhi )

où hi = i−α.

∀ 0 < α < 1, ∀x ∈ R, f̂n(x) −→n→+∞

f(x) p.s.

∀ 15< α < 1, ∀x ∈ R,

√nhn

(f̂n(x)− f(x)

) L−→ N(0, ν2f(x)1 + α

)où ν2 =

∫RK(x)

2dx.

∀x ∈ R, f̂n(x) =∑n

i=11hiK(Xi−xhi )

où hi = i−α.

∀ 0 < α < 1, ∀x ∈ R, f̂n(x) −→n→+∞

f(x) p.s.

∀ 15< α < 1, ∀x ∈ R,

√nhn

(f̂n(x)− f(x)

) L−→ N(0, ν2f(x)1 + α

)où ν2 =

∫RK(x)

2dx.

Estimation de f Estimateur pour notre problème

Hypothèses :

Estimation de f Résultats obtenus

Soit K un noyau symétrique à support compact et

f̂n(x) =

∑nk=1(Khk(Xk + θ̂k−1 + x) +Khk(Xk + θ̂k−1 − x))Yk∑nk=1(Khk(Xk + θ̂k−1 + x) +Khk(Xk + θ̂k−1 − x))

,

où Khk(z) =1

hkK

(z

hk

).

Théorème

Soit 0 < α < 1. On suppose (H1), (H2) et (H3). Si de plus, (εn) a unmoment fini d’ordre > 2, alors pour tout x ∈ R,

limn→+∞

f̂n(x) = f(x) p.s.

f̂n(x) =

,

où Khk(z) =1

hkK

(z

hk

).

Théorème

limn→+∞

f̂n(x) = f(x) p.s.

f̂n(x) =

,

où Khk(z) =1

hkK

(z

hk

).

Théorème

limn→+∞

f̂n(x) = f(x) p.s.

f̂n(x) =

.

Théorème

Soit 13 < α < 1. On suppose (H1), (H2) et (H3). Si de plus, (εn) a unmoment fini d’ordre > 2, on a pour tout x ∈ R avec x 6= 0,

√nhn(f̂n(x)− f(x))

L−→ N(0,

σ2ν2

(1 + α)(g(θ + x) + g(θ − x))

).

De plus, si x = 0,

√nhn(f̂n(0)− f(0))

L−→ N(0,

σ2ν2

(1 + α)g(θ)

).

Yn = f(Xn − θ) + εn.Soit K un noyau symétrique à support compact et

f̂n(x) =

.

Théorème

L−→ N(0,

σ2ν2

(1 + α)(g(θ + x) + g(θ − x))

).

De plus, si x = 0,

√nhn(f̂n(0)− f(0))

L−→ N(0,

σ2ν2

(1 + α)g(θ)

).

Yn = f(Xn − θ) + εn.Soit K un noyau symétrique à support compact et

f̂n(x) =

.

Théorème

L−→ N(0,

σ2ν2

(1 + α)(g(θ + x) + g(θ − x))

).

De plus, si x = 0,

√nhn(f̂n(0)− f(0))

L−→ N(0,

σ2ν2

(1 + α)g(θ)

).

Simulations

4 Simulations

Simulations

- 6

- 4

- 2

0

2

4

6

8

10

12

- 0.5 - 0.4 - 0.3 - 0.2 - 0.1 0.0 0.1 0.2 0.3 0.4 0.5

Figure: Données simulées

Simulations

- 4

- 2

0

2

4

6

8

10

- 0.5 - 0.4 - 0.3 - 0.2 - 0.1 0.0 0.1 0.2 0.3 0.4 0.5

Figure: Convergence p.s. de f̂n(x) vers f(x), θ̂n = 0, 103.

Simulations

Merci de votre attention.

Pour plus d’informations :

B. Bercu, P. Fraysse, A Robbins-Monro procedure for estimation insemiparametric regression modelshttp ://arxiv.org/pdf/1101.0736

Présentation du problèmeEstimation de Robbins-MonroEstimateur pour notre problèmeRésultats obtenus

Estimation de fNadaraya-WatsonEstimateur pour notre problèmeRésultats obtenus

Simulations

Date post:	20-Oct-2020
Category:	Documents
Upload:	others
View:	0 times
Download:	0 times

Estimation dans un mod ele de r egression semi-param etriquepfraysse/Tunis.pdfP. Fraysse (Bordeaux...

Documents