INTRODUCTION À L’ÉCONOMÉTRIE. S6séance de lundi 23 mars 2020

Régression linéaire multiple

• Estimation des paramètres.

• Propretés des estimateurs

RÉGRESSION LINÉAIRE MULTIPLE (K > 1)

Buts:

1- Trouver un modèle mieux ajusté aux données.

2- Étudier en même temps l’effet de plusieurs facteurs explicatifs et leurs interactions

3- Diminuer la variance résiduelle (augmenter la précision des estimations).

4- Diminuer les biais en incluant dans le modèle des variables explicatives pertinentes.

EXEMPLE DE RÉGRESSION MULTIPLE (K > 1)

Y =Variable expliquée(dépendante) :Consommation automobile ( litres / 100 kilomètres)

Xi = Variables explicatives (indépendantes) :

X1- Poids du véhicule

X2- Vitesse

X3- Température extérieure

X4- Type de parcours

X5- Sexe du conducteur / conductrice

MODÈLES DE RÉGRESSION MULTIPLE

iikkiii XXXY 22110

Modèle théorique

ikkiii XbXbXbbŶ 22110

Modèle estimé, calculé, empirique

Résidu

Ŷ Ye iii

Postulats en régression multiple

Les mêmes qu’en régression simple,

et en plus:

pas de colinéarité parfaite entre les X.

Définition: colinéarité

Il y a colinéarité parfaite si une variable explicative,

disons Xk , peut être exprimée comme combinaison

linéaire des autres X ’s:

Xk = c1 X1 + c2 X2 +….+ ck-1 Xk-1

Méthode des moindres carrés

Calculer les estimations b0 …. bk

des paramètres o ….. k de façon à minimiser

2

110

22 ikkiiiii Xb...XbbYŶYe

EXEMPLE

22110 iii XbXbbŶ

21 43309538205136 iii X.X..Ŷ

Pour chaque point

d’augmentation dans la tension,

la résistance moyenne diminue de

8.95 unités, pour un taux

d’humidité fixe

Pour chaque % d’augmentation

dans le taux d’humidité, la

résistance moyenne augmente de

0.433 unité, pour une tension fixe

Formule matricielle pour calculer les estimations

des paramètres o , 1 , … , k

YXXXb 1

Modèle linéaire à k variables

ji

ij

x

y

la dérivée partielle de par rapport à

i

k

j

jjii uxy 1

iii u'y βx où kiiii x..xx' 21x

et

k

.

2

1

β

ikkiiii ux....xxy 2211

iy jix

Modèle linéaire sous forme matricielle

y

ny

.

.

y

y

2

1

nkknnn

kk

kk

ux...xx

....

....

ux...xx

ux...xx

2211

22222112

11221111

nu

.

.

u

u

2

1

u

uXβy

knnn

k

k

x.....xx

........

x.....xx

x.....xx

21

22212

12111

X

uXβy

où y et u sont des vecteurs de n observations (n x 1)

et X est matrice de n lignes et k colonnes (n x k)

Les colonnes de la matrice X contiennent les k variables

Les lignes de la matrice X contiennent les n observations

uXβy

n x 1 n x k n x 1k x 1

Estimation de

0)....(2 22111

kkiii

n

i

iji

j

bxbxbxyxb

S

On obtient ̂ en minimisant la somme de carrés des résidus pour un

n

i

kkiiii )bx....bxbxy(Smin1

2

2211

01

)ˆy(xn

i

iji βx'i pour j=1,2,…,k

ii uy ˆˆ βx'i donc pour j=1,2,…,k0ˆ

1

n

i

ijiux

échantillon d’observations: n,...,,ikiiii

x,...,x,x,y2121

β

Sous forme matricielle

βXyu ˆ

ˆ

.

.

ˆ

ˆ

ˆ

2

1

nu

u

u

0uX'

0

.

.

0

0

ˆ

0βXyX'uX' )ˆ(ˆ 0βXX'yX' ˆ

βXX'yX' ˆ

Détermination de β̂

Le système de k équations «normales »

Résolution : si X΄X est inversible

yX'XX'1)(

yX'XX'β1 )(ˆ

Une condition nécessaire pour que )( XX' soit inversible c’est

k)(rang XX'

βXX'XX'1 ˆ)( β̂Ik β̂

Spécification stochastique « classique »

uXβy

iii uxy

Une variable explicative k variables explicatives

iii u'y βx ou

1. Relation linéaire

3. est iid (indépendamment et identiquement distribué)

i)u(E)a( i 0

0u )(E

2. est non aléatoire X est une matrice non aléatoire

0

0

0

2

1

.

.

)u(E

.

.

)u(E

)u(E

n

(n x 1)

ix

iu

i)uvar()b( i 2

ji)u,ucov()c( ji 0

La matrice de variances covariances du vecteur aléatoire u

nI)var(2u

)uvar(...)u,ucov()u,ucov(

......

....)uvar()u,ucov(

)u,ucov(...)u,ucov()uvar(

nnn

n

21

212

1211

(une matrice diagonale)

)var(u

)c(et)b(

la définition d’une matrice de variances covariances

))'(E))((E(E)var( uuuuu 0u )(EOr

nI)'(E)var(2 uuu

donc

))'(E))((E(E)var( zzzzz p x 1 1 x pp x p

Soit z un vecteur de p variables aléatoires

Sa matrice de variances covariances est définie par:

Propriétés statistiques de l’estimateur des Moindres Carrés Ordinaires

est un estimateur linéaire et sans biais deβ̂

β

Parmi les estimateurs dans la classe « linéaire et sans biais » β̂

est celui qui a la variance la plus faible (le théorème de Gauss et Markov)

yβ Cˆ X'XX' 1 )(Coù

est un estimateur linéaire deβ̂

X est une matrice non aléatoire donc C est non aléatoire

Chaque coefficient estimé est une combinaison linéaire des observations sur y

car la matrice C est non aléatoire

β

1.

X'XX'1 )(Cyβ Cˆ

Interprétation:

Posons: où

La matrice C contient k lignes et n colonnes:

knkk

n

n

c...cc

......

......

c...cc

c...cc

C

21

22221

11211

Donc

n

i

ijinjnjjj ycyc...ycycˆ

1

2211

Chaque coefficient estimé est une somme pondérée des observations sur

(k x k) (k x n)

iy

βest un estimateur sans biais deβ̂2.

yX'XX'β1 )(ˆ

)()( uXβX'XX' 1

uX'XX'XβX'XX'11 )()(

0ββ )ˆ(E

Définition de l’absence de biais: k,...,,jβ)β̂(E jj 210

Sous forme vectorielle:

Détermination de )ˆ(E β

uX'XX'βI1 )(k

uX'XX'β1 )(

))((E)ˆ(E uX'XX'ββ 1

))((E uX'XX'β 1 car β est certain

)(E)( uX'XX'β 1 car X est non aléatoire

X'0XX'β1 )( 0u )(car E

β0β

0ββββ )ˆ(E)ˆ(E le vecteur de biais est zéro

uXβy

0u )(E

β

yβ Cˆ X'XX' 1 )(Coù

est un estimateur linéaire de

β̂

est une matrice non aléatoire donc C est non aléatoire

2.

0ββ )ˆ(E 0u )(Ecar

Spécification stochastique

βest un estimateur sans biais de

β̂

nI)var(2u

est une matrice non aléatoireX

X

1.

Xet est une matrice non aléatoire

3. La matrice de variances covariances de β̂ est donnée par12 )()ˆvar( XX'β

))'ˆ(Eˆ))(ˆ(Eˆ(E)ˆvar( βββββ

ββ )ˆ(EOr

))'ˆ)(ˆ((E)ˆvar( βββββ

donc

uX'XX'β1 )(

On a déjà établi que

))')(((E)ˆvar( uX'X)(X'uX'X)(X'β 11

)()(ˆ uXβX'XX'β 1

nI)'(E)var(Or2 uuu

11 X)X(X'uu'X'X)(X'β )(E)ˆvar( est non aléatoire

121 X)X(X'X'X)(X'β nI)ˆvar(

112 X)X(X'X'X)(X'

kI12 X)(X'

12 X)(X'

Remarques: (1) cette matrice est symétrique et définie positive

'CC)ˆvar()( 22 β

carX

12)ˆvar( X)(X'β

)(E 11 X)X(X'uu'X'X)(X'

jjj a)ˆvar( 2

kkkk

k

k

a....aa

....

.......

a....aa

a....aa

)(Posons

21

22212

11211

1XX'

jmmj aet2)ˆ,ˆcov(

0ββ )ˆ(E 0u )(Ecar X est non aléatoire et

12 X)(X'β ˆvar nI)var( 2ucar

)X)(X'ββ12,(~ˆ D

On va supposer que )I,(N~ n20u

yX'X)(X'β1ˆ

uX'X)(X'β1

)X)(X'ββ12 ,(D~ˆ

β est certain et X est non aléatoire, donc

)I,(N~ n20u )X)(X'ββ 12 ,(N~ˆ

car β̂ est une fonction linéaire de u

et u suit la loi normale

Tests d’hypothèses

βXyu ˆˆ Le résidu

yX'X)(X'β1ˆ donc yX'X)X(X'yβXyu

1 ˆˆ

Myu ˆ X'X)X(X'M 1 nISoit où

Les propriétés de la matrice X'X)X(X'M1 nI

1. M est carrée

2. M est symétrique MM'

4. M est idempotente MMMMM'

knrang )(. M5

3. 0MX une matrice de zéros

Myu ˆ uXβM Mu 0MXcar

Estimation de

)uvar( i2

n

un

i

i 1

2

)u(E i2

est un estimateur sans biais de

2

OR on n’observe pas βx'i ii yu

mais on peut estimer le résidu: βx'iˆˆ ii yu

βXyu ˆˆ Sous forme matricielle

kn

u'u ˆˆˆ 2Il s’avère que est un estimateur sans biais de

2

Myu ˆ u)M(Xβ

Mu 0MXcar

On va démontrer que )()ˆ()ˆˆ(2

1

2 knuEEn

i

i

u'u

MuM'u'u'u ˆˆ

Muu'MMuu'

)()ˆˆ( Muu'u'u EE

1. La trace d’un scalaire (z) est égale au scalaire

2. Sous condition que les matrice peuvent être multipliées

)BA(trace)AB(trace

Digression sur la trace d’une matrice

mmmm

m

m

a....aa

....

.......

a....aa

a....aa

A

21

22221

11211

mma...aa)A(trace 2211

La trace d’une matrice est la somme des éléments sur la diagonale

z)z(trace

Fin de digression

))ˆˆ(()ˆˆ( u'uu'u traceEE est un scalaireu'u ˆˆcar

))(trace(E Muu'

))(trace(E Muu'

))(E(trace uu'M

)I(trace n2M

)(trace M2

)I(trace)(trace n X'X)X(X'M1

)(trace)I(trace n X'X)X(X'1

)(tracen 1X)X(X'X'

kn

)I(tracen k

)()ˆˆ( 2 knE u'uDonc

22

)(

)(ˆˆ

kn

kn

knE

u'u

L’estimateur des moindres carrés ordinaires de

kn

u'u ˆˆˆ 2

2

Exercice d’application

c x1 x2

1 4 7

X= 1 6 4

1 5 8

1 8 6

1 7 9

c 1 1 1 1 1

X‘= x1 4 6 5 8 7

x2 7 4 8 6 9

5 30 34

X'X= 30 190 203

34 203 246

7,53 -0,65 -0,5

(x'x)-1= -0,65 0,101 0,01

-0,5 0,007 0,07

76

X'Y= 476

534

-6,47

(X'X)-1*X'Y= 2,131,31

les valeurs estimés

βo -6,47

β1 2,13

β2 1,31

Après estimation du modèle linéaire avec la méthode des MCO

Donc Ŷ=-6,47+213X1+1,31X2

Le modèle linéaire: Yi=β0+ β1X1+ β2X2+ei

La séance prochaine on aura la suite du cour et la solution des autres questions.

Bonne chance et bon courage.

Vous pouvez toujours consulter les document déposé dans Google Classroom.

Nom du cours: Intro_économétrie LF_S6

Code du cours seuuhwc

Les documents et le cours est destiné pour les deux groupe de S6