Post on 23-Oct-2020
transcript
INTRODUCTION À L’ÉCONOMÉTRIE. S6séance de lundi 23 mars 2020
Régression linéaire multiple
• Estimation des paramètres.
• Propretés des estimateurs
RÉGRESSION LINÉAIRE MULTIPLE (K > 1)
Buts:
1- Trouver un modèle mieux ajusté aux données.
2- Étudier en même temps l’effet de plusieurs facteurs explicatifs et leurs interactions
3- Diminuer la variance résiduelle (augmenter la précision des estimations).
4- Diminuer les biais en incluant dans le modèle des variables explicatives pertinentes.
EXEMPLE DE RÉGRESSION MULTIPLE (K > 1)
Y =Variable expliquée(dépendante) :Consommation automobile ( litres / 100 kilomètres)
Xi = Variables explicatives (indépendantes) :
X1- Poids du véhicule
X2- Vitesse
X3- Température extérieure
X4- Type de parcours
X5- Sexe du conducteur / conductrice
MODÈLES DE RÉGRESSION MULTIPLE
iikkiii XXXY 22110
Modèle théorique
ikkiii XbXbXbbŶ 22110
Modèle estimé, calculé, empirique
Résidu
Ŷ Ye iii
Postulats en régression multiple
Les mêmes qu’en régression simple,
et en plus:
pas de colinéarité parfaite entre les X.
Définition: colinéarité
Il y a colinéarité parfaite si une variable explicative,
disons Xk , peut être exprimée comme combinaison
linéaire des autres X ’s:
Xk = c1 X1 + c2 X2 +….+ ck-1 Xk-1
Méthode des moindres carrés
Calculer les estimations b0 …. bk
des paramètres o ….. k de façon à minimiser
2
110
22 ikkiiiii Xb...XbbYŶYe
EXEMPLE
22110 iii XbXbbŶ
21 43309538205136 iii X.X..Ŷ
Pour chaque point
d’augmentation dans la tension,
la résistance moyenne diminue de
8.95 unités, pour un taux
d’humidité fixe
Pour chaque % d’augmentation
dans le taux d’humidité, la
résistance moyenne augmente de
0.433 unité, pour une tension fixe
Formule matricielle pour calculer les estimations
des paramètres o , 1 , … , k
YXXXb 1
Modèle linéaire à k variables
ji
ij
x
y
la dérivée partielle de par rapport à
i
k
j
jjii uxy 1
iii u'y βx où kiiii x..xx' 21x
et
k
.
2
1
β
ikkiiii ux....xxy 2211
iy jix
Modèle linéaire sous forme matricielle
y
ny
.
.
y
y
2
1
nkknnn
kk
kk
ux...xx
....
....
ux...xx
ux...xx
2211
22222112
11221111
nu
.
.
u
u
2
1
u
uXβy
knnn
k
k
x.....xx
........
x.....xx
x.....xx
21
22212
12111
X
uXβy
où y et u sont des vecteurs de n observations (n x 1)
et X est matrice de n lignes et k colonnes (n x k)
Les colonnes de la matrice X contiennent les k variables
Les lignes de la matrice X contiennent les n observations
uXβy
n x 1 n x k n x 1k x 1
Estimation de
0)....(2 22111
kkiii
n
i
iji
j
bxbxbxyxb
S
On obtient ̂ en minimisant la somme de carrés des résidus pour un
n
i
kkiiii )bx....bxbxy(Smin1
2
2211
01
)ˆy(xn
i
iji βx'i pour j=1,2,…,k
ii uy ˆˆ βx'i donc pour j=1,2,…,k0ˆ
1
n
i
ijiux
échantillon d’observations: n,...,,ikiiii
x,...,x,x,y2121
β
Sous forme matricielle
βXyu ˆ
ˆ
.
.
ˆ
ˆ
ˆ
2
1
nu
u
u
0uX'
0
.
.
0
0
ˆ
0βXyX'uX' )ˆ(ˆ 0βXX'yX' ˆ
βXX'yX' ˆ
Détermination de β̂
Le système de k équations «normales »
Résolution : si X΄X est inversible
yX'XX'1)(
yX'XX'β1 )(ˆ
Une condition nécessaire pour que )( XX' soit inversible c’est
k)(rang XX'
βXX'XX'1 ˆ)( β̂Ik β̂
Spécification stochastique « classique »
uXβy
iii uxy
Une variable explicative k variables explicatives
iii u'y βx ou
1. Relation linéaire
3. est iid (indépendamment et identiquement distribué)
i)u(E)a( i 0
0u )(E
2. est non aléatoire X est une matrice non aléatoire
0
0
0
2
1
.
.
)u(E
.
.
)u(E
)u(E
n
(n x 1)
ix
iu
i)uvar()b( i 2
ji)u,ucov()c( ji 0
La matrice de variances covariances du vecteur aléatoire u
nI)var(2u
)uvar(...)u,ucov()u,ucov(
......
....)uvar()u,ucov(
)u,ucov(...)u,ucov()uvar(
nnn
n
21
212
1211
(une matrice diagonale)
)var(u
)c(et)b(
la définition d’une matrice de variances covariances
))'(E))((E(E)var( uuuuu 0u )(EOr
nI)'(E)var(2 uuu
donc
))'(E))((E(E)var( zzzzz p x 1 1 x pp x p
Soit z un vecteur de p variables aléatoires
Sa matrice de variances covariances est définie par:
Propriétés statistiques de l’estimateur des Moindres Carrés Ordinaires
est un estimateur linéaire et sans biais deβ̂
β
Parmi les estimateurs dans la classe « linéaire et sans biais » β̂
est celui qui a la variance la plus faible (le théorème de Gauss et Markov)
yβ Cˆ X'XX' 1 )(Coù
est un estimateur linéaire deβ̂
X est une matrice non aléatoire donc C est non aléatoire
Chaque coefficient estimé est une combinaison linéaire des observations sur y
car la matrice C est non aléatoire
β
1.
X'XX'1 )(Cyβ Cˆ
Interprétation:
Posons: où
La matrice C contient k lignes et n colonnes:
knkk
n
n
c...cc
......
......
c...cc
c...cc
C
21
22221
11211
Donc
n
i
ijinjnjjj ycyc...ycycˆ
1
2211
Chaque coefficient estimé est une somme pondérée des observations sur
(k x k) (k x n)
iy
βest un estimateur sans biais deβ̂2.
yX'XX'β1 )(ˆ
)()( uXβX'XX' 1
uX'XX'XβX'XX'11 )()(
0ββ )ˆ(E
Définition de l’absence de biais: k,...,,jβ)β̂(E jj 210
Sous forme vectorielle:
Détermination de )ˆ(E β
uX'XX'βI1 )(k
uX'XX'β1 )(
))((E)ˆ(E uX'XX'ββ 1
))((E uX'XX'β 1 car β est certain
)(E)( uX'XX'β 1 car X est non aléatoire
X'0XX'β1 )( 0u )(car E
β0β
0ββββ )ˆ(E)ˆ(E le vecteur de biais est zéro
uXβy
0u )(E
β
yβ Cˆ X'XX' 1 )(Coù
est un estimateur linéaire de
β̂
est une matrice non aléatoire donc C est non aléatoire
2.
0ββ )ˆ(E 0u )(Ecar
Spécification stochastique
βest un estimateur sans biais de
β̂
nI)var(2u
est une matrice non aléatoireX
X
1.
Xet est une matrice non aléatoire
3. La matrice de variances covariances de β̂ est donnée par12 )()ˆvar( XX'β
))'ˆ(Eˆ))(ˆ(Eˆ(E)ˆvar( βββββ
ββ )ˆ(EOr
))'ˆ)(ˆ((E)ˆvar( βββββ
donc
uX'XX'β1 )(
On a déjà établi que
))')(((E)ˆvar( uX'X)(X'uX'X)(X'β 11
)()(ˆ uXβX'XX'β 1
nI)'(E)var(Or2 uuu
11 X)X(X'uu'X'X)(X'β )(E)ˆvar( est non aléatoire
121 X)X(X'X'X)(X'β nI)ˆvar(
112 X)X(X'X'X)(X'
kI12 X)(X'
12 X)(X'
Remarques: (1) cette matrice est symétrique et définie positive
'CC)ˆvar()( 22 β
carX
12)ˆvar( X)(X'β
)(E 11 X)X(X'uu'X'X)(X'
jjj a)ˆvar( 2
kkkk
k
k
a....aa
....
.......
a....aa
a....aa
)(Posons
21
22212
11211
1XX'
jmmj aet2)ˆ,ˆcov(
0ββ )ˆ(E 0u )(Ecar X est non aléatoire et
12 X)(X'β ˆvar nI)var( 2ucar
)X)(X'ββ12,(~ˆ D
On va supposer que )I,(N~ n20u
yX'X)(X'β1ˆ
uX'X)(X'β1
)X)(X'ββ12 ,(D~ˆ
β est certain et X est non aléatoire, donc
)I,(N~ n20u )X)(X'ββ 12 ,(N~ˆ
car β̂ est une fonction linéaire de u
et u suit la loi normale
Tests d’hypothèses
βXyu ˆˆ Le résidu
yX'X)(X'β1ˆ donc yX'X)X(X'yβXyu
1 ˆˆ
Myu ˆ X'X)X(X'M 1 nISoit où
Les propriétés de la matrice X'X)X(X'M1 nI
1. M est carrée
2. M est symétrique MM'
4. M est idempotente MMMMM'
knrang )(. M5
3. 0MX une matrice de zéros
Myu ˆ uXβM Mu 0MXcar
Estimation de
)uvar( i2
n
un
i
i 1
2
)u(E i2
est un estimateur sans biais de
2
OR on n’observe pas βx'i ii yu
mais on peut estimer le résidu: βx'iˆˆ ii yu
βXyu ˆˆ Sous forme matricielle
kn
u'u ˆˆˆ 2Il s’avère que est un estimateur sans biais de
2
Myu ˆ u)M(Xβ
Mu 0MXcar
On va démontrer que )()ˆ()ˆˆ(2
1
2 knuEEn
i
i
u'u
MuM'u'u'u ˆˆ
Muu'MMuu'
)()ˆˆ( Muu'u'u EE
1. La trace d’un scalaire (z) est égale au scalaire
2. Sous condition que les matrice peuvent être multipliées
)BA(trace)AB(trace
Digression sur la trace d’une matrice
mmmm
m
m
a....aa
....
.......
a....aa
a....aa
A
21
22221
11211
mma...aa)A(trace 2211
La trace d’une matrice est la somme des éléments sur la diagonale
z)z(trace
Fin de digression
))ˆˆ(()ˆˆ( u'uu'u traceEE est un scalaireu'u ˆˆcar
))(trace(E Muu'
))(trace(E Muu'
))(E(trace uu'M
)I(trace n2M
)(trace M2
)I(trace)(trace n X'X)X(X'M1
)(trace)I(trace n X'X)X(X'1
)(tracen 1X)X(X'X'
kn
)I(tracen k
)()ˆˆ( 2 knE u'uDonc
22
)(
)(ˆˆ
kn
kn
knE
u'u
L’estimateur des moindres carrés ordinaires de
kn
u'u ˆˆˆ 2
2
Exercice d’application
c x1 x2
1 4 7
X= 1 6 4
1 5 8
1 8 6
1 7 9
c 1 1 1 1 1
X‘= x1 4 6 5 8 7
x2 7 4 8 6 9
5 30 34
X'X= 30 190 203
34 203 246
7,53 -0,65 -0,5
(x'x)-1= -0,65 0,101 0,01
-0,5 0,007 0,07
76
X'Y= 476
534
-6,47
(X'X)-1*X'Y= 2,131,31
les valeurs estimés
βo -6,47
β1 2,13
β2 1,31
Après estimation du modèle linéaire avec la méthode des MCO
Donc Ŷ=-6,47+213X1+1,31X2
Le modèle linéaire: Yi=β0+ β1X1+ β2X2+ei
La séance prochaine on aura la suite du cour et la solution des autres questions.
Bonne chance et bon courage.
Vous pouvez toujours consulter les document déposé dans Google Classroom.
Nom du cours: Intro_économétrie LF_S6
Code du cours seuuhwc
Les documents et le cours est destiné pour les deux groupe de S6