Régression multiple: Méthodes alternatives
PSY-5520
Méthodes alternatives de régression Multicollinéarité:
Reformulation du modèle Régression sur les composantes principales Régression ‘ridge’
Mauvais ajustement du modèle: Régression non-linéaire Régression polynômiale Régression segmentée
Non normalité de la distribution des résidus et présence de scores extrêmes:
Régression robuste Régression pondérée
Régression Non Linéaire
Modèles intrinsèquement linéaires
Modèles intrinsèquement linéaires (Suite)
Régression polynômiale Modèles linéaires comportant un ou plusieurs termes
d’ordre supérieur Modèle quadratique:
Modèle cubique:
Modèle polynômial général:
20 1 2i i i iY x x x X X
2 30 1 2 3i i i i iY x x x x X X
20 1 2 ... p
i i p i i iY x x x x X X
Transformation de la variable indépendante En général, la corrélation entre X et Xp est très
élevée, ce qui se traduit par une forte collinéarité Pour réduire le problème, on centre X par rapport à
la moyenne:
Exemple numérique Relation entre le nombre de superviseurs et la
performance dans une ligne de montage
Exemple numérique
Exemple numérique
2705.474 54.893 4.249i i iY x x
Modèles intrinsèquement non-linéaires (Exemples)
• Modèle de Gompertz:
• Modèle logistique:
• Modèle de Weibull:
f x ae e b cX
( )( )
f xa
e b cX( )
( )
1
f(x)= a[1- e ]-(bX )c
Paramètres: a, b et c
Critère des moindres carrés et régression non-linéaire Étant donné la fonction Y' = f(X,), on
recherche le vecteur des coefficients qui minimise fE = [Y - f(X,)]2
Dans le cas d’un modèle linéaire, une solution unique existe et on l’obtient par la solution des équations normales
Dans le cas d’un modèle non-linéaire, il n’existe pas de solution unique à ce système d’équations: on doit procéder par optimisation
Surfaces & Contours
Illustration
y
x1x2
Y-
Y’)
2
Y-
Y’)
2
Fonction d’erreur: représentation graphique
• Cas non-linéaire: il peut exister plusieurs minima ou maxima
• Cas linéaire: un seul minimum existe
Exemple 1
X
1086420
Y
15.3
15.2
15.1
15.0
' bXY ae
SPSS
SPSS
SPSS
SPSS
SPSS
Exemple: Réponse à un médicament
( )
'b cXeY ae
y = Réponse
x = dosage
Détermination des paramètres initiaux Travaux antérieurs
Nature du modèle: détermination analytique
Essais et erreurs (grille)
linéarisation
SPSS: Régression non linéaire
SPSS: Régression non linéaire
SPSS: Régression non linéaire
SPSS: Régression non linéaire
Régression segmentée
Régression Linéaire Simple
Définition Supposons qu’une variable a un effet linéaire à
l’intérieur d’une certaine étendue de ses valeurs, mais un effet linéaire différent pour une autre étendue…
Régression segmentée: permet un changement dans la pente Le modèle implique deux ou plusieurs segments Le vrai modèle est continu, mais avec une brisure structurale
Exemple: segments continus
Y
X
1 1
2 2
y a b x pour x c
y a b x pour x c
1 1 2 2
2 1 1 2( )
a b c a b c
a a c b b
1 1
1 1 2 2( )
y a b x pour x c
y a c b b b x pour x c
Définition Supposons qu’une variable a un effet linéaire à
l’intérieur d’une certaine étendue de ses valeurs, mais un effet linéaire différent pour une autre étendue…
Régression segmentée discontinue: permet un changement dans la pente ET dans l’intercept Le modèle implique deux ou plusieurs segments Le vrai modèle n’est pas continu au niveau de la brisure
structurale
Problème Où se trouve(nt) le(s) point(s) de
rupture? L’utilisation de critère statistiques est
dangereuse Il est préférable de définir ce(s)
point(s) sur la base de la théorie
Modèle Régression segmentée, continue:
Régression segmentée, discontinue:
0 1 2'
1:
0:
RUPTURE
RUPTURE
RUPTURE
Y b b X b C X P
C X P
C X P
0 1 2 3'
1:
0:
RUPTURE
RUPTURE
RUPTURE
Y b b X b C b C X P
C X P
C X P
Exemple numérique Fichier: Regseg_Ex1.sav
Rupture à x=303
Exemple numérique Création d’une variable indiquant que X est
plus petit (C=0) ou plus grand (C=1) que le point de rupture (303):
Exemple numérique Création d’une variable telle que:
PR = (X – 303) x C
Exemple numérique Régression: Y en fonction de X et de PR:
Régression: Y en fonction de X et de PR:
Sous X=303, le coefficient de régression n’est pas significatif
À partir de X=303, la pente passe à 0.567+0.007 = 0.574, un accroissement qui est significatif…
Exemple numérique Régression: Y en fonction de X et de PR:
Régression: Y en fonction de X et de PR:
Sous X=303, le coefficient de régression n’est pas significatif
À partir de X=303, la pente passe à 0.567+0.007 = 0.574, un accroissement qui est significatif…
Syntaxe SPSSRECODE X (0 THRU 303 = 0)(303 THRU HI = 1) INTO C. COMPUTE PR = C * (X – 303). REGRESSION
/VARIABLES = Y X PR/DEPENDENT = Y
/ ENTER X / ENTER PR.
Régression Segmentée Discontinue
Relation discontinue à une valeur donnée de la variable indépendante
0 1 2 3'
1:
0:
RUPTURE
RUPTURE
RUPTURE
Y b b X b C b C X P
C X P
C X P
Rupture à x=45
Régression Segmentée Discontinue
Données:
Régression Segmentée Discontinue
Résultats:
Régression Segmentée Discontinue
Résultats:
Résultats: Sous X=45, Y augmente de 0.63 unités
pour chaque augmentation d’une unité dans X. Ce résultat n’est pas significativement différent de zéro
À X=45, le saut est de 30.931 unités, résultat significatif
Au-dessus de X=45, Y augmente de 2.72+0.633 = 3.35 unités pour chaque augmentation d’une unité dans X. Ce résultat est significatif
CORRECTION DE L’HÉTÉROSCÉDASTICITÉ
Moindres Carrés GénéralisésRégression Robuste
Moindres Carrés Généralisés Compléter une régression OLS et sauvegarder les valeurs
résiduelles Calculer le logarithme naturel du carré des valeurs résiduelles
Compléter une régression OLS en utilisant Y’LN comme variable dépendante et en incluant toutes les variables indépendantes
Sauvegarder les valeurs prédites (Y’) Créer une nouvelle variable définie par :
Compléter une régression OLS en utilisant W comme pondération Les résultats de cette régression sont de manière approximative,
corrigés pour l’hétéroscédasticité
' 2ln( )LNY e
'
1Y
We
Moindres Carrés Généralisés: Exemple numérique Fichier: CPS83.SAV Variables:
Dépendante: Wklywage Indépendante: yrseduc
Diagramme de dispersion: Hétérocédasticité évidente… Régression GLS indiquée…
Moindres Carrés Généralisés: Exemple numérique Régression OLS & Sauvegarde des valeurs résiduelles
Moindres Carrés Généralisés: Exemple numérique Régression OLS & Sauvegarde des valeurs résiduelles
Moindres Carrés Généralisés: Exemple numérique Calcul du logarithme naturel du carré des valeurs résiduelles:
Moindres Carrés Généralisés: Exemple numérique Régression OLS en utilisant Y’LN comme variable dépendante
et en incluant toutes les variables indépendantes et sauvegarde des valeurs prédites (Y’)
Moindres Carrés Généralisés: Exemple numérique
Régression OLS en utilisant Y’LN comme variable dépendante et en incluant toutes les variables indépendantes et sauvegarde des valeurs prédites (Y’):
Moindres Carrés Généralisés: Exemple numérique
Calcul des pondérations:
'
1Y
We
Moindres Carrés Généralisés: Exemple numérique
Compléter une régression pondérée:
Moindres Carrés Généralisés: Comparaison OLS vs GLS
Régression Robuste
Régression ‘OLS’ Lorsque tous les prérequis sont
respectés, la régression multiple régulière est optimale: Produit des estimations des coefficients
de régression qui ont de bonnes propriétés statistiques
Dans le cas contraire, la méthode peut produire des résultats inappropriés
Régression robuste: Introduction Alternative à la régression linéaire
lorsque les conditions ne sont pas idéales Distributions non normales Présence de cas extrêmes Hétéroscédasticité
Méthode dont les prérequis sont moins restrictifs que dans le cas de la régression ‘OLS’
Effets des cas extrêmes Ils peuvent avoir une influence importante sur
la régression Aucun cas extrême: l’influence de chaque cas est 1/n Cas extrêmes présents: le poids attribué à ces cas
peut atteindre des proportions suffisantes pour se traduire par des distortions importantes dans les résultats
Leur présence rend leur détection plus difficile: Ils attirent vers eux le plan de régression Les valeurs résiduelles sont plus faibles qu’elles ne
devraient l’être
Régression robuste: objectif Identifier les cas extrêmes Diminuer l’influence de ces cas et
l’impact qu’ils ont sur les estimations des coefficients de régression
Maintenir élevée la valeur des résidus qui leur sont associés
Estimateurs L Obtenus en minimisant la somme
d’une fonction des résidus:
OLS L2:
OLS L1:
OLS Lp:
2'Y Y minimum
'Y Y minimum
' 1 2p
Y Y minimum p
L1 = Min(abs(résidus))
20100
100
80
60
40
20
0
-20
L1 - PRED
X
OLS Pred
X
Y
X
SPSS: Fonction à minimiser
Fonction à minimiser: L1
Régression pondérée: Étapes
Estimer l’équation de régression (OLS) et analyser (et sauvegarder) les résidus
Si aucun problème est apparent, conserver cette solution
S’il y a problème: RÉGRESSION PONDÉRÉE
Régression pondérée: Étapes Utilisant la procédure NONLIN, effectuer une
régression utilisant le critère L1, et sauvegarder les valeurs résiduelles non-standardisées
Calculer une nouvelle variable:NEWY = ABS(résidus)
Calculer une régression linéaire NEWY vs X, et sauvegarder les valeurs prédites (pred)
Est-ce que les valeurs résiduelles varient en fonction de X?
Calculer les poids: W = 1/pred**2 Plus la valeur résiduelle est grande, plus son poids est
petit… Exécuter une régression pondérée (OLS)
ExempleRelation entre le taux de mortalité dans les grands centres urbains et le taux de pollution atmosphérique
Sauvegarde des résidus non standardisés
Résultats avant pondération
Calcul de abs(résidus)
Newy versus X et sauvegarde des valeurs prédites
Poids
Régression pondérée
Régression pondérée
SPSS: Estimation des pondérations
Variable liée auxvariations dans la
dispersion des erreursÉtendue de la
puissanceà examiner
SPSS: Estimation des pondérations
On recherche la plus petite valeur de la fonction de vraisemblance maximale…
1.8
1
i
wX
SPSS: Estimation des pondérations
La variable wgt_1 contient les pondérations recherchées…
SPSS: Régression pondérée
SPSS: Régression pondérée
SPSS: Régression pondérée
SPSS: Régression pondérée
SPSS: Relation entre X et W
Les points observés pour les valeurs élevées de X ont moins de poids que ceux observés pour les valeurs faibles de X: correction pour l’hétérocédasticité…
Estimateurs M Obtenus en minimisant une fonction
telle que:
La constante 0.6745 fait de s une estimation non biaisée de lorsque n est grand et que la distribution de l’erreur est normale
( )
0.6745
i i
i i
e yminimum
s s
median e median es
'ix β
Estimation M: procédure1. Obtenir un ensemble de valeurs initiales pour
les coefficients de régression (eg ceux que l’on obtient par OLS)
2. Calculer les résidus à partir des données de l’étape précédente
3. Obtenir un ensemble de pondérations (Wi) initiales:
1. 0 ≤ Wi ≤ 1
2. Wi est faible pour les grands résidus
3. Wi est grand pour les petits résidus
4. La relation entre Wi et les résidus est déterminée par la fonction d’influence
Estimation M: procédure (Suite)
4. Utilisant les pondérations obtenues en (3), compléter une régression pondérée pour obtenir un nouvel ensemble de coefficients de régression
5. De (4), obtenir un nouvel ensemble de résidus et retourner à l’étape 3
6. Ré-itérer les étapes 3-5 jusqu’à ce qu’il n’y ait plus de changement important entre deux itérations successives
Fonction d’influence Contrôle le poids attribué à chaque observation La plupart des fonctions d’influence impliquent des
résidus ré-échelonnés définis par:
s est une alternative résistante basée sur la médiane des résidus (MAD: ‘Median Absolute Deviation’)
Lorsque la distribution des erreurs est normale, MAD sera très près de l’erreur standard d’estimation
Lorsque la distribution des erreurs n’est pas normale, MAD sera plus résistant que l’erreur standard d’estimation
( ),
0.6745i ii
i
median e median eeu s
s
Fonctions d’influence
OLS: Wi = 1 pour tout i tous les cas ont un poids de 1
.
LAV (Least-Absolute-Values):
Wi = 1 / |ui| (pour ui ≠ 0) Problème: pour les valeurs
rapprochées de 0, les poids sont trop élevés!
Fonctions d’influence Fonction de Huber:
Wi = 1 if |ui| c Wi = c/|ui| if |ui| > c Diminue graduellement le poids des cas associés
à des résidus supérieurs à une constante d’ajustement c
Plus c est grand, plus cette fonction s’approche de OLS
La fonction d’influence n’atteint jamais 0: aucun cas n’est totalement éliminé
Avec c=1.345, l’estimation est 95% aussi efficace qu’OLS lorsque les erreurs sont normalement distribués
Fonction de Huber
0.0
0.4
0.8
1.2
-1.0 1.3 3.7 6.0
Residus vs Poids
Residus
Poid
s
Fonctions d’influence (Suite) Fonction de Tukey:
Plus le résidu s’approche de c, plus le poids diminue. Si le résidu dépasse c, le poids devient nul (le cas est
effectivement éliminé de l’analyse) Avec c=4.685 et des erreurs normalement distribuées,
l’efficacité atteint 95% de celle d’OLS Fonction utile lorsque les distributions ont des
extrémités très importantes Problème: il peut exister plusieurs solutions et la
méthode est sensible aux valeurs initiales; on peut obtenir des estimations inadéquates des coefficients de régression
22
1 if
0 if
ii i
i i
uw u c
c
w u c
Fonction de Tukey
Fonctions d’influence (Suite) Fonction de Andrew:
Les résultats sont similaires à ceux obtenus avec la fonction de Tukey
La constance c est généralement égale à 1.339
sinif
0 if
i
i ii
i i
uc
w u cuc
w u c
Fonctions d’influence (Suite)
Fonction de Andrew:
sinif
0 if
i
i ii
i i
u
cw u c
u
cw u c
Exemple: Pollution et Mortalité
Influence de la pollution sur le taux de mortalité dans les grandes villes américaines (n=60)
On transforme la variable indépendante pour corriger un problème de normalité (asymétrie très prononcée)
Exemple
Exemple: Régression OLS La pollution permet
d’expliquer 2.3% de la variance dans la mortalité
À partir de cette analyse, on est amené à conclure que la pollution a peu d’impact sur le taux de mortalité
Exemple: Régression OLS Quatre données se
démarquent du groupe: Los Angeles, San Francisco, San Diego et San Jose
Pollution élevée Taux de mortalité faible
Quatre villes de Californie:
Erreurs non aléatoires Une ou plusieurs
variables importantes ont été omises
Exemple: Régression OLS Solutions:
Inclure les variables qui ont été omises, si c’est possible…
Reconduire l’analyse suite à l’élimination des 4 points déviants
Utiliser une procédure de régression robuste
Une régression robuste offre une meilleure alternative
Résultats plus raisonnables qu’une régression OLS affectée par des cas extrêmes non corrigés
Exemple: Régression Robuste
Éléments d’une régression robuste Estimation robuste des coefficients de
régression et des erreurs standards Une différence par rapport aux estimations
OLS indiquent les effets de cas influents: les résultats OLS ne sont pas fiables
Valeurs prédites et valeurs résiduelles robustes Les prédictions se conforment à la majorité des
points Les résidus permettent d’identifier les cas vraiment
inhabituels Poids robustes: indices permettant de déceler
les cas extrêmes
Limites de la régression robuste Les mêmes problèmes pouvant survenir
en régression multiples peuvent survenir en régression robuste Multicollinéarité Données manquantes Erreurs de spécification (choix du modèle)
Elle n’élimine pas l’étape de diagnostic et d’exploration préliminaire des données
Avantages de la régression robuste On obtient des coefficients et des erreurs
standards robustes Des différences importantes entre une solution
OLS et une solution robuste indiquent que les effets de scores extrêmes sont importants: confirmation des résultats d’OLS
Une prédiction fondée sur une solution robuste pourrait mieux correspondre à la majorité des données, puisque les scores extrêmes attirent moins le plan de régression vers eux
Un outil de diagnostic permettant une meilleure détection des scores extrêmes
Exercices Analysez les données contenues dans le
fichiers NONLIN.SAV. La fonction liant X à Y est de la forme:
Analysez les données contenues dans le fichier DAVIS.SAV:
Est-ce que le poids rapporté par les sujets permet de prédire leur poids réel?
Est-ce que la taille rapportée par les sujets permet de prédire leur taille réelle?
( )
'b cxeY ae
a : 100 -130b : 0 - 4c : 0 - 2