Aula 11. Regressão Linear Múltipla.

1. C.Dougherty “Introduction to Econometrics” 2. Capítulo 16. Bussab&Morettin “Estatística Básica” 7ª Edição

Regressão linear simples - Resumo

),0( 2

N

xy

i

iii

Modelo

ii xyE ][ ]|[ ii xyE

),0(

]|[

2

N

xyEy

i

iiii

1. Saber como obter fórmulas para coeficientes de regressão pelo método de

mínimos quadrados. Lembrar fórmulas

xbyaxVarxyCovb )(/),(

2. Interpretação de coeficientes: sempre para b (“x aumenta em 1 – y aumenta

(diminue) em b”)

3. T-teste para coeficientes, intervalo de confiança.

20

00

).(.

:

ntbes

b

H

2

0

).(.

0:

ntbes

b

H

).(.)(2;

21

1 bestbICn

4. F-teste para regressão: saber definição de R2 e realizar teste

)(

)(12

yVar

eVar

SS

SSR

Total

egR

2,12

2

)2/()1(

nF

nR

RF

5. Transformação de variáveis, logaritmica, interpretação de coeficientes

(tendência exponencial, elasticidade)

população

xy

MODELO

n

n

n

x

x

y

x

x

y

x

x

y

2

1

22

12

2

21

11

1

,,,

n

n

x

y

x

y

x

y,,,

2

2

1

1

x

y=

=

2

1

x

x

y

2211 xxy

MODELO

ni

N

xy

i

iii

,,2,1

),0( 2

ni

N

xxy

i

iiii

,,2,1

),0( 2

2211

kk xxy 11

Modelo com k explicativas

Regressão bi-dimensional

y (food)

x (salario)

p (preço)

pxy

MODELO

21

efeito puro de salario x1

efeito puro de preço p2

efeito conjunto de preço e salario px 21

Regressão bi-dimensional

y = 116.7 + 0.112 x – 0.739 p R2=0.99

(s.e.) (9.6) (0.003) (0.114)

Consideramos o seguinte exemplo: para os anos 1959-1983 o gasto total em alimentos

(y) em E.U. com salario liquido (x) e preços (p) deu a seguinte regressão.

y e x são medidas em $ bilhões no nível de preços em 1972, e p é índice relativo de

preços calculado dividindo deflator implícito de preços em alimentos pelo deflator

implícito para gasto total, com base de calculo 1972 = 100, e multiplicando por 100.

A equação tem que ser interpretada em seguinte maneira. Para cada incremento em $

bilhão em renda, deixando preços em nível constante, gastos em alimentos aumentam

em $ 112 milhões. Em cada incremento em um ponto de índice p, mantendo o salario

constante, os gastos diminuem em $ 739 milhões

min),,())(()ˆ( 21

1

2

2211

1

2

1

2

bbaSSxbxbayyyen

i

iii

n

i

ii

n

i

i

Regressão bi-dimensional Método mínimos quadrados

0),,(

0),,(

0),,(

2

21

1

21

21

b

bbaSS

b

bbaSSa

bbaSS

0))((

0))((

0))((

1

22112

1

22111

1

2211

n

i

iiii

n

i

iiii

n

i

iii

xbxbayx

xbxbayx

xbxbay

2

2121

211122

2

2121

212211

2211

)],([)()(

),(),()(),(

)],([)()(

),(),()(),(

xxCovxVarxVar

xxCovyxCovxVaryxCovb

xxCovxVarxVar

xxCovyxCovxVaryxCovb

xbxbya

Regressão bi-dimensional

A regressão múltipla pode discriminar os efeitos de variáveis explicativas, tomando em

consideração fato que variáveis explicativas podem ser correlacionadas. Coeficiente de

cada variável x estima a influência dessa variável em variável dependente y,

controlando os efeitos de outras variáveis.

Isso pode ser mostrado do jeito seguinte: estimamos coeficiente em regressão

y conta x1, mas o x1 tem que ser “limpo” da parte da variável x2

2211 xxy

MODELO

supomos que coeficientes 𝛽1 e 𝛽2 são

positivos e correlação entre x1 e x2

é positivo

o que acontece se a gente faça a

regressão entre y e x1, esquecendo

a variável x2, supondo que o modelo

real é bidimencional?

y

x1 x2

efeito direto

de x1 mantendo

x2 constante

efeito direto

de x2 mantendo

x1 constante

efeito aparente

de x1 que atua

como imitador

para x2

Regressão bi-dimensional

separamos x1 em duas partes 111 x̂xx

1x

1x̂ atua como imitador de x2

atua “independente” de x2

1x̂1x

1x 2x

y

)ˆ( 111 xxx

)ˆ( 21 dxcx

2211 xbxbay

11xbay

11xbay

11 bb

d

1b

1x 2x

y

2b

colocando 𝑑 =𝐶𝑜𝑣(𝑥1,𝑥2)

𝑉𝑎𝑟(𝑥2) obtemos

𝑏1 =𝐶𝑜𝑣(𝑥1, 𝑦)

𝑉𝑎𝑟(𝑥1)=

𝐶𝑜𝑣 𝑥1, 𝑦 − 𝐶𝑜𝑣 𝑥 1, 𝑦

𝑉𝑎𝑟 𝑥1 + 𝑉𝑎𝑟 𝑥 1 − 2𝐶𝑜𝑣(𝑥1, 𝑥 1)

=𝐶𝑜𝑣 𝑥1, 𝑦 − 𝐶𝑜𝑣 𝑐 + 𝑑𝑥2, 𝑦

𝑉𝑎𝑟 𝑥1 + 𝑉𝑎𝑟 𝑥 1 − 2𝐶𝑜𝑣(𝑥1, 𝑐 + 𝑑𝑥2)

=𝐶𝑜𝑣 𝑥1, 𝑦 − 𝑑𝐶𝑜𝑣 𝑑𝑥2, 𝑦

𝑉𝑎𝑟 𝑥1 + 𝑉𝑎𝑟 𝑥 1 − 2𝑑𝐶𝑜𝑣(𝑥1, 𝑥2)

Modelos não lineares que podem ser estimados atraves de regressão linear

Transformação básica:

)()( 2111 xgxfy 2211 zzy

)(

)(

22

11

xgz

xfz

Se o erro 𝜀 satisfaz as condições de Gauss-Markov de modelo, então

depois de transformação ele vai continuar satisfazendo as condições

5/2

2211 )(xxy

Modelos não lineares que podem ser estimados atraves de regressão linear

Transformação logaritmica. Não linearidade pelos parâmetros é o problema serie.

Mas caso lado direto de modelo consiste de produto de membros de tipo 𝑥𝛽 ou 𝑒𝛽𝑥,

então o modelo pode ser linearizado usando logaritmo de duas partes. Por exemplo

a função de demanda 𝑦 = 𝛼𝑥𝛽𝑝𝛾𝜈

em que 𝑦 é despesas com o produto, 𝑥 é lucro, 𝑝 é preço relativo, e 𝜈 é erro

multiplicativo, essa função de demanda pode ser transformada em função linear

pelos parâmetros:

log 𝑦 = log𝛼 + 𝛽 log 𝑥 + 𝛾 log 𝑝 + log 𝜈

assim se estimar a regressão em variáveis log 𝑦, log 𝑥, e log 𝑝, então coeficiente de

log 𝑥, 𝛽 é a estimativa direta da elasticidade de demanda pelo lucro, o coeficiente de

log 𝑝, 𝛾 é estimativa de elasticidade da demanda pelo preço

Modelos não lineares que podem ser estimados através de regressão linear

Exemplo: função de demanda

Regressão logarítmica entre despesas com alimentos e salario liquido foi

construída em base de dados agregados dos EU em período 1959-1983

(em parêntesis erro padrão)

log 𝑦 = 2.82 + 0.64 log 𝑥 − 0.48 log 𝑝; 𝑅2 = 0.99 (0.42) (0.03) (0.12) 𝐹 = 820.1

a regressão mostra, que a elasticidade da demanda em relação ao salario

liquido é de 0.64, e a elasticidade da demanda em relação ao preço – 0.48

os dois coeficientes são significantes com nível de significância de 1%

Modelos não lineares que podem ser estimados através de regressão linear

Exemplo: função de produção de Cobb-Douglas

C.Cobb e P.Douglas em 1927 sugeriram usar a função

𝑌 = 𝐴𝐾𝛼𝐿1−𝛼

para descrever a dependência de volume de produção (𝑌) em relação ao gastos

em capital (𝐾) e gastos em mão de obra (𝐿). Usando diretamente a função log não

podemos estimar o coeficiente 𝛼, pois obtemos dois diferentes estimadores para 𝛼.

Em vez disso primeiramente faremos seguinte transformação de variáveis

𝑌

𝐿= 𝐴

𝐾

𝐿

𝛼

∙ 𝜈

incluímos o erro 𝜈 multiplicativo. Depois disso usaremos a linearização

log𝑌

𝐿= log𝐴 + 𝛼 log

𝐾

𝐿+ log 𝜈

usando os dados

log𝑌

𝐿= −0.02 + 0.25 log

𝐾

𝐿 ; 𝑅2 = 0.63;

(0.02) (0.04) 𝐹 = 38.0

compare

log 𝑌 = −0.18 + 0.23 log𝐾 + 0.81 log 𝐿 ; 𝑅2 = 0.96; (0.43) (0.06) (0.15) 𝐹 = 236.1

Modelo estatístico

parte aleatória do modelo

Gauss-Markov conditions

1. 𝐸[𝜀𝑖] = 0 para todos os 𝑖 = 1,… , 𝑛

2. 𝐷[𝜀𝑖 ] = 𝜎2 para todos os 𝑖 = 1,… , 𝑛 (homoscedasticidade)

𝑐𝑜𝑣(𝜀𝑖, 𝜀𝑗) = 0 para todos os 𝑖 ≠ 𝑗 3. 𝜀𝑖 são independentes

4. 𝜀𝑖 não depende do 𝑥𝑖 são independentes – termo de perturbação não depende

de variáveis explicativas

5. 𝜀𝑖 tem distribuição normal

1. 𝜀𝑖 são i.i.d. 𝜀𝑖 ≈ 𝑁(0, 𝜎2) 2. 𝜀 e 𝑥𝑖 são independentes

OBS: em curso vamos considerar 𝑥𝑖 como constante

𝑦 = 𝛼 + 𝛽1𝑥1 + ⋯+ 𝛽𝑘𝑥𝑘 + 𝜀

Precisão de coeficientes em regressão múltipla

Teorema Gauss-Markov para a regressão múltipla estabelece que o método de

mínimos quadrados como em caso unidimensional oferece melhores estimados

dentro de classe de estimadores lineares, no sentido que dentro da mesma

informação que contem em amostra não existe outros estimadores não viesados

com menor variância. Não vamos provar o teorema, mas resumimos os fatores

que influenciam em precisão de coeficientes. Em geral os coeficientes de regressão

são mais precisos quando:

1. maior número de observações em amostra;

2. quando maior a dispersão de variáveis explicativas;

3. menor a variância populacional de erro 𝜀;

4. menor a ligação entre variáveis explicativas.

Os três primeiros conhecemos em regressão simples, o ultimo vale somente para

a regressão múltipla.

Precisão de coeficientes em regressão múltipla

1. maior número de observações em amostra;

2. quando maior a dispersão de variáveis explicativas;

3. menor a variância populacional de erro 𝜀;

4. menor a ligação entre variáveis explicativas.

Consideramos caso bidimensional quando temos duas variáveis explicativas.

𝑦 = 𝛼 + 𝛽1𝑥1 + 𝛽2𝑥2 + 𝜀

Obtemos a regressão 𝑦 = 𝑎 + 𝑏1𝑥1 + 𝑏2𝑥2

A variância populacional de estimador 𝑏1:

𝑉𝑎𝑟 𝑏1 =𝜎2

𝑛𝑉𝑎𝑟(𝑥1)∙

1

1 − 𝑟𝑥1𝑥22

Regressão multi-dimensional

t-teste

1

1

).(.

).(.

kn

i

ii

kn

tbes

b

taes

a

kxxxy ,,, 21

F-teste

1,2

2

)1/()1(

/

knkF

knR

kRF

Testa hipótese

0: 210 kH

iH :0

0:0 iH