Análisis de Regresión Lineal

Curso de Verano ENCUP: Introducción al análisis cuantitativo en ciencias sociales

Javier AparicioDivisión de Estudios Políticos, CIDE

javier.aparicio@cide.edu

http://publiceconomics.wordpress.com/verano2009Julio 2009

Análisis de regresión lineal

1. Ajustar una regresión lineal:

2. Estimar los parámetros:3. Interpretación del intercepto a

y la pendiente b4. Bondad de ajuste5. Pruebas de hipótesis

ii bXaY ba ˆy ˆ

Scatterplot

Modelo lineal E(Y|X)

Modelo de probabilidad conjunta

¿PIBMercosur PIBUruguay?22

.823

23.2

23.4

23.6

23.8

gdpu

y

26.8 27 27.2 27.4 27.6 27.8gdpmerco

Relation between GDP in Mercosur and GDP in Uruguay

1. Ajustando una regresión lineal

Modelo probabilístico Modelo poblacional: Modelo muestral: Modelo estimado:

La diferencia ente es el error estimado:

La línea de mejor ajuste minimiza la SSE: queremos que el modelo explique la mayor proporción de la varianza de Y.

iii XY

iii ubXaY

ii XbaY ˆˆˆ

YY ˆy 2

1

2

1]ˆˆ[]ˆ[ i

n

iii

n

ii XbaYYYSSE

2. Estimación por Mínimos Cuadrados Ordinarios (OLS) – min(SSE)

Estimando el intercepto a:

XbYa

XbYnaXbanY

XbaYa

SSE

XbaYSSE

iii

i

n

ii

i

n

ii

ˆˆ

ˆˆ0ˆ2ˆ22

0]ˆˆ[2ˆ

]ˆˆ[

1

2

1

Estimando la pendiente b:

Ii

iii

ii

n

ii

i

n

ii

XX

YYXXb

b

XXbaYb

SSE

XbaYSSE

2

1

2

1

][

]][[ˆ

:en resulta ˆdespejar aly ...

0]ˆˆ[2ˆ

]ˆˆ[

2. Estimación por Mínimos Cuadrados Ordinarios (OLS) – min(SSE)

Supongamos que queremos verificar la predicción de Mundell-Fleming sobre el efecto del PIB del resto del mundo en una economía pequeña como Uruguay.

2. Estimación de a y b: ejemplo

947.0472.0447.0

][

]][[ˆ

2

Ii

iii

XX

YYXXb

391.2459.27)947.0(602.23ˆˆ XbYa

iMercoiUY

ii

GDPGDPbXaY

947.0391.2

Year GDPmerco (X) GDPuy (Y) (Xi-Xbar) (Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2 (Xi-Xbar)2

1991 27.126 23.139 -0.333 -0.463 0.154 0.214 0.1111992 27.162 23.278 -0.296 -0.324 0.096 0.105 0.0881993 27.248 23.430 -0.210 -0.172 0.036 0.030 0.0441994 27.422 23.582 -0.036 -0.020 0.001 0.000 0.0011995 27.602 23.683 0.143 0.081 0.012 0.007 0.0211996 27.686 23.744 0.228 0.143 0.032 0.020 0.0521997 27.736 23.801 0.277 0.199 0.055 0.040 0.0771998 27.722 23.831 0.264 0.229 0.060 0.053 0.0691999 27.433 23.764 -0.025 0.162 -0.004 0.026 0.0012000 27.519 23.723 0.060 0.121 0.007 0.015 0.0042001 27.388 23.644 -0.071 0.043 -0.003 0.002 0.005Sum 302.04 259.62 0.00 0.00 0.45 0.51 0.47Mean 27.459 23.602

Supongamos que queremos verificar la predicción de Mundell-Fleming sobre el efecto del PIB del resto del mundo en una economía pequeña como Uruguay.

2. Estimación de a y b:

947.0472.0447.0

][

]][[ˆ

2

Ii

iii

XX

YYXXb

391.2459.27)947.0(602.23ˆˆ XbYa

iMercoiUY

ii

GDPGDPbXaY

947.0391.2

22.5

2323

.524

gdpu

y/Li

near

pre

dict

ion

26.8 27 27.2 27.4 27.6 27.8gdpmerco

gdpuy Linear prediction

Relation between GDP in Mercosur and GDP in Uruguay

iMercoiUY GDPGDP 947.0391.2

3. Interpretando los coeficientes

ab

: es el intercepto

: es la pendiente iMercoiUY GDPGDP 947.0391.2

Interpretación:• -2.391: nivel esperado del GDP de Uruguay

independientemente del GDP de Mercosur, en logarítmo (no muy importante aquí).

• 0.947: efecto marginal de una unidad adicional de GDP en Mercosur en el GDP de Uruguay

Relación positiva, como lo predice la teoría de Mundell-Fleming.

22.5

2323

.524

gdpu

y/Li

near

pre

dict

ion

26.8 27 27.2 27.4 27.6 27.8gdpmerco

gdpuy Linear prediction

Relation between GDP in Mercosur and GDP in Uruguay

4. Bondad de ajuste

2][ YYSST i

2]ˆ[ YYSSE i

2]ˆ[ YYSSR i

SSTSSE

SSTSSR

R 12

Error Squares of Sum :SSERegressionby explained Squres of Sum :SSR

Total Squares of Sum :SST

Mientras mayor es la proporción de la varianza de Y explicada por el modelo, mayor será la bondad de ajuste del modelo (R2)

4. Bondad de ajuste: ejemplo

51.0][ 2 YYSST i

088.0]ˆ[ 2 YYSSE i

2]ˆ[ YYSSR i

828.051.0

088.0112

SSTSSE

SSTSSR

R

Interpretación:• 82.8% de la variación del GDP en

Uruguay se puede “explicar” por la variación en el GDP de Mercosur (excluyendo Uruguay)

SST SSEYear GDPmerco (X) GDPuy (Y) (Xi-Xbar) (Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2 (Xi-Xbar)2 (Yi-Yhat)2

1991 27.126 23.139 -0.333 -0.463 0.154 0.214 0.111 0.0221992 27.162 23.278 -0.296 -0.324 0.096 0.105 0.088 0.0021993 27.248 23.430 -0.210 -0.172 0.036 0.030 0.044 0.0011994 27.422 23.582 -0.036 -0.020 0.001 0.000 0.001 0.0001995 27.602 23.683 0.143 0.081 0.012 0.007 0.021 0.0031996 27.686 23.744 0.228 0.143 0.032 0.020 0.052 0.0051997 27.736 23.801 0.277 0.199 0.055 0.040 0.077 0.0041998 27.722 23.831 0.264 0.229 0.060 0.053 0.069 0.0001999 27.433 23.764 -0.025 0.162 -0.004 0.026 0.001 0.0342000 27.519 23.723 0.060 0.121 0.007 0.015 0.004 0.0042001 27.388 23.644 -0.071 0.043 -0.003 0.002 0.005 0.012Sum 302.04 259.62 0.00 0.00 0.447 0.51 0.472 0.088Mean 27.459 23.602

5. Pruebas de hipótesis / significancia de los coeficientes

¿Cómo hacer inferencias sobre la relación “poblacional”

entre X y Y? Pruebas de hipótesis.

Estadístico t de Student:

Si t > t* (valor estímado > valor crítico), rechazamos la H0 y concluimos que es signficativamente diferente de cero.

Para calcular t, necesitamos el error estándar de :

0:0:0

AHH

bs

bt

ˆ

ˆ

MSEXX

nSSE

XX

ssii

b

22

ˆ][

2

][

ˆ

5. Significancia estadística: ejemplo

0:0:0

AHH

58.6144.0

0947.0ˆ

ˆ

bsbt

144.0687.0099.0

472.09088.0

][

2

][

ˆ22

ˆ

XX

nSSE

XX

ss

iib

685.2*9,025.0

*2,2/ tt n

Dado que t>t*, rechazamos la hipótesis nula y concluimos que es significativamente distinta de 0: el GDP en Mercosur afecta el GDP en Uruguay.