Maestría en TransporteRegresamos...

(el problema de la regresión lineal)

Clase 5

Históricos

• Aspectos Históricos– Galton 1822 - 1911: estudios de herencia, los hijos heredan la altura de sus padres pero “regresan” a una media poblacional.

– Gauss y los mínimos cuadrados• ¿por qué Gauss hizo tantos desarrollos, tantas cosas?

Concepto

• Concepto– Relación entre una variable “Y” y una variable “X” (llegado el caso, varias variables Xi)

– Relación lineal

0 1 1, 2 2, ,...i i i p p i iY X X X

Correlación

• Concepto de Correlación de Pearson

Concepto II

1 1i o iY X

i

Concepto III

• Se busca establecer una relación que indique que la media de una población dada depende de una variable X (o varias...), y que la relación es lineal...

0 1 1, , ,[ | ] ...i i i p i p iE Y X X X

Suposiciones

• Variable Y (dependiente) continua.• Relación lineal en los parámetros.• Observaciones independientes y muestreadas aleatoriamente.

• Existencia de incertidumbre en la relación Y -> X.

• Errores de valor esperado nulo y varianza constante.

• Errores no correlacionados.• Errores no correlacionados con X.• Errores aproximadamente normales.

Suposiciones II

0 ,1

2

, ,

2

1.

2. 0

3.

4. , 0

5. , 0;

6. ~ (0, )

p

i j j i ij

i

i

i j

i j i

i

Y X

E

V

Cov

Cov X j

N

Estimación

• Método de Mínimos Cuadrados– Encontrar parámetros tales que minimicen las diferencias entre Y (observación) e E(Y|X) elevadas al cuadrado...

• Método de Máxima Verosimilitud– Encontrar parámetros tal que la probabilidad de haber encontrado una muestra Y1...Yn sea máxima...

Estimación (OLS o MCO)

2 2min 0 1

1 1

0 110

0 111

ˆ

2 0

2 0

n n

i i i ii i

n

i ii

n

i i ii

Q Y Y Y X

QY X

QX Y X

Estimación (OLS o MCO)

0 11 1

20 1

1 1 1

n n

i ii i

n n n

i i i ii i i

Y nB B X

X Y B X B X

Estimación (OLS o MCO)

• Ecuaciones normales

• Igual resultado se puede lograr con expresiones matriciales (preferibles!)

0 11 1

20 1

1 1 1

n n

i ii i

n n n

i i i ii i i

Y nB B X

X Y B X B X

Estimación (OLS o MCO)

• Solución a las ecuaciones normales

11

2

1

0 1

220 1

1

1; 2

n

i ii

n

ii

n

i ii

X X Y YB

X X

B Y B X

s Y X pn p

Estimación (ML o MV)

22 1

1 11

1'

22

22 2 2

22

0 1

,..., , , | ,...,

2

12 ( ) ( ) '( )

2

0

, , ,...,0

n

n

i

n

n i pi

n n

p

f x x f x x x

e

Ln L L Ln Ln

L

s B B BL

Y-X'β Y-X'β

Y Xβ Y Xβ

β

Propiedades de Estimadores

• Insesgados

1 1

1

E E

X'X X'Y X'X X' Y

X'X X'Xβ

β

Propiedades de Estimadores

• De varianza mínima (Teorema de Gauss-Markov)

1 1

12

'V E

B X'X X'Y β X'X X'ε

B B -β B -β

X'X

Inferencia

• Se puede mostrar que (dado que Xi son fijos) los estimadores pueden expresarse como funciones lineales de Yi.

• Si los Yi son normales... (porque lo son los errores...)

• Los estimadores son normales...• Además...

12

E

V

B β

B X'X

Inferencia II

2

2

1 1 2

22

0 0 2

~ ,

En caso de una sola regresora

~ ,( )

~ ,( )

p

i

i

i

N

B NX X

XB N

n X X

B β I

Inferencia III

• En la práctica no se comoce la varianza de los errores y se estima por s2, con lo que la distribución utilizada es la “t”

2

*

1 ,

0 1

,

Estimación por intervalo

Pruebas de Hipótesis

: ; :

k k

k

k kn p

k k

Bt t n p

s B

B t s B

H c H c

Verificación de Suposiciones

• Linealidad• Homocedasticidad (constancia de varianzas) de los errores

• Falta de correlación de los errores• Variables exógenas (regresoras) independientes

• Distribución normal de los errores

Bondad de Ajuste

• Verificación por R2

• interpretación del R2 ajustado

2

1

2

1

2

1

2

ˆ

ˆ

1

n

i ii

n

ii

n

ii

SSE Y Y

SSR Y Y

SST Y Y

SST SSE SSR SSER

SST SST SST

Outliers

• Tratamiento de Outliers• Identificación de Outliers

Violaciones a los supuestos

• Fallas a la Normalidad• Existencia de correlación en las regresoras

• Heterocedasticidad• Existencia de correlación• Errores en la especificación de modelos.