Modelos no lineales - ugr.esromansg/material/WebEco/Eco2-Nolineales.pdf · Aqu´ı, la variacion...

Econometrıa II Modelos no lineales – 1 / 47

Modelos no lineales

Econometrıa II

Grado en Economıa

Universidad de Granada

17:19:57

Contenidos

❖Contenidos

Especificaciones no

lineales. Aproximacion

lineal al modelo no lineal

Estimacion de modelos

no lineales:

Aproximacion lineal de

Taylor


no lineales: MCNL y MV

Algoritmos de busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de

restricciones sobre los

parametros

Apendice


Especificaciones no lineales. Aproximacion lineal al modelo no lineal

Estimacion de modelos no lineales: Aproximacion lineal de Taylor

Estimacion de modelos no lineales: MCNL y MV

Algoritmos de busqueda: Newton–Raphson y Gauss–Newton

Contraste de restricciones sobre los parametros

Apendice

17:19:57

Especificaciones no lineales. Aproximacion lineal al

modelo no lineal

❖Contenidos

Especificaciones no



❖Especificaciones

❖El modelo Box-Cox

❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


17:19:57

Especificaciones

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Hasta ahora, el efecto sobre Y de un cambio unitario en X no dependıa del valorde X. ¿Que ocurre si el efecto sobre Y de un cambio en X depende del valor deuna (o mas) de las variables independientes?. En este caso, la funcion de regresiones no lineal. Una funcion no lineal es una funcion con una pendiente que no esconstante. Hay distintos tipos de especificaciones no lineales:

1. Modelos intrınsecamente lineales (se pueden estimar por los metodos conocidoshasta ahora haciendo un simple cambio de variable y/o transformacion):

yi = β1 + β2x2i + ǫi,

yi = β1 + β21

xi+ ǫi,

yi = β1xβ2

i eǫi .

2. Modelos intrınsecamente no lineales (no se pueden estimar por los metodosconocidos hasta ahora debido a la no linealidad existente en los parametros):

yi = β1 + xβ2

i + ǫi,

yi = β1xβ2

i + ǫi,

yi =β1

1 + eβ2+β3xi+ ǫi.

17:19:57

Ejemplo

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Supongamos la siguiente informacion acerca de precios, P , y cantidades, Q,demandadas:

Q P lnQ lnP5 10 1.609 2.3026 8 1.791 2.0797 6 1.945 1.7919 4 2.197 1.386

12 3 2.484 1.09815 2 2.708 0.69318 1.5 2.890 0.40522 1.2 3.091 0.182

A continuacion se puede obervar que la relacion entre P y Q no es lineal (Figura 1),sin embargo, haciendo una transformacion sencilla (aplicando logaritmos) se puedeobtener dicho tipo de relacion (Figura 2).

17:19:57

Ejemplo

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


1

2

3

4

5

6

7

8

9

10

6 8 10 12 14 16 18 20 22

P

Q

Figura 1: Relacion no lineal

17:19:57

Ejemplo

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


0

0.5

1

1.5

2

2.5

1.6 1.8 2 2.2 2.4 2.6 2.8 3

ln P

ln Q

Figura 2: Relacion lineal

17:19:57

El modelo Box-Cox

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


La transformacion de Box-Cox permiten corregir la no linealidad en la relacion entrevariables (tambien pueden ser usadas para solucionar problemas de normalidad yheterocedasticidad). A partir de la transformacion de Box-Cox:

y(λ1) =

{yλ1 − 1

λ1λ1 6= 0

ln y λ1 = 0

x(λ2) =

{xλ2 − 1

λ2λ2 6= 0

lnx λ2 = 0

modelos en principios no lineales podran expresarse linealmente como sigue:

y(λ1) = α+ βx(λ2) + ǫ.

A continuacion se analizan los casos particulares siguientes:

λ1 = λ2 = 1.λ1 = λ2 = 0.λ1 = 0 y λ2 = 1.λ1 = 1 y λ2 = 0.λ1 = 1 y λ2 = −1.

17:19:57

El modelo Box-Cox: casos particulares

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Modelo lineal: λ1 = λ2 = 1.En este modelo, β representa el efecto marginal, es decir, una variacion unitariaen la variable x provoca un cambio en la variable y igual a β:

β =∂y

∂x→ △y = β △ x.

Modelo multiplicativo o doblemente logarıtmico: λ1 = λ2 = 0.En este caso, Box–Cox coincide con el modelo no lineal: y = Axβeǫ. Aquı, βrepresenta la elasticidad de y respecto de x (es decir, que incremento porcentualde y se tendra si se produce un incremento porcentual de x):

∂y

∂x= Aβxβ−1 = Aβxβx−1 = βyx−1 = β

y

x→ β =

∂y

∂x

x

y.

Modelo semilogarıtmico o log–lineal: λ1 = 0;λ2 = 1.En este caso, Box–Cox coincide con el modelo no lineal: y = eα+βx+ǫ. Aquı,β representa la tasa proporcional constante de crecimiento (β > 0) o dedecrecimiento (β < 0) debido a un cambio unitario en x:

∂y

∂x= βeα+βx = βy → β =

∂y

∂x

1

y=

∂y

y

1

∂x.

17:19:57

El modelo Box-Cox: casos particulares

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Modelo semilogarıtmico en: λ1 = 1;λ2 = 0.En este caso, Box–Cox coincide con el modelo no lineal: y = α + β lnx + ǫ.Aquı, la variacion que se produce en y provocada por una variacion en x esinversamente proporcional al valor de x:

∂y

∂x= β

1

x.

Modelo recıproco o hiperbola: λ1 = 1, λ2 = −1.En este caso, Box–Cox coincide con el modelo no lineal: y = α+β 1

x+ ǫ. Aquı, la

variacion que se produce en y provocada por una variacion en x es inversamenteproporcional al cuadrado de x:

∂y

∂x= β

−1

x2.

17:19:57

El modelo Box-Cox: ejemplos graficos

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


a) 0.5 1 1.5 2

1

2

3

4

5

6

7

b) 0.5 1 1.5 2

0.2

0.4

0.6

0.8

1

1.2

1.4

c) 0.5 1 1.5 2

0.5

1

1.5

2

d) 0.5 1 1.5 2

1

2

3

4

Figura 3: Modelo doblemente logarıtmico con a) β = −0.6, b) β = 0.6, c)

β = 1 y c) β = 2.

17:19:57


❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


a)0.5 1 1.5 2

1.25

1.5

1.75

2

2.25

2.5

2.75

b) 0.5 1 1.5 2

4

5

6

7

8

9

Figura 4: Modelo semilogarıtmico en y con a) β = −0.6 y b) β = 0.6.

c)

0.5 1 1.5 2

0.75

1.25

1.5

1.75

2

2.25

d)

0.5 1 1.5 2

-6

-5

-4

-3

-2

-1

Figura 5: Modelo semilogarıtmico en x con c) β = −0.6 y d) β = 0.6.

17:19:57


❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


a)

0.5 1 1.5 2

-5

-4

-3

-2

-1

b) 0.5 1 1.5 2

10

20

30

40

50

60

70

Figura 6: Modelo recıproco o hiperbolico con a) β = −0.6 y b) β = 0.6.

c) 0.5 1 1.5 2

100

200

300

400

500

d) 0.5 1 1.5 2

0.2

0.4

0.6

0.8

Figura 7: Modelo recıproco-logarıtmico con c) β = −0.6 y d) β = 0.6.

17:19:57

El modelo Box-Cox: ejemplo

❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dados los siguientes datos ajustar un modelo doblemente logarıtmico:

x 1 2 3 4 5

y 4 50 200 740 3000

El modelo doblemente logarıtmico responde a la expresion y = Axβeǫ, el cual sepuede linealizar sin mas que considerar logaritmos:

ln y = lnA+ β lnx+ ǫ ln e ⇒ y∗ = A∗ + βx∗ + ǫ,

donde y∗ = ln y y x∗ = ln x.Por tanto, se ha llegado a un modelo lineal que se puede estimar por el metodo

de Mınimos Cuadrados Ordinarios:

A∗ = 1′2257 ⇒ A = e1′2257 = 3′4066

β = 3′9856

R2 = 0′865

x∗ y∗

0 1’3860’693 3’9121’099 5’2981’386 6’6071’609 8’006

Por tanto, el modelo estimado quedarıa y = 3.4066 · x3.9856.

Adviertase que las propiedades verificadas por A∗ al ser obtenido por MCO no tienen

por que extenderse a A.Ajustar un modelo del tipo y = Aβxeǫ y decidir cual es el mejor.

17:19:57


❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


−1000

−500

0

500

1000

1500

2000

2500

3000

1 1.5 2 2.5 3 3.5 4 4.5 5

y

x

y con respecto a x (con ajuste mínimo−cuadrático)

Y = −1.21e+003 + 668.X

Figura 8: Representacion grafica de los datos originales.

17:19:57


❖Contenidos

Especificaciones no



❖Especificaciones


❖Ejemplo


no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


1

2

3

4

5

6

7

8

9

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6

l y

lx

ly con respecto a lx (con ajuste mínimo−cuadrático)

Y = 1.23 + 3.99X

Figura 9: Representacion grafica de los datos transformados.

17:19:57

Estimacion de modelos no lineales: Aproximacion lineal

de Taylor

❖Contenidos

Especificaciones no




no lineales:


Taylor

❖Aproximacion lineal de

Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


17:19:57

Aproximacion lineal de Taylor

❖Contenidos

Especificaciones no




no lineales:


Taylor


Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Supongamos que pretendemos estimar una relacion de caracter economico entreuna magnitud y y un conjunto de variables explicativas recogidas en el vector devariables independientes Xt. Representaremos tal relacion mediante el modeloeconometrico:

yt = f(Xt, β) + ǫt, t = 1, 2, ..., T,

donde f representa una funcion no lineal cualquiera. Podemos tomar unaaproximacion lineal de la funcion en un entorno de un punto cualquiera, pudiendo

elegir inicialmente el valor β0. El modelo quedarıa:

yt = f(Xt, β0) +

(∂f(Xt, β)

∂β

)′

β=β0

(β − β0) + ǫt, t = 1, 2, ..., T.

Operando:

yt − f(Xt, β0) +

(∂f(Xt, β)

∂β

)′

β=β0

β0 =

(∂f(Xt, β)

∂β

)′

β=β0

β + ǫt,

con t = 1, 2, ..., T y siendo el termino

(∂f(Xt, β)

∂β

)

β=β0

el gradiente de la funcion

f(Xt, β) evaluado en el vector de parametros considerado β = β0.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor


Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Si denotamos

y∗t = yt − f(Xt, β0) +

(∂f(Xt, β)

∂β

)′

β=β0

β0,

el modelo puede reescribirse como

y∗t =

(∂f(Xt, β)

∂β

)′

β=β0

β + ǫt, t = 1, 2, ..., T.

El modelo ası transformado es un modelo lineal general, donde la nueva variable

dependiente es y∗, y el vector de variables explicativas,

(∂f(Xt, β)

∂β

)′

β=β0

, son las

componentes del vector gradiente de la funcion evaluadas en la estimacion inicial delos parametros.

Aplicando Mınimos Cuadrados Ordinarios:

β =

[(∂f(Xt, β)

∂β

)

β=β0

(∂f(Xt, β)

∂β

)′

β=β0

]−1 (

∂f(Xt, β)

∂β

)

β=β0

y∗.

Adviertase que esta estimacion dara buenos resultados si los valores iniciales β0 sonproximos a los verdaderos valores de los parametros a estimar, lo cual normalmenteno es conocido.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor


Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


La expresion anterior puede expresarse equivalentemente,

β = β +

[(∂f(Xt, β)

∂β

)

β=β0

(∂f(Xt, β)

∂β

)′

β=β0

]−1 (

∂f(Xt, β)

∂β

)

β=β0

ǫ,

donde ǫ = yt − f(Xt, β0) es el residuo obtenido en la estimacion realizada.

Si suponemos que E(ǫ) = 0 y var(ǫ) = σ2I, entonces β sera insesgado y:

var(β) = σ2

[(∂f(Xt, β)

∂β

)

β=β0

(∂f(Xt, β)

∂β

)′

β=β0

]−1

.

Una estimacion insesgada de la varianza del termino de perturbacion se obtiene:

σ2 =(y − f(X, β))′(y − f(X, β)))

T − k.

Si ademas las perturbaciones se distribuyen normalmente, el estimador demınimos cuadrados ordinarios, obtenido con esta aproximacion lineal, tambiensera normalmente distribuido:

β ∼ N

(β, σ2

[(∂f(Xt, β)

∂β

)

β=β0

(∂f(Xt, β)

∂β

)′

β=β0

]−1)

,

siempre y cuando la ultima matriz inversa exista.

17:19:57

Aproximacion lineal de Taylor: ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor


Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dado el modelo yt = β1eβ2xt + ǫt vamos a obtener una aproximacion lineal delmismo.

Puesto que f(Xt, β) = β1eβ2xt depende de β1 y β2 en este caso se verificaque:

∂f(Xt, β)

∂β=

(∂β1eβ2xt

∂β1

∂β1eβ2xt

∂β2

)=(eβ2xt β1xte

β2xt).

Por tanto, dado un valor inicial β, se tiene:

yt = f(Xt, β) +

(∂f(Xt, β)

∂β

)′

β=β

(β − β) + ǫt

= β1eβ2xt +

(eβ2xt β1xte

β2xt

)·

(β1 − β1

β2 − β2

)+ ǫt

= β1eβ2xt + eβ2xt · (β1 − β1) + β1xte

β2xt · (β2 − β2) + ǫt.

Operando de forma conveniente:

yt − β1eβ2xt + eβ2xt · β1 + β1xte

β2xt · β2 = eβ2xt · β1 + β1xteβ2xt · β2 + ǫt.

Como se puede observar esta expresion es intrınsecamente lineal, es decir, haciendoun cambio de variable puede estimarse por MCO.

17:19:57

Aproximacion lineal de Taylor: ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor


Taylor

❖Ejemplo




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


En efecto, llamando

y∗t = yt − β1eβ2xt + eβ2xt · β1 + β1xte

β2xt · β2,

x∗

1t = eβ2xt ,

x∗

2t = β1xteβ2xt ,

se obtendrıa la aproximacion lineal y∗t = x∗

1tβ1 + x∗

2tβ2 + ǫt.

Por ejemplo, para el valor inicial β1 = y y β2 = 0 se obtendrıa el modelolinealizado:

y∗t = β1 + x∗

t β2 + ǫt,

donde y∗t = yt y x∗

t = y · xt.Ası por ejemplo:

y∗ = −49′78 + 0′0504x∗

t

R2 = 0′932

y x x∗ = y · x3 22 814

11 38 140634 50 1850

100 76 2812

17:19:57

Estimacion de modelos no lineales: Mınimos Cuadrados

no lineales y estimacion por Maxima Verosimilitud

❖Contenidos

Especificaciones no




no lineales:


Taylor



❖Mınimos cuadrados no

lineales

❖Ejemplo

❖Estimacion por

maxima verosimilitud


Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


17:19:57

Mınimos cuadrados no lineales

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dentro de este apartado, estudiaremos explıcitamente las situaciones en las cualesno es posible transformar el modelo de manera que pueda estimarse con las tecnicasde estimacion correspondientes al modelo lineal general.

El primer metodo que pasamos a abordar para estimar relaciones de tipo nolineal es el de mınimos cuadrados no lineales, que no es mas que una generalizaciondel procedimiento del metodo de mınimos cuadrados ordinarios. Recordemos, quela idea de partida del metodo de mınimo-cuadratico no exige en ningun momento lalinealidad del modelo, si bien, la resolucion analıtica del mismo se complica bastantecuando el modelo no es lineal.

Supongamos que pretendemos estimar un modelo cuya especificacion genericaes:

yt = f(Xt, β) + ǫt, t = 1, 2, ..., T,

donde Xt es el vector de variables independientes, β es el vector de parametros delmodelo a estimar y f es una funcion no lineal de las componentes de los vectoresXt y β, y cuya primera derivada vamos a suponer que es no lineal en β.

El metodo de mınimos cuadrados no lineales, al igual que su homologo lineal,trata de minimizar la suma de los residuos al cuadrado, es decir, minimizar lasiguiente expresion:

SRC(β) =

T∑

t=1

e2t =

T∑

t=1

(yt − f(Xt, β))2.

17:19:57

Mınimos cuadrados no lineales

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Derivando la expresion anterior obtenemos las condiciones de primer y segundoorden necesarias y suficientes para la obtencion del mınimo.

Ası, derivando una primera vez se obtiene:

∂SRC(β)

∂β= −2

T∑

t=1

(yt − f(Xt, β)) ·∂f(Xt, β)

∂β, ∀t

e igualando a cero dicha derivada parcial se obtienen las ecuaciones normales delmodelo:

T∑

t=1

(yt − f(Xt, β)) ·∂f(Xt, β)

∂β= 0, ∀t.

17:19:57

Mınimos cuadrados no lineales: ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Obtener el sistema de ecuaciones normales del modelo yt = β1 + xβ2

t + ǫt.El objetivo es minimizar la suma de cuadrados de los residuos, esto es,

SRC(β) =T∑

t=1

(yt − β1 − xβ2

t

)2, donde β

′

= (β1 β2).

Por tanto, habra que derivar la expresion anterior (usando que si f(x) = ax

entonces f ′(x) = ax ln a) con respecto a cada uno de los elementos de β:

∂SRC(β)

∂β1= −2 ·

T∑

t=1

(yt − β1 − xβ2

t

),

∂SRC(β)

∂β2= −2 ·

T∑

t=1

(yt − β1 − xβ2

t

)· xβ2

t · lnxt.

E igualando a cero dichas derivadas se obtendra el sistema de ecuaciones normalesbuscado:

T∑

t=1

(yt − β1 − xβ2

t

)= 0,

T∑

t=1

(yt − β1 − xβ2

t

)· xβ2

t · lnxt = 0.

17:19:57

Mınimos cuadrados no lineales: ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Un ejemplo de este tipo de especificaciones, en Economıa, es la funcion de consumo

agregado: Ct = β1 + β2Yβ3

t + ǫt.Los estimadores mınimo cuadraticos de β1, β2 y β3 deben de cumplir las

condiciones necesarias:

∂T∑

t=1

e2t

∂β1= 0 ⇔

T∑

t=1

(Ct − β1 − β2Yβ3

t ) = 0,

∂T∑

t=1

e2t

∂β2= 0 ⇔

T∑

t=1

(Ct − β1 − β2Yβ3

t )Y β3

t = 0,

∂T∑

t=1

e2t

∂β3= 0 ⇔

T∑

t=1

(Ct − β1 − β2Yβ3

t )β2Yβ3

t lnYt = 0.

Esta ecuaciones son no lineales, por lo que no pueden ser resueltas de maneradirecta con procedimientos algebraicos sino con metodos numericos. Es decir, pararesolver las ecuaciones normales es necesario un metodo iterativo para obtener losvalores de los parametros.

17:19:57

Estimacion por maxima verosimilitud

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Sabemos que la funcion de verosimilitud del modelo

yt = f(Xt, β) + ǫt, ǫt ∼ N(0, σ2IT ),

viene dada por la expresion:

L(β, σ2|y, X) =1

(2πσ2)T/2exp

{−

1

(2σ2)(y − f(Xt, β))

′(y − f(Xt, β))

},

y aplicando logaritmos neperianos:

lnL(β, σ2|y,X) = −T

2ln (2π)−

T

2lnσ2 −

1

2σ2SCR(β).

Los posibles estimadores maximo verosımiles seran obtenidos tras derivar laexpresion anterior con respecto a β y σ2 e igualando el resultado a cero.

En el primer caso, se obtiene la derivada:

∂ lnL(β, σ2|y,X)

∂β=

∂

∂β

−1

2σ2SCR(β) =

1

σ2

T∑

t=1

(yt − f(Xt, β)) ·∂f(Xt, β)

∂β,

que igualada a cero queda:

T∑

t=1

(yt − f(Xt, β)) ·∂f(Xt, β)

∂β= 0, ∀t.

17:19:57

Estimacion por maxima verosimilitud

❖Contenidos

Especificaciones no




no lineales:


Taylor




lineales

❖Ejemplo

❖Estimacion por



Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Adviertase que los resultados obtenidos coinciden con el estimador por mınimoscuadrados no lineales, por tanto, no es posible dar una solucion analıtica para lassoluciones de este sistema de ecuaciones (y una vez mas se hace necesario unmetodo iterativo para obtener los valores de los parametros).

Sin embargo, sı que es posible dar una expresion para la varianza de lasperturbaciones. Derivando parcialmente con respecto a σ2 e igualando a 0,obtenemos:

−T

2

1

σ2+

1

2(σ2)2SCR(β) = 0.

Despejando: σ2 =SCR(β)

T.

Sustituyendo este valor en la funcion de verosimilitud lnL(β, σ2|y, X),obtenemos la funcion de verosimilitud concentrada:

lnLc(β, σ2|y, X) = −

T

2ln (2π)−

T

2ln

(SCR(β)

T

)−

T

2.

El estimador maximo verosimil correspondiente a esta ultima funcion deverosimilitud concentrada serıa el mismo que el estimador de mınimos cuadradosno lineales correspondiente a la minimizacion de SCR(β). Esta equivalencia entrelos estimadores MV y MCNL solo es valida en el caso en que ǫ ∼ N(0, σ2IT ).

17:19:57

Algoritmos de busqueda: Newton–Raphson y

Gauss–Newton

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


17:19:57

Algoritmos de busqueda

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


En la presente seccion veremos los procedimientos numericos que seran utilizadospara resolver las ecuaciones normales obtenidas que no pueden ser resueltas deforma directa mediante procedimientos algebraicos.

Dado el modeloyt = f(Xt, β) + ǫt,

la suma de cuadrados de los residuos vendra dada por la expresion:

SCR(β) =

T∑

t=1

(yt − f(Xt, β))2,

siendo la condicion necesaria de mınimo para esta funcion la dada por la ecuacionnormal

T∑

t=1

(yt − f(Xt, β)) ·∂f(Xt, β)

∂β= 0.

Veremos a continuacion dos metodos para resolver este tipo de ecuaciones.

17:19:57

Algoritmo de Newton-Raphson

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Este algoritmo se basa en minimizar la suma de cuadrados de los residuos.En primer lugar se toma como aproximacion a dicha suma el desarrollo del

polinomio de Taylor de segundo orden en un entorno del valor inicial β0:

SCR(β) ≃ SCR(β0) +

(∂SCR(β)

∂β

)

β=β0

(β − β0)

+1

2(β − β0)

′

(∂2SCR(β)

∂β∂β′

)

β=β0

(β − β0),

Derivando respecto β:

∂SCR(β)

∂β≃

(∂SCR(β)

∂β

)

β=β0

+

(∂2SCR(β)

∂β∂β′

)

β=β0

(β − β0).

Igualando a cero la primera derivada:

(∂SCR(β)

∂β

)

β=β0

+

(∂2SCR(β)

∂β∂β′

)

β=β0

(β − β0) = 0,

y despejando β:

β = β0 −

(∂2SCR(β)

∂β∂β′

)−1

β=β0

(∂SCR(β)

∂β

)

β=β0

.

17:19:57

Algoritmo de Newton-Raphson

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Siempre que exista dicha inversa, a partir de la expresion anterior se puede plantearel siguiente procedimiento iterativo:

βn+1 = βn −

(∂2SCR(β)

∂β∂β′

)−1

β=βn

(∂SCR(β)

∂β

)

β=βn

.

Este procedimiento se repite hasta que converja, es decir, has ta que exista h

tal que βh+1 = βh. En tal caso se tendrıa entonces que(∂SCR(β)

∂β

)

β=βh

= 0,

de donde se deduce que βh minimiza a SCR(β).

17:19:57

Algoritmo de Newton-Raphson: Ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dado el modelo yt = xβt + ǫt, t = 1, . . . , T , obtener la estimacion iterativa

proporcionada por el algoritmo de Newton–Raphson.

En este caso SCR(β) =T∑

t=1

(yt − xβ

t

)2, por lo que:

∂SCR(β)

∂β= −2

T∑

t=1

(yt − xβ

t

)xβt lnxt,

∂2SCR(β)

∂β2=

∂

∂β

(−2

T∑

t=1

(yt − xβ

t

)xβt lnxt

)

=∂

∂β

(−2

T∑

t=1

ytxβt lnxt + 2

T∑

t=1

x2βt ln xt

)

= −2

T∑

t=1

ytxβt (lnxt)

2 + 4

T∑

t=1

x2βt (lnxt)

2.

Donde se ha usado que∂

∂βxβt = xβ

t lnxt.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Por tanto:

βn+1 = βn +

T∑t=1

ytxβnt lnxt −

T∑t=1

x2βnt lnxt

T∑t=1

ytxβnt (lnxt)2 − 2

T∑t=1

x2βnt (lnxt)2

.

Para el valor inicial β0 = 0, la primera iteracion corresponde a:

β1 =

T∑t=1

yt lnxt −T∑

t=1

lnxt

T∑t=1

yt(lnxt)2 − 2T∑

t=1

(lnxt)2

=

T∑t=1

(yt − 1) lnxt

T∑t=1

(yt − 2)(lnxt)2

.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dado el modelo yt = β1eβ2xt + ǫt, t = 1, . . . , T , obtener la primera iteracionproporcionada por el algoritmo de Newton–Raphson para los valores iniciales β1 = yy β2 = 0.

Puesto que SCR(β) =T∑

t=1

(yt − β1eβ2xt

)2donde β′ = (β1 β2) se tiene que:

∂SCR(β)

∂β=

(∂SCR(β)

∂β1∂SCR(β)

∂β2

)=

−2T∑

t=1

(yt − β1eβ2xt

)eβ2xt

−2T∑

t=1

(yt − β1eβ2xt

)xteβ2xtβ1

,

∂2SCR(β)

∂β∂β′=

(∂2SCR(β)

∂β21

∂2SCR(β)∂β1∂β2

∂2SCR(β)∂β2∂β1

∂2SCR(β)

∂β22

)

=

2

T∑t=1

e2β2xt −2

T∑t=1

ytxteβ2xt + 4β1

T∑t=1

xte2β2xt

−2

T∑t=1

ytxteβ2xt + 4β1

T∑t=1

xte2β2xt −2β1

T∑t=1

ytx2te

β2xt + 4β21

T∑t=1

x2t e

2β2xt

.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Por tanto, la primera iteracion quedarıa:

β =

(y0

)−

2TT∑

t=1

(yt − 2y)

T∑t=1

(yt − 2y) yT∑

t=1

(yt − 2y)x2t

−1

T∑t=1

(yt − y)

T∑t=1

(yt − y)xt

.

17:19:57

Algoritmo de Gauss-Newton

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Partiendo de la aproximacion lineal del desarrollo en serie de Taylor para la funcion

no lineal f en un entorno del punto β0 se obtiene:

f(Xt, β) = f(Xt, β0) +

(∂f(Xt, β)

∂β

)

β=β0

(β − β0).

La expresion iterativa correspondiente al algoritmo de Gauss-Newton es:

βn+1 = βn+

(T∑

t=1

(∂f(Xt, β)

∂β

)(∂f(Xt, β)

∂β

)′

)−1

β=βn

T∑

t=1

(∂f(Xt, β)

∂β

)

β=βn

ǫt,

donde ǫt = yt − f(Xt, βn) es el residuo obtenido en la estimacion realizada.Esta expresion es similar al de algoritmo de Newton-Raphson, con la ventaja

anadida que la matriz a invertir es simetrica y definida positiva.

17:19:57

Algoritmo de Gauss-Newton: Ejemplo

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dado el modelo no lineal yt = xβt + ǫt se tiene que:

f(Xt, β) = xβt ⇒

∂f(Xt, β)

∂β= xβ

t lnxt.

En tal caso es claro que:

βn+1 = βn +

T∑t=1

xβnt lnxt(yt − xβn

t )

T∑t=1

x2βnt (lnxt)2

.

Para el valor inicial β0 = 0, la primera iteracion del algoritmo de Gauss–Newtoncorresponde a:

β1 =

T∑t=1

(yt − 1) lnxt

T∑t=1

(lnxt)2

.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dado el modelo no lineal yt = β1eβ2xt + ǫt vamos a obtener la expresion iterativacorrepondiente al algoritmo de Gauss-Newton.

Puesto que f(Xt, β) = β1eβ2xt se tiene que:

∂f(Xt, β)

∂β=(eβ2xt β1xte

β2xt)′

,

de donde:

(∂f(Xt, β)

∂β

)(∂f(Xt, β)

∂β

)′

=

(eβ2xt

β1xteβ2xt

)(eβ2xt β1xte

β2xt),

=

(e2β2xt β1xte2β2xt

β1xte2β2xt β21x

2t e

2β2xt

).

Y en tal caso:

βn+1 = βn+

T∑t=1

e2β2xt

T∑t=1

β1xte2β2xt

T∑t=1

β1xte2β2xt

T∑t=1

β21x2te

2β2xt

−1

β=βn

T∑t=1

eβ2xt ǫt

T∑t=1

β1xteβ2xt ǫt

β=βn

,

donde ǫt = yt − f(Xt, βn).

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Considerando los valores iniciales β1 = y y β2 = 0, la primera iteracion serıa:

β =

(y0

)+

T yT∑

t=1

xt

yT∑

t=1

xt y2T∑

t=1

x2t

−1

T∑t=1

(yt − y)

yT∑

t=1

xt(yt − y)

.

17:19:57

Criterios de finalizacion del algoritmo

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

❖Algoritmos de

busqueda:

Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Estos metodos iterativos no siempre son estacionarios, es decir, no sonconvergentes. Por ello, se requiere establecer a priori unos criterios que permitanfinalizar el proceso iterativo cuando no se alcanza dicha convergencia. Estos criteriosson:

1. Los valores de los parametros se estabilizan.2. El valor de la funcion objetivo se estabiliza.3. El vector gradiente esta proximo a cero.4. Se alcanzo el numero maximo de iteraciones.5. Se alcanzo el lımite maximo de tiempo de calculo.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

❖Contraste de


parametros

Apendice


17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

❖Contraste de


parametros

Apendice


Supongamos que queremos plantear cualquier hipotesis que implique unacombinacion de los parametros del modelo de regresion. El sistema de restriccionesse puede expresar como:

Rq×kβ = rq×1, q ≤ k.

El modelo sobre el que se imponen las restricciones se denomina “modelorestringido” y el modelo sobre el que no se imponen las restricciones se llama“modelo sin restricciones”.

Contraste F:

F =(e′rer − e′e)/q

e′e/(n− k)∼ Fq,n−k,

donde e′rer es la SCR del modelo restringido; e′e es la SCR del modelo sinrestringir y q es el numero de restricciones.Contraste de razon de verosimilitudes:

−2(lnLR − lnL) = n ln

(σ2

σ2R

)∼ χ2

q ,

donde LR y L son la funciones de verosimilitud evaluadas para el estimadorrestringido y no restringido, respectivamente, y σ2

R y σ2 son las varianzasestimadas de las perturbaciones para ambos modelos.

17:19:57


❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

❖Contraste de


parametros

Apendice


Contraste de Wald:

W = (Rβ − r)′

[(∂R(β)

∂β

)σ2(X′X)−1

(∂R(β)

∂β

)′]−1

(Rβ − r) ∼ χ2q .

Esta expresion no requiere estimar el modelo con y sin restricciones.

17:19:57

Apendice

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


17:19:57

Apendice

❖Contenidos

Especificaciones no




no lineales:


Taylor




Newton–Raphson y

Gauss–Newton

Contraste de


parametros

Apendice


Dada una funcion f(x), su aproximacion lineal mediante el desarrollo de Taylor enun punto a responde a la expresion:

f(x) ≃ f(a) + f ′(a)(x− a) +f ′′(a)

2!(x− a)2 +

f ′′′(a)

3!(x− a)3 + . . .

= f(a) +

+∞∑

i=1

f i′ (a)(x− a)i

i!.

17:19:57

Modelos no lineales - ugr.esromansg/material/WebEco/Eco2-Nolineales.pdf · Aqu´ı, la variacion...

Documents

Transcript of Modelos no lineales - ugr.esromansg/material/WebEco/Eco2-Nolineales.pdf · Aqu´ı, la variacion...