Modelos ARMAModelos ARMA

Proceso Ruido BlancoProceso Ruido Blanco

Una secuencia de variables aleatorias {at } tal que

0for 0),(

)(

)0 te(normalmen )(:2

kaaCov

aVar

aEa

ktt

at

aatt

00

01

00

01

0 0

0

acionautocorrelanza y Autocovari2

k

k

k

k

k

k

kk

k

ak

. . . .1 2 3 4 k

k

La Descomposicion de WoldLa Descomposicion de Wold

Sea {Zt} una serie temporal estacionaria y no deterministica. Entonces

tico.determinis componente un es }{ 5.

y,, de lineales nescombinacio de limite el es .4

, y para todo 0)V ,( .3

,0 con ),,0( es }{ .2

, y 1 .1

donde

,)(

22

0j

2j0

0

t

st

ts

t

tttjtj

jt

V

tsZa

tsaCov

WNa

VaLVaZ

Algunos Notas sobre la Descomposicion de WoldAlgunos Notas sobre la Descomposicion de Wold

naZE

ZZZPZa

jt

n

jjt

j

ttttt

cuando 0][

??? significa Que )(

??? escoeficient los calculan se Como )(

,...],|[ )(

2

0

0j

21

Que no dice la descomposición de Wold?Que no dice la descomposición de Wold?

• at no tiene por que seguir una distribucion normal y por tanto no tiene por que ser iid

• Aunque P[at|Zt-j]=0, esto no implica que E[at|Zt-j]=0 (piensa en las posibles consecuencias!!!!)

• Los shocks a no necesitan ser los “verdaderos” del sistema. Cuando lo serán????

• La unicidad del resultado solo dice que la representacion de Wold es la unica representacion lineal donde los shocks son errores de prediciones. Representaciones no-lineales o representaciones en terminos de errores que no sean de prediccion son perfectamente posibles.

Ejemplo de lineal versus no-linealEjemplo de lineal versus no-lineal

Suponga que Yt=Xt2 + Zt con Xt y Zt N(0, 1) e independientes entre

ellas.

La mejor prediccion dado Xt es E[Yt|Xt]=Xt2.

La mejor prediccion lineal o projeccion lineal dado Xt es

a + b Xt donde se puede comprobar que a=1 y b=0.

Si calculamos el error cuadratico medio de las dos predicciones:

E[Yt-Xt2]2=E[Zt]2 =1

E[Yt-1]2=E[Xt4]+E[Zt]2-1=3

Que prediccion es mejor?

.

Nacimiento de los modelos ARMANacimiento de los modelos ARMA

)L(p

)L(q)L(

Bajo condiciones generales, el polinomio de retardos infinito de la descomposicion de Wold puede ser aproximado por el cociente de dos polinomios de retardos finitos:

Entonces

qtaq...1ta1taptZp...1tZ1tZ

ta)qLq...L11(tZ)pLp...L11(

ta)L(qtZ)L(p

, ta)L(p

)L(qta)L(tZ

AR(p) MA(q)

Procesos MA(1) Procesos MA(1)

Sea ta un ruido blanco de media cero )2a,0(ta

)1(MA1tatatZ Esperanza

Varianza

Autocovarianza

)()()( 1ttt aEaEZE

)1()2(

)()()(22

12

122

21

2

atttt

tttt

aaaaE

aaEZEZVar

221

22

211

2111

)(

))(())(

orden 1º

attttttt

tttttt

aaaaaaaE

aaaaEZE(Z

Proceso MA(1) (cont)Proceso MA(1) (cont)

10)( 112

11 jaaaaaaaaE jttjttjttjtt

Autocovarianzas de ordenes mayores

Autocorrelacion

10

1)1( 222

2

0

11

jj

))(())(( 11 jtjtttjtt aaaaEZZE

Proceso MA(1) (cont)Proceso MA(1) (cont)

MA(1) es un proceso estacionario en covarianzas porque

22 )1()()( tt ZVarZE

MA(1) es ergodico porque

0

222 )1(j

j

Si fuera Gaussiano, entonces seria ergodico para todos los momentostatZ

Grafico de la funcion 21 1

1-1

0.5

-0.5

1

2para 4.0

5.0para 4.0

1para 5.0 )max(

1

1

1

22121 1)/1(1

/1,

1 ossubstituim

1 en Si

1

1

)1

( ttt

ttt

aaZ

aaZ

Ambos procesos comparten la misma funcion de autocorrelacion

MA(1) no es identificable, excepto para 1

InvertibilidadInvertibilidad

Definición: Un proceso MA(q) definido por la ecuación

se dice que es invertible si existe una secuencia de constantes

y

ta)L(qtZ

|| que tales}{0j j j ,...1,0t ,jtZ

0j

jta

Teorema: Sea {Zt} un MA(q). Entonces {Zt} es invertible si y solo si

Los coeficientes {j} están determinados por la relación

1.|x|such that C xallfor 0)x(

1.|x| ,)x(

1jx

0j

j)x(

Identificación de un MA(1)Identificación de un MA(1)

• Si identificamos el MA(1) a través de la estructura de autocorrelaciones, necesitamos decidir que valor de elegir, el mayor que uno o el menor que uno. Si requerimos que se cumpla condicion de invertibilidad (pensad por que???) elegiríamos el valor .

• Otra razón por la cual elegimos el valor menor que uno se encuentra en la varianza de los errores de las dos representaciones alternativas:

)()(

invertible-no ,)1(

)( , )1(

invertible ,)1(

)( , )1(

21

011

21

01

21

tt

ttt

ttt

aVaV

aVaLZ

aVaLZ

MA(q)MA(q)

qtqtttt aaaaZ 2211

Momentos

011

MA(2)Example

for 0

para )(

))((

)1()var(

)(

4322

21

222

22

1

2111

1

2

2211

0

22211

1111

2222

210

k

q

ii

jqqjjjjj

jqqjjjj

qjtqjtjtqtqttj

aqt

t

qj

qj

aaaaaaE

Z

ZE

MA(q) es Estacionario en covarianzas y

ergodico, por las mismas

por las que lo es un MA(1)

MA(infinito)MA(infinito)

00t 1Z

jjtja

Es estacionario en covarianzas?

0

2

0

0

2

0

22

))((

)(,)(

ii

ijii

j

ijiijttj

iiatt

ZZE

ZVarZE

El proceso es estacionario en covarianzas, si se cumple que

0

2

ii

Procesos Causales y EstacionariosProcesos Causales y Estacionarios

Definición: Un AR(p) definido por la ecuación

se dice que es causal, o una función causal de {at}, si existe una secuencia de constantes

y

Causalidad es equivalente a

tatZ)L(p

|| que tales}{0j j j ,...1,0t ,jta

0j

jtZ

1.|x| que talCx para todo 0)( x

Definicion: Una solucion estacionaria {Zt} de la ecuacion existe (y es la unica sol. estacionaria) si y solo si

tatZ)L(p

1.|x| que talCx para todo 0)( x

Desde ahora en adelante solo trataremos como modelos AR causales

AR(1)AR(1)

ttt aZcZ 1Substituyendo hacia atras

22

12

122

)1( ttt

tttt

aaac

aaZccZ

pogresión geometrica )( MA

1 si 1

1)2(

acotada 1

11)1(

1 si

00

2

j

j

jj

Recordad:

0jj

es la condición para causalidad y ergodicidad

AR(1) (cont)AR(1) (cont)

Por lo tanto, el AR(1) es causal si 1

Alternativamente, considerando la solucion de la ecuación caracteristica:

11

01

xx

i.e. las raices de esta ecuación estan fuera del circulo unidad.

Esperanza

1)(

1 22

1

cZE

aaac

Z

t

tttt

Varianza

2

2242

0 1

11 a

Autocovarianza de un AR(1) causal

Re-escribiendo el proceso como ttt aZZ )()( 1 11

1

jjttjtt

jtttjttj

ZaZZE

ZaZEZZE

11 jjj Autocorrelacion de un AR(1) causal

jjjjj

jj

o

jj j

033

22

10

1 1

ACF

PACF: De las ecuaciones de Yule-Walker

20

011

1

1

1

21

22

21

212

1

1

21

1

22

1̀11

kkk

AR(p)AR(p)

tptpttt aZZZcZ .......2211

Causal Todas las p raices de la ecuacion caracteristica fuera del circulo unidad

ACF

02211

2021112

112011

2211

......

......

......

......

pppp

pp

pp

pkpkkk

Sistema para resolver las primeras p autocorrelations:p unknowns and p equations

ACF decae como una mixtura de exponenciales y/o sinusoidales, dependiendo de si las raices son reales o complejas

PACFpkkk para 0

Relacion entre un AR(p) y un MA(q)Relacion entre un AR(p) y un MA(q)AR(p) Causal

)()(

1

....)1()()()(

1

)....1()()(

221

221

LL

LLLaLaL

Z

LLLLaZL

p

ttp

t

pppttp

1)()( LLp ? de obtener Como

Ejemplo

1222

113

22

12

11

12213

2112

11

312

22

321

2111

33

221

221

221

)(0

0

0

:polinomios ambos de escoeficient igualando

1.............

......

......1

1.....)1)(1()2(

LL

LLL

LLL

LLLLAR

22211 jjjj

MA(q) Invertible

)()(

1

....)1()()(

1)(

)....1()()(

221

221

LL

LLLaZL

ZL

LLLLaLZ

q

ttq

t

qqqtqt

1)()( LLq

? de obtener Como

Transforme un MA(2) en un AR(infinito)

ARMA (p,q)ARMA (p,q)

ttp

q

ttq

pt

q

tqtp

aLaL

L

aZL

LZL

xx

xx

aLZL

)()(

)(Zpura MAcionRepresenta

)(

)()( pura AR cionRepresenta

10)( of roots Causal

10)( de raices Invertible

)()(

t

p

ARMA(1,1)ARMA(1,1)

1)((L)puro MA

1)((L)Zpuro AR

1invertible

1 causal

)1()1(

1

1t

jaZ

ja

aLZL

jjtt

jjt

tt

ACF de un ARMA(1,1)

kttkttkttktt ZaZaZZZZ 11

Tomando esperanzas

)()( 11 kttkttkk ZaEZaE

1

201

2210

21

2

2

1

)(

)()()(0

kk

a

aa

attatt

k

k

ZaEZaEk

10 y para resolver

incognitas 2 y ecuaciones 2 desistema

2

121

1)(

0 1

1

2

k

k

k

k

k

PACF

lexponencia odecaimient

)1,1()1( ARMAMA

ACF

ACF and PACF of an ARMA(1,1)ACF and PACF of an ARMA(1,1)

ACF and PACF of an MA(2)ACF and PACF of an MA(2)

ACF and PACF of an AR(2)ACF and PACF of an AR(2)

Apendice: Operador de Retardos LApendice: Operador de Retardos L

Definicion 1 tt ZLZ

Propiedades

11

1

)(.3

)(.2

.1

tttttt

ttt

kttk

YZLYLZYZL

ZLZZL

ZZL

Ejemplos

tttttt aZLLaZZZ )1(.1 2212211

tt

tttt

tt

aZL

aLaaZ

ZLLLZLL

)1(.4

)1(.3

)1()1)(1(.2

1

2212121

Apendice: Operador InversoApendice: Operador Inverso

Definicion

identidad)(operador )1()1( que tal

).......1(lim)1(01

33221

LLL

LLLLL jjj

Observad que :

1 si esta definicion no se mantiene porque el limite no existe

Ejemplo:

......

)1()1()1(

)1()1(

22

1

11

tttt

tt

tt

aaaZ

aLZLL

aZLAR

Apendice: Operador Inverso (cont)Apendice: Operador Inverso (cont)

Supongamos que tenemos el modelo ARMA y queremos encontrar la representacion MA . Se puede intentar hacerlo directamentepero no es nada divertido. Alternativamente se puede encontrar

e igualar coeficientes en los terminos en Lj .

ta)L(tZ)L( ta)L(tZ

)L()L(1

)()()( que tal, )()()()( LLLaLLZLaL ttt

Example: Suppose . )2L2L10()L( and )L10()L(

3.j ; j01j10

...............2

10011

000

que se puede resolver recursivamente INTENTALO!!!j

Apendice: Factorizando Polinomios de retardosApendice: Factorizando Polinomios de retardos

Supongamos que necesitamos invertir

el polinomio

Se puede hacer factorizando:

Ahora invirtiendo cada factor y multiplicando:

)2L2L11()L(

121

221

with)L21)(L11()2L2L11(

jL)

0j

j

0k

kj2

k1(

...L)21(1()

0j

jL

0j

j2)(jLj

1(1)L21(1)L11(

Check the last expression!!!!

Apendice: Algunos trucosApendice: Algunos trucos

La ultima expresion se puede espresar via la factorizacion parcial. Encuenta las constantes a y b tal que

)L21)(L11(

)L21(b)L11(a

)L21(

b

)L11(

a

)L21)(L11(

1

El numerador del lado derecho debe ser 1, asi que

))()(

(

)1(

1

)()1(

1

)()1)(1(

1

que lopor

,a ,

o,Resolviend

0

1

221

2

01

21

1

221

2

121

1

21

21

1

12

2

12

j

j

j

LLLL

b

ba

ba

Apendice: Mas sobre InvertibilidadApendice: Mas sobre Invertibilidad

Considere un MA(1)

t

AR

t

ttt

t

aZLLL

aaLLZ

L

aL

)(

3322

11-

1

t

).......)(1(

)1()1()(L)(1

definidoesta )1(,1 Si

1Z

Definicion

Un proceso MA es invertible si se puede re-escribir como un AR( )

• Un MA(1) es invertible si ]11

01[ 1

xx

• Un MA(q) es invertible si todas las raices de la ecuacion caracteristica estan fuera del circulo unidad.• Procesos MA tienen representaciones invertibles y no-invertibles• Representaciones invertibles: prediciones optimas dependen de informacion pasada.• Representaciones no-invertibles: prediciones dependen del futuro!!!