U1. Procesos y Series de Tiempo
-
Upload
pascual-monsivais -
Category
Documents
-
view
43 -
download
5
Transcript of U1. Procesos y Series de Tiempo
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
1
Universidad Abierta y a Distancia de México
Licenciatura en Matemáticas
8° cuatrimestre
Estadística III
Información general de la asignatura
Clave:
050930935
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
2
Índice Unidad 1. Procesos y Series de Tiempo.................................................................................. 3
Presentación de la unidad ........................................................................................................ 3
Propósitos de la unidad ........................................................................................................... 3
Competencia específica ........................................................................................................... 3
1.1. Procesos de 2° orden y series de tiempo ......................................................................... 3
1.1.1. Procesos de segundo orden ....................................................................................... 4
1.1.2. Procesos estacionarios .............................................................................................. 5
1.1.3. Procesos estacionarios de segundo orden ............................................................... 6
1.1.4. Ejemplos ...................................................................................................................... 8
1.1.5. Relaciones entre las formas de estacionariedad .................................................... 10
1.2. La sucesión de autocorrelación ...................................................................................... 12
1.2.2. La sucesión de autocorrelación ............................................................................... 12
Actividad 1. Estacionariedad ................................................................................................. 14
1.3. El espacio de variables aleatorias con segundo momento finito ................................. 14
1.3.1. Variables aleatorias con 2° momento finito ............................................................. 15
1.3.2. Desigualdades importantes ...................................................................................... 16
1.3.3. Operadores de retraso .............................................................................................. 16
1.4. Procesos ARMA ....................................................................................................... 20
1.4.1. Proceso de ruido blanco ........................................................................................... 20
1.4.2. Proceso de promedios móviles ................................................................................ 20
1.4.3. Proceso autorregresivo ............................................................................................ 22
1.4.4. Proceso ARMA(p,q) ................................................................................................... 28
Actividad 2. Uso de software ................................................................................................. 31
1.5. La sucesión de autocorrelación parcial ......................................................................... 31
1.5.1. Procesos autorregresivos y el proceso de sucesión de autocorrelación parcial . 32
Actividad 3. Simulación de un proceso ARMA en R ............................................................. 34
Autoevaluación ....................................................................................................................... 34
Evidencia de Aprendizaje. Ajuste de modelos ARMA .......................................................... 34
Autorreflexiones ..................................................................................................................... 35
Cierre de la unidad .................................................................................................................. 35
Referencias Bibliográficas ..................................................................................................... 36
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
3
Unidad 1. Procesos y Series de Tiempo
Presentación de la unidad
En esta unidad se revisarán las definiciones de proceso estocástico de de segundo orden,
procesos estacionarios y procesos estacionarios de segundo orden. Se verá que esta última
clase de procesos tienen la característica de tener valor esperado y sucesión de autocovarianza
que no cambian con el índice de tiempo.
Teniendo en mente esta característica de los momentos de primer y segundo orden para un
proceso estacionario de segundo orden, se revisarán los procesos de ruido blanco,
autorregresivo y de promedios móviles, estudiando las condiciones bajo las cuales estos
procesos son estacionarios de segundo orden. Este análisis nos permitirá identificar las
propiedades estadísticas de los modelos lineales de series de tiempo, conocidos en literatura
como procesos ARMA( ).
Propósitos de la unidad
Identificarás las nociones de Proceso Estocástico Estacionario y Estacionario de
Segundo Orden
Identificarás las relaciones entre los diferentes tipos de estacionariedad.
Determinarás las condiciones sobre los parámetros de cada proceso, que hacen que
este sea estacionario de segundo orden.
Competencia específica
Identificar las propiedades estadísticas de los modelos de series de tiempo lineales mediante
la definición de los modelos de ruido blanco, de promedios móviles, y autorregresivo.
1.1. Procesos de 2° orden y series de tiempo
La medición de una cantidad de interés a lo largo de varios instantes en el tiempo es un proceso
que emerge en forma natural en diferentes ámbitos de estudio. En economía si nos interesa la
evolución de algún índice, se consideran mediciones de este registradas por ejemplo cada mes
durante varios años. Para este ejemplo, pueden tenerse en mente varios objetivos como saber
si hay un patrón que se repite en intervalos de tiempo con la misma longitud (existencia de
ciclos). También puede ser de interés predecir el valor del índice una unidad de tiempo después
de la última observación. Otro ejemplo se da en estudios ecológicos, donde se tienen
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
4
mediciones anuales de la temperatura global del planeta tierra y la pregunta a contestar es si
existe una tendencia de estas observaciones a tener mayor magnitud a lo largo de diferentes
tiempos.
La metodología estadística para trabajar con observaciones de algún fenómeno hechas en
varios tiempos se conoce como series de tiempo.
Desde un punto de vista teórico, el modelo matemático para pensar en una serie de
observaciones indexadas en el tiempo es un proceso estocástico. A continuación estudiamos
brevemente este tema.
En esta unidad denota al conjunto índice de tiempo, este conjunto se toma como un modelo
de la colección de tiempos en los que se observan mediciones con respecto a un fenómeno de
intéres. Para nuestros objetivos, el conjunto puede estardado por los números enteros
ó bien por el conjunto de los números naturales
Un proceso estocástico es una colección de variables aleatorias indexadas en el conjunto
Para cada la variable aleatoria está definida en el espacio de probabilidad .
Una serie de tiempo es una realización del proceso , es decir, para
y las observaciones son la serie de tiempo.
Recordemos que la información necesaria para describir el comportamiento de una variable
aleatoria está dada en su función de distribución de probabilidades
.
1.1.1. Procesos de segundo orden
Los procesos estocásticos con los cuales vamos a trabajar tienen caractersticas basadas en
sus momentos de primer y segundo orden. Por esta razón resultará importante revisar algunas
nociones referentes variables aleatorias con segundo momento finito.
Ahora, supóngase que para cada variable aleatoria indexada en existen su valor medio
y su varianza Usando notación de integral de Stieltjes
∫
(1)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
5
∫
(2)
Para nosotros serán de interés los procesos estocásticos para los cuales la media y la varianza,
definidas por estas expresiones, existen. Recordemos que una condición equivalente a la
existencia de (1) y de (2), es la existencia de segundo momento finito
Lema 1.1 y existen si y sólo si existe.
Demostración: Recordemos que si es finita, entonces es finita ya que
∫
∫
∫
y como ∫
∫
entonces es finita.
Por otra parte
es decir, la varianza de es la suma de dos cantidades finitas. Entonces y son
finitos. Inversamente si y son finitos entonces como
tenemos que
es finito.
Decimos que el proceso es un proceso de orden si .
1.1.2. Procesos estacionarios
Será difícil trabajar con cualquier proceso estocástico arbitrario para tratar de describir
fenómenos en la naturaleza. Por esta razón en una primera forma de restringir nuestra
búsqueda, propondremos que los procesos con los que se trate tengan una característica de
“invarianza” de sus propiedades estocásticas en el tiempo. Esta forma de invarianza se conoce
como estacionariedad y básicamente se tiene que los procesos estacionarios son aquellos para
los cuales las distribuciones de probabilidades asociadas a cada variable dentro del proceso no
cambian con el indice de tiempo.
Sea un proceso estocástico y para cada , tomemos . Las
distribuciones de probabilidad conjuntas del vector aleatorio
están dadas por
(3)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
6
Estas distribuciones se llaman distribuciones de dimensión finita del proceso .
Definición 1. [Proceso estacionario]
Un proceso se llama estacionario si para todo , para cualesquiera
elementos de y para todo tal que , la función de distribución
conjunta del vector
es igual a la distribución conjunta del vector
En otras palabras, las propiedades estocásticas de un proceso estacionario no cambian al
pasar el tiempo. Para comprender mejor esta definición, consideremos y Entonces
si y el proceso es estacionario, la distribución de las variables y es la misma,
pero tambien la distribución de y es la misma. Esta situación se ilustra en la figura 1.1. En
dónde, el eje horizontal representa el tiempo y el eje vertical el valor de Asimismo
representamos las parejas con un carácter Para cada tiempo la distribución de
es la misma (como se muestra en la figura 2).
Algunos autores usan el nombre completamente estacionario o estrictamente estacionario
para este tipo de procesos.
Figura 1: Proceso completamente estacionario
1.1.3. Procesos estacionarios de segundo orden
Como un modelo para datos reales los procesos estacionarios resultan restrictivos, ya que se
está pidiendo que la distribución de cada variable sea la misma independientemente de en
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
7
que tiempo se observa. A continuación se relaja la definición de proceso completamente
estacionario al pedir condiciones que pueden ser cumplidas más fácilmente por datos reales.
Definición 2. [Proceso estacionario de orden]
Un proceso de orden se llama débilmente estacionario ó estacionario de orden
si:
Para cada , para cualesquiera y para todo tal que
, todos los momentos de orden 1 y 2 del vector
son iguales a los correspondientes
momentos de orden 1 y 2 del vector , es decir
(4)
donde y ∑ .
La definición 2 debilita la definición 1, en el sentido de que para un proceso estacionario de
segundo orden la distribución de puede ser diferente a la distribución de pero los
momentos (
) y son los mismos que los momentos
y
Entonces si por ejemplo se tendrá que
(5)
es decir, la media del proceso es constante. Análogamente para la estacionariedad de
segundo orden implica que
(6)
Notemos que de (5) y (6) se sigue que para un proceso estacionario de segundo orden
es decir media y varianza son cantidades que no dependen de En forma análoga se sigue de
(4) que
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
8
Figura 2: Proceso estacionario de segundo orden
1.1.4. Ejemplos
Ejemplo (Variables aleatorias independientes e idénticamente distribuidas con segundo
momento finito)
Sea una sucesión de variables aleatorias independientes e idénticamente distribuidas
tal que entonces
es fuertemente estacionario y estacionario de
orden.
Para nuestro siguiente ejemplo necesitamos una definición:
Definición 3. [Matriz no negativo definida]
Una matriz simétrica de dimensiones se llama no negativo definida si para cada
= tenemos que
Dado un vector aleatorio
de dimensión su matriz de varianzas covarianzas es
la matriz de dimensiones simétrica y con entrada dada por
(la
covarianza entre y
) para
Los procesos Gaussianos son una clase muy importante de procesos de segundo orden. Se
caracterizan por el hecho de que sus distribuciones de dimensión finita son distribuciones
normales multivariadas. Como la distribución normal multivariada esta caracterizada por un
vector de medias y una matriz de varianzas covarianzas al establecer condiciones sobre
estas dos cantidades se podemos encontrar ejemplos de procesos estacionarios
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
9
Ejemplo (Proceso Gaussiano)
Sea un proceso Gaussiano, es decir, es un proceso de orden tal que
para cada y para cada , existen y una matriz de
dimensiones , simétrica y no negativo definida tales que
[
]
∫
∫
donde y .
Para construir un segundo ejemplo de un proceso que es estacionario fuerte y estacionario de
orden fijamos
,
y
{
(8)
de donde y es una matriz con todos los elementos de la diagonal igual a y todos los
elementos fuera de la diagonal igual a El proceso construido así es fuertemente
estacionario en virtud de que y caracterizan a la distribución Normal y en nuestro ejemplo no
dependen de por lo que se sigue que las distribuciones de
y de
son iguales.
Por otra parte, es estacionario de orden, ya que , y de la ecuación (8)
Notemos que definida a través de la ecuación (8) es no negativa definida, un argumento para
verificarlo se da a continuación. Si y para tomamos , podemos calcular
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
10
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
Se tienen dos escenarios
Caso 1: Si ∑ ∑
, entonces
Caso 2: Si ∑ ∑
, entonces ∑ ∑
∑ ∑
de donde
∑
∑
∑
∑
∑
∑
1.1.5. Relaciones entre las formas de estacionariedad
Es natural que te realices esta pregunta ¿Cuál es la relación entre estacionariedad y
estacionariedad de segundo orden?
Para responder a esta pregunta, podemos mencionar lo siguiente:
En general se tendrá que:
(i) Si es estacionario fuerte y además es un proceso de orden, entonces es
estacionario de orden, o bien estacionariedad fuerte y existencia de momentos de
orden implica estacionariedad débil.
Sin embargo,
(ii) Si es estacionario de orden, entonces no necesariamente es fuertemente
estacionario. Probaremos (i) en el caso de variables aleatorias absolutamente continuas.
Asumiendo estacionariedad fuerte tenemos:
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
11
donde la segunda igualdad se sigue de la definición de estacionariedad fuerte. Sean la
densidad de la y tales que , entonces
∫
∫
ya que al tener y la misma función de distribución entonces y tienen la misma
función de densidad. Por lo tanto
∫
Como lo anterior se vale para cualesquiera y tales que y , podemos concluir que
. Ahora hay que demostrar que la varianza no cambia con traslaciones del tiempo,
es decir:
∫
∫
por lo tanto .
Por último, denotamos por a la función de densidad conjunta de
∫
∫
∫
∫
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
12
ya que la definición de estacionariedad fuerte dice que
y por lo tanto las correspondientes densidades bivariadas son iguales.
Entonces
[ ] ∫
∫
La anterior discusión se puede elaborar en forma análoga en el caso de variables aleatorias
discretas.
Ejemplo
(De acuerdo a ii, estacionarionariedad de orden, no necesariamente implica
estacionariedad)
Sea una sucesión de variables aleatorias independientes tales que
y Entonces tenemos que y
Claramente no es fuertemente estacionario ya que para cada
pero
tenemos que , tambien que y que
por ser variables independientes. De esta forma
. Por lo tanto si es estacionario de segundo orden.
1.2. La sucesión de autocorrelación
Por ser menos restrictivos en sus supuestos, se trbajará los procesos estacionarios de segundo
orden. Por lo cual será de interés analizar las características de los momentos de segundo
orden para esta clase de procesos. En particular un momento que nos ayuda a cuantificar el
grado de dependencia (en un sentido lineal) entre dos variables del proceso estocástico, es la
covarianza entre estas dos variables. Para procesos estacionarios de segundo orden esta
covarianza tiene propiedades que se estudian a continuación.
1.2.2. La sucesión de autocorrelación
Consideremos y sea un proceso estacionario de orden. Entonces,
tomando
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
13
si ahora tomamos
(9)
Es decir
(10)
y las últimas dos cantidades dependen de y sólo a través de . En otras palabras, para
un proceso estacionario de orden la covarianza entre y es función de . Así, la
covarianza entre y vale lo mismo que la covarianza entre y .
De la anterior observación, definimos la sucesión de autocovarianza del proceso
como
Notemos que para Por otra parte y en virtud de las ecuaciones (9) y
(10), esta sucesión es una función par de , es decir,
véase la figura 3.
Asimismo, se define la sucesión de autocorrelación (ACF) del proceso como
La ACF es tal que Además para cada como consecuencia de la
desigualdad de Cauchy Schwarz (desigualdad (a) en la sección 1.3), se tiene
Aunque puede suceder que dos procesos estacionarios de segundo orden tengan la misma
sucesión de autocovarianza (autocorrelación), dentro de una clase particular de procesos que
introducimos a continuación, la sucesión se usará para diagnosticar qué tipo de
proceso no resulta inadecuado como modelo para un conjunto de datos.
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
14
Figura 3: Gráfica de una sucesión de covarianza
Actividad 1. Estacionariedad
Por medio de esta actividad, Resolverás ejercicios sobre estacionariedad. Para ello
1. Descarga el documento “Act. 1. Ejercicios de estacionariedad”.
2. Lee las instrucciones y resuelve los problemas que se plantean, tomando en cuenta el
contenido que hasta el momento has revisado.
3. Guarda y envía tu reporte al portafolio de evidencias con la nomenclatura
MEST3_U1_A1_XXYZ.
4. Espera la retroalimentación de tu Facilitador(a).
* Recuerda consultar la Escala de evaluación de la actividad para saber qué aspectos se
tomarán en cuenta para su revisión
1.3. El espacio de variables aleatorias con segundo momento finito
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
15
Es de menester revisar sin demostrar algunas propiedades matemáticas del entorno en el cual
se puede concebir (para fines teóricos) a los procesos de segundo orden, la clase de variables
aleatorias dentro de la cual yacen los procesos estacionarios de segundo orden. Las
demostraciones de varios de estas propiedades se pueden consultar por ejemplo en Laha y
Rohatgi (1979) o Royden (1968). Las proyecciones ortogonales juegan un papel importante
tanto en inferencia estadística (teorema de Rao-Blackwell) como en regresión. Para el contexto
de series de tiempo, observarás que estos conceptos nos ayudan a dar una solución al
problema de predicción
1.3.1. Variables aleatorias con 2° momento finito
Definición 4 [Espacio de variables aleatorias con segundo momento finito]
Sea un espacio de probabilidad, se define
El conjunto tiene estructura de espacio vectorial sobre el campo de los números
reales. Por ejemplo, dadas en tenemos que casi seguramente con respecto a
(11)
ya que para se tiene
Tomando valor esperado en (11) se obtiene
de donde se tienes que si
Se puede además definir un producto interno para Este esta dado por
y tiene las siguientes propiedades para en
Con este producto interno se define la siguiente norma para
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
16
√ √
Esta norma caracteriza la llamada convergencia en media cuadrática, para variables aleatorias
con segundo momento finito.
Notemos que si entonces correspondientemente
√
1.3.2. Desigualdades importantes
Se tienen además dos desigualdades cruciales las cuales no demostraremos.
a) • Desigualdad de Cauchy-Schwarz: Dadas en
| | (12)
b) Desigualdad de Minkowski: Dadas en
A continuación presentamos una operación que se usará frecuentemente en la descripción y
tratamiento de los procesos estocásticos y métodos a estudiar en el curso.
1.3.3. Operadores de retraso
Definición 5 [Operadores de retraso y diferencia]
Sea un proceso de segundo orden. El operador de retraso está dado por la
relación
El operador de diferencia queda definido por
Se tiene que y estas operaciones son lineales, dados dos procesos de
segundo orden y
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
17
Se puede definir la aplicación iterada (composición) de estos operadores, por ejemplo
con la convención de que donde es el operador identidad.
Lo anterior permite trabajar con operadores definidos como polinomios, por ejemplo
el cual actua sobre como
Para un número complejo, considera el polinomio obtenido al reemplazar a por
El teorema fundamental del álgebra (véase por ejemplo Kurosh, 1972 o Lang,
1974), nos dice si y son las raíces de entonces este se puede escribir como
y en nuestro caso y
es decir
Ahora, aplicando el operador
a
(
* (
*
(
*
(13)
De (13) vemos que y
son el mismo operador.
Esta correspondencia entre operaciones algebráicas con polinomios de variable compleja y
los correspondientes polinomios donde la variable es será usada más adelante.
En particular, para un número real tal que será de interés el operador inverso del
operador dado por
∑
(14)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
18
En Radjavi y Rosenthal (2003), se establece el lado derecho de (14) es otro operador de en
que está bien definido. Notemos que formalmente (14) es un inverso de ya que
∑
∑
∑
∑
∑
Un problema que emerge en la práctica es el problema de la proyección ortogonal. Por ejemplo,
en el espacio vectorial euclidiano con el producto interno
para en Consideremos vectores y en y el subespacio de dado por
Supón que tenemos el problema de encontrar el vector en que minimiza la distancia entre
y el vector se conoce como la proyección ortogonal de sobre y además de ser un
elemento de cumple la condición de ortogonalidad
(15)
Ahora supón que
y
Como entonces existen y
en tales que además la condición (15) implica que –
y que – estas son dos ecuaciones lineales con incógnitas y que se
pueden escribir
(16)
Para los vectores especificados arriba tenemos
y el sistema de ecuaciones lineales (16) tiene
solución y entonces
La notación nos ayudará a ser
más específicos posteriormente, ya que indica el espacio sobre el cual proyectamos. Ahora
pensemos en el mismo problema de encontrar una proyección ortogonal, pero considerando
y variables aleatorias y en El teorema de la proyección ortogonal
(véase Shumway y Stoffer, 2006, apéndice B o también Brockwell y Davis, 2009, capítulo ) nos
dice que si entonces existe en
que minimiza la distancia entre y
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
19
La variable aleatoria pertenece a por lo cual además se satisface la
condición de ortogonalidad
(17)
Supón ahora que las variables aleatorias y tienen media en tal caso
y y debido a la condición de ortogonalidad (17) se tiene el
sistema de ecuaciones lineales
(18)
Si conoces las covarianzas y entonces
puedes dar solución al sistema para conocer y Por último, verás como estas ideas ayudan
a resolver el problema de predicción.
Sea un proceso estacionario de segundo orden tal que Supón que dadas las
variables queremos predecir el valor de una observación futura en función de
Para lo anterior se denota por a esta función de la historia del proceso. En un
sentido práctico nos concentramos en el caso de que es una función lineal del pasado, es
decir
∑
(19)
A continuación vamos a escribir esta tarea en el contexto del problema de la proyección
ortogonal, sean y queremos encontrar la variable aleatoria en
el subespacio ∑ que minimiza la distancia entre
y Usando el teorema de la proyección ortogonal podemos encontrar los coeficientes
en (19) que definen a al resolver el sistema lineal
(ecuaciones de predicción)
o equivalentemente (dado que )
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
20
(20)
La proposición 5.1.1 en el libro de Brockwell y Davis (2009), establece si y
cuando entonces las ecuaciones de predicción (??) tienen solución. En la
siguiente unidad veremos que estas condiciones sobre son válidas para un proceso
ARMA( ) causal.
1.4. Procesos ARMA
Es momento de observar algunos procesos estacionarios de orden que son utilizados para
modelar datos. Estos procesos forman parte de la familia de procesos lineales y en su
definición se recuperan ideas de teora de regresión lineal en el sentido de que para cada tiempo
el valor observado puede pensarse como la respuesta en un modelo de regresión. Para
este modelo de regresión las variables de control son: los valores observados a tiempos
pasados (antes de ) y valores de otro proceso a tiempos pasados.
Primeramente estudiamos las propiedades de este otro proceso al cual llamaremos ruido
blanco. En lo que sigue asumiremos que
1.4.1. Proceso de ruido blanco
Sea una sucesión de variables aleatorias no-correlacionadas, tal que y
, . Entonces y , luego
{ {
(21)
El ruido blanco es un proceso estacionario de segundo orden, ya que la media, la varianza y la
covarianza entre cualesquiera dos variables del proceso son constantes independientes del
tiempo y por ende se satisface la condición (4) revisada en el subtema 1.1.3.
Este proceso parece muy simple pero servirá como el material principal para construir casos
más sofisticados.
1.4.2. Proceso de promedios móviles
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
21
Para en diremos que el proceso se llama de promedios móviles con orden q
(MA(q)), si se puede escribir como
donde y son constantes reales, El proceso es ruido blanco con ,
y .
Debido a las propiedades del valor esperado se tiene Vamos a calcular la sucesión
de autocovarianza de para lo cuál primeramente asume y observa que el proceso
es tal que
Sea , se puede escribir
(∑
)(∑
)
∑
∑
y luego, por linealidad de la esperanza
∑
∑
Usando que es ruido blanco, de la ecuación (21) se concluye que el valor esperado en
cada término de la suma se anula siempre que no se de la condición , es decir
cuando y en cuyo caso el valor esperado vale . Pero como se debe tener
que o bien . Entonces y por lo tanto . De estas
observaciones se obtiene que
{
(∑
)
Dentro de las actividades a desarrollar esta probar la siguiente afirmación: Si entonces
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
22
{
(∑
)
Al comparar los casos, el caso y el caso concluimos que
{
( ∑
)
Nota que no depende de y sólo depende de y no de De lo anterior
podemos establecer que si es un proceso MA(q), entonces y además
es decir se satisface la condición (4). Por lo tanto no hay
restricciones sobre los valores y para que sea estacionario de segundo
orden y podemos escribir y observando que ∑
, deducimos
que
{
∑
∑
(22)
Observa que para el caso de los procesos de promedios móviles, de acuerdo a sucesión de
autocorrelación o función de autocorrelación (ACF) (22) si entonces Es decir,
para un proceso MA( ), su ACF correspondiente es diferente de
sólo para valores de en el rango y se cancela para los valores de
que no sean estos números enteros. Como podrás observar en el siguiente ejemplo, este
comportamiento de la ACF no sucede en los procesos autorregresivos y por esta razón será
importante recordar que para los procesos MA( ), la ACF se comporta como en la ecuación
(22), la cual nos da información del valor de Dicho de otra forma, si se tiene un proceso del
cual sólose conoce y esta se comporta como la ecuación (22), entonces dentro de la clase
de procesos de promedios móviles el proceso MA( ) es un candidato para usarse como
modelo.
1.4.3. Proceso autorregresivo
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
23
Para en diremos que el proceso se llama autorregresivo de orden (AR( )), si
se puede escribir como
(23)
donde y , , son constantes reales y el proceso es ruido blanco con
, y .
Con la notación del operador de retraso definido en la sección anterior podemos escribir (23)
como:
(24)
A diferencia de los procesos MA que siempre son estacionarios, los procesos AR( ) no
resultan estacionarios para cualesquiera valores de , Comenzaremos por
estudiar el caso
Considera el siguiente proceso
con ruido blanco con media y varianza
De la discusión respecto al operador de retraso en el subtema 1.3.3, siempre que
podemos escribir
∑
∑
∑
∑
∑
∑
(25)
Esta es la conocida representación MA( ) para un proceso autorregresivo, escribir así al
proceso AR( ) te permitirá calcular sus momentos en forma análoga a como se hizo para el
proceso MA( ) en el inciso (b). Con este fin sea
y al tomar el valor esperado en
ambos lados de (25)
( ∑
+ (26)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
24
(∑
+
∑
En la penúltima igualdad, el intercambio entre valor esperado y suma se puede justificar con los
teoremas de convergencia monótona y convergencia dominada (Royden, 1968).
Como en el caso MA( ), podemos volver a tomar y tenemos
[(∑
+(∑
+]
[∑
∑
]
∑
∑
De nueva cuenta, el intercambio entre valor esperado y suma se puede justificar con los
teoremas de convergencia dominada y monótona. Luego
∑
∑
pero por ser un proceso de ruido blanco,
{
Entonces si
∑
∑
∑
(
)
(27)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
25
toda vez que Por otra parte, si entonces es no negativo cuando
en tal caso
∑
∑
∑
(
)
(28)
Combinando (27) y (28) concluimos que en general (para cualquier en tal que )
(
+ (29)
De (26) y (29) observamos que y no dependen de y que
sólo depende de Entonces el proceso AR( ) es estacionario de orden bajo el supuesto de
que
y
Claramente, para un proceso AR( ),
el comportamiento de la sucesión de autocorrelación es radicalmente diferente al de la
correspondiente sucesión de autocorrelación de un proceso MA( ), en el sentido de que para el
proceso AR( ) esta sucesión no se cancela a partir de un valor entero como sucede en la
ecuacion (22). Por esta razón, cuando estamos tratando de identificar si un modelo
autorregresivo se podría usar para los datos, la ACF no es una herramienta útil ya que no nos
da una idea de lo que vale Como se verá mas adelante en el tema 1.5 para identificar
modelos autorregresivos para los datos se requiere usar otra sucesión de autocorrelación
conocida como autocorrelación parcial (PACF).
Para en el campo de los números complejos sea el polinomio obtenido al
reemplazar por en el operador Una observación que será importante es que
restringir a a que su raíz esté afuera del conjunto conduce a la condición
de estacionariedad .
Pasemos a tratar ahora el caso
Considérese ahora un proceso de segundo orden tal que para cada
(30)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
26
donde y son números reales y es un proceso de ruido blanco con y
Sea
con Vamos a usar el mismo argumento que
lleva a la ecuación (13). Con este fin escribimos
en donde . Equivalentemente
con las raíces de dadas por
.
Sean
,
Usando la correspondencia entre y ilustrada en la ecuación
(31), escribimos el polinomio de retraso como
(31)
Así, usando (31) escribimos (30) como
y podemos pensar en los operadores y de acuerdo a (14), siempre que
(32)
Asumiendo estas condiciones
Para justificar la última igualdad, sean
y
Tenemos que
ya que
Consecuentemente, usando (14)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
27
[ ∑
∑
]
[∑
]
∑
{
}
∑
{
} ∑
{
}
∑
(33)
donde se denota
Al igual que en el caso AR( ) (donde se usó la condición
) en este caso bajo las restricciones (32) hemos escrito al proceso AR( ) en una
representación MA( ). Lo anterior sera útil para calcular media y sucesión de autocovarianza
del proceso, para hacer esto sea
y calculando valor esperado en ambos lados
de (33)
( ∑
+ ∑
(34)
Tomamos y vamos a calcular la covarianza
[(∑
+(∑
+]
[∑
∑
]
∑
∑
El valor esperado en cada sumando se anula siempre que no suceda que Si
entonces ∑
Por otra parte si entonces
( ∑
+ (∑
+
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
28
Ambos casos se pueden escribir en la expresión
(∑
+ (35)
Nota que ∑ es finita. Para ver esto, bajo las condiciones (32) se tiene que
∑ luego dada existe tal que si entonces De aquí
se sigue que si de donde ∑ es finita.
De (34) y (35) observamos que y no dependen de y que
sólo depende de Entonces el proceso AR( ) es estacionario de orden bajo las condiciones
(32) y en tal caso y ∑
.
Observa que en la condición de estacionariedad para el proceso AR( ) dada en la ecuación
(32), se restringe a que las raíces del polinomio autorregresivo estén
fuera del circulo unitario en
Se podría proseguir en forma análoga para estudiar la estacionariedad de los procesos AR( ),
pero el teorema 1.7 que aparece al final de esta sección tiene el objetivo de llevar a cabo
esta generalizacion. A continuación definimos la clase general de procesos que serán el objeto
de nuestro estudio y aplicación en el resto del curso.
1.4.4. Proceso ARMA(p,q)
Para y en diremos que el proceso se llama autorregresivo y de promedios
móviles de ordenes y (ARMA( )), si se puede escribir como
(36)
donde y , , , son constantes reales y el proceso es ruido
blanco con , y
Definiendo los polinomios autorregresivo y de promedios móviles como
podemos escribir (36) como
Nota que
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
29
• Si ( ), entonces es un modelo MA(q).
• Si ( ), entonces es un modelo AR(p).
Como ya haz revisado anteriormente, para estudiar la estacionariedad de los procesos
ARMA( ), usaremos sin demostrar un teorema del libro de Brockwell y Davis (1991), para lo
cual necesitamos algunos resultados y definiciones previos
Definición 6. [Causalidad]
Un proceso ARMA( ) definido por la ecuación (36) se llama causal (función causal de ),
si existe una sucesión de constantes tales que ∑ y
∑
(37)
La ecuación anterior se conoce en la literatura como Modelo lineal general ó Promedios
moviles de orden + .
Ejemplo:
• El proceso de Ruido Blanco es causal considerando en la definición de causalidad
• El proceso MA( ) es causal considerando en la definición de causalidad
y si
• El proceso AR( ) es causal siempre que se tenga la condición en cuyo caso
Proposición 1.5 Sea un proceso estacionario de segundo orden con función de
autocovarianza Asumiendo que ∑ , entonces la serie
∑ converge absolutamente con probabilidad uno y en media cuadrática. Además el
proceso
∑
(38)
es un proceso estacionario de segundo orden con función de autocovarianza
∑
∑
(39)
La demostración de este resultado puede encontrarse en el libro de Brockwell y Davis (1991),
capítulo Lo cual no se demuestra dado la complejidad y corresponde a un nivel mas elevado.
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
30
Respecto a esta proposición, una observación importante es que si se toma con un
proceso de ruido blanco en la ecuación (38) y si conocemos tal que ∑ y el
proceso satisface la ecuación (38), se obtiene que es estacionario de segundo orden
y su autocovarianza está dada en (39). Entonces si tenemos un proceso ARMA( ) tal
que es causal, se sigue de la proposición 1.5 que es estacionario de segundo orden
con sucesión de autocovarianza ∑
Corolario 1.6 Si es un proceso ARMA( ) causal, entonces es estacionario de
segundo orden.
Otra aplicación de la proposición 1.5, es si se toma un proceso con
Como ya se estableció en el último ejemplo que sigue a la definición 6, es causal
con entonces de la proposición es estacionario de orden con
que es un resultado que ya se había desarrollado cuando estudiamos el proceso AR( ).
Para terminar esta sección enunciamos sin demostrar un teorema del libro de Brockwell y Davis
(1991), que a la luz de la última observación, establece cuándo un proceso ARMA( ) es
estacionario de segundo orden. Sean y
los polinomios autorregresivo y de promedios móviles que definen al proceso ARMA( ).
Teorema 1.7 [Causalidad para procesos ARMA]
Sea un proceso ARMA(p,q) para el cual los polinomios y no tienen ceros en
común.
Entonces es un proceso causal si y sólo si tal que .
Otra condición importante en los procesos ARMA( ) es conocida como invertibilidad:
Definición 7 [Invertibilidad]
Un proceso ARMA( ) definido por la ecuación (36) se llama invertible , si existe una sucesión
de constantes tales que ∑ y
∑
(40)
Ejemplo
Un proceso AR( ), siempre es invertible. Para ver lo
anterior sean y si
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
31
Ejemplo
Un proceso MA( ), tal que es invertible. En efecto, escribimos
con y de la relación (14) se tiene que
∑
∑
con tal que ∑
El siguiente teorema da condiciones necesarias y suficientes para invertibilidad.
Teorema 1.8 [Invertibilidad para procesos ARMA)]
Sea un proceso ARMA(p,q) para el cual los polinomios y no tienen ceros en
común, entonces es invertible si y sólo si tal que . .
En el capitulo del libro de Guerrero (2009), se establece que la importancia del concepto de
invertibilidad radica en que todo proceso invertible está determinado de manera única por su
ACF.
Actividad 2. Uso de software
A través de esta actividad, podrás resolver ejercicios, con la ayuda del programa estadístico
R. para ello:
1. Descarga el documento llamado “Act. 2. Uso de Software”
2. Resuelve los ejercicios que se presentan en el documento descargable
3. Guarda y envía tu documento con la nomenclatura MTOPG_U1_A2_XXYZ.
4. Espera la retroalimentación de tu Facilitador(a).
* Recuerda consultar la Escala de evaluación de la actividad para saber qué aspectos se
tomarán en cuenta para su revisión
1.5. La sucesión de autocorrelación parcial
Tal como se observó en la sección anterior, la sucesión de autocorrelación no resulta una
herramienta útil en la identificación de un modelo AR( ) para unos datos ya que no proporciona
una idea del valor del orden de autorregresión Por esta razón se requiere estudiar otra
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
32
estructura de dependencia del proceso estacionario de segundo orden la cual ayude a
identificar posibles modelos autorregresivos. A menos que se indique lo contrario, supondremos
que es estacionario de segundo orden con media
1.5.1. Procesos autorregresivos y el proceso de sucesión de
autocorrelación parcial
Para definir la sucesión de autocorrelación parcial, recordemos del tema 1.3 que dada la historia
del proceso podemos encontrar el predictor de al resolver las
ecuaciones de predicción (??), donde ∑
En general, usando los mismos resultados sobre proyecciónes ortogonales, dadas variables
aleatorias y en y considerando
∑ es posible aproximar a encontrando
la mejor combinación lineal ∑ en El adjetivo mejor es en el sentido de que
∑ es tal que
∑
Para cada sean ∑ el
subespacio de generado por las combinaciones lineales de
Consideremos los elementos de dados por y
Estos son las
mejores combinaciones lineales para explicar a y
Definición 8 [Sucesión de autocorrelación parcial]
La sucesión de autocorrelación parcial (PACF) del proceso es la sucesión de
correlaciones
(41)
Asumiendo que el proceso es Gaussiano, en el apéndice del libro de Madsen (2008), se
demuestra que la definición 8 de la PACF y la definición 9 abajo son equivalentes. Para cada
consideremos el sistema lineal
(
,(
, (
, (42)
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
33
Notemos que al dividir el sistema de ecuaciones (??) por se obtiene el sistema de
ecuaciones (42). En Brockwell y Davis (2009), proposición 5.1.1, se establece que este sistema
tiene solución si es un proceso estacionario de segundo orden con sucesión de
autocovarianza tal que si
Definición 9 [Sucesión de autocorrelación parcial]
La sucesión de autocorrelación parcial (PACF) del proceso es la sucesión
(43)
donde esta determinada en forma única por (42).
Recordando la regla de Cramer para sistemas lineales y utilizando esta equivalencia de las
definiciones 8 y 9, la PACF del proceso se calcula como
|
|
|
|
|
|
|
|
Se puede demostrar que cuando es un proceso AR( ) causal
entonces
(44)
Es decir, para los procesos autorregresivos, la PACF se hace cero para cada lag después del
valor del orden Este comportamiento es el análogo al comportamiento de la ACF para los
procesos de promedios móviles. En la siguiente unidad vamos a dar un argumento para ver que
(44) es cierta.
Por esta razón, la PACF será la correlación que resulta útil para identificar un modelo AR( )
adecuado para los datos.
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
34
Actividad 3. Simulación de un proceso ARMA en R
A traves de esta actividad, simularás un proceso ARMA en en lenguaje R, para después
representar tus conclusiones dentro del foro. para ello
1. Descarga el documento llamado “Act. 3. Simulación de un proceso ARMA en R”
2. Realiza los lineamientos que se indican en el documento descargable
3. Ingresa al foro para anotar tus conclusiones sobre cada unos de los elementos
solicitados en el documento descargable.
4. Revisa las aportaciones de dos de tus compañeros, ratificando sus resultados,
aceptando o rechazando sus aportaciones.
Consulta la Rúbrica general de la participación en foros, que se encuentra en la sección
Material de apoyo.
Autoevaluación
Para reforzar los conocimientos relacionados con los temas que se abordaron en esta unidad
del curso, es necesario que resuelvas la autoevaluación.
Ingresa al Aula virtual para realizar tu actividad.
Evidencia de Aprendizaje. Ajuste de modelos ARMA
A través de esta actividad, podrás comparar los diferentes modelos de la clase ARMA. Para
ello:
1. Descarga el documento llamado “EA. Ajuste de un modelo ARMA”
2. De acuerdo a elementos que se presentaron durante la unidad de modelos ARMA,
realiza una tabla comparativa.
3. Guarda y envía tu documento con la nomenclatura MTOPG_U1_A2_XXYZ.
4. Espera la retroalimentación de tu Facilitador(a).
* Recuerda consultar la Escala de evaluación de la actividad para saber qué aspectos se
tomarán en cuenta para su revisión
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
35
Autorreflexiones
Como parte de cada unidad, es importante que ingreses al foro Preguntas de autorreflexión y
leas los cuestionamientos que formuló tu Facilitador(a), ya que a partir de ellos debes elaborar
tu Autorreflexión y enviarla mediante la herramienta Autorreflexiones. No olvides que también
se toman en cuenta para la calificación final.
Cierre de la unidad
Los procesos estacionarios de segundo orden tiene la caracteirstica de tener momentos como
media, varianza y sucesión de autocovarianza tales que no dependen del índice del tiempo .
Bajo algunas condicones los modelos ARMA son de la clase de prosesos estacionaros de
2° orden cuyos elementos han sido utilizados para modelar fenómenos rales. Por ejemplo en
econometría para describir y predecir algún indice ecónomico, en ecología para estudiar
tendencias en la temperatura global del planeta y en general en fenómenos en donde hay
observaciones indexdas en el tiempo. El dominio de este tema te permitirá proponer modelos
para datos que guardan dependencia en el tiempo.
Para saber más
En esta sección podrás encontrar referencias complementarias para reforzar los conocimientos
adquiridos en la unidad. Comenzaremos por referir las notas del profesor Richard Smith de la
universidad de Carolina del Norte (Chapell Hill).
http://www.stat.unc.edu/faculty/rs/s133/tsnotes.pdf
La sección 2 de estas notas trata el tema de los procesos estacionarios de segundo orden, los
procesos ARMA( ), las sucesiones de autocovarianza y autocorrelación y su relación con la
densidad espectral del proceso. Las secciones 1 y 2 de las notas de la profesora Gesine Reinert
también explican los temas referentes a procesos ARMA( ) y sus propiedades de momentos
de segundo orden.
http://www.stats.ox.ac.uk/~reinert/time/notesht10short.pdf
Por ultimo, un muy buen archivo de documentos que tratan el tema del aprendizaje de series de
tiempo utilizando el paquete se encuentra en
http://blog.revolutionanalytics.com/2013/06/learning-time-series-with-r.html
Estadística III Unidad 1. Procesos de Segundo Orden y Series de Tiempo
Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías
36
Referencias Bibliográficas
Brockwell, J.D. y Davis, A. (2009). Time series: Theory and Methods. New York,
Springer-Verlag.
Cowpertwait, P.S.P. (2010). Introductory Time Series with R. New York, Springer-Verlag.
Guerrero, V.M. (2009). Análisis Estadístico de Series de Tiempo Económicas.
México, Just in Time press.
Shumway, R.H. y Stoffer, D.S. (2010). Time Series Analysis and Its Applications: with
R examples. New York, Springer-Verlag.