Definiciones básicas

Def. Las probabilidades de transición en el n-ésimo paso para un proceso de Markov , denotado por pij(n) son

pij(n) = P{Xn = xj | Xn-1 = xi}.

Una Cadena de Markov finita es un proceso de Markov finito tal que las probabilidades de transición pij

(n) no dependen de n. Por lo que basta denotarlas por pij.

Def. La matriz de transición de para una cadena de Markov es la matriz P con entradas pij. El vector de probabilidad inicial es el vector π0 = {pj

(0)} = {P[X0 = j]}.

Definiciones básicas

Nota. El vector de probabilidad inicial yla matriz de transición determinancompletamente el proceso de unacadena de Markov, pues son suficientespara construir toda la medida de lasposibles trayectorias. Por lo queusualmente hablaremos de tener unamatriz de transiciones P, aunque elvector inicial varias de las veces puedeser diferente.

Teorema

Sea Xn una v.a. en el tiempo n para un

proceso finito de Markov con probabilidades

de transición pij(n), entonces

P{Xn = xv} = σ𝑢𝑃 𝑋𝑛−1 = 𝑥𝑢 𝑝𝑢𝑣(𝑛)

Demostración:

Para encontrar la probabilidad deseada,

debemos ir agregando los pesos de todas las

trayectorias. Así, si j, k, …, u es una secuencia

posible de estados

P{Xn = xv} = σ𝑗,𝑘,…,𝑢𝑃[𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢˄ 𝑋𝑛 = 𝑥𝑣] =

σ𝑗,𝑘,…,𝑢𝑃ൣ

൧

𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 =

𝑥𝑢 · 𝑃[𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢˄ 𝑋𝑛 = 𝑥𝑣]

Por la propiedad de Markov

σ𝑗,𝑘,…,𝑢𝑃 𝑋0 = 𝑥𝑗˄⋯˄ 𝑋𝑛−1 = 𝑥𝑢 · 𝑝𝑢𝑣(𝑛)

]

Si en esta última suma u lo mantenemos fijo y sumamos los índices restantes obtenemos

P{Xn = xv} = σ𝑢𝑃 𝑋𝑛−1 = 𝑥𝑢 𝑝𝑢𝑣(𝑛)

#

Podemos escribir el resultado de este teorema en forma matricial. Sea πn un vector fila el cual nos da la medida inducida para la v.a. de salida

Xn. Es decir, 𝜋𝑛 = 𝑝1(𝑛)

, 𝑝2(𝑛)

, … , 𝑝𝑟(𝑛)

, donde

𝑝𝑗(𝑛)

= 𝑃 𝑋𝑛 = 𝑥𝑗 es la probabilidad de que después de n pasos, el proceso esté en el estado xj. Entonces, el resultado del teorema anterior puede escribirse en la forma

𝜋𝑛 = 𝜋𝑛−1 · 𝑃(𝑛) para n ≥ 1. Por aplicación sucesiva de este resultado se tiene

𝜋𝑛 = 𝜋0 · 𝑃(1) · 𝑃(2) · ⋯ · 𝑃(𝑛)

En el caso de una CM todas las P(n) son las mismas, con lo que se obtiene el siguiente resultado:

Teorema

Sea 𝜋𝑛 la medida inducida para la v.a.

de salida Xn para una CM con vector de

probabilidad inicial 𝜋0 y matriz de

transición P. Entonces,

𝜋𝑛 = 𝜋0 · 𝑃𝑛

Definición

Los elementos minimales del

ordenamiento parcial de las clases de

equivalencia son llamados conjuntos

ergódicos. Los elementos restantes son

llamados conjuntos transitorios. Los

elementos de un conjunto transitorio son

llamados estados transitorios. Los

elementos de un conjunto ergódico, son

llamados ergódicos (o no transitorios).

Notas

Cada ordenamiento parcial finito debe contener al menos un elemento minimal, es decir, al menos un conjunto ergódico en una CM.

Sin embargo, no es necesario que haya un conjunto transitorio.

Esto significa que la CM consta de un solo conjunto ergódico, o varios conjuntos ergódicos, que no se comunican entre sí.

Si un conjunto ergódico consta de un solo elemento, entonces, se tiene un estado del cual ya no se puede dejar, a tal estado se le conoce como absorvente.

Teorema

Un estado xi es absorvente sí y sólo si

pii = 1.

Demostración. Se deja como ejercicio.

Ejemplo

Si se tiene la siguiente matriz de

transiciones de un proceso de Markov

Si suponemos que se inicia en el estado

x3, entonces π0 = (0,0,1,0,0).

Ejemplo

Y se supone el siguiente comportamiento:

¿Qué son π1, π2, π3? Interpretar.

Clasificaciones y estados

Es conveniente usar la clasificación de

estados para llegar a una forma

canónica de nuestra matriz de

transiciones. Vamos a renumerar a

nuestros estados en la forma siguiente:

Los elementos de una clase de

equivalencia dada, recibirán números

consecutivos.

Clasificaciones y estados

Los conjuntos mínimos vendrán primero,luego los conjuntos que están un nivel porencima de los conjuntos mínimos, luego seestablecerán los que estarán a dos niveles porencima de los conjuntos mínimos, etc. Estonos asegurará que podemos pasar de unestado determinado a otro en la misma clase,o a un estado en una clase anterior, pero no aun estado en una clase posterior. Si las clasesde equivalencia dispuestas como se describeaquí son u1, u2, ..., uk, entonces nuestra matrizaparecerá de la siguiente manera:

Clasificaciones y estados

Para ilustrar la idea, supongamos k = 5.

Clasificaciones y estados

Aquí las Pi representan a las matrices de

transición dentro de una clase de

equivalencia dada. La región 0 consiste de

puros ceros. La matriz Ri tendrá puros

ceros si Pi es un conjunto ergódico, de lo

contrario tendrá elementos distintos de

cero. De esta manera, es fácil ver lo que

ocurre cuando P es elevada a potencias.

Las potencias de P tendrán un

comportamiento similar a P.

Comentarios

Lo anterior nos muestra que una clase de equivalencia dada, la podemos estudiar o analizar de manera aislada, tratando a la submatriz Pi.

También podemos hacer una subdivisión de las clases de equivalencia. Es decir, una clase de equivalencia puede ser particionada en clases cíclicas.

Si hay sólo una clase cíclica, se dice que la clase de equivalencia es regular, de lo contrario se dice que es cíclica.

Comentarios

Si una clase de equivalencia es regular,entonces después de suficiente tiempotranscurrido, el proceso puede estar encualquier estado de la clase, sin importar encual estado de la clase inició.

Esto significa que para potenciassuficientemente altas de Pi, todas las entradasserán positivas.

Si la clase de equivalencia es cíclica, entoncesninguna potencia de Pi puede ser positiva.

Partiendo de esta clasificación de estados,podemos llegar a una clasificación de lascadenas de Markov (CM).

Clasificación de CM

1. Cadenas sin conjuntos transitorios. Sicontienen más de un conjunto ergódico,entonces entre ellos no existe algunainteracción.

Por lo tanto, podemos tener dos o máscadenas de Markov no relacionadasagrupadas juntas.

Esas cadenas pueden ser estudiadas demanera separada, por lo que sin pérdidade generalidad, podemos asumir que lacadena entera es un conjunto ergódicosimple. Si sucede esto, la CM es ergódica.

Clasificación de CM

1a. El conjunto ergódico es regular.regular.

1b. El conjunto ergódico es cíclico. En estecaso, la CM es cíclica. Entonces, talcadena tiene un período d, y sus estadosson subdivididos en d conjuntos cíclicos (d> 1). Esto significa que saliendo de unacierta posición se moverá a través de losconjuntos cíclicos en un orden definido,retornando al conjunto del estado de iniciodespués de d pasos.

Clasificación de CM

2. Cadenas con conjuntos transitorios.En tal cadena, el proceso se muevehacia los conjuntos ergódicos.

Como se verá más adelante, laprobabilidad de que el proceso esté enun conjunto ergódico tiende a 1, y no sepuede salir una vez que se entre.

Por lo que es muy fructífero clasificar alas cadenas por medio de sus conjuntosergódicos.

Clasificación de CM

2a. Todos los conjuntos ergódicos sonconjuntos unitarios. A tal cadena, se lellama cadena absorvente.

En este caso, el proceso eseventualmente atrapado en un estadosimple (absorvente).

Este tipo de proceso también puede sercaracterizado por el hecho de que todoslos estados ergódicos son estadosabsorbentes.

Clasificación de CM

2b. Todos los conjuntos ergódicos sonregulares, pero no todos son conjuntosunitarios.

2c. Todos los conjuntos ergódicos son cíclicos.

2d. Hay ambos conjuntos ergódicos cíclicos yregulares.

Por supuesto en cada una de esas clases,podemos clasificar a las cadenas de acuerdoa cuántos conjuntos ergódicos hay.

Una pregunta de interés es, ¿Cuándo hay unoo más conjuntos ergódicos?

Ejemplo 1

¿Cómo es la siguiente CM?

Ejemplo 2

¿Cómo es la siguiente CM?

Ejemplo 3

¿Cómo es la siguiente CM?

Ejemplo 4

¿Cómo es la siguiente CM?

Ejemplo 5

¿Cómo es la siguiente CM?

Ejercicio 1

Llevamos a cabo una secuencia de

experimentos de la siguiente manera: Al

principio se tira una moneda. entonces,

si el experimento n-1 resulta sol,

lanzamos una moneda; si sale águila,

arrojamos una moneda que tiene

probabilidad 1/n de salir sol. ¿Cuáles

son las probabilidades de transición?

¿Qué tipo de proceso es este?

Ejercicio 2

Consideremos una CM con espacio deestados {0,1} y matriz de transición

Suponiendo que la cadena inicia en elestado 0 en el tiempo 0, calcular laprobabilidad de que esté en el estado 1 enel tiempo n = 3.

Ejercicio 3 Consideremos una CM con espacio de

estados {0,…,5} y matriz de transición

¿Cuántas y cuales clases hay? ¿Cuáles sontransitorias y cuáles recurrentes?

Suponiendo que la cadena inicia en el estado0. ¿Cuál es la probabilidad de que esté en elestado 0 después de un tiempo grande?

Ejercicio 4

Consideremos la CM con espacio de estados S = {1,2,3,4,5} y matriz de transición

¿Es la cadena irreducible? ¿Cuál es el período de la cadena?