U2.cadenas de markov_a_tiempo_discreto

Procesos Estocásticos Unidad 2. Cadenas de Markov a tiempo discreto

Educación Abierta y a Distancia * Ciencias Exactas, Ingenierías y Tecnologías 1

Universidad Abierta y a Distancia de México

Licenciatura en Matemáticas

7° cuatrimestre

Unidad 2. Cadenas de Markov a tiempo discreto

Clave:

050930728



ÍNDICE

Unidad 2. Cadenas de Markov a tiempo discreto ............................................................................4

Presentación de la unidad ......................................................................................................................4

Propósitos de la unidad ..........................................................................................................................4

Competencia específica ..........................................................................................................................4

2.1 Conceptos básicos ............................................................................................................................5

2.1.1 Definición y ejemplos ................................................................................................................... 5

2.1.2 Matriz de transición y distribución inicial ................................................................................. 13

Actividad 1. Proceso de Markov. ....................................................................................................... 14

2.1.3 Otras distribuciones de probabilidad asociadas a una cadena de Markov ....................... 14

Actividad 2. Elementos de una cadena de Markov ....................................................................... 19

2.2 Comunicación entre estados, recurrencia y transitoriedad, periodicidad ...................... 20

2.2.1 La relación de comunicación y las clases de equivalencia ................................................. 21

2.2.2. Estados recurrentes y estados transitorios............................................................................ 24

2.2.3 Periodicidad ............................................................................................................................... 35

Actividad 3. Estados de cadena de Markov ................................................................................. 38

2.3 Comportamiento límite .................................................................................................................. 39

2.3.1 Distribuciones invariantes .......................................................................................................... 39

2.3.2 El Teorema Fundamental de Convergencia ........................................................................... 43

2.3.3 Aplicaciones ................................................................................................................................. 49

Actividad 4. Determinación de distribuciones límite ................................................................... 52

Autoevaluación ...................................................................................................................................... 53

Evidencia de aprendizaje. Análisis y predicción........................................................................... 54

Autorreflexiones .................................................................................................................................... 55



Cierre de la unidad ................................................................................................................................ 55

Para saber más....................................................................................................................................... 55

ReferenciasBibliográficas ................................................................................................................... 56



Unidad 2. Cadenas de Markov a tiempo discreto

Presentación de la unidad

En esta unidad estudiarás los procesos discretos a tiempo discreto que cumplen la propiedad

de Markov (cadenas de Markov). Este tipo de procesos, los que además son estacionarios, han

sido ampliamente estudiados y tienen gran cantidad de aplicaciones en diversos contextos.

Todas las características probabilísticas de este tipo de procesos se resumen en la distribución

de probabilidad del estado inicial y en una matriz en la que se especifican las probabilidades de

transición entre los distintos estados.

El espacio de estados S puede dividirse en clases de equivalencia de acuerdo a las

características de las probabilidades de transición, es decir, clases que abarcan a todo S y que

son ajenas entre sí. Los estados que forman cada una de estas clases, comparten una serie de

características probabilísticas que, entre otras cosas, permiten estudiar su posible evolución

futura.

Uno de los resultados más importantes de esta unidad es el Teorema Fundamental de

Convergencia, que establece condiciones para determinar la probabilidad de que el sistema

tienda a ocupar, a la larga, un estado determinado.

Propósitos de la unidad

Al finalizar el estudio de esta unidad:

Identificarás la distribución inicial y la matriz de transición de una cadena de Markov.

Clasificarás las clases de estados de acuerdo a la recurrencia o transitoriedad y a la

periodicidad de sus elementos.

con ejemplos concretos si se cumplen las hipótesis del Teorema fundamental de

convergencia para determinar la distribución límite.

Competencia específica

Utilizar la teoría de Cadenas de Markov para resolver problemas de sistemas que

pueden ser modeladas mediante este tipo de procesos estocásticos, analizando su

posible evolución futura.



2.1 Conceptos básicos

2.1.1 Definición y ejemplos

Considera un proceso estocástico nX con las siguientes características:

1. Es discreto y a tiempo discreto.

2. Cumple la propiedad de Markov, es decir,

0 0 1 1 2 2 1 1, ,..., ,n n n n n nP X j X x X x X x X i P X j X i .

3. Es un proceso estacionario, es decir, la probabilidad de transición no depende del tiempo en

el que ocurre dicha transición, sólo de los estados involucrados:

1 1 ,n n n h n hP X j X i P X j X i p i j

Para cualquier pareja de enteros positivos n y h.

Definición 1. Al proceso que tiene las características 1 y 2 se le llama cadena de Markov a

tiempo discreto. Si también tiene la característica 3, se trata de una cadena de Markov

estacionaria u homogénea en el tiempo.

Observación. Recuerda que en la unidad 1 se vio que un proceso a tiempo discreto es

estacionario, si la distribución conjunta de Xn-1 y Xn es igual a la distribución conjunta de Xn+h-1 y

Xn+h para cualquier entero h > 0.

Como la probabilidad condicional es igual a la distribución conjunta de las variables

involucradas entre la distribución marginal del condicionante, una consecuencia inmediata de lo

anterior es que las probabilidades condicionales 1n nP X j X i y 1n h n hP X j X i

son iguales. Por esta razón, la estacionariedad de las cadenas de Markov se pueden establecer

en términos de las probabilidades de transición.

Suponiendo que el conjunto de estados es 0,1,2,... .S La información sobre las

probabilidades de transición de una cadena de Markov estacionaria a tiempo discreto, se puede

escribir en una matriz cuadrada P = (p(i,j)) a la que llamaremos matriz de transición:

0,0 0,1 0,2

1,0 1,1 1,2

2,0 2,1 2,2

p p p

p p p

p p p

P



Estas ideas quedarán más claras después de analizar los siguientes ejemplos;

Ejemplo1.

La propiedad de Markov.

En un partido de básquetbol entre los equipos A y B, sea Xn la diferencia del marcador de A

menos el marcador de B en el n-ésimo cambio del marcador. ¿Es nX una cadena de Markov?

Consideremos las siguientes probabilidades de transición:

12 0n nP X X es la probabilidad de que al tiempo n gane A dado que los equipos iban

empatados al tiempo n - 1.

2 12 2, 0n n nP X X X

Es la probabilidad d

Probabiliadad de que al tiempo n gane A después de que A iba ganando y al tiempo n - 1 el

equipo B empata.

2 12 2, 0n n nP X X X es la probabilidad de que al tiempo n gane A después de que B

iba ganando y al tiempo n - 1 el equipo A empata.

Si la cadena fuera de Markov, las dos últimas probabilidades debieran ser iguales a la primera;

sin embargo, puede considerarse que hay una ventaja para el equipo que tiene el balón y como

éste cambia de manos tras cada anotación, no debemos asignar la misma probabilidad a los

últimos dos casos. Por tanto, {Xn} no es de Markov.

Ejemplo 2.

La caminata aleatoria.

En la unidad 1 estudiaste el proceso que se conoce como caminata aleatoria o recorrido

aleatorio, en el cual Xn indica la posición de una partícula al tiempo n, sabiendo que en cada

momento de observación la partícula puede dar un paso a la derecha con probabilidad p o bien

un paso a la izquierda con probabilidad 1 – p.

Si en cualquier momento n la partícula se encuentra en el estado i, sólo puede pasar a los

estados i+1 o i-1 así que las probabilidades de transición de esta cadena de Markov son:

1

1

1

1 , 1

1 , 1 1

, 0 1, 1.

n n

n n

n n

P X i X i p i i p

P X i X i p i i p

P X j X i p i j para j i i



La representación gráfica correspondiente es:

La matriz de transición es infinita y toma la forma:

1 0 1 2

1 0 0 0

0 0 0

1 0 0

2 0 0 0

p

q p

q p

q

P

Hay diversas variantes de la caminata aleatoria. Una de ellas consiste en no permitir que el

espacio de estados se extienda hacia -∞ o hacia +∞ o hacia ambos lados, es decir, que haya un

estado máximo o mínimo, o un estado extremo de cada lado.

Un ejemplo típico de aplicación de este tipo de caminatas es la ruina del jugador, en el que se

considera que un participante juega contra la banca de un casino y tiene probabilidad p de

ganar un peso en cada partida y probabilidad q = 1 - p de perder un peso en cada partida. Xn es

la fortuna del jugador después de n partidas y se considera que esta fortuna puede crecer

indefinidamente ya que el dinero de que dispone el casino es enorme comparado con el del

jugador.

El jugador cae en la ruina cuando su fortuna es cero pesos, y se supone que en ese caso el

casino ya no le permite jugar.

La cadena que modela la situación descrita tiene espacio de estados S = {0,1,2,3,…} y sus

probabilidades de transición son:

0,0 1 y para 0 , 1 , , 1p i p i i p p i i q



Cuando la probabilidad de regresar a un estado es 1, se dice que ese estado es absorbente,

como ocurre con el 0 en este ejemplo.

Un caso de caminata aleatoria con dos barreras absorbentes se presenta cuando el juego es

entre dos jugadores A y B, el primero con una fortuna inicial de x pesos y el segundo con una

de fortuna inicial de y pesos.

Si Xn representa la fortuna del jugador A tras la n-ésima partida, el juego terminará cuando A

caiga en la ruina, es decir Xn = 0, o bien cuando B caiga en la ruina, es decir Xn = x+y.

Se puede contemplar también la posibilidad de que haya empates, de manera que con la

probabilidad p, A le gana un peso a B en una partida; con probabilidad q, B le gana un peso a

A, y con probabilidad r=1 – p-q ninguno de ellos gana.

En este caso, el espacio de estados es S = {0,1,2,…,x+y} y la matriz de transición toma la

forma:

0 1 2 3

0 1 0 0 0 0

1 0 0

2 0 0

3 0 0 0

0 0 0 0 1

x y

q r p

q r p

q r

x y

P

Ejemplo 3.

Caminata aleatoria con barreras reflejantes: la cadena de Ehrenfest

Consideremos dos urnas, cada una con b bolas idénticas. Supongamos que se puede elegir

cualquiera de las 2b bolas con probabilidad 1/2b. En cada paso se selecciona una bola al azar y

se cambia de urna. Sea Xn el número de bolas que hay en la primera urna después del n-ésimo

cambio.

El espacio de estados es S = {0,1,2,…,2b} y la cadena es de Markov porque la probabilidad de

transición a cada nuevo estado sólo depende de la cantidad de bolas que tiene la urna 1 en el

estado anterior.



Para un estado j, el sistema sólo puede pasar a los estados j-1 o j+1, con dos excepciones:

cuando la urna 1 tiene cero bolas, caso en que sólo puede pasar a tener una bola y cuando la

urna 1 tiene 2b bolas, caso en que sólo puede tener 2b-1 bolas.

En todos los casos, las transiciones no dependen del momento en que se realizan, sino del

estado en que está el sistema y al que pasa. Por tanto, se trata de una cadena de Markov

estacionaria a tiempo discreto.

Su matriz de transición es:

0 1 0 0 0 0

1 10 1 0 0 0

2 2

2 20 0 1 0 0

2 2

30 0 0 0 0

2

10 0 0 0 0

2

0 0 0 0 1 0

b b

b b

b

b

2 P3

Aquí las barreras en los estados 0 y 2b actúan de manera reflejante no en forma absorbente.

Este proceso es un buen modelo para tratar la difusión de un gas a través de una membrana

porosa reemplazando las bolas por moléculas del gas.

En el modelo general se considera usualmente el proceso Zn = Xn-b de manera que cuando

cada celda o contenedor tiene b moléculas el sistema está en el estado 0. El espacio de

estados en este caso es S={-b,-b+1,…,-1,0,1,…,b-1,b} y las probabilidades de transición están

dadas por:



12

, 12

0

b isi j i

b

b ip i j si j i

b

en otro caso

Ejemplo 4.

Modelando una situación

Un taller tiene dos máquinas y cada día usa sólo una de ellas. La máquina en uso tiene una

probabilidad constante p de sufrir una avería al final del día de trabajo. Hay un sólo mecánico

para repararla que sólo trabaja en una máquina a la vez y le toma 2 días repararla.

Sea Xn el número de días necesarios para que ambas máquinas estén en condiciones de

trabajar, observado esto al final del n-ésimo día de trabajo.

Xn= 0 si ambas máquinas están en condiciones de trabajar.

Xn= 1 si una máquina está en condiciones de trabajar y la otra lleva un día en reparación.

Xn= 2 si una máquina está en condiciones de trabajar y la otra acaba de sufrir una avería.

Xn= 3 si una máquina acaba de averiarse y la otra lleva un día en reparación.

Así pues, el espacio de estados es S={0,1,2,3} y los momentos de observación son al final de

cada día de trabajo.

Sea q=1-p. La transición de 0 a 0 ocurre cuando no se descompone la máquina que está

trabajando, por lo que la probabilidad de transición es q.

De 0 a 1 no es posible transitar, y se pasa de 0 a 2 cuando se descompone la máquina que está

trabajando, cosa que ocurre con probabilidad p.

Tampoco es posible la transición de 0 a 4. De manera análoga, se determinan los otros

elementos de la siguiente matriz de transición.

0 0

0 0

0 0

0 0 1 0

q p

q p

q p

P



Obsérvese que la transición de 3 a 2 es segura pues, en ese caso, sólo se puede esperar a que

el técnico avance en la reparación de la máquina que en la que está trabajando.

Ejemplo 5.

Conversión de una cadena no markoviana en markoviana

Supongamos que el hecho de que llueva mañana depende exclusivamente de si llovió hoy,

independientemente de lo que haya pasado en días anteriores. Si llueve hoy, mañana llueve

con probabilidad α. Si no llueve hoy, mañana llueve con probabilidad 1-β.

Sea Xn la variable aleatoria que toma el valor 0 si llueve y el valor 1 si no llueve. Por la

descripción anterior, es claro que {Xn} es una cadena de Markov y su matriz de transición es:

1

1

P

Considérese que se sabe que un día cualquiera puede llover o no dependiendo de lo que haya

pasado los dos días anteriores, de acuerdo a las siguientes probabilidades:

Si llovió ayer y también hoy, con probabilidad 0.7 de que llueva mañana.

Si no llovió ayer pero si hoy, con probabilidad 0.5 de que llueva mañana.

Si llovió ayer y no hoy, con probabilidad 0.4 de que llueva mañana.

Si no llovió ayer ni tampoco hoy, con probabilidad 0.2 de que llueva mañana.

Evidentemente, si tomamos las mismas variables aleatorias que antes, aquí no tendríamos una

cadena de Markov. Pero podemos trabajar este ejemplo como cadena de Markov extendiendo

el espacio de estados.

Sea Yn una variable aleatoria que toma los siguientes valores:

Yn=0 si llovió ayer y también hoy (sí-sí);

Yn=1 si no llovió ayer pero sí hoy (no-sí);

Yn=2 si llovió ayer y no hoy (sí-no);

Yn=3 si no llovió ayer ni tampoco hoy (no-no).

Si la cadena está en el estado sí-sí, en un día más sólo puede pasar a otro estado que empiece

con sí, es decir, a sí-sí o a sí-no.

sí sí sí sí

sí sí sí no

Como la transición de sí-sí a sí-sí ocurre con probabilidad 0.7, la transición a sí-no ocurre con

probabilidad 0.3.



Así se va construyendo la matriz de transición de {Yn}, obteniendo:

0.7 0 0.3 0

0.5 0 0.5 0

0 0.4 0 0.6

0 0.2 0 0.8

P

Ejemplo 6.

Tiempo de vida residual

Consideremos lanzamientos sucesivos de un dado. Sea Xj el número obtenido en el j-ésimo

lanzamiento. Definimos Yn como la suma de los números obtenidos en los primeros n

lanzamientos, es decir:

1

n

n j

j

Y X

Sea k un número fijo y nk el primer entero para el cual se cumple que Yn rebasa a k, es decir,

mink nn n Y k N

Construyamos ahora la cadena Dk = Ynk - k, es decir, el excedente sobre k después de nk

lanzamientos. Para fijar ideas, supongamos que en los primeros lanzamientos de un dado se

obtienen los siguientes resultados:

{Xj} = {2,5,1,6,3,1,4,…}.

Entonces, las sumas toman los valores

{Yn} = {2,7,8,14,17,18,22,…}

De ahí que:

n₁=1 porque la primera Y que rebasa a 1 es Y₁=2, y D₁=Y₁-1=1.

n₂=2 porque la primera Y que rebasa a 2 es Y₂=7, y D₂=Y₂-2=5.

n₃=2 porque la primera Y que rebasa a 3 es Y₂=7, y D₃=Y₂-3=4.

n₄=2 porque la primera Y que rebasa a 4 es Y₂=7, y D₄=Y₂-4=3.

n₅=2 porque la primera Y que rebasa a 5 es Y₂=7, y D₅=Y₂-5=2.

n₆=2 porque la primera Y que rebasa a 6 es Y₂=7, y D₆=Y₂-6=1.

n₇=3 porque la primera Y que rebasa a 7 es Y₃=8, y D₇=Y₃-7=1.

Así, se va obteniendo los primeros valores de la cadena conocida como tiempo de vida residual:

{Dk}={1,5,4,3,2,1,1,6,5,4,3,2,1,3,…}.



Obsérvese que el espacio de estados de Dk es S={1,2,3,4,5,6}. Si Dk=j>1, entonces, Dk+1 = j-1

con probabilidad 1. Si Dk=1, entonces Dk+1puede tomar cualquiera de los valores 1,2,3,4,5,6,

todos con probabilidad 1/6, porque el valor al que se pasa es el resultado de un lanzamiento del

dado. Se trata entonces de una cadena de Markov cuya matriz de transición es:

1 / 6 1 / 6 1 / 6 1 / 6 1 / 6 1 / 6

1 0 0 0 0 0

0 1 0 0 0 0

0 0 1 0 0 0

0 0 0 1 0 0

0 0 0 0 1 0

P

2.1.2 Matriz de transición y distribución inicial

En los ejemplos anteriores vimos cómo construir la matriz de transición de una cadena de

Markov estacionaria, misma que toma la forma:

0,0 0,1 0,2

1,0 1,1 1,2

2,0 2,1 2,2

p p p

p p p

p p p

P

cuando el espacio de estados es S = {0, 1, 2, …}.

El i-ésimo renglón de esta matriz contiene las probabilidades de las posibles transiciones

cuando el sistema se encuentra en el estado i. Por lo anterior, los elementos de cada renglón

satisfacen las condiciones:

p(i, j) ≥ 0 para toda pareja de estados i, j, y , 1k S

p i k

para cada estado i.

Es decir, los elementos de cada renglón forman una distribución de probabilidad. Una matriz

con entradas no-negativas y renglones que suman 1, se llama matriz estocástica, así que la

matriz de transición de una cadena de Markov es una matriz estocástica.

Si la cadena de Markov no es estacionaria, no hay una única matriz de transición para la

cadena, sino que hay una matriz de transición distinta para cada paso, es decir, una matriz para

la transición de X0 a X1, otra para la transición de X1 a X2, y así sucesivamente.

Por otro lado, en algunos casos, el estado inicial de una cadena de Markov se determina al

describir el problema que se quiere modelar. Por ejemplo, en la cadena de Ehrenfest se puede

partir de que el estado inicial es que cada urna contenga b bolas.



Pero hay otros modelos en los que el estado inicial no está determinado sino que toma valores

de acuerdo a una distribución de probabilidad. En el ejemplo sobre las parejas finales de una

colección de lanzamientos de monedas, el estado inicial puede ser cualquiera de los valores

AA, AS, SS o SA, cada uno con probabilidad 1/4.

Usualmente, la variable X0 indica el estado inicial. La distribución de probabilidad del estado

inicial, en una cadena de Markov con espacio de estados S = {0,1,2,…}, es un vector renglón

que se denota por:

π₀=(π₀(0),π₀(1),π₀(2),…)

Cuyos elementos están dados por:

0 0i P X i

conπ₀(i) ≥ 0 para todo i y 0 1.i S

i

A π₀ le llamaremos la distribución inicial de la cadena.

Actividad 1. Proceso de Markov.

A través de esta actividad, podrás convertir un proceso que no sea cadena de Markov a

cadena de Markov, por medio de los procesos establecidos hasta ahora.

Instrucciones

1. Investiga un proceso que no sea una cadena de Markov y plantea una forma de convertirlo en cadena de Markov

2. Ingresa al Foro para comentar tus propuestas.

3. Revisa propuestas de tres de tus compañeros, aceptando o rechazando su respuesta.

4. Consulta la rúbrica general de la participación en Foros, que se encuentra en la

sección Material de apoyo.

2.1.3 Otras distribuciones de probabilidad asociadas a una cadena de

Markov

En el análisis de una cadena de Markov surgen otras distribuciones de probabilidad o funciones

de densidad, mismas que abordaremos a continuación.



1. Probabilidad de transición en n pasos

Nos proponemos estudiar cómo calcular la probabilidad de pasar de i a j en n pasos, dada por:

0 ,n nP X j X i p i j

A la matriz formada por estas probabilidades la denotaremos inicialmente por n

P , es decir,

,n

np i jP , donde 1P P .

El siguiente teorema establece que la matriz de transición en n pasos se puede obtener

multiplicando n veces la matriz de transición en un paso.

Teorema. Ecuación de Chapman-Kolmogorov.

Para cualquier pareja n,m∈{0,1,2,…} se cumple que

n m n mP P P ,

es decir,

, , ,n m n m

k S

p i j p i k p k j

Demostración.

Sean i y j dos estados arbitrarios de S. Usando la regla de probabilidad total y la propiedad de

Markov, se tiene:

0 0

0 0

0

0 0

, ,

,

, ,

n m n m n m n

k S

n n m n

k S

n n m n

k S

n m

k S

n m

k S

p i j P X j X i P X j X k X i

P X k X i P X j X i X k

P X k X i P X j X k

P X k X i P X j X k

p i k p k j

Observación. Nótese que la ecuación matricial n m n m

P P P implica que n nP P para todo

entero positivo n, ya que

1

2 2

3 2 2 3

P P

P PP= P

P P P= P P P

y así sucesivamente.

Cada renglón de la matriz n

P forma una distribución de probabilidad en n pasos condicionada



a que la cadena esté en un estado particular.

Ejemplo 6.

Preferencia por ciertas marcas.

En un estudio de mercado sobre 3 marcas de café que se venden en una población, se

encontró que de los consumidores de la marca A, el 60% vuelve a comprar A el siguiente mes,

el 30% cambia a B y el 20% cambia a C.

De los clientes que consumen la marca B, el 50% cambia a A el siguiente mes, el 30% vuelve a

comprar B, y el 20% cambia a C. De los que compran C, el 40% cambia a A el siguiente mes, el

40% cambia a B y el 20% vuelve a comprar C. ¿Qué porcentaje de clientes siguen con cada

una de las marcas después de 3 meses?

La matriz de transición es:

0.6 0.3 0.1

0.5 0.2 0.3

0.4 0.4 0.2.

P

Y sus potencias segunda y tercera son:

2

3

0.55 0.31 0.14

= 0.53 0.32 0.15

0.52 0.32 0.16

0.541 0.314 0.145

= 0.538 0.315 0.147

0.536 0.316 0.148

P

P

Así que, tres meses después, el 54.1% sigue con la marca A, 31.5% sigue con la marca B y

14.8% sigue con la marca C.

Obsérvese que cada uno de los vectores renglón que componen la matriz 3

P son muy

parecidos entre sí.

2. Distribución de cada variable Xn

Para determinar la probabilidad de que una cadena se encuentre en el estado j después de un

paso, se puede usar la regla de probabilidad total para obtener:

1 0 1 0 0 , 1i S i S

P X j P X i P X j X i i p i j

Representaremos la distribución de X1 mediante el vector:

1 1 1 10 , 1 , 2 ,...



Donde

1 1j P X j .

Escribiendo en forma matricial la relación expresada en (1), obtenemos:

1 0 0 0 0

0 0 0

0,0 0,1 0,2

1,0 1,1 1,20 1 2

2,0 2,1 2,2

,0 ,1 ,2i S i S i S

p p p

p p p

p p p

i p i i p i i p i

P

Si se quiere determinar la probabilidad de que la cadena se encuentre en el estado j después

de dos pasos, el cálculo que debe hacerse es:

2 0 2 0 0 2 , 2i S i S


Sea 2 la distribución de X2, es decir,

2 2 2 20 , 1 , 2 ,...

La expresión 2 conduce a la ecuación matricial 2

2 0 P .

Más generalmente, la distribución de probabilidad de cualquier variable Xn de la cadena será

representada por:

0 , 1 , 2 ,...n n n n

Donde: n nj P X j .

Cada uno de estos elementos se calculan mediante

0 0 0 , 3n n n

i S i S


La relación en (3) corresponde a la ecuación matricial 0

n

n P .

3. Probabilidad de una trayectoria muestral

Ahora se busca la probabilidad de que el sistema haya recorrido una trayectoria particular de

estados en los primeros m pasos, trayectoria que vamos a representar por:

0 1 2 mj j j j

Esta trayectoria está determinada por la intersección de eventos:



0 0 1 1 m mX j X j X j

La probabilidad de esta trayectoria se calcula usando la propiedad de Markov en la siguiente

probabilidad conjunta:

0 0 1 1

1

0 0 1 1 0 0 2 2 0 0 1 1

0

0 0 1 1 0 0 2 2 1 1 1 1

0 0 0 1 1 2 1

, , ,

,

, , ,

m m

m

m m k k

k

m m m m

m m

P X j X j X j

P X j P X j X j P X j X j X j P X j X j

P X j P X j X j P X j X j P X j X j

j p j j p j j p j j

Esta expresión sirve para caracterizar a una cadena de Markov, es decir, cualquier proceso

discreto a tiempo discreto que cumpla la relación anterior, es de Markov.

Obsérvese que todas las probabilidades calculadas dependen de la distribución inicial y de los

elementos de la matriz de transición. Por ello, se puede afirmar que toda la información

probabilística de una cadena de Markov estacionaria está concentrada en su matriz de

transición P y en su distribución inicial π₀. Si se conocen estos dos elementos se puede calcular

cualquier probabilidad relacionada con la cadena {Xn}.

Ejemplo 7.

Elementos y probabilidades en una cadena de Markov

En una cadena de Markov con =f12g y matriz de transición

1/ 3 2 / 3

3 / 4 1/ 4

P

y con distribución inicial 0 1/ 2,1/ 2X vamos a determinar la distribución de probabilidad de

3y a calcular las siguientes probabilidades: (4=2)(6=2j4=1)y (100=2j97=2)

Finalmente, calcularemos la probabilidad de las trayectorias 1! 1! 2y2! 1! 2

2

3

1/ 3 2 / 3 1/ 3 2 / 3 11/18 7 /18

3 / 4 1/ 4 3 / 4 1/ 4 7 /16 9 /16

11/18 7 /18 1/ 3 2 / 3 107 / 216 109 / 216

7 /16 9 /16 3 / 4 1/ 4 106 /192 83 /192

P

P

Así, la distribución de 3es:



3

107 109

1837 1619216 2161/ 2,1/ 2 , 0.53154, 0.46846

109 83 3456 3456

192 192

Por otro lado, las probabilidades se obtienen mediante:

4 3 3

6 4 2 0 2

100 97 3

2 12 1 1,2 2 2,2 0.53154 0.46846 0.47148

3 4

72 1 2 1 1,2 0.38889

18

832 2 2,2 0.43229

192

P X P X p P X p

P X X P X X p

P X X p

La probabilidad de la trayectoria 1! 1! 2es:

0

1 1 2 11 1,1 1,2 0.11111

2 3 3 9p p

Y la de la trayectoria 2! 1! 2 es:

0

1 3 2 12 2,1 1,2 0.25

2 4 3 4p p

Actividad 2. Elementos de una cadena de Markov

En esta actividad identificarás la distribución inicial y la matriz de transición de las cadenas de

Markov que modelan una serie de situaciones y calcularás algunas de las probabilidades de

interés en cada caso.

Instrucciones:

1. Descarga el documento “Act.2 Elementos de una cadena de Markov”

2. Estudia cada una de las situaciones descritas y realiza lo que se indica

1. Guarda y envía tu documento con la nomenclatura MPES_U2_A2_XXYYZ. Sustituye

las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido y la Z por la inicial de tu apellido materno.

3. Espera la retroalimentación de tu Facilitador (a).



2.2 Comunicación entre estados, recurrencia y transitoriedad, periodicidad

Analicemos las posibles transiciones en el siguiente ejemplo.

Ejemplo 8.

Dos jugadores inician un torneo con un capital de $3 cada uno. En cada partida el jugador 1

tiene una probabilidad p=0.6 de ganar un peso y una probabilidad q=0.4 de perder un peso. Xn

indica el capital del jugador 1 después de la n-ésima partida. La matriz de transición

correspondiente es

1 0 0 0 0 0 0

0.4 0 0.6 0 0 0 0

0 0.4 0 0.6 0 0 0

0 0 0.4 0 0.6 0 0

0 0 0 0.4 0 0.6 0

0 0 0 0 0.4 0 0.6

0 0 0 0 0 0 1

P

Es claro que desde 0 y desde 6, sólo se puede regresar al mismo estado, a diferencia de lo que

ocurre en los estados 1,2,3,4 y 5 entre los cuales se puede pasar con probabilidad positiva en

un número finito de pasos.

Se dice que los estados 1, 2, 3, 4 y 5 están comunicados entre sí, mientras que 0 y 6 son

accesibles desde los otros estados pero sólo están comunicados con ellos mismos.



2.2.1 La relación de comunicación y las clases de equivalencia

Definición 2. Se dice que un estado j es accesible desde el estado i si existe un entero no

negativo n tal que pn(i,j)>0, es decir, hay una probabilidad positiva de pasar de i a j en algún

número de pasos. También se dice que i se comunica con j y esta relación se denota por i→j.

Cuando dos estados i y j son mutuamente accesibles, se dice que están comunicados o son

estados comunicantes, es decir, existen enteros no negativos n y m tales que pn(i,j)>0 y

pm(j,i)>0. La notación correspondiente es i↔j.

Observaciones.

1) La probabilidad en 0 pasos se define como:

0

1,

0i j

si i jp i j

si i j

2) Nótese que dos estados no están comunicados si , 0 para toda np i j n , o bien sí

, 0 para toda np j i n .

Analicemos las repercusiones de la relación de comunicación entre los estados.

Proposición 1. La relación de comunicación entre estados es una relación de equivalencia .

Demostración.

a) Es una relación reflexiva porque, al cumplirse que p₀(i,i)=1, se tiene que i↔i.

b) Es una relación simétrica ya que de la definición anterior se desprende que si i↔j,

entonces j↔i.

c) Para ver la transitividad, de la relación supongamos que i↔j y j↔k. Entonces existen n

y m tales que pn(i,j)>0 y pm(j,k)>0. Usando la ecuación de Chapman Kologorov se tiene:

, , , , , 0n m n m n m

s S

p i k p i s p s k p i j p j k

Por lo anterior, i→k. Análogamente se demuestra que k→i.

Por tanto, se tiene que i↔k.

Esta relación genera una partición del espacio de estados S en clases de equivalencia, a las

que llamaremos clases de comunicación.

En el ejemplo anterior las clases son {0}, {6} y {1, 2, 3, 4,5}.

En el ejemplo 7, los estados 0 y 6 son absorbentes y cada estado absorbente forma una clase

(él solo).



Ejemplo 9.

Consideremos una cadena de Markov con S = {0,1,2,3, 4, 5} y matriz de transición:

0 0 0 1 0 0

1 / 5 0 1 / 5 1 / 5 1 / 5 1 / 5

0 0 1 / 3 0 1 / 3 1 / 3

1 / 2 0 0 1 / 2 0 0

0 0 1 / 4 0 1 / 2 1 / 4

0 0 0 0 1 / 3 2 / 3

P

El estado 0 está comunicado con 3. El estado 1 no está comunicado con ningún otro estado

porque no hay probabilidad positiva de acceder a él desde ningún otro estado (cosa que se

verifica fácilmente al observar que la columna correspondiente a este estado contiene

únicamente ceros). El estado 2 está comunicado con 4 y con 5.

Así pues, las clases de comunicación en esta cadena son: {0, 3}, {1}, {2, 4, 5}.

Ejemplo 10. Consideremos la cadena de Markov con S = {0, 1, 2} y matriz de transición:

1 / 2 1 / 2 0

1 / 4 1 / 4 1 / 2

0 1 / 3 2 / 3

P



El espacio de estados tiene una única clase de equivalencia: {0,1,2}.

Una cadena cuyo espacio de estados está formado por una sola clase de comunicación, se

llama irreducible, es decir, en estas cadenas todos los estados están comunicados entre sí.

Ejemplo 11.

Ahora consideremos la cadena con S = {1, 2 , 3, 4, 5} cuya matriz de transición es

0 0 0 1 0

1 / 3 1 / 3 0 0 1 / 3

0 0 1 0 0

1 / 2 0 0 1 / 2 0

0 0 0 0 1

P

Las clases de comunicación son: {1, 4}, {2}, {3}, {5}. Obsérvese que si el sistema cae en la

clase {1, 4}, ya no sale de ahí. Lo mismo ocurre en las clases {3} y {5} que están formadas por

estados absorbentes. No ocurre lo mismo si el sistema empieza en el estado 2. Esta diferencia

se recoge en la siguiente definición:

Definición 3. Un conjunto de estados es cerrado si una vez que la cadena arriba de él,

permanece en ese conjunto. Es decir, C es cerrado si , y implica que j C j i i C .



Si el conjunto cerrado es una clase de comunicación, hablaremos de una clase cerrada.

2.2.2. Estados recurrentes y estados transitorios

En el ejemplo 10, si el sistema empieza en el estado 1, es seguro que pasa al estado 4 en un

paso. Puede permanecer en el estado 4 durante varios pasos, pero en la medida que la

probabilidad de regresar al estado 1 es positiva, la definición frecuencial de la probabilidad nos

permite asegurar que en algún momento, el sistema pasará a 1. Cuando esto ocurra, lo descrito

anteriormente se repetirá.

Si el sistema empieza en el estado 2, puede pasar varios pasos en ese estado, pero hay una

probabilidad positiva de que salga de él y nunca regrese.

Queremos caracterizar estos dos tipos de comportamiento: estados a los que la cadena regresa

una infinidad de veces y estados a los que con probabilidad positiva nunca regresa. A los

primeros estados los llamaremos recurrentes (o persistentes) y a los segundos transitorios.

Definición 4. Supongamos que X₀=i. Definimos una variable aleatoria a la que llamaremos

tiempo del primer arribo al estado j, dada por

min{ 0 }j nT n X j .

En particular, el tiempo del primer retorno a i, está dado por

min{ 1 }i nT n X i

Si la cadena nunca regresa al estado i, el conjunto {n≥0|Xn=i} es vacío y, en ese caso, Ti=∞. Si

la cadena empieza en i y nunca sale de ahí, entonces Ti=0. De manera que Ti toma valores en

{0,1,2,…}∪{∞}.

La distribución de probabilidad de Ti depende de las probabilidades de transición de la cadena.

Ejemplo 12.

Consideremos la cadena de dos estados, con S={1, 2}y matriz de transición

1

1

p pP

q q

La probabilidad de que Ti tome valores enteros positivos es:



0

0

0

2

0

( 1 | 1) 1

( 2 | 1) 1,2 2,1 .

( 3 | 1) 1,2 2,2 2,1 1

( | 1) 1,2 2,2 2,2 2,1 1 .m

P T X p

P T X p p pq

P T X p p p pq q

P T m X p p p p pq q

₁

₁

₁

₁

Por otro lado,

1 0 1 0 1 0

1

2

2

1 1

11 1 1 0

1 1

m

m

m

P T X i P T X i P T m X i

p pq q p pqq

N

Es decir, en este ejemplo es seguro que la cadena regresa en un tiempo finito al estado 1. Lo

mismo ocurre con el estado 2.

Consideremos la probabilidad de que, empezando en i, la cadena pase al estado j en algún

número de pasos. Esta probabilidad se puede escribir en términos del primer arribo de i a j de la

siguiente manera:

0

0 0

1

para alguna n 1i j n

j j

n

f P X j X i

P T X i P T n X i

En particular,

0 0

1

i i i i

n

f P T X i P T n X i

Definición 5. Un estado i es recurrente o persistente, si fi i =1, y es transitorio si fi i <1.

Se suele usar la notación 0j i jP T n X i f n para la probabilidad de que el primer arribo

de i a j ocurra en n pasos. Así, se tiene que:

1

i i i i

n

f f n

.

Ejemplo 13.

Consideremos la cadena con S={1,2,3,4} y matriz de transición

1 / 2 1 / 2 0 0

1 0 0 0

0 1 / 3 2 / 3 0

1 / 2 0 1 / 2 0

p P



En este caso f₄₄(n)=0 para toda n porque si la cadena sale de 4 ya no regresa, así que 4 es

claramente un estado transitorio.

El estado 3 sólo puede tener un primer retorno en un paso: f₃₃(1)=2/3 yf₃₃(n)=0 para n>1. Así

que 3 es claramente transitorio.

Para el estado 1, se tiene que:

11 11 11

1

1 11 2 1

2 2n

f n f f

Así que 1 es un estado recurrente. Y para el estado 2, se tiene:

2 2

1

1 1 1 1/ 20 1

2 4 8 1 1/ 2n

f n

De manera que también 2 es recurrente.

Si un estado i es recurrente, entonces las probabilidades , con , i if n nN forman una

distribución de probabilidad, porque

1

0 para toda , y 1i i i i

n

f n n f n

De manera que es razonable la siguiente definición:

Definición 6. Si i es un estado recurrente, el tiempo esperado del primer retorno a i se define

como:

1

i i i

n

n f n

Ejemplo 14.

En el ejemplo anterior, como los estados 1 y 2 son recurrentes, podemos calcular el tiempo



esperado del primer retorno de la siguiente forma:

1 11 11

2 2 2 1 21 2

1 2 31 1 2 2

2 2 2

11 3

2 1 1 / 2n

n n

f f

nnf n

Ejemplo 15.

Analicemos la cadena con 1,2,3,S N y matriz de transición

1 / 2 1 / 2 0 0 0 0

1 / 2 0 1 / 2 0 0 0

1 / 2 0 0 1 / 2 0 0

1 / 2 0 0 0 1 / 2 0

1 / 2 0 0 0 0 1 / 2

P

Las probabilidades de transición permiten deducir que el estado 1 es recurrente. Veamos:

11 11 11 11

11

1

1 1 1 11 , 2 , 3 , , ,

2 4 8 2

1 1 / 21.

1 1 / 22

n

nn

f f f f n

f

El tiempo esperado del primer retorno a 1 es:

1 2

1

1/ 2 1/ 22

1/ 42 1 1/ 2n

n

n

Sin embargo, no es fácil analizar la recurrencia o transitoriedad de los demás estados.

ejemplo,para el estado 2, podemos tener el primer retorno en 2 pasos sólo por la trayectoria

2→1→2. Para 3 pasos, puede ser por 2→1→1→2 o bien 2→3→1→2. En 4 pasos puede ser

por 2→1→1→1→2, 2→3→1→1→1→2, 2→3→4→1→2, y el número de trayectorias va en

aumento al ir creciendo el número de pasos.

Buscando otros criterios para analizar la recurrencia o transitoriedad de un estado, podemos

hacer el siguiente razonamiento intuitivo:



a) Si el estado i es recurrente, entonces con probabilidad 1 la cadena regresa a i en un

número finito de transiciones. Tras el primer retorno se tendrán nuevamente las mismas

transiciones con las mismas probabilidades, es decir, con probabilidad 1 la cadena

regresará otra vez al estado i en un número finito de pasosy así podemos continuar. De

manera que el número esperado de visitas al estado i será infinito o equivalentemente,

la probabilidad de que el número de visitas al estado i sea infinito, es uno.

b) Por otro lado, si el estado i es transitorio, entonces empezando en i la cadena tiene una

probabilidad 01 1 0i i iP T X i f de no volver a ese estado jamás.

Empezando en i, la probabilidad de que el proceso regrese a i exactamente n-1 veces es

1 1 para 1,2,3,i in i if f n , es decir el número de veces que la cadena estará en

i tiene distribución geométrica con media / 1i i i if f .

Consideremos la función indicadora:

1

0

n

j n

n

si X jI X

si X j

Entonces 0

j n

n

N j I X

es el número total de visitas de la cadena al estado j. Empezando

en i, el número esperado de visitas a j es:

0 0

0

0 0

0 0

0

,

,

j n

n

j n n

n n

n

n

V i j E N j X i E I X X i

E I X X i P X j X i

p i j

En particular,

1

, ,n

n

V i i p i i

En términos del número de visitas a i, la probabilidad de que en algún paso el proceso regrese a

i se escribe como:

01i if P N i X i

El siguiente teorema, formaliza una parte de las ideas intuitivas mencionadas anteriormente.

Omitimos su demostración porque requiere varios resultados preliminares que harían muy

extensa la presente exposición.

Teorema 2. Caracterización de estados recurrentes y transitorios.

a) Las afirmaciones (a₁)-(a₃) son equivalentes:



(a₁) i es un estado recurrente.

(a₂) P(N(i)=∞|X0 = i)=1.

(a₃) 0

, ,n

n

V i i p i i

.

b) Las afirmaciones (b₁)-(b₃) son equivalentes:

(b₁) i es un estado transitorio.

(b₂) P(N(i)=∞|X0 = i)=0.

(b₃) 0

, ,n

n

V i i p i i

.

Una de las consecuencias prácticas más útiles del teorema anterior es que la característica de

ser recurrente o transitorio es una propiedad de clase, es decir, todos los estados comunicados

entre sí son del mismo tipo.

Corolario2.1 Si j es recurrente y j está comunicada con i, entonces i es recurrente. Si j es

transitorio y j está comunicado con i, entonces i es transitorio

Demostración. Como i↔j, existen n y m tales que pn(i,j)>0 y pm(j,i)>0.

Así que

1 1 1

, , , , ,s n r m n m r

s r r

p i i p i i p i j p j i p j j

Así que i es un estado recurrente porque

1

,s

s

p i i

.

Sea j transitorio y j↔i. Si i fuera recurrente, por la parte anterior, j también tendría que serlo, así

que i debe ser transitorio.

Corolario 2.2 En una cadena de Markov irreducible con espacio de estados finito, todos los

estados son recurrentes.

Demostración.

Sea S={1,2,…,N} el espacio de estados. Si cualquier estado i fuera transitorio, todos los estados

serían transitorios por el corolario anterior. Para cada estado j, habría un tiempo tj después del

cual el estado j nunca más sería visitado. Entonces, después de un tiempo

*

1 2max , , , Nt t t t

ningún estado sería visitado, lo cual no puede ocurrir.

Recuérda que un conjunto de estados C es cerrado si j∈C y j→i implica que i∈C.

Corolario 2.3 Todos los estados de una clase de comunicación finita y cerrada son



recurrentes.

Demostración.

Sea C la clase de comunicación. Por ser cerrada, una vez que la cadena arribe a cualquiera de

los elementos de C, permanece en esa clase con probabilidad 1, y por ser finita, el corolario

anterior garantiza que los estados son recurrentes.

De hecho, un conjunto de estados cerrado se puede ver como el espacio de estados de una

subcadena que empieza en alguno de sus elementos.

Corolario 2.4 Todo estado recurrente pertenece a un conjunto cerrado e irreducible de

estados.

Demostración: La clase de comunicación a la que pertenece un estado recurrente j, tiene que

ser cerrada porque si no lo fuera podría ocurrir que, con probabilidad positiva, la cadena saliera

de esa clase y nunca más volviera, lo que contradice que el estado sea recurrente.

Ahora contamos con más recursos para verificar la recurrencia o transitoriedad de los estados

de una cadena de Markov.

Veamos algunos ejemplos:

Ejemplo 16.

Se tiene una pila de m libros sobre un escritorio. Los libros están numerados del 1 al m y el

orden en que se encuentran es de arriba hacia abajo y está descrito por alguna permutación

(i₁,i2, …,im) de los m números. Se elige al azar un libro y después se coloca arriba de la pila.

Espacio de estados: está formado por las m! permutaciones de los números de los libros.

Probabilidades de transición: Supongamos que la pila de libros está en el estado j= (i₁, i2,

…,im). Sea pi la probabilidad de elegir el i-ésimo libro. Entonces:

1 2

1

, , , ,

0 en otro caso

s

ip si k j

p j k p si k s i i

Si pi >0 para todo i, entonces todos los estados están comunicados entre sí y la cadena es

irreducible. Como el espacio de estados es finito, en este caso todos los estados son

recurrentes.

Si ps=0 para algún número s, entonces todos los estados de la forma (s,i₂,…,im) son transitorios,

porque en un paso la cadena puede salir de ese estado (al elegir un j≠s) y nunca regresar. Los

estados que tienen a s en algún lugar intermedio, también son transitorios, pues al elegir



cualquiera de los libros que están debajo de s (lo que puede hacerse con probabilidad positiva),

el libro s se recorre hacia abajo y nunca regresa a la posición anterior. Sólo los estados de la

forma (i₁,i₂, …, im-1,s) son recurrentes, pues con probabilidad 1 se regresa a esos estados en un

número finito de pasos.

Ejemplo 17.

Vamos a analizar la comunicación y recurrencia en la cadena con S = {1, 2, 3, 4, 5, 6, 7} cuya

matriz de transición es

0.3 0 0 0 0.7 0 0

0.1 0.2 0.3 0.4 0 0 0

0 0 0.2 0.5 0.3 0 0

0 0 0 0 0 0.5 0.5

0.6 0 0 0 0.4 0 0

0 0 0 0.4 0 0.2 0.4

0 0 0 1 0 0 0

P

Clases de comunicación: {1,5}, {2}, {3}, {4,6,7}.

Recurrencia y transitoriedad: {1,5} es una clase cerrada, por tanto ambos estados son

recurrentes. Lo mismo ocurre con la clase {4,6,7}.

Por último, es claro que en los estados 2 y 3, con probabilidad positiva, la cadena nunca

regresa. De hecho:

1 1 1

0.23,3 2,2 0.2

1 0.2

n

n n

n n n

p p

Por tanto, estos estados son transitorios.

Ejemplo 18.

Analicemos la caminata aleatoria sin restricciones. Se trata de una cadena irreducible, así que

basta analizar la recurrencia o transitoriedad en el estado 0. Tomemos el caso en que p(i,i+1) =

p y p(i,i-1) = q=1 – p.



No se puede hacer un recorrido que inicie en 0 y termine en 0 en un número impar de pasos

porque tendría que darse el mismo número de pasos a la derecha que pasos a la izquierda. Si

el número de pasos es 2k, entonces el número de pasos que se den a la derecha puede verse

como una variable aleatoria con distribución binomial de parámetros 2k y p.

Así obtenemos:

2 1 2

20,0 0 y 0,0 k k

k k

kp p p q

k

Para escribir de otra manera p2k(0,0) nos valdremos de la fórmula de Stirling: 1

2! 2n

nn n e

Obtenemos:

1 12 22 22 2

2 2 2 11

2

2 ! 2 2 420,0

! !2

k k kk kk k k k k k

k kk

k

k k e pqkp p q p q p q

k k k kk e

Por tanto

2

1 1 1

4 10,0 0,0

k

k k

k k k

p pp p

k

Obsérvese que 4p(1-p)≤1 y la igualdad se cumple sólo para p=1/2. Así que cuando p=1/2 los

estados son recurrentes porque la serie

1

1

k k

es divergente.

Demuestra que para el caso p≠1/2, la cadena es transitoria.

Ejemplo 19.

Vamos a determinar el tiempo esperado del primer retorno para los estados recurrentes de la

cadena con S = {1, 2, 3, 4, 5} y matriz de transición:

1 / 2 0 1 / 2 0 0

0 1 / 3 0 2 / 3 0

1 / 4 0 3 / 4 0 0

0 1 0 0 0

0 0 0 1 / 2 1 / 2

P



Las clases de comunicación son: {1, 3}, {2, 4}, {5}. Las dos primeras son clases finitas y

cerradas, así que son recurrentes. La tercera clase es transitoria porque, empezando en 5, hay

una probabilidad positiva de que la cadena nunca regrese a ese estado. Para el estado 2, el

tiempo esperado del primer retorno, también llamado tiempo esperado de recurrencia, es

2

1 2 51 2

3 3 3 .

Para el estado 4, que pertenece a la misma clase, se tiene:

4

2 42

3 3

Es decir, el tiempo esperado del primer retorno no es una propiedad de clase.

Si los renglones y columnas de la matriz de transición de una cadena, se mueven de tal manera

que los estados que forman clases cerradas queden juntos, la nueva matriz tendrá forma de

bloques. En el ejemplo anterior, la matriz modificada como mencionamos es:

*

1 / 2 1 / 2 0 0 0

1 / 4 3 / 4 0 0 0

0 0 1 / 3 2 / 3 0

0 0 1 0 0

0 0 0 1 / 2 1 / 2

P

= 1/ 2 1/ 2 1/ 3 2 / 3

, , 1 / 21/ 4 3 / 4 1 0

Observa que el nuevo orden en los estados debe ser igual en los renglones que en las

columnas. En la nueva matriz se formará un bloque por cada clase cerrada en S y cada uno de

estos bloques es una matriz estocástica. Las transiciones entre estados transitorios quedan

colocadas en la parte inferior derecha de *

P .

A la forma que toma una matriz de transición cuando se acomoda por bloques, se le conoce



como la representación canónica de la matriz de transición. Esta representación tiene la

forma general:

1

2

3*

1 2 3

0 0 0 0

0 0 0 0

0 0 0 0

0 0 0 0n

nR R R R

P

P

PP

P

Q

donde cada iP es la matriz estocástica que corresponde a las transiciones dentro de la i-ésima

clase recurrente, la matriz Q corresponde a las transiciones entre estados transitorios y las

matrices R₁,R₂,…,Rn son las matrices correspondientes a transiciones de estados transitorios a

estados recurrentes.

Las matrices iP son cuadradas y estocásticas, la matriz Q no es estocástica ya que, si T es el

conjunto de estados transitorios y q(i,j) la probabilidad de transición entre dos elementos i y j de

T, entonces puede ocurrir que , 1j T

q i j

.

Las matrices R₁,R₂,…,Rn no tienen que ser matrices cuadradas.

Para cerrar esta sección se mostrará un criterio que permite clasificar a los estados recurrentes

en dos tipos.

Ejemplo 20.

Vamos a analizar la cadena con S={0,1,2,3,…} cuya matriz de transición es

1 / 2 1 / 2 0 0 0 0

1 / 3 0 2 / 3 0 0 0

1 / 4 0 0 3 / 4 0 0

1 / 5 0 0 0 4 / 5 0

1 / 6 0 0 0 0 5 / 6

P

Es una cadena irreducible, pero como su espacio de estados no es finito, no podemos asegurar

que sea recurrente. Veamos las probabilidades de los tiempos de primer retorno a 0:



00

00

00

00

11

2

12

2 3

2 13

2 3 4 3 4

1

1

f

f

f

f nn n

Por tanto

0 0

1 1

1 1 10 1 (serie telescópica)

1 1n n

P T Xn n n n

.

Ahora veamos el tiempo esperado del primer retorno a 1:

0

1 1

1(serie armónica)

1 1n n

n

n n n

De manera que, si la cadena tiene un espacio de estados infinito, puede haber estados

recurrentes cuyo tiempo esperado de primer retorno sea infinito, a pesar de que la recurrencia

ocurre cuando un estado es visitado una infinidad de veces con probabilidad 1.

Definición 7.

Sea {Xn} una cadena de Markov estacionaria, y para un estado recurrente j sea µj el tiempo

esperado del primer retorno a ese estado.

El estado j se llama recurrente positivo si µj< ∞, y se llama recurrente nulo si µj=∞.

2.2.3 Periodicidad

Ejemplo 21.

Comparemos el comportamiento de dos cadenas de Markov:

Cadena 1: S={1,2} con la siguiente gráfica dirigida:

Las matrices de transición en 1, 2, 3, … pasos son



2

3 4

0 1 1 0,

1 0 0 1

0 1 1 0,

1 0 0 1

P P

P P

Claramente, se muestra un ciclo cada dos pasos en esta cadena.

Cadena 2: S={1,2} con la siguiente gráfica dirigida:

Las matrices de transición en varios números de pasos son:

2 31/ 2 1/ 2 1/ 2 1/ 2 1/ 2 1/ 2

, ,1 / 2 1/ 2 1/ 2 1/ 2 1/ 2 1/ 2

P P P

En este caso, el valor de cada entrada es constante y el comportamiento es idéntico para

cualquier número de pasos.

Resulta natural asumir que la primera cadena tiene periodo 2 y la segunda tiene periodo 1.

En realidad, la definición de periodicidad es más general, pues no es necesario volver

exactamente a la misma matriz cada cierto número de pasos para hablar de la existencia de un

periodo. Basta con que el número de pasos en que se regresa a un estado con probabilidad

positiva, muestre una regularidad.

Definición 8.

Sea {Xn} una cadena de Markov y j uno de sus estados. Se dice que j tiene periodo d(j) si d(j) es

el máximo común divisor (mcd) de los enteros n para los cuales pn(j,j)>0.

Observaciones:

1) Si pn(j,j)=0 para toda n, diremos que el periodo de j es cero.

2) Cuando no haya lugar a confusiones escribiremos el periodo simplemente como d.

Ejemplo 22.

Retomemos el ejemplo anterior para verificar la definición. En la cadena 1, las probabilidades de

transición en varios pasos del estado 1 a él mismo, son:

2 3 41,1 0, 1,1 1, 1,1 0, 1,1 1,p p p p

Entonces, el conjunto de enteros n en los que pn(1, 1) > 0es G₁={2,4,6,…} y su mcd es 2, por lo

que d(1)=2. Análogamente se ve que d(2)=2.



En la cadena 2, el conjunto de enteros n para los que pn(1, 1) > 0 es G₁={1,2,3,…}, de manera

que d(1)=1.

Cuando un estado tiene periodo 1, diremos que es aperiódico.

Ejemplo 23.

Analizaremos la periodicidad de la cadena con S={1,2,3, 4} cuya matriz de transición es:

0 1 / 2 1 / 2 0

0 0 1 0

0 0 0 1

1 0 0 0

P

En la gráfica se puede ver que pn(1,1)>0 para n en G₁={3,4,6,7,8,9,10,…} por lo que d(1)=1,.es

decir, es un estado aperiódico.

Para el estado 2, G₂={4, 7, 8, 10,11,…}, por tanto también. Análogamente se puede

verificar que todos los estados de esta cadena irreducible, son aperiódicos. Una conjetura

razonable es que la periodicidad es una propiedad de clase.

Noten que el hecho de que tengan el mismo periodo no implica que sean iguales los conjuntos

Gi que incluyen los números de pasos en que se puede regresar a cada estado con

probabilidad positiva.

Proposición 3. Sea {Xn} una cadena de Markov estacionaria y j uno de sus estados. Si j tiene

periodo d y j↔i, entonces i tiene periodo d.

Demostración. Supongamos que d(i)=c≠d. Veamos qué sucede si d<c. Sean n y m enteros

tales que pn(i,j)>0 y pm(j,i)>0 y para cualquier estado k, sea Gk={r∈N | pr(k,k)>0 }.

Como:

, , , , , 0n m n m n m

k S

p i i p i k p k i p i j p j i



Entonces n+m∈Gi, es decir, n+m es múltiplo de c. Sea s cualquier entero en Gj, es decir, ps(j,j)>

0. Se tiene que:

, , , , 0n s m n s mp i i p i j p j j p j i

De donde se concluye que es múltiplo de Como es múltiplo de , s también

debe serlo y, por tanto ∈ . Y dado que s es un elemento arbitrario de , se concluye que

es un divisor de todos los elementos de . Pero d es el máximo común divisor, luego no puede

ocurrir que , así que se tiene una contradicción.

Los papeles de y se pueden intercambiar en la demostración anterior para probar que

tampoco puede ocurrir que . Así se obtiene que .

Aunque Gj no tiene por qué incluir a todos los múltiplos del periodo d, la siguiente proposición

garantiza que este conjunto contiene a todos los múltiplos mayores de algún número N.

Proposición 4. Sea {Xn} una cadena de Markov estacionaria y j uno de sus estados. Si el

estado j tiene periodo d, entonces existe un entero N (que depende de j), tal que para cualquier

entero n≥N se cumple que pnd(j,j)>0.

Demostración. Considérese cualquier colección finita de números n₁,n₂,…,nt en el conjunto

Gj={n | pn(j,j)>0}. Como d es el mcd de los elementos de Gj, un resultado de teoría de números

nos permite afirmar que existe N tal que para n≥N existen enteros no negativos c₁,c₂,…,ct que

satisfacen que:

1

t

s s

s

nd c n

Es decir, a partir de cierto múltiplo de d, todos los demás se pueden escribir como combinación

lineal de los números elegidos. Entonces, para n≥N,

1 1 2 2

1

, , , 0r

nd

s

s

st t

c

c n c n c n np j j p j j p j j

porque los números n₁, n₂, …,n_{t} están en G_{j}

Actividad 3. Estados de cadena de Markov

A través de esta actividad identificarás las clases de comunicación y analizarás la recurrencia

o la transitoriedad de los estados de una cadena de Markov.

Instrucciones:

1. Descarga el documento “Act. 3. Estados de cadena de Markov”



2. Realiza lo que indican las instrucciones de la actividad.


las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido

y la Z por la inicial de tu apellido materno.

4. Espera la retroalimentación de tu Facilitador (a).

2.3 Comportamiento límite

Un aspecto de interés en el estudio de las cadenas de Markov es qué pasa con la probabilidad

cuando n tiende a infinito. En el estudio de este comportamiento límite se descubren

varias características importantes tanto de las cadenas que tienen límite como del valor límite

de las mismas.

Definición 9. Se dice que una cadena de Markov {Xn} con espacio de estados S tiene una

distribución límite π*=(π* (j),j∈S), si

*limn nP X j j .

Obsérvese que como

0 ,n n n

i S

P X j j i p i j

donde π₀(i) es la i-ésima componente de la distribución inicial π₀, es claro que la existencia de

la distribución límite depende de que exista

lim ,n np i j .

Es decir, si existe lim ,n np i j v j y si estos límites cumplen con que ν(j)≥0 para toda j∈S

y 1j S

v j

, entonces (ν(j),j∈S) es la distribución límite.

Antes de abordar el estudio de las condiciones bajo las cuales existe una distribución límite,

analicemos las distribuciones invariantes.

2.3.1 Distribuciones invariantes

Consideramos que una distribución de probabilidad es invariante respecto a una cadena, si al

multiplicarla por la matriz de transición de la cadena se obtiene de nuevo la misma distribución.

Antes de formalizar esta idea, veamos un ejemplo.



Ejemplo 24. Consideremos una cadena con dos estados S={0,1} y matriz de transición

1

1

p p

q q

P

Busquemos un vector ν=(ν(0),ν(1)) que multiplicado por esta matriz P obtenemos como

resultado el mismo vector.

1

0 , 1 0 1 1 , 0 1 11

p pv v v v p v q v p v q

q q

P .

Tenemos entonces que resolver el sistema:

v(0)(1-p)+v(1)q = v(0)

v(0)p+v(1)(1-q) = v(1)

-Que tiene una infinidad de soluciones. Por ejemplo (0,0), (1,p/q), etcétera.

Si agregamos la condición de que el vector v sea una distribución de probabilidad, podemos

buscar una solución, es decir:

v(0)(1-p)+v(1)q = v(0)

v(0)p+v(1)(1-q) = v(1)

v(0)+v(1) = 1

Despejando v(1) en la última igualdad y sustituyendo en la primera ecuación, obtenemos:

v(0)(1-p)+(1-v(0))q = v(0)

v(0) = (q/(p+q))

De donde se obtiene que la solución es:

v(0) = (q/(p+q))

v(1) = (p/(p+q))

¿Qué pasaría si la distribución inicial de una cadena de Markov fuera una distribución invariante

π₀=v? De acuerdo a lo que hemos visto sobre la distribución de probabilidad πn de cada Xn,

obtendríamos que

π₁ = (P(X₁=0),P(X₁=1))=vP=v

π₂ = (P(X₂=0),P(X₂=1))=(vP)P=vP=v

y

πn=v para toda n.

Por esta razón, a una distribución que cumple las condiciones mencionadas se le conoce como

distribución invariante o estacionaria de la cadena.



Definición 10. Sea {Xn} una cadena de Markov con espacio de estados S y matriz de transición

P, y sea ν=(ν(i), i∈S) una distribución de probabilidad, es decir,

0 para todo , y 1i S

v i i S v i

Decimos que v es una distribución invariante o distribución estacionaria para {Xn} si vP = v, es

decir, si

, para todo .i S

v j v i p i j j S

Observación. Una cadena de Markov puede no admitir ninguna distribución estacionaria.

Ejemplo 25.

Cadenas de nacimiento y muerte. Se presenta si su espacio de estados es S={0,1,2,…,s},

donde s puede ser finito o infinito, y sus probabilidades de transición cumplen que: p(i,j)>0

sólo si |i-j|≤1.

Usaremos la siguiente notación para las probabilidades de transición:

si 1para toda 0

si para toda 0,

si 1para toda 1

0 en otro caso

i

i

i

p j i i

r j i ip i j

q j i i

y q₀=0, ps=0 en el caso en que s<∞. Diremos entonces que pi es el parámetro de nacimiento y qi

es el parámetro de muerte. Las ri´s son números no-negativos tales que pi+ri+qi=1.

Deseamos encontrar condiciones bajo las cuales una cadena de nacimiento y muerte tiene una

distribución invariante. Supondremos que pi y qi son números positivos para todo i∈{1,2,3,…} y

que q₀=0, r₀+p₀=1.

La matriz de transición es

0 0

1 1 1

2 2 2

3 3 3

0 0 0

0 0

0 0

0 0

r p

q r p

q r p

q r p

P

Sea j=0. Al hacer el producto vP, la ecuación de invarianza toma la forma

v(0)=v(0)r₀+v(1)q₁.

Como r₀+p₀=1,



v(0) = v(0)(1-p₀)+v(1)q₁

v(1)q₁ = v(0)p₀

Para j≥1, la ecuación de invarianza conduce a:

v(j)=v(j-1)pj-1+v(j+1)qj+1+v(j)rj.

Como rj=1-pj-qj, se obtiene:

v(j) = v(j-1)pj-1+v(j+1)qj+1+v(j)(1-pj-qj)

= v(j-1)pj-1+v(j+1)qj+1+v(j)-v(j)pj - v(j)qj

Por tanto,

v(j+1)qj+1=v(j)pj+v(j)qj-v(j-1)pj-1 para j≥1.

Usando lo anterior, tenemos

1 0

2 1 1 0

1 1

1

3 2 2 1

2 2 2

2

1 0

2 1 1 0

1 1 1 1

1

3 2 2 1

2 2 2

2

v q v p

v q v p v q v p

v p v q v q

v p

v q v p v q v p

v p v q v q

v p

Un razonamiento inductivo conduce a

1

1

1

1 para 1.

j j

j

j

v j q v j p

pv j v j j

q

Por tanto, iterando se obtiene que un vector invariante es:

0

1

0 11

2 1 2

0

1 0

2 1 0

v

pv v

q

p ppv v v

q q q

Para que este vector sea una distribución de probabilidad, se requiere que v(0)>0 y



0 1 1

1 1 2

1 0 para 1.j

j S j j

p p pv j v j

q q q

Por tanto, se requiere que

0 1 1

1 1 2

10

j

j j

vp p p

q q q

Observación. El carácter invariante de un vector se puede escribir en términos de la matriz de

transición en n pasos: vPn= v, ya que:

vPn=(vP)Pn-1=vPn-1= (vP)Pn-2 =vPn-2 = …

Aunque no desarrollaremos las demostraciones, enunciaremos algunos resultados

acerca de la existencia de distribuciones invariantes en ciertos tipos de cadenas de

Markov.

Proposición 5: .Si una cadena de Markov tiene espacio de estados finito, entonces

existe al menos una distribución invariante o estacionaria.

Proposición 6:. Una cadena de Markov irreducible y recurrente positiva, tiene una

única distribución invariante y el j-ésimo elemento de esa distribución es 1

j.

2.3.2 El Teorema Fundamental de Convergencia

Existen algunas cadenas para las cuales existe limn!1 pn(i; j) para cualquier pareja de

estados i y j; y otras para las cuales este límite no

existe.

Ejemplo 26.

Analicemos el comportamiento límite de la cadena con matriz de transición:

1/ 2 1/ 2

1 0

P

Multiplicando matrices, se tiene que



2 4

8 16

0.5 0.5 0.75 0.25 0.6875 0.3125

1 0 0.5 0.5 0.625 0.375

0.66797 0.33203 66667 0.33333

0.66406 0.33594 0.66666 0.33334

P P P

P P

Es claro que al hacer crecer n, la matriz de transición tiende a

*2 / 3 1/ 3

2 / 3 1/ 3

P

Podemos observar varios hechos:

1. Los dos renglones son iguales, lo que significa que en la distribución límite no importa de

qué estado se parte, sólo a qué estado se llega, es decir:

lim 1, lim 2,n n n np j p j

2. Como ambos estados son recurrentes, se puede calcular el tiempo esperado de

recurrencia:

1

2 212 1

1 2 3

2 2 2

2 1/ 22 1 1 3

2 2 1 1/ 2n n

n n

n n

Por tratarse de una cadena irreducible y recurrente positiva, la única distribución invariante que

tiene es v = (2/3, 1/3) que es precisamente la distribución límite.

Es importante analizar qué condiciones debe cumplir una cadena de Markov estacionaria para

que tenga una distribución límite y, cuando esta exista, demostrar que se cumplen los hechos

observados en el ejemplo anterior.

El resultado básico que se usa en la demostración del Teorema Fundamental de Convergencia es un teorema conocido como Teorema de Renovación. El nombre viene del

cumplimiento de la igualdad0

n

n n k k kku a u b llamada ecuación de renovación. Esto puede

quedar justificado con el siguiente ejemplo. Ejemplo 27.

Supóngase que contamos con un lote de lámparas cuyos tiempos de vida medidos en horas,

son variables aleatorias independientes e idénticamente distribuidas X₁,X₂,X3,…, con

distribución común dada por:



0

para 0,1,2, ,

con 0 y 1

k

k k

k

P X k a k

a a

Cada lámpara será reemplazada por una nueva cuando se descomponga, de manera que los

tiempos de reemplazo son 1 1 2

1

, , , ,n

j

j

X X X X

Sea un el número esperado de reemplazos o renovaciones de lámparas hasta el tiempo n. Si el

primer reemplazo ocurre al tiempo k, entonces el número esperado de reemplazos en el tiempo

que falta hasta n será y 1n k n n ku u u con probabilidad P(X₁=k)=ak. Este razonamiento es

válido para cualquier k entre 0 y n.

Por otro lado, si la primera lámpara falla a un tiempo k∈{n+1,n+2,…}, cosa que ocurre con

probabilidad 1 kk na

, entonces el número esperado de reemplazos hasta n será cero.

Entonces, podemos calcular un descomponiendo los posibles eventos de acuerdo al tiempo de

la primera renovación, de la siguiente manera:

0 1

0 0

0 1 1 0

0

0 0

1 0

donde

n

n k k k

k k n

n n

n k k k

k k

n

n n n k

k

n n

n k k n n k

k k

n u a a

u a a

a u a u a u a

a u b b a

De la última expresión se obtiene la ecuación de renovación.

Teorema 7. Teorema de renovación: Sean {ak},{bk} y {uk} sucesiones de números reales no

negativos que satisfacen

0 0

1, y para toda .k k k

k k

a b u M k

Supóngase que mcd{n|an>0}=1 y que se cumple la ecuación de renovación0

n

n n k k kku a u b

para toda n∈{0,1,2,…}.

Entonces existe limn→∞un y se tiene que:

0

0

0

0

lim si

lim 0 si

kkn n kk

kk

n n kk

bu ka

ka

u ka



Requerimos también el siguiente lema técnico de series.

Lema 8. Si {ak} es una sucesión de números reales tal que la serie 0 kka

converge al

número a,y si {bk} es una sucesión convergente a b, entonces:

0

limn

n k n k

k

a b ab

El siguiente teorema recoge uno de los resultados más importantes en la teoría de las Cadenas

de Markov.

Teorema 9. Teorema Fundamental de Convergencia. Sea P=(p(i,j)) la matriz de transición de

una cadena de Markov aperiódica, irreducible y recurrente. Entonces para todo j ∈S,

1/ si) lim ,

0 si

1/ si) lim , para toda

0 si

j j

n n

j

j j

n n

j

a p j j

b p i j i S

Demostración. Sea j un estado arbitrario pero fijo de S. Aplicaremos el Teorema de

renovación tomando 0, , , 1 y 0 para todo entero 0.n jj n n na f n u p j j b b n .

Verifiquemos las hipótesis del teorema:

a) Por ser j recurrente, 0

1jj jjnf n f

.

b) Por construcción, 0

1 .nnb

c) Como la sucesión {un} es una sucesión de probabilidades, está acotada.

d) Por tratarse de una cadena aperiódica, mcd {n|fjj(n)>0}=1.

e) Para ver la ecuación de renovación conviene hacer notar que la probabilidad de ir de un

estado asi mismo en n pasos, se puede plantear describiendo todas las posibles

trayectorias en términos de cuándo ocurre el primer retorno a ese estado, es decir:

1 2 3

1

, 1 , 2 , 3 ,

,

n jj n jj n jj n

jj n k

k

p j j f p j j f p j j f p j j

f k p j j

Recuérdese además que 0 0jjf . Se tiene entonces que se cumple que:

0

0

, 1 y , , 0 para enteros 0,n

n jj n k

k

p j j p j j f k p j j n

Que es la ecuación de renovación.



Por tanto, como 0

,j nnnp j j

, concluimos que:

1

lim , si

0 si

n n j

j

j

p j j

(Esta es la razón por la que cuando μj= 0 al estado j le llamamos recurrente nulo.)

Para la segunda parte del Teorema, sea limn→∞pn(j,j)=λ. Un razonamiento análogo al que se hizo

antes, permite describir todas las trayectorias en n pasos de i a j usando el tiempo del primer

arribo, para obtener:

0

, , .n ij n k

k

p i j f k p j j

Además, como la cadena es irreducible y recurrente, se tiene que

0

1.ij

k

f k

Por el lema técnico sobre series tenemos que

0

lim , lim , 1n n n ij n k

k

p i j f k p j j

Observación. Ya vimos que el vector cuya i-ésima componente es 1/μj es una distribución

invariante, así que, si la cadena es irreducible, recurrente positiva y aperiódica, la distribución

límite es la única distribución invariante que tiene la cadena.

Veamos algunas de las consecuencias inmediatas de este importante teorema:

Corolario 9.1 Si una cadena {Xn} es irreducible y tiene una distribución invariante, entonces

es recurrente positiva.

Demostración. Sea v = (v(j), j∈S) la distribución invariante.

Si existiera un estado transitorio, entonces todos los estados serían transitorios, es decir

lim , 0 para cualquier pareja , .n np i j i j S

Por ser v invariante,

,n

i S

v j v i p i j

para todo número natural n. En consecuencia, por el Teorema de Convergencia Dominada

para series, tendríamos que



lim lim ,

lim , 0.

n n n

i S

n n

i S

v j v j v i p i j

v i p i j

Esto contradice el hecho de que v sea una distribución. Por tanto, todo estado es recurrente.

Si fuera recurrente nula, por el Teorema Fundamental de Convergencia, de nuevo se tendría

que:

lim , 0 para cualquier pareja , .n np i j i j S

Por lo tanto, todos los estados son recurrentes positivos.

Corolario 9.2 La característica de ser recurrente positiva es una propiedad de clase, es decir,

para i↔j:

1. Si i es recurrente positivo, entonces j es recurrente positivo.

2. Si i es recurrente nulo, entonces j es recurrente nulo.

Por tanto, una cadena irreducible y aperiódica que tiene distribución invariante, es recurrente

positiva y esa distribución invariante es la distribución límite.

A una cadena irreducible, aperiódica y recurrente positiva, se le conoce como cadena

ergódica, y el Teorema Fundamental de Convergencia también se conoce como Teorema

Ergódico.

Ejemplo 28.

Sea S = {1, 2, 3} y

1/ 2 0 1/ 2

1 0 0

0 1 0

P

Es claro que la cadena es irreducible, recurrente positiva y aperiódica, por lo tanto, tiene

distribución límite y para obtenerla, buscamos la única distribución invariante:

que conduce al sistema:

11 1 2

2

2 3

13 1

2

1 2 3 1

v v

v v v

v v

v v

v v v

P

Resolviendo, obtenemos: v(1) = ½, v(2) = ¼, v(3) = ¼. De manera que la distribución límite es:



* 1 1 1, ,

2 4 4v

.

2.3.3 Aplicaciones

Un resultado adicional que contribuye a darle un significado concreto a la distribución

límite, es el que a veces se identifica como la Ley de los Grandes Números para

Cadenas de Markov que establece que cada componente de la distribución límite es la

fracción de tiempo límite que la cadena pasa en el estado correspondiente.

Es decir, si ()es el número de visitas al estado hasta el instante entonces

*lim .

n

n

N ti

n

Ejemplo 29.

Cada día, Laura está alegre (A), más o menos (M) o triste (T).

Si hoy estuvo alegre, mañana está de nuevo alegre con probabilidad 0.5, está más o

menos con probabilidad 0.4 y está triste con probabilidad 0.1.

Si hoy se sintió más o menos, las probabilidades de que mañana esté alegre, más o

menos y triste son 0.3, 0.4 y 0.3 respectivamente.

Y si hoy estuvo triste las probabilidad de que mañana esté alegre, más o menos o triste

son 0.2, 0.3 y 0.5 respectivamente.

A la larga, ¿cuál es la proporción de tiempo que Laura pasa en cada estado de ánimo?

De acuerdo a la descripción, la matriz de transición de la cadena es:

0.5 0.4 0.1

0.3 0.4 0.3

0.2 0.3 0.5

P

Es claro que se trata de una cadena irreducible, aperiódica y recurrente positiva. Para

encontrar la distribución estacionaria resolvemos el sistema.

0 0.5 0 0.3 1 0.3 2

1 0.4 0 0.4 1 0.3 2

2 0.2 0 0.3 1 0.5 2

1 0 1 2

v v v v

v v v v

v v v v

v v v

Se obtiene:



21 21 18

0 1 262 62 62

v v v

Que son las proporciones de tiempo que Laura pasa, a la larga, en cada estado de

ánimo.

Ejemplo 30. Cada vez que tiene un viaje, un taxista se mueve entre el Aeropuerto (A) y los

hoteles B y C con las siguientes probabilidades: si está en el aeropuerto, se dirige a cada uno

de los hoteles con la misma probabilidad. Si está en cualquiera de los hoteles, con probabilidad

3/4 va al aeropuerto y con probabilidad 1/4 va al otro hotel. N este ejemplo haremos lo

siguiente:

(a) Determinar la matriz de transición de la cadena fg donde es el lugar en el que el

taxista termina el -ésimo viaje, es decir, 0 es la posición inicial, 1es donde terminó el

primer viaje y ahí iniciará el segundo viaje, 2es el lugar donde terminó el segundo viaje

y ahí iniciará el tercer viaje, y así sucesivamente.

(b) Si al tiempo =0 está en el aeropuerto, determinar la distribución de probabilidad del

lugar donde inicia el tercer viaje.

(c) Si al tiempo =0 está en el aeropuerto, calcular la probabilidad de que después de tres

viajes esté de nuevo en el aeropuerto.

(d) Calcule la proporción de tiempo que el taxista pasa en cada uno de los lugares que

visita

Solución.

a)

0 1/ 2 1/ 2

3 / 4 0 1/ 4

3 / 4 1/ 4 0

P

b) Se debe encontrar la distribución de X2:

2

2 2 2 2 0

2

, , .

0 1/ 2 1/ 2 0 1/ 2 1/ 2 3 / 4 1/ 8 1/ 8

3 / 4 0 1/ 4 3 / 4 0 1/ 4 / 3 /16 7 /16 3 / 8

3 / 4 1/ 4 0 3 / 4 1/ 4 0 316 3 / 8 7 /16

P X A P X B P X C

P

P



Como empieza en el aeropuerto, se tiene que 0 1,0,0 , por lo que:

2

3 / 4 1/ 8 1/ 83 1 1

1,0,0 3 /16 7 /16 3 / 8 , , .4 8 8

3 /16 3 / 8 7 /16

c) Hay dos formas de que, empezando en el aeropuerto, después de tres viajes esté en el

aeropuerto: o bien ,A B C A A C B A y cada una de estas trayectorias

ocurre con probabilidad 1(1/2)(1/4)(3/4) = 3/32. Así que:

3 0

6 3.

32 16P X A X A

c) Se trata de una cadena irreducible. Como su espacio de estados es finito, es una

cadena recurrente positiva. Además, se puede pasar de A a A con probabilidad positiva

en 2 pasos, en 3 pasos, en 4 pasos, etc. Por tanto, es aperiódica. Luego, para encontrar

la distribución límite se requiere buscar una distribución invariante.

El sistema a resolver es:

1 1

2 2

3 1

4 4

3 1

4 4

1

v A v B v C

v B v A v C

v C v A v B

v A v B v C

La solución es * 1/ 3,1/ 3,1/ 3v .

Ejemplo 31.

Una persona se traslada todos los días de su casa a la oficina en la mañana y de la oficina a su

casa en las tardes. Aunque esta persona dispone de un coche, lo deja estacionado en su casa

o en su oficina cuando al salir de alguno de estos lugares no está lloviendo, caso en el cual

prefiere caminar.

Lo usa para cualquiera de los dos traslados cuando llueve, siempre y cuando el coche esté en

el lugar en el que él se encuentra en ese momento. La probabilidad de lluvia es siempre igual a

p, tanto por la mañana como por la noche e independientemente de cualquier otro evento. En

este ejemplo vamos a calcular la proporción de viajes a largo plazo en los cuales la persona se

moja por tener que caminar bajo la lluvia.

Solución. Definimos los estados: S = {CL, CN, NL, NN} que representan lo siguiente:

CL: tiene coche y llueve



NL: no tiene coche y llueve

CN: tiene coche y no llueve

NN: no tiene coche y no llueve.

Es claro que se moja en el estado NL. La matriz de transición es:

1 0 0

0 0 1

1 0 0

1 0 0

p p

p p

p p

p p

P

Para obtener el primer renglón de esta matriz, partimos de que la cadena está en el estado CL

es decir, tiene coche y llueve. Suponiendo que está en su casa, usará el coche para

trasladarse a la oficina y pasará al estado CL si al salir de la oficina llueve de nuevo y pasará al

estado CN si al salir de la oficina no llueve. No puede pasar a los estados NL y NN porque trae

el coche.

Nótese que estas probabilidades de transición serían iguales si en lugar de empezar en su

casa, empezara en la oficina. De manera análoga se calculan las otras probabilidades de

transición.

Se trata de una cadena irreducible, aperiódica y recurrente positiva, así que podemos encontrar

su distribución límite resolviendo el sistema:

1 1 3 4

2 1 1 1 3 1 4

3 2

1 1 2 3 4

v pv pv pv

v p v p v p v

v pv

v v v v

Y la solución es

2

*1 11

, , ,2 2 2 2

p p pp pv

p p p p

, así que la proporción de tiempo que

a la larga pasa en el estado NL es p(1-p)/(2-p).

Actividad 4. Determinación de distribuciones límite

En esta actividad aplicarás lo aprendido acerca de la existencia y determinación de

distribuciones de límite o estacionarias.

Instrucciones:



1. Descarga el documento “Act. 4. Determinación de distribuciones límite”.

2. Revisa las instrucciones de la actividad, y resuelve lo que se solicita.


las XX por las dos primeras letras de tu primer nombre, y la Y por la inicial de tu apellido

y la Z por la inicial de tu apellido materno.

3. Espera la retroalimentación de tu Facilitador(a).

Autoevaluación

Es momento de realizar la Autoevaluación, lo que te permitirá recordar los conocimientos

adquiridos durante la unidad.

Instrucciones: Analiza cada una de las cadenas de Markov que se describen en la

siguiente tabla y arrastra las palabras que permitan completar correctamente la tabla.

Cada palabra puede ser usada varias veces.

Cadena de Markov ¿Aplica el

Teorema

Fundamental de

Convergencia?

¿Qué

hipótesis

no se

cumplen?

1/ 2 0 0 0 1/ 2

0 1/ 3 1/ 3 1/ 3 0

1,2,3,4,5 y 0 1/ 2 0 1/ 2 0

0 1 0 0 0

1/ 4 0 0 0 3 / 4

S

P

0 1 0

1,2,3 y 1 0 0

0 1 0

S

P

0 1/ 2 1/ 2 0

1/ 3 0 1/ 3 1/ 31,2,3,4 y

0 1/ 2 0 1/ 2

1/ 4 1/ 4 1/ 4 1/ 4

S

P



1/ 2 1/ 2 0 0 0

1/ 3 1/ 3 1/ 3 0 0

1,2,3, y 0 1/ 4 1/ 4 1/ 2 0

0 0 1/ 5 1/ 5 3 / 5

S

P

Banco de palabra

Si No Ninguna Aperiodicidad

Recurrencia positiva Irreducibilidad Recurrencia

Para comparar tus respuestas, revisa el documento “Respuestas_autoevaluación_U2,

ubicada en la pestaña de Material de Apoyo.

Retroalimentación

1-4 aciertos. Los conocimientos obtenidos no fueron suficientes, debes revisar nuevamente el contenido de la unidad. 4-8 aciertos. Tienes un conocimiento claro de los conocimientos de la Unidad ¡Sigue

adelante!.

Evidencia de aprendizaje. Análisis y predicción

A través de esta actividad, podrás recordar y aplicar los conocimientos adquiridos

durante la unidad, para resolver problemas representados en diversos contextos.

Instrucciones:

1. Descarga el documento llamado “EA. Análisis y predicción”

2. Realiza lo que se pide en cada uno de los problemas que se presentan. Escribe el

procedimiento completo en cada caso.

3. Guarda y envía tu documento con la nomenclatura MPES_U2_EA_XXYZ.

Sustituye las XX por las dos letras de tu primer nombre, la Y por la inicial de tu

apellido paterno y la Z por la inicial de tu apellido materno.

4. Envía tu reporte al portafolio de evidencias y espera la retroalimentación de tu

Facilitador(a), atiende sus comentarios y reenvía la nueva versión de tu evidencia.



5. Consulta la Escala de Evaluación para conocer los criterios con que será evaluado

tu trabajo.

Autorreflexiones

Al finalizar, consulta el Foro: Preguntas de Autorreflexión para realizar el ejercicio

correspondiente y enviarlo a través de la herramienta Autorreflexiones. Recuerda que también

se toman en cuenta para la calificación final.

Cierre de la unidad

En esta unidad estudiaste las cadenas de Markov estacionarias, conociste la relación de

comunicación entre estados y las clases de equivalencia que esa relación induce en el espacio

de estados S.

Se clasificaron los estados en recurrentes o transitorios de acuerdo al valor de la probabilidad

de que la cadena regrese al estado en algún momento. Se identificaron los estados recurrentes

positivos y recurrentes nulos de acuerdo al valor del tiempo esperado de recurrencia.

Se estudió el periodo de cada clase de comunicación y las distribuciones invariantes.

Se analizaron diversas relaciones entre todas las características mencionadas, de las cuales el

resultado principal es el Teorema Fundamental de Convergencia que establece que una

cadena irreducible, aperiódica y recurrente positiva, tiene una distribución límite y ésta coincide

con su única distribución invariante. A las cadenas que tienen las características anteriores se

les llama cadenas ergódicas.

Para saber más

En la liga http://www.math.duke.edu/~rtd/EOSP/EOSP2E.pdf encontrarás uno de los libros de las

referencias bibliográficas de esta unidad, mismo que te será útil en todos los temas que se

abordan en esta asignatura.

En la siguiente liga encontrarás una breve biografía de Andrei Andreevich Markov, creador de

las bases de la teoría que conociste en esta unidad.

http://investigaciondeoperaciones2.wordpress.com/category/cadenas-de-markov/

http://www.math.duke.edu/~rtd/EOSP/EOSP2E.pdf

http://investigaciondeoperaciones2.wordpress.com/category/cadenas-de-markov/



El video de la siguiente liga, presenta una breve exposición de los elementos más importantes

de una cadena de Markov

http://www.youtube.com/watch?v=Eaw2MnlUvoc

ReferenciasBibliográficas Chung, K.L. (1960) Markov Chains with Stationary Transition Probabilities. Springer.Berlín.

Durret, R. (2011) Essential of Stochastic Processes. Segunda edición.Springer. New York.

Isaacson D.L., Madsen R.W. (1981) Markov Chains Theory and Applications.John Willey &

Sons. New York.

Ross, S.M. (1992) Applied Probability Models with Optimizarion Applications.Dover Publications

Inc. Toronto.

http://www.youtube.com/watch?v=Eaw2MnlUvoc

U2.cadenas de markov_a_tiempo_discreto

Education

Transcript of U2.cadenas de markov_a_tiempo_discreto