Capıtulo 3:

Cadenas de Markov.

Una propiedad de especial importancia que poseen los ya estudiados caminos aleatoriosy procesos de ramificacion, es que sus valores en el n−esimo paso solo dependen delos valores en el (n − 1)−esimo paso, y no de los anteriores. Esta propiedad conocidacomo propiedad markoviana es de gran importancia en el estudio de estos procesos, yen el estudio general de la teorıa de procesos estocasticos, y por ello prestamos especialdedicacion en este capıtulo. A lo largo del capıtulo se supondra que trabajamos conprocesos de parametro discreto, que toman valores discretos en un conjunto numerable.

3.1. Cadenas de Markov

Definicion 3.1 Un proceso X = {Xn : n ≥ 0}, es una cadena de Markov si satisfacela siguiente condicion, llamada condicion de Markov:

P (Xn = xn|X0 = x0, X1 = x1, . . . , Xn−1 = xn−1) = P (Xn = xn|Xn−1 = xn−1)

∀n ≥ 1 y ∀x0, x1, . . . , xn−1, xn ∈ S.

Observacion: Intuitivamente, se interpreta esta ecuacion como que, dado el “presente”del proceso, el “futuro” es independiente del “pasado”. Es decir, una cadena de Markoves una sucesion de v.a. que “ven el pasado a traves del ultimo suceso”.

Nota 3.1 La propiedad markoviana es equivalente a cualquiera de las siguientespropie-dades:

1. P (Xn = xn|Xn1 = xn1 , Xn2 = xn2 , . . . , Xnk= xnk

) = P (Xn = xn|Xnk= xnk

)

∀n ≥ 0, ∀k; 0 ≤ n1 ≤ n2 ≤ . . . ≤ nk ≤ n; xn1 , . . . , xnk, xn ∈ S.

2. P (Xn+m = xn+m |X0 = x0, . . . , Xn = xn) = P (Xn+m = xn+m |Xn = xn)

∀n ≥ 0, m ≥ 1; x0, . . . , xn, xn+m ∈ S.

Es decir, el valor en el instante n−esimo depende solamente de la ultima observacion,que no tiene porque ser la del instante (n − 1)−esimo.

41

Nota 3.2 La evolucion de una cadena de Markov viene descrita por sus “probabilidadesde transicion”, pn

ij = P (Xn+1 = j |Xn = i), que en un principio dependen de n, i y j.Restringiremos nuestro estudio al caso de que no dependa de n , y solo sean relevantes iy j.

No obstante, senalar que cuando las probabilidades de transicion dependan de la etapan, se dira que la cadena de Markov es no homogenea.

Definicion 3.2 Diremos que una cadena de Markov X es homogenea si

P (Xn+1 = j |Xn = i) = P (X1 = j |X0 = i) ∀n,

es decir, la probabilidad de transicion no depende de la etapa n.

Nota 3.3 A partir de ahora consideraremos que todas las cadenas de Markov que tratemosson homogeneas, a no ser que se diga explıcitamente lo contrario.

Definicion 3.3 Dada una cadena de Markov X , definimos su matriz de transicion,

P, como la matriz de las probabilidades de transicion de dimension |S| × |S|, Estoes:

P = (pij)i,j∈S donde pij = P (X1 = j |X0 = i).

Ejemplo: (El clima en la tierra de Oz)

Segun el cuento, en la tierra de Oz nunca hay dos dıas seguidos con buen tiempo. Aun dıa soleado siempre le sigue (con igual probabilidad) un dıa de lluvia o nieve. Por otraparte, si un dıa tenemos mal tiempo hay 2 posibilidades, que el tiempo sea el mismo al dıasiguiente o que cambie. De este modo, si un dıa nieva (o llueve) al dıa siguiente nevara (ollovera) con probabilidad 1

2; pero si cambia el tiempo solo la mitad de las veces sera un

dıa soleado.

Resolucion:

Sea Xn ≡ Tiempo en la tierra de Oz el dıa n-esimo.

(Xn) es una cadena de Markov, ya que el tiempo en el dıa n-esimo solodependera del tiempo que haga el dıa anterior.

Para estudiar este problema, en primer lugar calculamos las probabilidades de tran-sicion; es decir, las probabilidades de que teniendo cierto tiempo un dıa determinado aldıa siguiente el tiempo cambie. Para ello, notaremos por s si el dıa esta soleado, con l sillueve y con n si nieva.

42

pss = 0 de un dıa soleado a un dıa soleadopsl = 1/2 de un dıa soleado a un dıa lluviosopsn = 1/2 de un dıa soleado a un dıa con nievepll = 1/2 de un dıa lluvioso a un dıa lluviosopls = 1/4 de un dıa lluvioso a un dıa soleadopln = 1/4 de un dıa lluvioso a un dıa con nievepnn = 1/2 de un dıa con nieve a un dıa con nievepnl = 1/4 de un dıa con nieve a un dıa lluviosopns = 1/4 de un dıa con nieve a un dıa soleado

Ordenamos todos estos datos en la siguiente tabla:

s l ns 0 1/2 1/2l 1/4 1/2 1/4n 1/4 1/4 1/2

donde las filas indican el tiempo en un dıa determinado, las columnas el tiempo quehace al dıa siguiente y las entradas son las probabilidades de cambio o transicion.

A partir de aquı obtenemos la matriz de transicion:

P =

0 1/2 1/2

1/4 1/2 1/41/4 1/4 1/2

Ejemplo: Sea el proceso estocastico X = {Xn : n ≥ 0}, definido por:

P (Xn = j |Xn−1 = i) =

p si j = i + 1q si j = i0 en casao contrario

donde q = 1 − p.

Tenemos que,

P (Xn = j |Xn−1 = i, Xn−2 = xn−2, . . . , X0 = x0) = P (Xn = j |Xn−1 = i)

Luego verifica la condicion de Markov.

Veamos ahora la matriz de transicion. Dado que S = {0, 1, 2, . . .}, la matriz de transi-cion va a ser de dimension infinita:

43

P =

q p 0 0 · · · 0 · · ·0 q p 0 · · · 0 · · ·0 0 q p · · · 0 · · ·...

......

. . .. . .

......

0 0 0 0 q p · · ·0 0 0 0 0 q · · ·...

......

......

.... . .

Proposicion 3.1 La matriz de transicion de una cadena de Markov P es una matriz

estocastica, es decir, verifica:

Cada elemento de P es no negativo,

pij = P (Xn+1 = j |Xn = i) ≥ 0; ∀i, j ∈ S.

Cada fila de P suma 1,

∑

j∈S

pij =∑

j∈S

P (X1 = j |X0 = i) = 1

Estudiaremos las cadenas de Markov a “corto plazo” y a “largo plazo”. Como yahemos visto, la matriz de transicion nos permite el estudio a “corto plazo”, describiremosla evolucion a “largo plazo” como sigue:

Definicion 3.4 La matriz de transicion del n-esimo paso, Pn = (pij(n)), es lamatriz de las probabilidades de transicion en el n−esimo paso desde el origen,

pij(n) = P (Xn = j |X0 = i)

Es decir, es la probabilidad de partiendo de i llegar a j en n pasos.

Nota 3.4 Trivialmente P1 = P.

En el siguiente teorema, mostraremos la relacion que existe entre el desarrollo a “largoplazo” y el desarrollo a “corto plazo”, y veremos como Xn depende de la variable inicialX0.

Teorema 3.1 (Ecuaciones de Chapman-Kolmogorov)

pij(m + n) =∑

k∈S

pik(m)pkj(n)

44

Demostracion:

pi,j(m + n) = P (Xn+m = j |X0 = i)prob. total

=

=∑

k∈S

P (Xn+m = j, Xm = k |X0 = i)

P (A ∩ B|C) = P (A|B ∩ C)P (B|C)︸ ︷︷ ︸

↓

=

=∑

k∈S

P (Xn+m = j |Xm = k, X0 = i)P (Xm = k|X0 = i)cond. Markov

=

=∑

k∈S

P (Xn+m = j |Xm = k)P (Xm = k|X0 = i) =

=∑

k∈S

pik(m)pkj(n)

Nota 3.5 De aquı se deduce que Pm+n = PmPn y, por lo tanto, que Pn = Pn.

Estudiaremos ahora la funcion de probabilidad de la variable aleatoria Xn, notaremos

xni = P (Xn = i) ≡ Probabilidad de que la cadena en la etapa n este en el estado i.

xn = (xn1 , . . . , xn

|S|).

Veamos la relacion que hay entre xni y la matriz de transicion.

Lema 3.1 xm+n = xmPn y, por lo tanto, xn = x0Pn.

Demostracion:

xm+nj = P (Xm+n = j)

P.T.=∑

i∈S

P (Xm+n = j, Xm = i) =

=∑

i∈S

P (Xm+n = j |Xm = i)P (Xm = i) =∑

i∈S

xmi pij(n) = (xmPn)j = (xmPn)j.

Observacion: La evolucion aleatoria de una cadena de Markov queda completamentedeterminada por su matriz de transicion P y su distribucion de densidad inicial x0.

Por lo tanto, el estudio de las cadenas de Markov es reducible al estudio algebraico delas propiedades de las matrices de transicion.

Ejemplo: Camino Aleatorio.

S = {0,±1,±2, . . .}. Partıcula que se mueve hacia arriba o hacia abajo.

pij =

p si j = i + 1q si j = i − 10 e.c.c.

P = (pij)

45

• Calcular la matriz de transicion del n−esimo paso.

Podrıamos intentar calcular Pn partiendo de la matriz anterior por sucesivas multipli-caciones, pero en este caso podemos proceder:

Si hubiese u pasos hacia arriba, tenemos

pij(n) =

(nu

)puqn−u

como j − i = u − (n − u) ⇒ j − i = 2u − n ⇒ u =j − i + n

2∈ Z. Por tanto:

pij(n) =

(n

n+j−i

2

)p

n+j−i2 q

n−j+i2 si n + j − i par

0 en caso contrario

Ejemplo: Numero de caras en sucesivos lanzamientos de una moneda.

Sea la cadena Y = {Yn : n ≥ 0}, con Y0 = 0, que representa el numero de caras en nlanzamientos.

P (Yn+1 = s + 1 |Yn = s) = p

P (Yn+1 = s |Yn = s) = q = 1 − p

}

∀n ≥ 0; 0 < p < 1.

• Calcular pij(m):

pij(m) = P (Yn+m = j |Yn = i) =

(m

j − i

)pj−iqm−j+i, j ≥ i.

Luego que en m lanzamientos salgan j − i caras ∼ Bi(m, p).

Ejemplo: Si perturbamos el proceso anterior y definimos,

X = {Xn : n ≥ 0}

donde Xn = Yn(mod. 10).

En este caso, tenemos solo 10 estados, S = {0, 1, . . . , 9}. Luego la matriz de transicion esde orden 10 × 10:

P =

q p 0 0 · · · 00 q p 0 · · · 00 0 q p · · · 0...

......

. . .. . .

...0 0 0 · · · q pp 0 0 · · · 0 q

46

Ejemplo:El nivel de negocio de la Bolsa puede considerarse cada dıa alto (A) o bajo (B). Para un

periodo de 5301 dıas se dispone de la secuencia BAABBA..., y que nos permite representarla alternancia mediante el cuadro adjunto:

B AB 3077 543A 588 1092

¿Podrıa indicar alguna relacion entre la duracion de ciclos de dıas de nivel alto con losdıas de nivel bajo a tenor de dichos datos?

Debemos normalizar la matriz por filas:

B AB 0.85 0.15A 0.35 0.65

= P

Supongamos que la bolsa esta regida por dicho matriz de probabilidad.

Si la bolsa esta baja ⇒ la probabilidad de que al dıa siguiente este baja es 0.85.

Si elevamos la matriz al cuadrado, P2, significa el pasar de A a B o de B a A en dos dıas.Si vamos calculando potencias de P, veamos por ejemplo P8,

P8 =

359

512

153

512357

512

155

512

observamos que las dos filas se van pareciendo cada vez mas, el sistema se va estabilizando.

Nosotros estamos interesados en lo que ocurre en el lımite, es decir,

lımn→∞

Pn =

[0.7 0.3

0.7 0.3

]

(se obtiene resolviendo πP = π).

Esto va a representar la fraccion de tiempo que la bolsa esta en B y la fraccion de tiempoque la bolsa esta en A. Entonces nos dice que la bolsa esta mas tiempo en baja que enalta.

Nota 3.6 πi ≡ probabilidad estacionaria de estar en el estado i.

Siendo µi =1

πi

≡ frecuencia que tarda en ser visitado el estado i.

47

Ası,

µ1 = 1.4 → la bolsa tarda en volver a baja 1.4 dıas.

µ2 = 3.3 → la bolsa tarda en volver a alta 3.3 dıas.

}

⇒

⇒ tarda en volver a alta mas del doble que en volver a baja.

Nota 3.7 Nos interesa, para estos modelos, ver si se ajusta a una cadena de Markov y,en tal caso, hallar la matriz de transicion y su comportamiento lımite.

Ejemplo: Un taller de reparacion se ocupa de dos tipos de motores. La reparacion de unmotor de tipo M1 requiere dos dıas y la del tipo M2 solo un dıa. La probabilidad de averıapara los motores de tipo uno es de 1/3 mientras que es de 1/2 para los de tipo dos.Los trabajos no admitidos en el taller se encargan al exterior.Sabiendo que si una jornada de reparacion ha sido asignada a un motor de tipo uno, serechaza todo trabajo que pueda presentarse al dıa siguiente; en otro caso se admitira cual-quier tarea si no se presenta mas que una.Decidir que polıtica es mejor: dar prioridad a los motores de tipo uno (dos) cuando sepresenten para su reparacion motores de ambos tipos.

Podemos tener el taller sin trabajo, con un motor de tipo 1 en un dıa,con un motor detipo 1 en dos dıas o con un motor de tipo 2. Al dıa siguiente el taller puede estar en tresestados distintos, de los cuatro posibles . Intentemos determinar la matriz de transiciondando prioridad al motor de tipo 1, M1:

0 1 2 3NO TRABAJO

ESTADO: 0

(1 − 1

3

) (1 − 1

2

)13

0 12

(1 − 1

3

)

M1(1)ESTADO: 1

0 0 1 0

M1(2)ESTADO: 2

(1 − 1

3

) (1 − 1

2

)13

0 12

(1 − 1

3

)

M2

ESTADO: 3

(1 − 1

3

) (1 − 1

2

)13

0 12

(1 − 1

3

)

1/3 1/3 0 1/3

0 0 1 0

1/3 1/3 0 1/3

1/3 1/3 0 1/3

Dando prioridad al motor de tipo 2, M2, tenemos:

48

1/3 1/6 0 1/2

0 0 1 0

1/3 1/6 0 1/2

1/3 1/6 0 1/2

El taller tiene dos comportamientos segun elijamos la polıtica de dar prioridad a M1 o aM2, que estan regidos por las dos matrices de transicion.

Si calculamos la matriz lımite, haciendo π = πP tenemos:

π =

[1

4,

1

4,

1

4,

1

4

]para el primer caso.

π =

[2

7,

1

7,

1

7,

3

7

]para el segundo caso.

Ası, dado que no queremos tener mucho tiempo el taller parado, nos interesa la polıtica

del tipo 1, pues a largo plazo tiene mas ocupado el taller,

(2

7>

1

4

).

3.2. Clasificacion de estados.

Podemos pensar en el desarrollo de una cadena como el movimiento de un partıculaque salta entre los estados de S en cada momento. Nos interesaremos por el numero(posiblemente infinito) de instantes que tarda la partıcula en regresar a su punto deorigen. Sin embargo, ¿ha de volver la partıcula a su punto inicial? Con esta pregunta enmente realizamos la siguiente definicion.

Definicion 3.5 El estado i es persistente ( o recurrente) si:

P (Xn = i para algun n ≥ 1 |X0 = i) = 1

es decir, si la probabilidad de que la partıcula regrese al estado i, habiendo empezado eni, es 1. Si el estado i no es persistente lo llamaremos al estado transitorio, es decir, siesta probabilidad es menor que la unidad.

Tambien estamos interesados en el numero de pasos hasta la primera visita al estadoj partiendo del estado i. La probabilidad de que partiendo del estado i lleguemos porprimera vez al estado j en n pasos la representamos por:

{fij(n) = P (X1 6= j, X2 6= j, . . . , Xn−1 6= j, Xn = j |X0 = i)

fij(0) = 0

49

Notaremos la probabilidad de que partiendo del estado i alcancemos alguna vez elestado j sera:

fij =∑

n≥1

fij(n)

Claro es que el estado i es persistente si y solo si fii = 1.Ahora buscamos un criterio para determinar si un estado es persistente o no, basando-

nos en las probabilidades de transicion. Como ya hicimos en las caminos aleatorios, defi-nimos las siguientes funciones generatrices:

Pij(s) =∑

n≥0

pij(n)sn

Fij(s) =∑

n≥1

fij(n)sn

Con la convencion de que pij(0) = δij (delta de Kronecker) y fij(0) = 0 ∀i, j ∈ S.Claramente se tiene que

fij = Fij(1).

A continuacion, veremos que se verifican relaciones analogas al caso de los caminosaleatorios entre las dos funciones generatrices Fij y Pij .

Teorema 3.2 Se verifican las siguientes relaciones:

1. Pii(s) = 1 + Pii(s)Fii(s).

2. Pij(s) = Pjj(s)Fij(s) si i 6= j.

Demostracion:

Fijamos i, j ∈ S, sea Am = {Xm = j} y Bm el suceso de que la primera visita a jocurra en el instante m, es decir, Bm = {Xr 6= j para 1 ≤ r < m, Xm = j}. Los Bm sondisjuntos luego tenemos:

P (Am |X0 = i)P.T.=

m∑

r=1

P (Am ∩ Br |X0 = i)

Utilizando la propiedad de Markov y la definicion de probabilidad condicionada tenemos:

P (Am ∩ Br |X0 = i) = P (Am |Br ∩ X0 = i)P (Br |X0 = i) =

= P (Am |Xr = j)P (Br |X0 = i) = pjj(m − r)fij(r)

Ası pues:

pij(m) = P (Am |X0 = i) =m∑

r=1

pjj(m − r)fij(r), ∀m ≥ 1.

50

Ahora basta multiplicar por sm y sumar en m aplicando las propiedades sobre convolucionpara llegar a lo que querıamos. Ası,

∞∑

m=1

pij(m)sm =

∞∑

m=1

m∑

r=1

pjj(m − r)fij(r)sm =

=∞∑

r=1

∞∑

m=r

pjj(m − r)sm−rfij(r)sr =

=

∞∑

m=r

pjj(m − r)sm−r

∞∑

r=1

fij(r)sr.

Luego,

Pij(s) − δij = Pjj(s)Fij(s).

Veamos ahora como caracterizamos los estados a partir de las probabilidades de tran-sicion.

Corolario 3.1 Los estados de una cadena de Markov se clasifican en:

1. Un estado j es persistente ⇐⇒∞∑

n=0

pjj(n) = ∞. Ademas, en este caso:

∞∑

n=0

pij(n) = ∞, ∀i tal que fij > 0.

2. Un estado j es transitorio ⇐⇒∞∑

n=0

pjj(n) < ∞. Ademas,

∞∑

n=0

pij(n) < ∞, ∀i.

Demostracion:

1. Sea I{Xn=i} la variable indicador de {Xn = i}.

I{Xn=i} =

{1 si Xn = i0 si Xn 6= i

}

I{Xn=i} ≈ Be(p) ; con p = P [Xn = i|X0 = i]

51

Sea Ni el numero de veces que se visita el estado i (dado X0 = i)

E[Ni] = E[

∞∑

n=0

I{Xn=i}|X0 = i] =

∞∑

n=0

E[I{Xn=i}|X0 = i] =

∞∑

n=0

P [Xn = i|X0 = i] =

∞∑

n=0

pii(n) = ∞ (∗)⇐⇒ i es recurrente.

Ya solo quedarıa probar el paso (∗):

P [Ni = n] = fn−1ii (1 − fii) ; n = 1, 2, ...

Ni ≈ Ge(p) ; p = 1 − fii.

N(i) ≈ Ge(p) =⇒ E[Ni] =1

p=⇒ E[Ni] =

1

1 − fii

E[Ni] = ∞ ⇐⇒ fii = 0 ⇐⇒ i es recurrente.

Del apartado 1. del teorema 3.2 tenemos que Pjj(s) =1

1 − Fjj(s), ∀|s| < 1. Entonces,

si tomamos lımite tenemos

lıms→1

Pjj(s) = ∞ ⇔ lıms→1

Fjj(s) = 1 ⇔ fjj = 1

es decir,

Pjj(1) =

∞∑

n=0

pjj(n) = ∞ ⇔ j es persistente.

Cuando i 6= j se tiene

Pij(s) = Fij(s)Pjj(s)s→1=⇒

∞∑

n=0

pij(n) = fij︸︷︷︸∨0

∞∑

n=0

pjj(n) = ∞.

Para b,razonamos por exclusion, si la suma es infinita ⇒ el estado es persistente. Portanto, si la suma es finita ⇒ el estado sera transitorio.

Corolario 3.2 Si j es transitorio ⇒ pij(n)n→∞−→ 0, ∀i.

Demostracion:

Basta aplicar el corolario anterior:

j es transitorio ⇔∞∑

n=0

pjj(n) < ∞, ∀i ⇒ pij(n)n→∞−→ 0, ∀i.

52

Observacion: Ası pues cada estado es o persistente o transitorio. Es intuitivamente claroque el numero N(i) de veces que la cadena visita el estado i satisface:

P (N(i) = ∞) =

{1 si i es persistente0 si i es transitorio

Ya que tras cada visita a i el regreso es cierto si y solo si fii = 1, es decir, si i es persistente.

Supongamos {Xn : n ≥ 0} una cadena de Markov tal que X0 = i. Otra forma declasificar los estados es a traves de la variable que nos indica el numero de instantes antesde la primera visita al estado i :

Ti = mın{n ≥ 1 : Xn = i}

Tomamos el convenio de que Ti = ∞ cuando tal visita nunca ocurra.Tenemos que P (Ti = ∞|X0 = i) > 0 si y solo si i es transitorio, y en este caso,

E[Ti |X0 = i] = ∞.

Definicion 3.6 Definimos el tiempo medio de recurrencia µi del estado i como:

µi = E[Ti |X0 = i] =

∞∑

n=0

nfii(n)

es decir, como el numero de instantes esperado para regresar al estado i por primeravez.

Nota 3.8 Si i es transitorio =⇒ µi = ∞.

Nota 3.9 Puede darse el caso de que siendo i persistente el tiempo medio de recurrencia,µi, sea infinito; siendo este el caso en el que aunque el regreso a i es cierto se necesita untiempo infinito. Ası pues, realizamos la siguiente distincion entre los estados persistentes.

Definicion 3.7 Sea i un estado persistente, entonces:

{i es un estado persistente nulo si µi = ∞i es un estado persistente no nulo si µi < ∞

El siguiente teorema nos da una caracterizacion para estados persistentes nulos.

Teorema 3.3 Un estado i es persistente nulo ⇔ pii(n)n→∞−→ 0. Ademas, en este caso,

pji(n)n→∞−→ 0, ∀j.

53

Nota 3.10 Destacar que al ser un estado j persistente se tiene que∞∑

n=0

pij(n) = ∞, y

ası para ser persistente nulo tiene que darse que pij(n)n→∞−→ 0, ∀i. Tambien destacar

que la condicion pij(n)n→∞−→ 0 es necesaria para que un estado sea transitorio, pero no

suficiente como se mostro en el corolario 3.2.

Ejemplo: Recorrido Aleatorio.

Supongamos un recorrido aleatorio, y sean

p0(n) ≡ probabilidad de volver al estado 0 tras n pasos.f0(n) ≡ probabilidad de 1a visita al estado 0 tras n pasos.

• Calcular P0(s) y F0(s).

Como P0(s) = 1 − F0(s)P0(s), basta calcular una de ellas.

p0(n) =

(nn2

)p

n2 q

n2 si n par

0 si n impar

Con p0(n) podemos calcular la f.g.p.:

P0(s) =∞∑

n=0

p0(n)sn =∞∑

k=0

p0(2k)s2k =∞∑

k=0

(2kk

)pkqks2k = (1 − 4pqs2)−

12 .

Por tanto,P0(s) = (1 − 4pqs2)−

12

P0(s) = 1 − F0(s)P0(s)

}=⇒ F0(s) = 1 − (1 − 4pqs2)−

12

En base a ello podemos clasificar los estados de la cadena:

Si p =1

2⇒

∞∑

n=0

p0(n) = P0(1) =

(1 − 4· 1

2· 12·1)− 1

2

= ∞.

Luego el estado 0 es persistente ( por conexion, todos los estados son persistentes).

Para ver si son persistentes nulos o no nulos, calculamos µ0:

µ0 =

∞∑

n=0

nf0(n) = F′

0(1) = . . . =s√

1 − s2

∣∣∣∣s=1

= ∞

Luego el estado 0 es persistente nulo. Aunque la probabilidad de volver al estado 0es 1 (persistente), el no medio de pasos para volver es ∞.

54

Si p 6= 1

2⇒ P0(1) = (1 − 4pq1)−

12 < ∞ ⇒ el estado 0 es transitorio.

( todos los estados son transitorios).

Finalmente, introducimos una definicion que nos permite estudiar sobre los periodosde tiempo en los cuales el regreso al punto de partida es posible.

Definicion 3.8 Definimos el periodo d(i) de un estado i ∈ S como:

d(i) = mcd{n : pii(n) > 0}

es decir, como el mayor comun divisor de los lapsos de tiempo tomados en regresar a icuando el regreso a i es posible. Diremos que un estado i es periodico si d(i) > 1 y queun estado i es aperiodico si d(i) = 1.

Las cadenas de mayor aplicacion son aquellas en las que los estados tienen mejorcomportamiento, por ello damos la siguiente definicion

Definicion 3.9 Diremos que un estado i es ergodico si es persistente no nulo y ape-riodico. Es decir, si P (Xn = i para algun n ≥ 1 |X0 = i) = 1, µi < ∞ (el tiempo esperadode regreso es finito) y mcd{n : pii(n) > 0} = 1.

3.3. Clasificacion de las cadenas.

Comenzaremos viendo la forma en la que los estados de una cadena de Markov serelacionan entre sı.

Definicion 3.10 Sean i, j ∈ S.

Diremos que i comunica con j(se denota i → j), si la cadena visita el estado jcon probabilidad positiva partiendo del estado i. Es decir, si

∃n ≥ 0 tal que pij(n) > 0.

Diremos que i y j estan intercomunicados(se denota i ↔ j), si i → j y j → i.Es decir, si

∃n, m ≥ 0 tales que pij(n) > 0 y pji(m) > 0.

Nota 3.11 La relacion ↔ es de equivalencia y, por tanto, define una particion en elconjunto de estados S en clases de equivalencia. Dentro de cada clase de equivalenciatodos los estados son del mismo tipo como veremos en el siguiente teorema.

Teorema 3.4 Supongamos que i ↔ j, entonces:

1. d(i) = d(j), es decir, i y j tienen el mismo periodo.

55

2. i es transitorio ⇔ j es transitorio.

3. i es persistente nulo ⇔ j es persistente nulo.

Demostracion:

1. Si i ↔ j ⇒ ∃m, n tales que pij(m) > 0 y pji(n) > 0.

Por el teorema de Chapman-Kolmogorov, tenemos:

pii(m + n) ≥ pij(m)pji(n) > 0 ⇒ m + n es multiplo de d(i). (∗)pjj(m + n) ≥ pji(n)pij(m) > 0 ⇒ m + n es multiplo de d(j). (∗∗)pii(m + d(j) + n) ≥ pij(m)pjj(d(j))pji(n) > 0 ⇒ m + d(j) + n es multiplo de d(i). (⋆)

pjj(m + d(i) + n) ≥ pij(n)pjj(d(i))pji(m) > 0 ⇒ m + d(i) + n es multiplo de d(j). (⋆⋆)

De aquı,(∗) y (⋆) ⇒ d(j) es multiplo de d(i)

(∗∗) y (⋆⋆) ⇒ d(i) es multiplo de d(j)

}

⇒ d(i) = d(j).

2.

Supongamos i transitorio ⇔∑

n

pij(n) < ∞ ⇒ ∀j,∑

n

pij(n) < ∞.

Supongamos ahora que i es transitorio y que hay otro estado j que comunica con elque no lo es. Ası, i transitorio, j no transitorio, i ↔ j. Entonces,

∃m, n tales que pij(m) > 0 y pji(n) > 0.

Por el teorema de Chapman-Kolmogorov, tenemos:

pii(m + r + n) ≥ pij(m)pjj(r)pji(n) = αpjj(r), ∀r,

donde α = pij(m)pji(n) > 0.

Sumando en r esta expresion,

∞ >∑

r

pii(m + r + n) ≥ α∑

r

pjj(r)α>0=⇒

∑

r

pjj(r) < ∞ ⇒ j es transitorio.

3.

Supongamos i persistente no nulo ⇔ pii(n)n→∞−→ 0.

Analogamente a la demostracion de 2., pero usando la caracterizacion anterior, se llegaa que si i es persistente nulo ⇒ j tambien lo es, pues

pii(m + r + n)n→∞−→ 0, y pii(m + r + n) ≥ αpjj(r)

56

con α = pij(m)pji(n) > 0. Entonces,

pjj(r)r→∞−→ 0 ⇒ j es persistente nulo.

Nota 3.12 Por exclusion, si i es persistente no nulo, como j no puede ser ni transitorioni persistente nulo ⇒ j sera persistente no nulo.

A continuacion definimos distintos tipos de clases de estados:

Definicion 3.11 Sea C ⊆ S un conjunto de estados, diremos que C es:

i. cerrado si ∀i ∈ C, j /∈ C, pij = 0.

ii. irreducible si ∀i, j ∈ C, i ↔ j.

Observacion: Una vez que la cadena toma un valor en una clase cerrada de estados Centonces nunca la dejara en el futuro. Si un conjunto de estados cerrado esta formado porun unico estado, a este estado se le llamara absorbente.

Es claro que las clases de equivalencia de ↔ son irreducibles. Diremos que C tieneuna propiedad si todos los estados de C tienen dicha propiedad. Si todo el conjunto deestados S es irreducible entonces diremos que la cadena es irreducible.

Podemos ya formular el siguiente importante teorema.

Teorema 3.5 (Teorema de descomposicion de las Cadenas de Markov) El espa-cio de estados S de una cadena de Markov X, tiene la siguiente particion unica:

S = T ∪ C1 ∪ C2 ∪ · · ·

donde T es un conjunto de estados transitorios, y Ci son clases cerradas e irreducibles deestados persistentes.

Nota 3.13 El teorema de descomposicion nos muestra las posibilidades que pueden darseen una cadena de Markov. Esto es, si X0 ∈ Cr, entonces la cadena nunca abandonara laclase Cr y entonces, podemos considerar el espacio de estados S = Cr. Por otra parte,si X0 ∈ T entonces, o la cadena permanece por siempre en T o se mueve a una claseCk y permanece ahı por siempre. Ası, o la cadena siempre toma valores en el conjun-to de estados transitorios o acaba en un conjunto cerrado persistente de estados dondepermanecera por siempre. Veamos ahora que en el caso en el que S sea finito la primerasituacion no puede darse.

Nota 3.14 Eventualmente T puede ser vacıo.

Nota 3.15 Si |S| < +∞ ⇒ las cadenas son mas sencillas.

57

Teorema 3.6 Si S es finito, todos los estados no pueden ser transitorios, siendo todoslos estados persistentes no nulos.

Demostracion:

Por reduccion al absurdo, supongamos que todos los estados son transitorios. Entoncestendrıamos que

∀i,∑

j∈S

pij(n) = 1

Ademas, por el corolario 3.2, tenemos que

pij(n)n→∞−→ 0, ∀i, j ∈ S.

Luego:

1 = lımn→∞

1 = lımn→∞

∑

j∈S

pij(n)fta.=∑

j∈S

lımn→∞

pij(n) =∑

j∈S

0 = 0

Llegarıamos a la misma contradiccion si supusiesemos que existe un estado persistentenulo, ya que en este caso tambien se tiene que pij(n)

n→∞−→ 0.

Ejemplo: Sea S = {1, 2, 3, 4, 5, 6}.

P =

1/2 1/2 0 0 0 0

3/4 1/4 0 0 0 0

1/4 1/4 1/4 1/4 0 0

1/4 0 1/4 1/4 0 1/4

0 0 0 0 1/2 1/2

0 0 0 0 1/2 1/2

Clasificacion de los estados:

El estado 3 es transitorio, ya que para ser persistente tendrıa que tener probabilidad1 de volver a 3 saliendo de 3 y si salimos al estado 1 ya no volvemos a 3.

El estado 4 tambien es transitorio. Luego,

T = {3, 4}

La clase {1, 2} es irreducible , al igual que {5, 6} .

Con la matriz de transicion es suficiente para conocer una cadena.Utilizando los teoremas anteriores, tenemos que dada una cadena de Markov sobre el

espacio S, el conjunto de estados puede descomponerse como:

S = T ∪ C1 ∪ C2 ∪ · · ·

58

Renombrando a los estados adecuadamente llegamos a que la matriz de transicion sepuede expresar como sigue:

P =

C1 0 · · · 0 00 C2 · · · 0 0...

.... . .

......

0 0 · · · Cm 0D1 D2 · · · Dm Q

donde Ci son las matrices correspondientes a los estados persistentes, y Di a los transi-torios.Ejemplo: Sea X una cadena de Markov con S = {1, 2, . . . , 10}. Sea

P =

1/2 0 1/2 0 0 0 0 0 0 0

0 1/3 0 0 0 0 2/3 0 0 0

1 0 0 0 0 0 0 0 0 0

0 0 0 0 1 0 0 0 0 0

0 0 0 1/3 1/3 0 0 0 1/3 0

0 0 0 0 0 1 0 0 0 0

0 0 0 0 0 0 1/4 0 3/4 0

0 0 1/4 1/4 0 0 0 1/4 0 1/4

0 1 0 0 0 0 0 0 0 0

0 1/3 0 0 1/3 0 0 0 0 1/3

Hacemos el siguiente grafo:

3110 2 7

9

5

4

6

1 , 3 8 , 5 , 4 , 10 2 , 7 , 9

8

y ası,

59

{1, 3}{2, 7, 9}{6}

conjuntos cerrados, irreducibles, recurrentes, no nulos.

{4, 5, 8, 10} conjunto transitorio.

{1, 3, 2, 7, 9, 6} ninguno es transitorio o recurrente nulo.

{6} es absorvente.

Luego la matriz de transicion se puede expresar del siguiente modo:

P =

1 0 0 0 0 0 0 0 0 00 1/2 1/2 0 0 0 0 0 0 00 1 0 0 0 0 0 0 0 00 0 0 1/3 2/3 0 0 0 0 00 0 0 0 1/4 3/4 0 0 0 00 0 0 1 0 0 0 0 0 00 0 0 0 0 0 0 1 0 00 0 0 0 0 1/3 1/3 1/3 0 00 0 1/4 0 0 0 1/4 0 1/4 1/40 0 0 1/3 0 0 0 1/3 0 1/3

Ejemplo: Sean las cadenas de Markov dadas por las siguientes matrices de transicion.Identificar graficamente el tipo de estado al que pertenecen cada uno de ellos.

a)

P1 =

1/2 0 1/2 0 0

0 1/4 0 3/4 0

0 0 1/3 0 2/3

1/4 1/2 0 1/4 0

1/3 0 1/3 0 1/3

Hacemos en primer lugar un grafo de los estados. A traves del grafo se puede identificarque estados son recurrentes y cuales transitorios.Asignamos a un estado cualquiera los signos ±. Por ejemplo, al estado 1.

Si se senala un estado con un signo + (por ejemplo el i) se senalan tambien con + losestados j que siguen al i. Por ejemplo, hemos senalado 1 con +, entonces seguira elestado 3 con + y, despues del estado 3, el estado 5 tambien con +.

Si se senala un estado con signo −, se senalan tambien con − a todos los estadosque lo preceden. Por ejemplo, si el 1 tiene signo −, ponemos signo − tambien alos estados 4 y 5; como el 3 precede al 5 le ponemos tambien signo −, y como el 2precede al 4, le ponemos tambien signo −.

60

−+

−+

−+1

2

3

45

−

−

Aquellos estados senalados con el doble signo ± forman una clase de estados comuni-cados. En nuestro caso, forman esa clase los estados 1,3,5.

Para ver lo que les ocurre a los estados restantes, le damos ± de partida a otro estadoque no este en la clase que ya nos ha salido y repetimos los mismos pasos. En nuestro caso,le damos ± al estado 2 por ejemplo, obteniendo que {2, 4} forman una clase comunicada.

−+

−+

1

2

3

45

+

++

Tenemos entonces dos clases comunicadas, {1, 3, 5} y {2, 4}, ya que si cogemos otrosestados distintos de partida para asignarles el ± nos salen las mismas clases.

{2, 4} son estados transitorios porque cuando salen ya no vuelven. Una cadena finitanunca puede tener todos sus estados transitorios.

Ahora reescribimos la matriz P1 de forma que los elementos de una misma clase estenjuntos. Ası, nos queda:

61

P1 =

1/2 1/2 0 0 00 1/3 2/3 0 0

1/3 1/3 1/3 0 00 0 0 1/4 3/4

1/4 0 0 1/2 1/4

b)

P2 =

0 0.8 0 0 0 0 0.20 0.3 0 0 0 0 0.70 0 0.3 0.5 0.2 0 00 0 0.6 0 0.4 0 00 0 0 0.4 0.6 0 0

0.1 0.1 0.1 0.2 0.2 0.3 00.4 0.1 0.1 0 0.1 0.2 0.1

−+

−+

−+ −+

−+

−+

−+

12

3

4

56

7

+

+

+

−

−

−−

{3 , 4 , 5}{1 , 2 , 6 , 7} Transitorios

Reescribimos la matriz P2:

P2 =

0.3 0.5 0.2 0 0 0 00.6 0 0.4 0 0 0 00 0.4 0.6 0 0 0 00 0 0 0 0.8 0 0.20 0 0 0 0.3 0 0.7

0.1 0.2 0.2 0.1 0.1 0.3 00.1 0 0.1 0.4 0.1 0.2 0.1

Ahora nos interesa saber que ocurre con la cadena {Xn} cuando n → ∞. La matriz Pen conjunto no tiene un estado lımite, sino cada uno de los estados que estan en la mismaclase.

62

3.4. Distribuciones estacionarias y teoremas lımite.

¿Como se comportara una cadena cuando haya pasado un largo perıodo de tiempo?

Definicion 3.12 El vector π = (πj)j∈S es una distribucion estacionaria de la cadenasi:

1. Es una distribucion de probabilidad, es decir:

πi ≥ 0,∑

i∈S

πi = 1.

2. π = πP, i.e., πj =∑

i∈S

πipij ∀j ∈ S.

Observacion: Se dice distribucion estacionaria, pues si iteramos se obtiene:

πP2 = (πP)P = πP = π ⇒ . . . ⇒ πPn = π ∀n ≥ 0.

Luego si X0 sigue la distribucion dada por π, se tiene que dicha distribucion no sera mo-dificada, es decir, ∀n, Xn tiene la misma distribucion.

A continuacion enunciamos un teorema importante .

Teorema 3.7 (Teorema fundamental de las cadenas de Markov) Una cadena deMarkov tiene una distribucion estacionaria π si y solo si todos sus estados son persistentesno nulos; en cuyo caso, la distribucion π es unica y viene dada por πi = µ−1

i para cadai ∈ S, donde µi es el tiempo medio de recurrencia del estado i.

Ejemplo: Sea P =

[1/2 1/2

1/4 3/4

]

πP = π ⇒ (π1, π2) = (π1, π2)

(1/2 1/2

1/4 3/4

)

=

(1

2π1 +

1

4π2,

1

2π1 +

9

4π2

)⇒

⇒{

π1 = 12π1 + 1

4π2

π2 = 12π1 + 3

4π2

⇒

12π1 = 1

4π2

14π2 = 1

2π1

π1 + π2 = 1

⇒π1 = 1

3

π2 = 23

Nota 3.16 Observemos que:

i. Si la cadena es transitoria o recurrente nula, como µj = ∞, entonces

pij(n)n→∞−→ 0, ∀i, j ∈ S.

63

ii. Si la cadena es persistente no nula,

pij(n)n→∞−→ πj = µ−1

j .

iii. P (Xn = j) =∑

i

P (X0 = i)pij(n)n→∞−→ 1

µj

.

Notese que lımn→∞

pij(n) no depende del punto inicial X0 = i.

iv. Si X es periodica de periodo d, Y = {Yn = Xnd : n ≥ 0} es una cadena aperiodica:

pjj(nd) = P (Yn = j |Y0 = j)n→∞−→ d

µj

.

Nota 3.17 Si X es irreducible y aperiodica, el sistema siguiente tiene solucion unica.

π(j) =∑

i∈S

π(i)pij j ∈ S

∑

j∈S

π(j) = 1

Ademas, se tieneπ(j) = lım

n→∞P n

ij ∀i, j ∈ S

Una cadena de Markov no tiene porque tener distribucion estacionaria, para que ası seaha de ser una cadena irreducible y todos sus estados deben ser persistentes no nulos.

Luego para estudiar el comportamiento lımite de una cadena cualquiera, hay queconsiderar cada una de sus clases Ci, ya que cada una va a tener un comportamientolımite. Tambien la clase de estados transitorios T va tener su comportamiento; aunqueacabe por desaparecer, nos interesa ver en cuanto tiempo. Por tanto, es fundamental parael estudio del comportamiento lımite la separacion de una cadena en estados persistentesy transitorios, pues es en la separacion donde esta el comportamiento lımite. Se estudiacada una por separado, se hace π = πCi.

La matriz lımite de Pn va a coincidir en cada fila con la distribucion estacionaria:

P ∗ =

ππ· · ·π

si la cadena es irreducible.A continuacion vemos resultados sobre el comportamiento asintotico de las cadenas

de Markov con estados periodicos.

64

Lema 3.2 Sea X una cadena de Markov irreducible con estados periodicos recurrentesde perıodo δ. Entonces, los estados se dividen en δ clases disjuntas B1, B2, . . . , Bδ (clasescıclicas), tales que pij = 0, a menos que:

i ∈ B1 y j ∈ B2 o i ∈ B2 y j ∈ B3 o . . . o i ∈ Bδ y j ∈ B1.

Teorema 3.8 Sea P la matriz de transicion de una de cadena de Markov con estadosperiodicos recurrentes de periodo δ, y sean B1, . . . , Bδ definidas en el lema anterior. En-tonces, en la cadena de Markov con matriz de transicion P = Pδ las clases B1, . . . , Bδ soncerradas e irreducibles de estados aperiodicos.

Del lema anterior se deduce que si i ∈ Bα entonces:

P (Xm ∈ Bβ |X0 = i) = Pi(Xm ∈ Bβ) = 1, β = α + m(mod δ).

Teorema 3.9 Sean P y Bα como en el teorema anterior, y supongamos que la cadena noes nula. Entonces para algun m = {0, 1, . . . , δ − 1},

lım P nδ+mij =

{π(j) si i ∈ Bα j ∈ Bβ β = α + m (mod δ)

0 en otro caso

Supongamos que tenemos una cadena finita. Veamos el procedimiento que vamos aseguir para calcular la matriz lımite de una cadena de Markov:

1. Identificar los conjuntos cerrados e irreducibles, es decir, las distintas clases de es-tados persistentes.

2. Los restantes son los transitorios.

3. Estudiar la periodicidad de cada clase cerrada por separado.

Recordemos que la matriz despues de haber identificado cada clase y haber organizadolas filas y columnas segun esa clasificacion, la matriz P toma la forma:

P =

P1 0 · · · 0 00 P2 · · · 0 0...

.... . .

......

0 0 · · · Pm 0D1 D2 · · · Dm Q

donde Pi son los estados persistentes y Di los transitorios.

Aplicando los resultados anteriores tenemos la matriz P donde las cajas Pi que tenemosen P se contraen a un numero que es la unidad, es decir,

65

P =

11

. . .

1b1 b2 · · · bm Q

donde bj(i) =

∑

k∈Cj

pik i ∈ D.

Ası, la matriz P tiene la forma:

P =

(I 0

B Q

)

Para continuar necesitamos calcular las matrices:

F = [fij ]i,j∈S

R = [rij ]i,j∈S

donde R es lo que se conoce como matriz de potencial, siendo rij el numero medio devisitas a j partiendo de i. Por fij notabamos la probabilidad de alcanzar el estado j, porprimera vez, partiendo del i. Luego,

rij = E[Nj |X0 = i]

donde Nj representa el numero de visitas a j.

Veamos como calcular R y F .

Calculo de R: R = (rij)i,j∈S viene dada por los siguientes valores:

Si j es recurrente, entonces:

rij =

{0 si fij = 0

∞ si fij > 0

Si j es transitorio e i es recurrente ⇒ rij = 0.

Si j e i son transitorios, entonces:

(rij)i,j∈D = (I − Q)−1.

Calculo de F : Para calcular F = (fij)i,j∈S, definimos la matriz G = (I − Q)−1B.

Si i es transitorio y k es recurrente ⇒ fik = gij .

66

Si i, j son transitorios tal que tienen rij < ∞, entonces:

fjj = 1 − 1

rjj

fij =rij

rjj

Si i, j son recurrentes de la misma clase ⇒ fij = 1.

Si i es recurrente y j transitorio o recurrente de distinta clase ⇒ fij = 0.

Una vez que hemos calculado R y F podemos calcular la matriz lımite P ∗, que enrealidad es el lımite de cada una de las entradas, pues cada clase recurrente Pk tiene supropio lımite. Cuando llamamos a P∗ matriz lımite nos estamos refiriendo al comporta-miento lımite de todos los estados por separado, en conjunto no es realmente una matrizlımite (aunque por abuso del lenguaje la llamemos ası); luego podemos calcular la matrizlımite de cada clase cerrada, no de la matriz lımite en general. Ası, dada una matriz Pk,su matriz lımite viene dada por

π(k) = π(k)Pk

donde∑

i

πi(k) = 1.

Ası, llegamos a:

P∗ =

P∗1

P∗2

. . .

P∗m

D∗1 D∗

2 · · · D∗m 0

donde D∗k nos indica la probabilidad de ir de los estados transitorios a los estados re-

currentes. Ademas, si i ∈ D (i.e., i es un estado transitorio), en esas cajas se verificaque:

lımn→∞

pnij = fijπj .

Veamos ejemplos de como se lleva a la practica:

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 8}, y sea:

P =

0.4 0.3 0.3 0 0 0 0 00 0.6 0.4 0 0 0 0 0

0.5 0.5 0 0 0 0 0 00 0 0 0 1 0 0 00 0 0 0.8 0.2 0 0 00 0 0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0 0.20.1 0 0.3 0 0 0.6 0 0

67

Se observa que,

{1, 2, 3}{4, 5}

}clases de estados recurrentes, irreducibles y aperiodicos.

{6, 7, 8} clases de estados transitorios, solo pueden alcanzar los estados 1,2 y 3.

Tenemos,

P =

1 0 0 0 00 1 0 0 00 0 0.4 0.6 0

0.8 0 0 0 0.20.4 0 0.6 0 0

y Q =

0.4 0.6 00 0 0.2

0.6 0 0

Entonces,

(I − Q)−1 =

0.6 −0.6 00 1 −0.2

−0.6 0 1

−1

=1

66

125 75 1515 75 1575 45 75

Luego la matriz potencial sera:

R =

∞ ∞ ∞ 0 0 0 0 0∞ ∞ ∞ 0 0 0 0 0∞ ∞ ∞ 0 0 0 0 00 0 0 ∞ ∞ 0 0 00 0 0 ∞ ∞ 0 0 0∞ ∞ ∞ 0 0 125

667566

1566

∞ ∞ ∞ 0 0 1566

7566

1566

∞ ∞ ∞ 0 0 7566

4566

7566

Por otro lado,

G =

12566

7566

1566

1566

7566

1566

7566

4566

7566

︸ ︷︷ ︸(I−Q)−1

0 0

0.8 00.4 0

︸ ︷︷ ︸B

=

1 01 01 0

ahora la matriz F , sera

F =

1 1 1 0 0 0 0 01 1 1 0 0 0 0 01 1 1 0 0 0 0 00 0 0 1 1 0 0 00 0 0 1 1 0 0 01 1 1 0 0 0.472 1 0.201 1 1 0 0 0.12 0.12 0.201 1 1 0 0 0.60 0.60 0.12

68

Nota 3.18 En las cadenas markovianas todas las filas de la matriz del comportamientolımite son iguales. Esto quiere decir que es independiente del estado inicial.

La matriz lımite es de la forma,

P∗ =

π1 π2 π3 0 0 0 0 0π1 π2 π3 0 0 0 0 0π1 π2 π3 0 0 0 0 00 0 0 π4 π5 0 0 00 0 0 π4 π5 0 0 0π1 π2 π3 0 0 0 0 0π1 π2 π3 0 0 0 0 0π1 π2 π3 0 0 0 0 0

donde las πi verifican los siguientes sistemas de ecuaciones:

(π1 π2 π3) = (π1 π2 π3)

0.4 0.3 0.30 0.6 0.4

0.5 0.5 0

π1 + π2 + π3 = 1

(π4 π5) = (π4 π5)

(0 1

0.8 0.2

)

π4 + π5 = 1Resolviendo los sistemas nos queda:

P∗ =

0.22 0.51 0.27 0 0 0 0 00.22 0.51 0.27 0 0 0 0 00.22 0.51 0.27 0 0 0 0 00 0 0 0.4 0.6 0 0 00 0 0 0.4 0.6 0 0 0

0.22 0.51 0.27 0 0 0 0 00.22 0.51 0.27 0 0 0 0 00.22 0.51 0.27 0 0 0 0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

P =

0.2 0.8 0 0 0 0 00.7 0.3 0 0 0 0 00 0 0.3 0.5 0.2 0 00 0 0.6 0 0.4 0 00 0 0 0.4 0.6 0 00 0.1 0.1 0.2 0.2 0.3 0.1

0.1 0.1 0.1 0 0.1 0.2 0.4

69

Se observa que,

{1, 2}{3, 4, 5}

}clases de estados recurrentes.

{6, 7} clases de estados transitorios.

En este caso, tenemos que

P =

1 0 0 00 1 0 0

0.1 0.5 0.3 0.10.2 0.2 0.2 0.4

⇒ B

[0.1 0.50.2 0.2

]

Por otro lado,

(I − Q)−1 =

[0.7 −0.1−0.2 0.6

]−1

=1

0.4

[0.6 0.10.2 0.7

]=

[1.5 0.250.5 1.75

]

Luego,

G = (I − Q)−1B =

[1.5 0.250.5 1.75

] [0.1 0.50.2 0.2

]=

[0.2 0.80.4 0.6

]

Con esto, ya podemos obtener R y F :

R =

∞ ∞ 0 0 0 0 0∞ ∞ 0 0 0 0 00 0 ∞ ∞ ∞ 0 00 0 ∞ ∞ ∞ 0 00 0 ∞ ∞ ∞ 0 0∞ ∞ ∞ ∞ ∞ 1.5 0.25∞ ∞ ∞ ∞ ∞ 0.5 1.75

, F =

1 1 0 0 0 0 01 1 0 0 0 0 00 0 1 1 1 0 00 0 1 1 1 0 00 0 1 1 1 0 0

0.2 0.2 0.8 0.8 0.8 0.3 0.140.4 0.4 0.6 0.6 0.6 0.3 0.43

En este caso, los sistemas de ecuaciones son:

(π1 π2) = (π1 π2)

(0.2 0.80.7 0.3

)

π1 + π2 = 1

(π3 π4 π5) = (π3 π4 π5)

0.3 0.5 0.20.6 0 0.40 0.4 0.6

π3 + π4 + π5 = 1

70

Resolviendo los sistemas podremos escribir P∗:

π1 = 0.47 = 715

π2 = 0.53 = 815

π3 = 0.26 = 623

π4 = 0.30 = 723

π5 = 0.43 = 1023

⇒ P∗ =

715

815

0 0 0 0 0715

815

0 0 0 0 00 0 6

23723

1023

0 00 0 6

23723

1023

0 00 0 6

23723

1023

0 01.415

1.615

4.823

5.623

823

0 02.815

3.215

3.623

4.223

623

0 0

Ejemplo: Sea X una cadena de Markov donde S = {1, 2, . . . , 7}, y sea:

P =

0.5 0.5 0 0 0 0 00.8 0.2 0 0 0 0 00 0 0 0.4 0.6 0 00 0 1 0 0 0 00 0 1 0 0 0 0

0.1 0 0.2 0.2 0.1 0.3 0.10.1 0.1 0.1 0 0.1 0.2 0.4

Al igual que en el ejemplo anterior, se tiene

{1, 2}{3, 4, 5}periodo2

}clases de estados recurrentes.

{6, 7} clases de estados transitorios.

En este caso, la matriz P es la misma que la del ejemplo anterior.

P =

1 0 0 00 1 0 0

0.1 0.5 0.3 0.10.2 0.2 0.2 0.4

Luego B y Q son las mismas que antes, lo que implica que G tambien coincida con la delejemplo anterior. En este caso, tenemos:

R =

∞ ∞ 0 0 0 0 0∞ ∞ 0 0 0 0 00 0 ∞ ∞ ∞ 0 00 0 ∞ ∞ ∞ 0 00 0 ∞ ∞ ∞ 0 0∞ ∞ ∞ ∞ ∞ 1.5 0.25∞ ∞ ∞ ∞ ∞ 0.5 1.75

, F =

1 1 0 0 0 0 01 1 0 0 0 0 00 0 1 1 1 0 00 0 1 1 1 0 00 0 1 1 1 0 0

0.2 0.2 0.8 0.8 0.8 0.3 0.10.4 0.4 0.6 0.6 0.6 0.3 0.4

71

En este caso, los sistemas de ecuaciones quedan:

(π1 π2) = (π1 π2)

(0.5 0.50.8 0.2

)

π1 + π2 = 1

(π3 π4 π5) = (π3 π4 π5)

0 0.4 0.61 0 01 0 0

π3 + π4 + π5 = 2

Resolvemos los sistemas para obtener P∗:

π1 = 8/13π2 = 5/13π3 = 1π4 = 0.4π5 = 0.6

⇒ P ∗1 =

8/13 5/13 0 0 0 0 08/13 5/13 0 0 0 0 0

0 0 0 0.4 0.6 0 00 0 1 0 0 0 00 0 1 0 0 0 0

0.12 0.08 0.4 0.16 0.24 0 00.24 0.16 0.3 0.12 0.18 0 0

y

P ∗2 =

8/13 5/13 0 0 0 0 08/13 5/13 0 0 0 0 0

0 0 1 0 0 0 00 0 0 0.4 0.6 0 00 0 0 0.4 0.6 0 0

0.12 0.08 0.4 0.16 0.24 0 00.24 0.16 0.3 0.12 0.18 0 0

Cuando la cadena es infinita es mas costoso identificar los estados, pues debemos resolverun sistema infinito. Ademas, puede darse el caso de que haya estados transitorios, recu-rrentes no nulos y recurrentes nulos (en las cadenas finitas no puede haber recurrentesnulos).

En las cadenas infinitas hay que empezar identificando si hay estados no nulos dadaslas clases cerradas. Para ello, tenemos el siguiente teorema:

Teorema 3.10 Dada una cadena de Markov irreducible, consideramos el sistema:

π(j) =∑

i∈S

π(i)pij j ∈ S

∑

j∈S

π(j) = 1

72

Todos los estados seran recurrentes no nulos si y solo si existe solucion unica de estesistema.

Si el sistema anterior no tuviese solucion, tenemos el siguiente teorema:

Teorema 3.11 Sea P la matriz de transicion asociada a la cadena de Markov que estamosestudiando, y sea Q la matriz obtenida de P al suprimir la fila y la columna k−esima(k ∈ S cualquiera). Entonces, los estados son recurrentes nulos si y solo si el sistema quela matriz Q produce tiene solucion trivial, es decir, si el sistema tiene precisamente lasolucion trivial. O sea,

h(i) =∑

j∈S\{k}

qijh(j)

0 ≤ h(i) ≤ 1; i ∈ S \ {k}

=⇒ h(i) = 0.

Nota 3.19 Si existe solucion no trivial del sistema, los estados seran transitorios.

Ejemplo: Estudiar el comportamiento de los estados de los recorridos aleatorios dadospor la matriz de transicion

P =

q p 0 0 0 · · ·q 0 p 0 0 · · ·0 q 0 p 0 · · ·0 0 q 0 p · · ·· · · · · · · · · · · · · · · · · ·

en funcion del valor p. Determinar las distribuciones lımite.

En P, vemos que todos los estados se comunican entre sı, forman una sola clase.

Resolvemos el sistema π = πP:

π0 = π0q + π1qπ1 = π0p + π2qπ2 = π1p + π3q

...

Esto es un sistema infinito. Para resolverlo tomamos π0 = 1 (ya que el sistema es ho-mogeneo y, por tanto, tenemos un grado de libertad) y despejamos el resto de las πi:

π1 =p

q

π2 =p2

q2

...

73

Ası, queda: π =

(c, c

p

q, c

p2

q2, . . .

)

(Tomamos π0 = c en lugar de π0 = 1, para tener todas las soluciones posibles).

Luego hemos resuelto el sistema, pero esa solucion no es buena para cualquier p, q. Ha de

ser p < q para que el sistema tenga solucion, pues al normalizar, la serie

∞∑

i=0

(p

q

)i

· c ha

de ser convergente y, como es una serie geometrica de razonp

q, para que sea convergente

ha de ser p < q.

Por tanto, si p < q todos los estados son recurrentes no nulos, y la solucion del sistemaserıa:

πj =

(1 − p

q

)(p

q

)j

, j = 0, 1, 2, . . .

pues esta es la solucion que hace que∑

j

πj = 1:

c∞∑

k=0

(p

q

)k

= 1 ⇒ c1

1 − p

q

= 1 ⇒ c = 1 − p

q.

La matriz lımite es una matriz infinita.

Por otro lado, nos va a salir:

Si p = q ⇒ todos los estados son recurrentes nulos.

Si p > q ⇒ todos los estados son transitorios.

Para obtener esta solucion, le quitamos a P la 1a fila y la 1a columna, por ejemplo, yobtenemos ası Q. Despues, volvemos a plantear el sistema anterior para ver si tiene o nosolucion.

Estudiamos entonces el sistema h = Qh:

Q =

0 p 0 0 · · ·q 0 p 0 · · ·0 q 0 p · · ·· · · · · · · · · · · · · · ·

⇒

h1 = ph2

h2 = qh1 + ph3

h3 = qh2 + ph4...

Haciendo manipulaciones algebraicas obtenemos:

hi = c

[1 +

q

p+ · · ·+

(q

p

)i−1]

, i = 1, 2, . . .

74

Con esto:

Si p = q ⇒ hi = c · i0 ≤ hi ≤ 1︸ ︷︷ ︸

=⇒ c = 0 ⇒ todos los estados son recurrentes nulos.

Si p > q ⇒ hi = 1 −(

q

p

)i

⇒ todos los estados son transitorios.

75

3.5. Tablas Resumen.

3.5.1. Clasificacion de los procesos de Markov.

Los procesos de Markov se dividen en cuatro tipos basicos segun sea el parametro yel espacio de estados.

Parametro T

DISCRETO CONTINUODI Cadenas CadenasS de deC Markov MarkovR de deE Parametro Parametro

Espacio T Discreto Continuode O

Estados C Procesos ProcesosS O de de

N Markov MarkovT de deI Parametro ParametroN Discreto ContinuoU (Ej. Series (Ej. Difusion)O Temporales)

3.5.2. Metodos para calcular las probabilidades de primer paso.

kRECURRENTE NO RECURRENTE

j RECURRENTE fjk =

{1 si j ↔ k0 e.c.c.

fjk = 0

NO RECURRENTE fjk =∑

i∈T

pjifik +∑

i∈C

pji fjk =

∑

n

pjk(n)

∑

n

pkk(n)

76

3.5.3. Clasificacion de una cadena de Markov irreducible.

NO RECURRENTE RECURRENTE

RECURRENTE NULA (*) RECURRENTE POSITIVA

APERIODICA(PERIODO=1)

PERIODICA(PERIODO>1)

POSEE DISTRIBUCIONDE LARGA DURACION

POSEE DISTRIBUCIONESTACIONARIA

(*) Propiedad que solo puede poseer una cadena infinita.

77

3.6. Ejercicios.

Ejercicio 3.1.Sea (Xn) una cadena de Markov y sea un conjunto {nr : r ≥ 0} de numeros enteros

ordenados en orden creciente. Demostrar que Yr = Xnrconstituye una cadena de Markov.

Encontrar la matriz de transicion de (Yr) cuando nr = 2r y (Xn) es:

1. Un camino aleatorio simple.

2. Un proceso de ramificacion.

Ejercicio 3.2. Sea Xn la maxima puntuacion obtenida en las primeras n tiradas de undado. Demostrar que (Xn) es una cadena de Markov y encontrar su matriz de transicionde probabilidades.

Ejercicio 3.3. Consideramos la secuencia aleatoria de polıgonos convexos generadade la siguiente manera: Tomamos dos lados del polıgono inicial, trazamos un segmentoque unan sus puntos medios y obtenemos dos nuevos polıgonos. Cogemos aleatoriamenteuno de ellos para ser el proximo en la secuencia y ası sucesivamente. Sea Xn +3 el numerode lados del n-esimo polıgono de la secuencia ası construida.1. Encontrar E[Xn] en terminos de X0.2. Encontrar la distribucion estacionaria de la cadena de Markov (Xn).

Nota: El numero de lados es Xn +3 para garantizar que el polıgono inicial sea al menosun triangulo.

Ejercicio 3.4 Sea {Sn : n ≥ 0} una caminata al azar con S0 = 0.1. Demostrar que Xn = |Sn| es una cadena de Markov. Encontrar la matriz de transi-

cion de probabilidad de la cadena.2. Sea Mn = max{Sk : 0 ≤ k ≤ n}, demostrar que Yn = Mn − Sn es otra cadena de

Markov.

Ejercicio 3.5. La copia de un libro es leıda por una secuencia infinita de editoresdetectando errores. Cada error es detectado con una probabilidad p en cada lectura.Entre las distintas lecturas el corrector detecta errores pero introduce un numero aleatoriode errores nuevos (los errores pueden ser introducido incluso si no detecta ningun error).Teniendo en cuenta, que el numero de errores son diferentes en cada lectura del correctorpero identicamente distribuidos:Buscar una expresion para la funcion generatriz de probabilidad de la distribucion esta-cionaria Xn donde Xn: numero de errores despues de la n-esima lectura del corrector.Buscar una expresion para la funcion generatriz de probabilidad explıcita cuando el co-rrector introduce un numero de errores en cada lectura regida por una distribucion dePoisson.

78

Ejercicio 3.6. Una partıcula recorre un camino aleatorio sobre los vertices de ungrafo G conexo, el cual para simplificar suponemos que no tiene bucles. En cada etapala partıcula se mueve de un vertice a otro de los adyacentes, teniendo cada punto igualprobabilidad de ser elegido. Si G tiene η(< +∞) aristas, mostrar que la distribucionestacionaria esta dada por Πv = dv

2ηdonde dv es el grado del vertice.

Ejercicio 3.7. Mostrar que un camino aleatorio sobre un arbol binario infinito com-pleto es una cadena de Markov de estados transitorios.

Ejercicio 3.8. Una partıcula realiza una caminata al azar sobre los vertices de uncubo.En cada etapa permanece en el vertice en que se encuentra con una probabilidad 1

4y

se desplaza a sus vecinos con la misma probabilidad. Sean v,w dos vertices diametralmenteopuestos y supongamos que la caminata comienza en v. Hallar:

1. El numero medio de etapas hasta la primera visita a v.

2. El numero medio de etapas hasta la primera visita a w.

Ejercicio 3.9. Sea la siguiente figura:

B

A

C

D

E

Comenzamos en el vertice (A). Nos piden:

1. El tiempo de primer paso por A partiendo de A (tiempo medio de recurrencia).

2. Numeros de visitas a D antes de llegar a A sabiendo que partimos de A

3. Numeros de visitas a C antes de llegar a A sabiendo que partimos de A

4. Tiempo de primer paso por A sabiendo que parte de A sin que pase por E

5. Numeros de visitas a D antes de llegar a A sabiendo que partimos de A,sin pasarpor E

Ejercicio 3.10. Sea Xn la cantidad de agua que hay en un embalse el dıa n sobre elmediodia.Ddurante las 24 horas anteriores al dıa n el embalse recibe agua que cuantifi-caremos en la variable Yn, justamente antes de cada mediodıa la presa arroja 1 unidadde agua (si hay tal cantidad).La capacidad maxima del embalse es k, y si la presa recibe

79

excesiva cantidad este agua se desborda y se pierde. Suponemos que las Yn son indepen-dientes e identicamente distribuidas y que todos los numeros de valoracion son enteros nonegativos.

(1)Demostrar que {Xn : n > 0} es una cadena de Markov.(2)Hallar la matriz de transicion de {Xn : n ≥ 1}(3)Encontrar una expresion de la distribucion estacionaria Π en terminos de la funcion

generatriz de probabilidad de Yn

(4)Calcular Π cuando Gy(s) = p(1 − qs)−1

Ejercicio 3.11. Clasificar los estados de las cadenas de Markov, con matrices detransicion siguientes:

(a)

P =

1 − 2p 2p 0

p 1 − 2p p0 p 1 − p

(b)

P =

0 p 0 1 − p1 − p 0 p 0

0 1 − p 0 pp 0 1 − p 0

Calcular en cada caso el comportamiento lımite.Ejercicio 3.11

Clasificar los estados de las cadenas de Markov, con matrices de transicion siguientes:(a)

P =

1 − 2p 2p 0

p 1 − 2p p0 p 1 − p

(b)

P =

0 p 0 1 − p1 − p 0 p 0

0 1 − p 0 pp 0 1 − p 0

Ademas, calcular en cada caso el comportamiento lımite. Ejercicio 3.12. Clasificar

los estados de la Cadena de Markov dada por la siguiente matriz de paso:

80

P ≡

0 0 0.4 0.6 00 0.2 0 0.5 0.3

0.5 0 0.5 0 00 0 1 0 0

0.3 0 0.5 0 0.2

Ejercicio 3.13. Clasificar los estados de la cadena de Markov dada por la matrizadjunta, ası como su matriz lımite.

a b c d e f g

a 0.8 0 0 0 0 0.2 0b 0 0 0 0 1 0 0c 0.1 0 0.9 0 0 0 0d 0 0 0 0.5 0 0 0.5e 0 0.3 0 0 0.7 0 0f 0 0 1 0 0 0 0g 0 0.5 0 0 0 0.5 0

Ejercicio 3.14. Sea X una cadena de Markov con espacio de estados E={1,2,3,4,5,6,7,8}y matriz de transicion:

P =

0.4 0.3 0.3 0 0 0 0 00 0.6 0.4 0 0 0 0 0

0.5 0.5 0 0 0 0 0 00 0 0 0 1 0 0 00 0 0 0.8 0.2 0 0 00 0 0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0 0.20.1 0 0.3 0 0 0.6 0 0

clasificar los estados y determinar la matriz lımite.

Ejercicio 3.15. Clasificar los estados de la cadena de Markov dada por la siguientematriz de transicion, ası como determinar la matriz limite.

c)

1 2 3 4 51 0.5 0 0 0.5 02 0 0.6 0 0 0.43 0.3 0 0.7 0 04 0 0 1 0 05 0 1 0 0 0

Ejercicio 3.16. Clasificar los estados de la cadena de Markov con la siguiente matrizde transicion, y su comportamiento lımite :

81

P =

0.8 0 0.2 00 0 1 01 0 0 0

0.3 0.4 0 0.3

Ejercicio 3.17. Estudiar las cadenas de Markov dadas por las matrices de transicion:

P =

p0 p1 p2 p3 · ·p0 p1 p2 p3 · ·0 p0 p1 p2 · ·0 0 p0 p2 · ·· · · · · ·· · · · · ·

Q =

h0 g0 0 0 0 ·h1 g1 g0 0 0 ·h2 g2 g1 g0 0 ·h3 g3 g2 g1 g0 ·· · · · · ·· · · · · ·

Determinar el comportamiento de los estados a traves de las funciones generatrices de lassucesiones {pi} y {gj}, respectivamente.

Ejercicio 3.18. Estudiar el comportamiento de los estados de los recorridos aleatoriosdados por las matrices de transicion:

P1 =

q p 0 0 0 ·q 0 p 0 0 ·0 q 0 p 0 ·0 0 q 0 p ·· · · · · ·· · · · · ·

, P2 =

0 1 0 0 0 ·q 0 p 0 0 ·0 q 0 p 0 ·0 0 q 0 p ·· · · · · ·· · · · · ·

en funcion del valor de p. Determinar las distribuciones lımite.

Ejercicio 3.19. El numero de dıas que transcurren hasta que se recibe una peticionpara la suit presidencial de un hotel, es una v.a. G(p). Cada cliente que realiza la peticionde la suit por un numero de dıas que es una v.a. discreta X.

1. Calcular la fraccion de tiempo que la suit esta ocupada.

2. Calcular el beneficio para el hotel, si la estancia de X dıas produce un beneficiocX + k, y un coste D.

82