Cadenas de Markov

Mag. Miguel Sierra

Contenido

Procesos estocásticos

Concepto de cadena de Markov

Procesos estocásticos

Es una herramienta que modela procesos

aleatorios en el tiempo

Un proceso estocástico es una familia de

variables aleatorias parametrizadas por el

tiempo

El espacio de estados S de un proceso

estocástico es el conjunto de todos los

posibles valores que puede tomar dicho

proceso: {1, 2, 3, .., k}

Ejemplo de proceso estocástico

Se lanza una moneda al aire 6 veces.

El jugador gana $1 cada vez que sale cara

(C), y pierde $1 cada vez que sale sello (S).

Xi = estado de cuentas del jugador luego de

la i-ésima jugada (en el tiempo o instante i)

La familia de variables aleatorias:

{X1, X2,…, X6} constituye un proceso

estocástico

Ejemplo de proceso

estocástico

={CCCCCC,CCCCCS,…}

n() = 26 = 64

P()=1/64

t={1, 2, 3, 4, 5, 6} (tiempo o vez que lanza)

S={–6, –5, …, –1, 0, 1, 2, …, 5, 6} (posibles

estados de ganancias o pérdidas)

Rango(X1)={–1, 1} (Estados después de t=1)

Rango (X2)={–2, 0, 2} (Estados después de t=2)

Ejemplo de proceso

estocástico

Si se fija ω, por ejemplo 0=CCSSSC

(secuencia o ruta), se obtiene una secuencia

de valores completamente determinista de

las ganancias:

X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,

X5(0)= –1, X6(0)=0

Se puede dibujar con estos valores la

trayectoria del proceso:

Ejemplo de proceso

estocástico: 0=CCSSSC

-2

-1

0

1

2

3

1 2 3 4 5 6

Instante de tiempo, t

Valo

r d

el

pro

ceso

Ejemplo de proceso

estocástico

Si se fija t, por ejemplo t =3, se obtiene una

de las variables aleatorias del proceso.

:3X

3X

Los posibles valores que puede tomar el

proceso en t =3 son: Rango (X3)={–3, –1, 1, 3}

Ejemplo de proceso

estocástico

Podemos hallar la probabilidad de que el

proceso tome cada uno de estos valores:

8

3

2

1

2

1

2

13SCCPCCSP CSCP 1XP 3

8

1

2

1

2

1

2

1CCCP 3XP 3

8

3

2

1

2

1

2

13CSSPSSCP SCSP 1XP 3

8

1

2

1

2

1

2

1SSSP 3XP 3

Cadenas de Markov

Las cadenas de Markov (CM) y los procesos deMarkov son un tipo especial de procesosestocásticos que poseen la siguiente propiedad:

Propiedad de Markov: Conocido el estado delproceso en un momento dado, sucomportamiento futuro no depende del pasado.Dicho de otro modo: “dado el presente, elfuturo es independiente del pasado”

Cadenas de Markov

Se tiene espacios de estados discretos S y

conjuntos de instantes de tiempo T, también

discretos, T={t0, t1, t2,…}

Una cadena de Markov (CM) es una sucesión de

variables aleatorias Xi, iN, tal que:

tttt XjXpXXXjXp )(),...,,()( 1101

que es la propiedad de Markov para t discreto.

Probabilidades de transición

Las CM están completamente caracterizadas porlas probabilidades de transición en una etapa, paraun t específico:

TtSjiiXjXp tt ,,,)()( 1

Sólo trabajaremos con CM homogéneas en el

tiempo, que son aquellas en las que :

ijp )()(,, 1 iXjXPTtSji tt

donde pij se llama probabilidad de transición en una

etapa desde el estado i hasta el estado j

Además, pij es independiente del tiempo

Tt

Matriz de transición

Los pij se agrupan en la denominada matriz

de transición de la CM:

Sjiijp

ppp

ppp

ppp

P

,

333231

232221

131211

............

...

...

...

Algunos denotan la matriz P, como la matriz M.

Propiedades de la matriz de

transición

Por ser los pij probabilidades,

1,0,, ijpSji

Por ser 1, la probabilidad del evento seguro, cada fila

ha de sumar 1, es decir,

1, Sj

ijpSi

Una matriz que cumpla estas dos propiedades se llama

matriz estocástica

Diagrama de transición de

estados

El diagrama de transición de estados (DTE) de

una CM, es un grafo dirigido cuyos nodos son

los estados de la CM y cuyos arcos se

etiquetan con la probabilidad de transición de

un estado (inicio) al otro (fin).

Si la probabilidad es nula, no se pone arco.

i jpij

Ejemplo: línea telefónica

Sea una línea telefónica de estados:

ocupada=1 y desocupada=2.

Si en el instante t está ocupada, en el

instante t+1 estará ocupada con probabilidad

0.7 y desocupada con probabilidad 0.3.

Si en el instante t está desocupada, en el t+1

estará ocupada con probabilidad 0.1 y

desocupada con probabilidad 0.9

Asumir que los instantes son de 1 minuto.

Ejemplo: línea telefónica

9.01.0

3.07.0P

1 20.7

0.3

0.1

0.9

p11

p12

Ejemplo: Lanzar un dado

Se lanza un dado repetidas veces. Cada vez

que sale menor que 5 se pierde $1 , y cada

vez que sale 5 ó 6 se gana $1. El juego

acaba cuando se tienen $0 ó $100.

Sea Xt = estado de cuentas en el instante t.

Tenemos que { Xt } es una CM

S={0, 1, 2, …, 100}

Ejemplo: Lanzamiento de un dado

0 1 2 32/3

…

1

4 5…

2/32/32/32/3 2/3

1/3 1/3 1/3 1/3

100999897

1

2/3 2/3

1/31/3

2/3

1/3

1/3

1/3…

…

…

Ecuación de Chapman-Kolmogorov

Teorema: Las probabilidades de transición en n

etapas vienen dadas por la matriz Pn:

)(,, npiXjXPSji ijtnt

Se observa que la probabilidad de transitar de i hasta j en n

pasos es pij(n), que es el elemento (i,j) de Pn

Probabilidades de estado estable

Sabiendo que la probabilidad de transitar de i

hasta j en n pasos es el elemento (i,j) de Pn

denotado como pij(n) : Es útil averiguar el comportamiento del sistema en el

límite cuando n, llamado también

comportamiento a largo plazo.

Para describir el comportamiento a largo plazo se usan

las probabilidades de estado estable.

Cuando n pij(n) πj cualquiera sea i

πj es la probabilidad en estado estable del estado j

Probabilidades de estado estable

Teorema : Sea P la matriz de transición de una cadena de Markov. Existe entonces un vector π= [π1, π2, π3, π4, .., πk], tal que:

1 2 k

1 π1 π2 …. πk

Lim Pn = 2 π1 π2 …. πk

n ∞ -- --- --- --- ---

k π1 π2 πk

Para cualquier estado inicial i, lim pij (n) = πj

n ∞

Después de largo tiempo, la cadena de Markov se estabiliza, además, independientemente del estado inicial i, hay una probabilidad πj de que nos encontremos en el estado j.

El vector π= [π1, π2, π3, π4, .., πk] , se llama distribución de estado estable o también distribución de equilibrio para la cadena de Markov.

Hallando las Probabilidades de

estado estable

Las πj satisfacen de manera única el siguiente

sistema de ecuaciones:

Para j = 1,2, ……,s

s

k

kjkj p1

s

k

k

1

1

Como son mas ecuaciones que variables, se elimina

una ecuación (una de las primeras).

Otra opción es realizar potencias sucesivas de la

matriz P, hasta que se estabilice.

Denotamos esta matriz como P∞ o también P∞

Problema Las compras de los consumidores están influidas por la publicidad, el precio y muchos otrosfactores. Con frecuencia un factor clave es la última compra del consumidor. Si por ejemplo, alguiencompra una batería marca X, y obtiene un buen servicio, quedará predispuesto a comprar otra bateríamarca X. De hecho, una investigación de mercado puede determinar el grado de lealtad a la marcaencuestando a los consumidores. En términos de cadenas de Markov, los resultados de la investigaciónson las probabilidades de transición de seguir con la marca o de cambiar.

En la siguiente cadena de Markov, la marca A es la marca de interés, y la marca B representa todas las

demás marcas. Los clientes son bastante leales, el 80% de ellos son clientes que vuelven a comprar el

producto. La oposición conserva el 70% de sus clientes. Estos posibles cambio se detectan cada mes:

marca A marca B

marca A 0.8 0.2

marca B 0.3 0.7

¿Qué porcentaje del mercado esperará recibir el fabricante de la marca A en el largo plazo’?

Solución:

Resolviendo el sistema de ecuaciones (eliminar una de las dos primeras ecuaciones):

πA = 0.8 πA + 0.3 πB

πB = 0.2 πA + 0.7 πB

1 = πA + πB

Se obtiene πA= 0.6 y πB = 0.4.

El fabricante de la marca A esperará recibir el 60% del mercado en el largo plazo.

La otra opción para resolver el problema es realizar potencias sucesivas de la matriz P, hasta que se estabilice.

Probabilidades de estado estable