Cadenas de Markov

Mag. Miguel Sierra

Contenido

Procesos estocásticos

Concepto de cadena de Markov

Procesos estocásticos

Es una herramienta que modela procesos

aleatorios en el tiempo

Un proceso estocástico es una familia de

variables aleatorias parametrizadas por el

tiempo

El espacio de estados S de un proceso

estocástico es el conjunto de todos los

posibles valores que puede tomar dicho

proceso: {1, 2, 3, .., k}

Ejemplo de proceso estocástico

Se lanza una moneda al aire hasta 6 veces.

El jugador gana $1 cada vez que sale cara (C), y

pierde $1 cada vez que sale sello (S).

El jugador empieza con $2 y se retira si queda

con $5 ó $0

Xi = estado de cuentas del jugador luego de

la i-ésima jugada (en el tiempo o instante i)

Si lanza n veces el dado:

La familia de variables aleatorias:

{X1, X2,…, Xn} constituye un proceso estocástico

Por ejemplo con n=6 lanzamientos

y el jugador empieza con $2

={CCCCCC,CCCCCS,…}

t={1, 2, 3, 4, 5, 6} (tiempo o vez que lanza)

S={0, 1, 2, 3, 4, 5} (posibles estados de

ganancias o pérdidas)

Rango(X1)={1, 3} (Estados después de t=1)

Rango (X2)={0, 2, 4} (Estados después de t=2)

Ejemplo de proceso

estocástico

Si se fija ω, por ejemplo 0=CCSSSC

(secuencia o ruta), se obtiene una secuencia de

valores completamente determinista de las

ganancias:

X1(0)=3, X2(0)=4, X3(0)=3, X4(0)=2,

X5(0)= 1, X6(0)=2

Se puede dibujar con estos valores la

trayectoria del proceso:

Ejemplo de proceso

estocástico: 0=CCSSSC

0

1

2

3

4

5

1 2 3 4 5 6

Instante de tiempo, t

Valo

r d

el

pro

ceso

Ahora consideremos que el jugador

empieza con $2 y puede hacer hasta

n=3 lanzamientos

Si se fija t =3, se obtiene una de las variables

aleatorias del proceso, la X3

Los posibles valores que puede tomar el

proceso en t =3 son los siguientes:

Rango (X3)={0, 1, 3, 5}

Podemos hallar la probabilidad de que el

proceso tome cada uno de estos valores:

8

3

2

1

2

1

2

13SCCPCCSP CSCP 3XP

3

8

1

2

1

2

1

2

1CCCP 5XP

3

8

2

2

1

2

1

2

12CSSPSCSP 1XP

3

4

1

2

1

2

1SSP 0XP

3

El jugador empieza con $2 y tiene hasta

n=3 lanzamientos

Representación matemática:

El jugador empieza con $2 y

tiene hasta n=3 lanzamientos

0 1 2 31/2

1

4 51/21/21/2

1

1/2 1/2 1/2 1/2

1 0 0 0 0 00.5 0 0.5 0 0 00 0.5 0 0.5 0 00 0 0.5 0 0.5 00 0 0 0.5 0 0.50 0 0 0 0 1

012345

0 1 2 3 4 5

Cadenas de Markov

Las cadenas de Markov (CM) y los procesos deMarkov son un tipo especial de procesosestocásticos que poseen la siguiente propiedad:

Propiedad de Markov: Conocido el estado delproceso en un momento dado, sucomportamiento futuro no depende del pasado.Dicho de otro modo: “dado el presente, elfuturo es independiente del pasado”

Cadenas de Markov

Se tiene espacios de estados discretos S y

conjuntos de instantes de tiempo T, también

discretos, T={t0, t1, t2,…}

Una cadena de Markov (CM) es una sucesión de

variables aleatorias Xi, iN, tal que:

tttt XjXpXXXjXp )(),...,,()( 1101

que es la propiedad de Markov para t discreto.

Probabilidades de transición

Las CM están completamente caracterizadas porlas probabilidades de transición en una etapa, paraun t específico:

TtSjiiXjXp tt ,,,)()( 1

Sólo trabajaremos con CM homogéneas en el

tiempo, que son aquellas en las que :

ijp )()(,, 1 iXjXPTtSji tt

donde pij se llama probabilidad de transición en una

etapa desde el estado i hasta el estado j

Además, pij es independiente del tiempo

Tt

Matriz de transición

Los pij se agrupan en la denominada matriz

de transición de la CM:

Sjiijp

ppp

ppp

ppp

P

,

333231

232221

131211

............

...

...

...

Algunos denotan la matriz P, como la matriz M.

Propiedades de la matriz de

transición

Por ser los pij probabilidades,

1,0,, ijpSji

Por ser 1, la probabilidad del evento seguro, cada fila

ha de sumar 1, es decir,

1, Sj

ijpSi

Una matriz que cumpla estas dos propiedades se llama

matriz estocástica

Diagrama de transición de

estados

El diagrama de transición de estados (DTE) de

una CM, es un grafo dirigido cuyos nodos son

los estados de la CM y cuyos arcos se

etiquetan con la probabilidad de transición de

un estado (inicio) al otro (fin).

Si la probabilidad es nula, no se pone arco.

i jpij

Ejemplo: línea telefónica

Sea una línea telefónica de estados:

ocupada=1 y desocupada=2.

Si en el instante (minuto) t está ocupada, en el

instante t+1 estará ocupada con probabilidad

0.7 y desocupada con probabilidad 0.3.

Si en el instante t está desocupada, en el t+1

estará ocupada con probabilidad 0.1 y

desocupada con probabilidad 0.9

Asumir que los instantes se miden cada

minuto, además, duración mínima de estado =

1 minuto.

Ejemplo: línea telefónica

9.01.0

3.07.0P

1 20.7

0.3

0.1

0.9

p11

p12

Ecuación de Chapman-Kolmogorov

Teorema: Las probabilidades de transición en n

etapas vienen dadas por la matriz Pn:

)(,, npiXjXPSji ijtnt

Se observa que la probabilidad de transitar de i hasta j en n

pasos es pij(n), que es el elemento (i,j) de Pn

Probabilidades de estado estable

Sabiendo que la probabilidad de transitar de i

hasta j en n pasos es el elemento (i,j) de Pn

denotado como pij(n) : Es útil averiguar el comportamiento del sistema en el

límite cuando n, llamado también

comportamiento a largo plazo.

Para describir el comportamiento a largo plazo se usan

las probabilidades de estado estable.

Cuando n pij(n) πj cualquiera sea i

πj es la probabilidad en estado estable del estado j

Probabilidades de estado estable

Teorema : Sea P la matriz de transición de una cadena de Markov. Existe entonces un vector π= [π1, π2, π3, π4, .., πk], tal que:

1 2 k

1 π1 π2 …. πk

Lim Pn = 2 π1 π2 …. πk

n ∞ -- --- --- --- ---

k π1 π2 πk

Para cualquier estado inicial i, lim pij (n) = πj

n ∞

Después de largo tiempo, la cadena de Markov se estabiliza, además, independientemente del estado inicial i, hay una probabilidad πj de que nos encontremos en el estado j.

El vector π= [π1, π2, π3, π4, .., πk] , se llama distribución de estado estable o también distribución de equilibrio para la cadena de Markov.

Hallando las Probabilidades de

estado estable

Las πj satisfacen de manera única el siguiente

sistema de ecuaciones:

Para j = 1,2, ……,s

s

k

kjkj p1

s

k

k

1

1

Como son mas ecuaciones que variables, se elimina

una ecuación (una de las primeras).

Otra opción es realizar potencias sucesivas de la

matriz P, hasta que se estabilice.

Denotamos esta matriz como P∞ o también P∞

Problema Las compras de los consumidores están influidas por la publicidad, el precio y muchos otrosfactores. Con frecuencia un factor clave es la última compra del consumidor. Si por ejemplo, alguiencompra una batería marca X, y obtiene un buen servicio, quedará predispuesto a comprar otra bateríamarca X. De hecho, una investigación de mercado puede determinar el grado de lealtad a la marcaencuestando a los consumidores. En términos de cadenas de Markov, los resultados de la investigaciónson las probabilidades de transición de seguir con la marca o de cambiar.

En la siguiente cadena de Markov, la marca A es la marca de interés, y la marca B representa todas las

demás marcas. Los clientes son bastante leales, el 80% de ellos son clientes que vuelven a comprar el

producto. La oposición conserva el 70% de sus clientes. Estos posibles cambio se detectan cada mes:

marca A marca B

marca A 0.8 0.2

marca B 0.3 0.7

¿Qué porcentaje del mercado esperará recibir el fabricante de la marca A en el largo plazo’?

Solución:

Resolviendo el sistema de ecuaciones (eliminar una de las dos primeras ecuaciones):

πA = 0.8 πA + 0.3 πB

πB = 0.2 πA + 0.7 πB

1 = πA + πB

Se obtiene πA= 0.6 y πB = 0.4.

El fabricante de la marca A esperará recibir el 60% del mercado en el largo plazo.

La otra opción para resolver el problema es realizar potencias sucesivas de la matriz P, hasta que se estabilice.

Probabilidades de estado estable