Capítulo 2Cadenas de Markov

Basado en la presentación del libro

Investigación de Operaciones de Winston

4a. Edición

Profesor: A. Leonardo Bañuelos S.

2

Introducción

Algunas veces estamos interesados en el cambio de una variable en el tiempo.

El estudio de los cambios de una variable aleatoria en el tiempo involucra a un proceso estocástico.

Aquí estudiaremos un caso particular de un proceso estocáctico conocido como Cadenas de Markov

Comenzaremos con la definición de proceso estocástico.

3

¿Qué es un Proceso Estocástico?

Supóngase que observamos una característica de un sistema en puntos de tiempo discreto.

Sea Xt el valor del la característica del sistema en el tiempo t. En la mayoría de las situaciones, Xt no es conocido con certeza antes del tiempo t y puede ser considerado como una variable aleatoria.

Un Proceso Estocástico de Tiempo Discreto es simplemente una descripción de la relación entre las variables aleatorias X0, X1, X2 …

4

Un Proceso Estocástico de Tiempo Continuo es simplemente un proceso estocástico en el cual los estados del sistema pueden ser observados en cualquier instante, no solo en instantes discretos.

Por ejemplo, el número de personas en un supermercado t minutos después de abrir la tienda es un proceso estocástico de tiempo continuo.

5

¿Qué es un Cadena de Markov?

Un tipo especial de proceso estocástico de tiempo discreto.

Definición: Un proceso estocástico de tiempo discreto es una Cadena de Markov si, para t = 0,1,2… y todos los estados:P(Xt+1 = it+1| Xt = it, Xt-1=it-1,…,X1=i1, X0=i0) =P(Xt+1=it+1|Xt = it)

Esencialmente esto significa que la distribución de probabilidad de los estados en el tiempo t+1 depende sólo del estado en el tiempo t(it) y no depende de los estados por los que pasó previamente para llegar a it en el tiempo t.

6

En las cadenas de Markov que se estudiarán, se

considerará que para todos los estados i y j y para cualquier tiempo t, P(Xt+1 = j|Xt = i) es independiente del tiempo.

Esta suposición nos permite escribir P(Xt+1 = j|Xt = i) = pij

donde pij es la probabilidad de que el sistema pase del estado i en el tiempo t, al estado j en el tiempo t+1.

Si el sistema se modifica del estado i en un periodo, al estado j para el siguiente periodo, entonces se dice que ha ocurrido una transición de i a j .

7

Las pij son llamadas probabilidades de

transición de la cadena de Markov.

La ecuación implica que las probabilidades de transición para los siguientes periodos no cambian con el tiempo.

Generalmente se le llama suposición de Estacionaridad y cualquier Cadena de Markov que la tiene se llama Cadena de Markov Estacionaria.

Se puede definir qi como la probabilidad de que la cadena se encuentre en el estado i en el tiempo 0; en otras palabras, P(X0=i) = qi.

8

Se denotará por v= [v1, v2,…vs] al vector de distribución de probabilidad inicial de la cadena de Markov.

Las probabilidades de transición se acostumbran presentar en una matriz de s x s llamada matriz de transición de probabilidades P. La matriz se escribe como

ssss

s

ppp

ppp

ppp

P

21

111121

11211

9

Para cada i

Cada valor en la matriz debe ser no negativo.

La suma por renglón es igual a la probabilidad del espacio muestral condicional, es decir, suma 1.

sj

jijp

1

1

10

Probabilidades de Transición de n-Pasos

Una cuestión de interés cuando se estudian cadenas de Markov es: Si una cadena de Markov está en el estado i en el tiempo m, ¿Cuál es la probabilidad de que n periodos después la cadena se encuentre en el estado j?

Esta probabilidad es independiente de m, y se puede escribir

P(Xm+n =j|Xm = i) = P(Xn =j|X0 = i) =

pij(n)donde pij(n) se llama probabilidad de n-

pasos de transición del estado i al estado j.

Para n > 1, pij(n) = ij-ésimo elemento de P n

11

Ejemplo de Refrescos

Supóngase que la industria de refrescos produce solamente 2 refrescos de cola.

Dado que una persona ha comprado Coca, existe una probabilidad de 0.9 de que en su siguiente compra consuma también Coca.

Dado que una persona ha comprado Pepsi, existe una probabilidad de 0.8 de que en su siguiente compra consuma también Pepsi.

Si la persona actualmente compra Pepsi, ¿cuál es la probabilidd de que en 2 compras consuma Coca?

Si la persona actualmente compra Coca, ¿cuál es la probabilidd de que en 3 compras consuma Pepsi?

12

Ejemplo de Refrescos (Cont.)

Se puede considerar la compra de cada persona como una Cadena de Markov, en la cual el estado está dado por el tipo de refresco que adquirió.

Puesto que cada compra puede ser de dos refrescos, la Cadena se representa por dos estados,

Estado 1 = La persona compra el refresco 1

Estado 2 = La persona compra el refresco 2

Si se define Xn como el tipo de refresco comprado por una persona en el n-ésimo periodo futuro, entonces X0, X1, … puede ser descrito como una Cadena de Markov con la siguiente matriz de transición:

13

Ejemplo de Refrescos (Cont.)

Para responder a las preguntas 1 y 2,

1. Se busca P(X2 = 1|X0 = 2) = p21(2) = elemento

2,1 de P 2:

21

80.20.

10.90.

2

1RR

R

RP

66.34.

17.83.

80.20.

10.90.

80.20.

10.90.2P

14

Ejemplo de Refrescos (Cont.)

Se tiene, p21(2) =0.34. Esto significa que la

probabilidad de que un cliente del refresco 2, compre el refresco 1 en dos compras es de 0.34.

Utilizando la teoría de la Probabilidad, se podría obtener el mismo resultado.

2. Se busca p11(3) = elemento 1,1 de P 3:

Por lo que , p11(3) = 0.781

562.438.

219.781.

66.34.

17.83.

80.20.

10.90.)( 23 PPP

15

En muchas ocasiones no se conoce el estado de la Cadena de Markov en

el tiempo 0. Entonces se puede calcular la probabilidad de que el sistema este en el estado i en el tiempo n utilizando el siguiente razonamiento.

Probabilidad de estar en el estado j en el tiempo n

donde v=[v1, v2, … ,vn].

)(

1

nij

si

ii pv

16

Para ilustrar el comportamiento de la matriz de transición de n-pasos para valores muy grandes de n, se han calculado las matrices para algunos valores de n.

Esto significa que para n suficientemente grande, no importa cuál es el estado inicial, y existe una probabilidad de 0.67 de que una persona consuma Coca.

Podemos multiplicar fácilmente matrices en una hoja de cálculo usando el comando de MMULT.

17

17.4 Clasificación de estados en una cadena de Markov

Para entender la transición de n-pasos más detalladamente, necesitamos estudiar cómo los matemáticos clasifican los estados de una cadena de Markov.

La matriz siguiente de transición ilustra la mayoría de las definiciones siguientes. Una representación gráfica se puede obtener con facilidad.

2.8.000

1.4.5.00

07.3.00

0005.5.

0006.4.

P

18

Definición: Dados dos estados i y j, una trayectoria i a j es una secuencia de transiciones que comienza en i y termina en j, tal que cada transición en la secuencia tiene una probabilidad mayor que cero de ocurrir.

Definición: Un estado j es accesible del estado i si hay una trayectoria que conduce de i a j.

Definición: Dos estados i y j se dice que se comunican si j es accesible desde i, e i es accesible desde j.

Definición: Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si no hay estado fuera de S que sea accesible desde cualquier estado en S.

19

Definición: Un estado i es un estado

absorbente si pij =0.

Definición: Un estado i es un estado transitorio si existe un estado j que sea accesible desde i, pero el estado i no es accesible desde el estado j.

La importancia de estos conceptos será clara después de las dos secciones siguientes.

20

17.5 Probabilidades de estado estable y tiempos de primera pasada

Las probabilidades de estado estable se utilizan para describir el comportamiento a largo plazo de una cadena de Markov.

Teorema 1: Sea P la matriz de transición para una cadena ergódica de s-estados. Entonces existe un vector π = [π1 π2 … πs] tal que

s

s

s

n

nP

21

21

21

lim

21

El teorema 1 nos dice que para cualquier estado inicial i,

Al vector π = [π1 π2 … πs] comúnmente se le llama distribución de estado estable, o distribución de equilibrio, para la cadena de Markov.

jn

ijn

plim

)(

22

Análisis Transitorio e Interpretación Intuitiva

El comportamiento de una cadena de Markov antes de que se alcance el estado estable es a menudo llamado transitorio (o a corto plazo).

Se puede dar una interpretación intuitiva a las ecuaciones de probabilidad del estado estacionario.

Esta ecuación puede verse en el de estado estacionario, como que el "flujo" de la probabilidad en cada estado interno debe ser igual a el flujo de la probabilidad de cada estado externo.

jk

kjkijj pp )1(

23

Uso de la probabilidad de estado estable en la toma de decisiones

En el ejemplo de los refrescos de cola, suponga que cada cliente consume una marca de cola durante cualquier semana.

Suponga que hay 100 millones de clientes para los refrescos de cola.

Cada refresco por producirlo le cuesta a la compañía $1 y se vende en $2

24

Toma de decisiones (Cont.)

Por $500 millones/año, una empresa de publicidad garantiza una disminución del 10% al 5% en la porción de clientes que cambian al refresco de cola 1 después de una compra.

¿Debe la compañía que hace el refresco de cola 2 emplear la firma?

25

Actualmente, la proporción π1 = ⅔ de las compras totales prefieren consumir el refresco de cola de la marca 1.

Por cada compra del refresco de cola 1 la compañía obtiene $1 de ganancia. Podemos calcular la ganancia anual en $3.466.666.667..

La empresa de publicidad está ofreciendo cambiar la matriz P a

80.20.

05.95.1P

26

Para P1, las ecuaciones de estado estable se convierten en

π1 = .95π1+.20π2

π2 = .05π1+.80π2

Sustituyendo la segunda ecuación por π1+π2=1 y resolviendo, obtenemos π1=0.8 y π2 = 0.2

Ahora la ganancia anual de la compañía de cola 1 será $3.660.000.000.

Por lo tanto, la compañía que produce la cola 1 debe emplear la agencia del anuncio.

27

Tiempos (promedio) de Primera Pasada

Para una cadena ergódica, sea ij = número esperado de transiciones antes de que por primera vez se alcance el estado j, dado que estamos actualmente en el estado i; el ij se llama tiempo de primera pasada desde el estado malo del paso del estado i al estado i al estado j.

En el ejemplo, asumimos que estamos actualmente en el estado i. Entonces con la probabilidad pij, tomará una transición para ir del estado i al estado j. para k ≠ j, seguiremos con la probabilidad pik para ir al estado k. En este caso, tomará un promedio de 1 para ir de i a k + las transiciones kj para ir de k a j

28

Este razonamiento implica

Para resolver las ecuaciones lineales de la ecuación anterior, encontramos todas los tiempos de primera pasada, lo cual puede hacerse así

jk

kjikij p 1

iii

1

29

Resolución por probabilidades de estado estable y Tiempos de Primera Pasada mediante la computadora

Podemos calcular las probabilidades de estado estable y los tiempos de primera pasada tal y como se ha mostrado o bien podemos utilizar LINDO, WinQSB, etc. para realizar estos cálculos con ayuda de la computadora

Simplemente capture una función objetivo como 0, y capture en las restricciones las ecuaciones que necesita para obtener la solución.

Como una alternativa, se puede utilizar el modelo LINGO que se encuentra en el archivo Markov.lng para determinar las probabilidades de estado estable y para calcular los tiempos de primera pasada para una cadena ergódica.

30

17.6 Cadenas Absorbentes

Muchas aplicaciones interesantes de cadenas de Markov implican las cadenas en las cuales algunos de los estados están absorbiendo y el resto son estados transitorios.

Este tipo de cadenas son llamadas Cadenas Absorbentes.

Para ver por qué estamos interesados en las cadenas absorbentes consideraremos el siguiente ejemplo de las cuentas por cobrar.

31

Ejemplo De las Cuentas por Cobrar

La situación de las cuentas por cobrar de una empresa se modela a menudo como cadena de Markov absorbente.

Suponga que una firma asume que una cuenta es incobrable si la cuenta tiene más de tres meses de atraso.

32

Ejemplo de las Cuentas (Cont.) Entonces al principio de cada mes, cada cuenta

se puede clasificar en uno de los estados siguientes:

Estado 1 Cuenta Nueva. Estado 2 Cuenta con un Mes de atraso

en el pago. Estado 3 Cuenta con dos meses de

atraso en el pago. Estado 4 Cuenta con tres meses de

atraso en el pago. Estado 5 Cuenta pagada. Estado 6 Cuenta incobrable.

33

Suponga que datos pasados indican que la cadena de Markov siguiente describe cómo el estado de una cuenta cambia de un mes a otro.

100000

010000

3.7.0000

06.4.000

05.05.00

04.006.0Nuevo

Mes 1

Mes 2

Mes 3

Pago

Incobrable

Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable

34

Para simplificar nuestro ejemplo, asumimos que después de tres meses, una deuda está pagada o considerada deuda incobrable.

Una vez que una deuda se paga o se considera incobrable, la cuenta se cierra y ya no hay transiciones.

Por lo tanto, la deuda pagada o incobrable es un estado absorbente, y eventualmente estará en un estado de cuenta nueva, cuenta con 1 mes, con 2 meses y con 3 meses, serán estados transitorios.

35

Una nueva cuenta será absorbida como una

deuda pagada o incobrable.

¿Cuál es la probabilidad que una nueva cuenta sea pagada?

Para responder esta pregunta debemos escribir la matriz de transición. Asumimos s - m estados transitorios y m estados absorbentes. La matriz de transición se escribe en la forma de

I

AN

0

s-m filas

m filas

mcolumnas.

s-mcolumnas

P =

36

La matriz de la transición para este ejemplo es

Así s =6, m =2, y N y A como se muestran

100000

010000

3.7.0000

06.4.000

05.05.00

04.006.0Nuevo

Mes 1

Mes 2

Mes 3

Pago

Incobrable

Nuevo Mes 1 Mes 2 Mes 3 Pago Incobrable

N A

37

1. ¿Cuál es la probabilidad que una nueva cuenta sea pagada?

2. ¿Cuál es la probabilidad que una cuenta atrasada un mes se convierta en incobrable?

3. ¿Si las ventas de la empresa en promedio son de $100.000 por mes, cuánto dinero por año será incobrable?

1000

4.100

05.10

006.1

NI

38

Usando el método de Gauss-Jordan, encontramos que

1000

40.100

20.50.10

12.30.60.1t1

t2

t3

t4

t1 t2 t3 t4

(I-N)-1 =

39

Para resolver las preguntas 1-3 requerimos de la computadora

300.700.

120.880.

060.940.

036.964.t1

t2

t3

t4

a1 a2

(I-N)-1 A=

40

Así

1. t1 = Nueva, a1 = Pagada. Así, la probabilidad que una nueva cuenta sea pagada es el elemento 11 de (I –N)-1A =.964.

2. t2 = 1 mes, a2 = incobrable. Así, la probabilidad de que una cuenta atrasada un mes se convierta en incobrable es el elemento 22 de (I –N)-1A = .06

3. De la respuesta 1, solamente 3.6% de todas las deudas son incobrables. Las cuentas a pagar anuales son de $1,200,000 en promedio, así (0.036)(1,200,000) = $43,200 por año serán incobrables.

41

17.7 Modelos para planificar la fuerza de trabajo

Muchas organizaciones emplean varias categorías de trabajadores.

Los propósitos de la planeación a largo plazo, es a menudo útil para predecir el número de los empleados de cada tipo que estarán disponibles en el estado estable.

Tales predicciones se pueden hacer mediante un análisis similar al de las probabilidades de estado estable para las cadenas de Markov.

Considere una organización en la que clasifiquen a sus miembros en cualquier momento en uno de s posibles grupos.

42

17.7 Modelos para planificar la fuerza de trabajo (Cont.) Durante cada período, una porción pij de los

que comienzan el período en el grupo i comienza la próxima vez el período en el grupo j.

También durante cada período, una porción pi,s+1 del grupo i, sus miembros dejan la organización.

Sea P la matriz de s x (s+1) en la cual la entrada ij es pij.

43

17.7 Modelos para planificar la fuerza de trabajo (Cont.)

Al comienzo de cada periodo, la organización contrata Hi miembros del grupo i.

Sea Ni(t) el número de miembros del grupo i al comienzo del periodo t.

44

Una pregunta de interés normal es si Ni(t) tiende al límite a medida que crece t (llamemos al límite Ni, si existe).

Si cada Ni(t) no se acerca a un límite, llamamos N = (N1, N2,…,Ns) censo de estado estable de la organización.

Las ecuaciones usadas para calcular el censo de estado estable son

),...,2,1( sipNpNHik

ikiik

kiki

45

Observe que lo siguiente se puede utilizar para simplificar la ecuación anterior.

Si no existe un censo de estado estable, entonces la ecuación no tendrá ninguna solución.

iiik ik pp 1

46

Uso de LINGO para calcular el censo de estado estacionario

El modelo LINGO ubicado en el archivo Census.lng se puede utilizar para determinar el censo de estado estableo para un problema del planeación de mano de obra.