Diapositivas Cadenas de Markov

CADENAS DE MARKOV

1. Definición de procesos estocásticos

Sucesión de eventos que se desarrolla en el tiempo, en el cual el resultado en cualquier estado contiene algún elemento que depende del azar

Ejemplo 2.1Xt = Condiciones de tiempo en la ciudad de Ica

Ejemplo 2.2Xt = El valor de venta del kilogramo de pollo cada semana.

Ejemplo 2.3Xt = Lanzamiento de una moneda.


En el caso del lanzamiento de una moneda, el resultado en cualquier etapa es independiente de todos los resultados previos.

En los casos de la condición del clima y del precio de venta de la carne de aves, su estado en un tiempo determinado no es aleatorio por completo, sino que es afectado en cierto grado por el tiempo de días previos. No obstante la sucesión es tan compleja que dicho comportamiento cambia día a día de una manera que en apariencia es algo aleatorio.

Por lo mencionado, decimos que un proceso estocástico discreto en el tiempo es la relación entre variables aleatorias.

Xi Xj

Relación


Ejemplo 2.4Xt = Temperatura registrada en cada día del año en la ciudad de Lima.

Ejemplo 2.5Xt = Cantidad de alumnos que egresan semestralmente en la especialidad de ingeniería industrial.

Ejemplo 2.6Xt = Número de alumnos que asisten a cada clase de IO2.

Caso 1: El estado del tiempo• Ud. sabe que el día 23 de noviembre fue un día soleado y la

probabilidad de que el día siguiente lloviera fue de un 36%.

23 / 10 24 / 1036%

19 / 05 20/ 05

¿ p ?

Caso 2: La ruina del jugador

Cierto juego tiene las siguientes características:• Se dispone de $3 para jugar.

• Se apuesta $1 por jugada.

• En cada jugada se gana $1 o se pierde $1 (no hay empate).

• Se gana $1 con probabilidad p y se pierde $1 con probabilidad 1 – p.

• La meta es tener la máxima cantidad de dinero posible.

• El juego termina cuando se llega a $5 o cuando el capital se reduce a $0.

Caso 2: La ruina del jugadorSe define Xt como el capital al final del juego en el tiempo t.

Sabemos que: X0 = 3 (constante)

X1, X2 y las demás Xt son desconocidas (VA)

Se puede considerar que X0, X1, X2, X3, .... Xt son procesos estocásticos de tiempo discreto.

P =P = 2

3

4

0

1

1-p

0

0

0

1

0

0

1-p

0

0

2

0

p

0

1-p

0

3

0

0

p

0

1-p

4

0

0

0

p

0

1

01 juego

5 0 0 0 0 0

5

0

0

0

0

p

1

P =P =

2

3

4

0

1

1-p

0

0

0

1

0

0

1-p

0

0

2

0

p

0

1-p

0

3

0

0

p

0

1-p

4

0

0

0

p

0

1

0

1 juego

5 0 0 0 0 0

5

0

0

0

0

p

1


Gráficamente

0

1

2

34

11

1-p1-p

pp

1-p1-ppp

pp

1-p1-p

5111-p1-p

pp

Caso 2: La ruina del jugadorUsando diagramas de árbol:

3

2

4

1-p1-p

pp

1 juego 1 juego 1 juego

1

3

1-p1-p

pp

3

5

1-p1-p

pp

0

2

1-p1-p

pp

2

4

1-p1-p

pp

2

4

1-p1-p

pp

pierde

gana

2 juegos

Xo= es el capital inicial del jugador igual a $3

En cada jugada gana o pierde $1 con probabilidad de p o 1-p respectivamente

El juego termina cuando alcanza su meta que es tener $5 o pierde todo

3

Xo X1 X2 X3


2

3

4

0

1

1-p

(1-p)2

0

0

1

0

p(1-p)

0

(1-p)2

0

2

0

0

2p(1-p)

0

(1-p)2

3

0p2

0

2p(1-p)

0

4

0

0

p2

0

p(1-p)

1

0

2 juegos

5 0 0 0 0 0

5

0

0

0

p2

p

1

0

1

2

34

11

1-p1-p

511

P2 = P*P =

p(1-p)

(1-p)2

2p(1-p)

p2(1-p)2p2

p2

2p(1-p)

(1-p)2

p(1-p)

2. Definición de Cadenas de Markov

El proceso estocástico de tiempo discreto puede estar en uno de un número finito de estados identificados por 1, 2,...,s.

Un proceso estocástico de tiempo discreto es una CADENA DE MARKOV sí, para t = 0,1,2,... y todos los estados,

P(Xt+1=it+1/Xt=it) =

P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)

Además para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es independiente de t. Esta hipótesis permite escribir:

pij = P(Xt+1=j / Xt=i)


Con frecuencia se llaman probabilidades de transición a las pij en una cadena de Markov.

La ecuación: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente período con el estado actual no cambia, o que permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condición se llama cadena estacionaria de Markov.


Se necesita saber las probabilidades de encontrar la cadena en el estado i en el tiempo “0”, es decir, P(X0=i) = qi

Al vector q = [q1 q2 .....qn] se le llama vector de condiciones iniciales o distribución inicial de probabilidad.

Σ Σ j=1,nj=1,n qqjj = 1= 1

2. Definición de Cadenas de MarkovLas probabilidades de transición se presentan como una matriz P de probabilidad de transición s x s. La matriz de probabilidad de transición se puede escribir como:

1 2 3 ... S

1 p11 p12 p13 ... p1s

2 p21 p22 p23 ... P2s

P = 3 p31 p32 p33 ... P3s

... ... ... ... ... ...

S ps1 ps2 ps3 ... pss

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el tiempo t+1. Esto significa que para cada i:

Σ j=1,s P(Xt+1=j / Xt=i) = Σ j=1,s pij = 1 (pij 0)

Período de Transición


Elementos de una Cadena de Markov:

1. Estados del Sistema: X(t)

2. Período de Transición

3. Probabilidades de Transición Matriz de probabilidades

4. Distribución inicial de probabilidad

CADENAS DE MARKOV

• IMPORTANCIA:

Permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado.

Permite encontrar el promedio a la larga o las probabilidades de estado estable.

APLICACIONES

• Biología (Comportamiento de moléculas y predicción de comportamientos).

• Genética y Paleontología (Evolución de las especies).

• Marketing (Identificar patrones de comportamiento de clientes).

• Gobierno (Efecto de Políticas Gubernamentales).

Ejemplos (Cadenas de Markov)

Ejemplo 1

Supongamos, que en Lima, si un día está nublado, el 65% del tiempo será nublado al día siguiente y que si un día está soleado, con probabilidad 38% será soleado al día siguiente. Hallar la Matriz de Transición.

62%

35%

65%38%

Cadena de Markov con 2 estados

s

0.38

0.35

n

0.62

0.65n

s


Ejemplo 2 Cadena de Markov con 3 estados

Supongamos que el estado de ánimo de Enzo puede ser, alegre, triste o molesto. Si está alegre, habrá una probabilidad de 80% de que siga alegre al día siguiente y 15% de que esté triste. Si está triste, 30% de que siga triste y 50% de que esté molesto. Y, si está molesto, 80% de que no siga molesto y 50% de que esté alegre al día siguiente. Hallar la Matriz de Transición.

15%15%30%30%

20%20%80%80%

20%20%

30%30%

50%

50%

50%50%

5%5%

M

A

0.80

0.20

0.50

T

0.15

0.30

0.20

M

0.05

0.50

0.30

T

A


Ejemplo 3 Cadena de Markov con 4 estados

Considere el siguiente modelo para el valor de una acción. Si la acción sube o no mañana depende de si subió o no hoy y ayer. Si la acción subió hoy y ayer , mañana subirá con probabilidad “a”. Si la acción subió hoy y ayer bajó, mañana subirá con probabilidad “b”. Si la acción bajó hoy y ayer subió, la probabilidad de que suba mañana es “c”. Por último, si la acción bajó hoy y ayer, la probabilidad de que suba mañana es “d”. Determine la matriz de transición de un paso para la cadena de Markov.

SSaaSB

BB

BS

1 - a1 - a

bb

1 -

b1

- b cc

1 - c1 - c

dd

1 - d1 - d

BS

BB

SS

a

0

b

0

SB

1-a

0

1-b

0

BS

0

c

0

d

BB

0

1-c

0

(1-d)

SB

SS

Ejemplo: línea telefónica

Sea una línea telefónica de estados ocupado=1 y desocupado=0. Si en el instante t está ocupada, en el instante t+1 estará ocupada con probabilidad 0,7 y desocupada con probabilidad 0,3. Si en el instante t está desocupada, en el t+1 estará ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9.

Ejemplo: línea telefónica

7,03,0

1,09,0Q

0 10,9

0,1

0,3

0,7

Ejemplo: Lanzamiento de un dado

Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 €, y cada vez que sale 5 ó 6 se gana 2 €. El juego acaba cuando se tienen 0 € ó 100 €.

Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM

S={0, 1, 2, …, 100}

Ejemplo: Lanzamiento de un dado

0 1 2 32/3

…

1

4 5…

2/32/32/32/3 2/3

1/3 1/3 1/3 1/3

100999897

1

2/3 2/3

1/31/3

2/3

1/3

1/3

1/3…

…

…

Ejemplo de proceso estocástico

Lanzamos una moneda al aire 6 veces. El jugador gana 1 € cada vez que sale cara (C), y pierde 1 € cada vez que sale cruz (F).

Xi = estado de cuentas del jugador después de la i-ésima jugada

La familia de variables aleatorias {X1, X2,…, X6} constituye un proceso estocástico


={CCCCCC,CCCCCF,…} card() = 26 = 64 P()=1/64 T={1, 2, 3, 4, 5, 6} S={–6, –5, …, –1, 0, 1, 2, …, 5, 6} X1()={–1, 1}

1 -1 X0 X1

X2()={–2, 0, 2}


Si fijo ω, por ejemplo 0=CCFFFC, obtengo una secuencia de valores completamente determinista:

X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,

X5(0)= –1, X6(0)=0 Puedo dibujar con estos valores la trayectoria

del proceso:


-2

-1

0

1

2

3

1 2 3 4 5 6

Instante de tiempo, t

Val

or

del

pro

ceso


Si fijo t, por ejemplo t0=3, obtengo una de las variables aleatorias del proceso:

:3X

3X

Los posibles valores que puede tomar el proceso en : X3()={–3, –1, 1, 3}


Podemos hallar la probabilidad de que el proceso tome uno de estos valores:

8

3

2

1

2

1

2

13FCCPCCFP CFCP 1)(XP 3

8

1

2

1

2

1

2

1CCCP 3)(XP 3

8

3

2

1

2

1

2

13CFFPFFCP FCFP 1)(XP 3

8

1

2

1

2

1

2

1FFFP 3)(XP 3

3. Probabilidad de transición de n pasos

Si una cadena de Markov se encuentra en el estado i en el tiempo m, la probabilidad que n períodos después la cadena de Markov esté en el estado j, es:

• pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i)

Donde pij (1) = pij

1 2 3 ... S

1 P11(n) P12(n) P13(n) ... P1s(n)

2 P21(n) P22(n) P23(n) ... P2s(n)

P(n) = 3 P31(n) P32(n) P33(n) ... P3s(n)

... ... ... ... ... ...

S Ps1(n) Ps2(n) Ps3(n) ... Pss(n)

Las pij(n) se pueden representar en la matriz P(n):


Se puede demostrar que pij(n) es el elemento ij-ésimo de la matriz Pn. Entonces:

pij (n) = Σ k=1,s pik(v)pkj(n-v)

Para n=0, pij(0) = P(X0 = j / X0 = i) y por lo tanto:

pij (0) = 1, si i = j

pij (0) = 0, si i j


Probabilidad de Transición de 2 pasos

Pij (2) = Σk Pik * Pkj

i jk

Pij (2) = P( Xm+2=j / Xm=i )


Probabilidad de Transición de 3 pasos

Pij (3) = Σk Σl ( Pik * Pkl * Plj )

i jk

Pij (3) = P( Xm+3=j / Xm=i )

l


Probabilidad de Transición de “n” pasos

i jk l………

En general,P( Xn+m=j / Xm=i ) = Pij (n)

P (n) = P*P*P*.....*P (n veces)

Ejemplo

Una fotocopiadora de oficina tiene uno de dos posibles comportamientos: FUNCIONA o NO FUNCIONA

Si funciona durante un día, la probabilidad de que al día siguiente siga funcionando es de un 75%. Si no funciona durante un día cualquiera, hay un 75% de probabilidad de que tampoco funcione al día siguiente.

a)Si actualmente funciona, ¿Cuál es la probabilidad de que esté funcionando dentro de dos días?

b) Si actualmente no funciona, ¿Cuál es la probabilidad que no está funcionando dentro de tres días?

Ejemplo - solución

Estado Descripción

1 FUNCIONA

2 NO FUNCIONA

1 2

P = 1 0.75 0.25

2 0.25 0.75

1 2

0.25

0.25

0.750.75

Ejemplo - solución

1 2

P = 1 0.75 0.25

2 0.25 0.751 2

0.25

0.25

0.750.75

a) b)1 2

P2 = 1 0.625 0.325

2 0.325 0.625

1 2

P3 = 1 0.567 0.433

2 0.433 0.567

4. Clasificación de estados de una Cadena de Markov

Definición:

Dados dos estados i y j, la trayectoria de i a j es la sucesión de transiciones que comienza en i y termina en j, de modo que cada transición tenga probabilidad positiva de presentarse.

i

j


Definición:

Un estado j es alcanzable desde el estado i, si hay una trayectoria que vaya de i a j.

i

j

i

k

j

“j” es alcanzable por “i”.


Definición:

Dos estados, i y j se comunican, si el estado j es alcanzable desde el estado i, y además el estado i es alcanzable desde el estado j.

ij i

j

k

“i” se comunica con “j”


Definición:

Un conjunto de estados S en una Cadena de Markov es conjunto cerrado, si ningún estado fuera de S es alcanzable desde un estado S.

i

jl

k


Definición:

Un estado i, es estado absorbente si pii = 1

i Pii = 1


Definición:

Un estado i es estado transitorio si hay un estado j alcanzable desde i, pero el estado i no es alcanzable desde el estado j.

i

ji

j

k

“i” es transitorio

Definición:

Si un estado no es transitorio, se llama estado recurrente.


i j

i

j

k

“i” es recurrente

Definición:

Un estado i es periódico con período k > 1, si k es el menor número tal que todas las trayectorias que parten del estado i y regresan al estado i tienen una longitud múltiplo de k.


i

l

j

estado “i” es periódico

Si k>1, entonces diremos que i es periódico de periodo j. El estado j será periódico de periodo k>1 si existen caminos que llevan desde j hasta i pero todos tienen longitud mk, con m>0

Periodicidad

Ejemplo: En la siguiente CM todos los estados son periódicos de periodo k=2:

…

… Ejemplo: En la siguiente CM todos los estados son

periódicos de periodo k=3:

Periodicidad Ejemplo de CM periódica de periodo k=3:

A1A2

A3

Definición:

Si un estado recurrente no es periódico, se llama aperiódico.


i

j

k

i

j

k

“i” es aperiódico

Definición:

Si todos los estados de una cadena de Markov son recurrentes, aperiódicos y se comunican entre sí, se dice que la cadena es ergódica.


Ejemplo Evaluar la siguiente cadena de Markov

1 2 3

1 0.33 0.67 0

P = 2 0.50 0 0.50

3 0 0.25 0.75

Estados recurrentes

1 2

3

0.67

0.5

0.5

0.25

0.75

0.33

La cadena de Markov es ergódica.

Estados aperiódicos

Se comunican entre sí.

Cadenas ergódicas Ejemplo: Analizar la siguiente CM, con S={a, b,

c, d, e}:

31

31

31

41

21

41

32

31

43

41

21

21

00

00

000

000

000

Q

Ejemplos

d

b c

e

a

1/4

1/4

3/41/2

1/4

1/21/2

1/3

1/3

1/3 2/3

1/3

Clasificar los estados Recurrentes: a, c, e Transitorios: b, d Periódicos: ninguno Absorbentes: ninguno

Ejemplo: Analizar la siguiente CM, con S={a, b, c, d, e, f, g}:

1000000

03,007,0000

0000100

0100000

002,00008,0

04,04,0002,00

0000100

Q

Ejemplos

a

e

c

b

f

d

g10,8 1

0,2

0,4

0,2

0,4

0,7

0,3

1

1

Clasificar los estados Recurrentes: a, c, d, e, f, g Transitorios: b Periódicos: a, c, e (todos de periodo 2) Absorbentes: g

Ejemplos

La siguiente CM es comunicativa, aperiódica, recurrente y ergódica.

Ejemplos

La siguiente CM es comunicativa, aperiódica, recurrente y ergódica

Ejemplos

La siguiente CM es comunicativa, recurrente y periódica de periodo 3. No es ergódica.

5. Probabilidades de estado estable

Teorema:

Sea P la matriz de transición de una cadena ergódica de “s” estados.

Existe un vector = [1 2 .... s] tal que:

1 2 3 ... S

1 1 2 3... s

2 1 2 3... s

lim Pn = 3 1 2 3... s

n ... ... ... ... ... ...

S 1 2 3... s


Teorema:1 2 3 ... S

1 1 2 3... s

2 1 2 3... s

lim Pn = 3 1 2 3... s

n ... ... ... ... ... ...

S 1 2 3... s

El vector = [1 2 .... s], se llama distribución de estado estable o también distribución de equilibrio para la cadena de Markov.


Teorema:1 2 3 ... S

1 1 2 3... s

2 1 2 3... s

lim Pn = 3 1 2 3... s

n ... ... ... ... ... ...

S 1 2 3... s

Las j satisfacen el siguiente sistema de ecuaciones:

j = k=1,s (k pkj) para j = 1, 2, ....s ( = P)

k=1,s k = 1 ( = 1)

EjemploLas compras de los consumidores están influidas por la publicidad, el precio y muchos otros factores. Un factor clave en las compras de los consumidores es la última compra.

Según datos recolectados en el cafetín de ingeniería industrial (2 semanas): •Si alguien compra una bebida Coca-Cola, y se le agrada el sabor, quedará dispuesto a comprar otra Coca-Cola (lealtad a la marca).•Coca-Cola es la marca de interés.•Pepsi es su competencia directa.•El 74% de los clientes son leales. La oposición conserva el 62% de sus clientes.

¿Que porcentaje del mercado esperará recibir Coca-Cola en el largo plazo?

Ejemplo - solución

Estado Descripción

A Coca-Cola

B Pepsi

A B

P = A

B

0.74 0.26

0.38 0.62

Hay que resolver el siguiente sistema:

= P

= 1

Donde: = [A B]

[A B] = [A B] P

= [0.74A + 0.38B 0.26A + 0.62B ]

A = 0.74A + 0.38B

B = 0.26A + 0.62B A + B = 1

De donde: A = 0.59375 B = 0.40625

Coca-Cola esperará recibir el 59.375% del mercado en el largo plazo

Ejemplo – solución (elevando Pn para estabilizarlo en el largo plazo)

A B

P = A

B

0.74 0.26

0.38 0.62

A B

P2= A

B

0.6464 0.3536

0.5168 0.4832

A B

P3= A

B

0.61270 0.38730

0.56605 0.43395

A B

P4= A

B

0.60057 0.39943

0.58378 0.41622

A B

P5= A

B

0.59621 0.40379

0.59016 0.40984

A B

P6= A

B

0.59463 0.40537

0.59246 0.40754


A B

P9= A

B

0.59379 0.40621

0.59369 0.40631

A B

P10= A

B

0.59376 0.40624

0.59373 0.40627

A B

P11= A

B

0.59376 0.40624

0.59374 0.40624

A B

P12= A

B

0.59375 0.40625

0.59375 0.40625

A B

P7= A

B

0.59470 0.40593

0.59328 0.40672

A B

P8 = A

B

0.59386 0.40614

0.59358 0.40642


A B

P13= A

B

0.59375 0.40625

0.59375 0.40625

A B

P14= A

B

0.59375 0.40625

0.59375 0.40625

P(13) = P(14) = P(15) = ...... = P(n)

A = 0.59375B = 0.40625

Podemos observar que las probabilidades se han estabilizado, es decir, cada fila poseen valores iguales.

6. Tiempos promedio de primera pasada

En una cadena ergódica, sea ij el número esperado de transiciones antes de alcanzar por primera vez el estado j, dado que estamos actualmente en el estado i. ij se llama tiempo promedio de primera pasada del estado i al estado j.

Se tiene que resolver el siguiente sistema de ecuaciones:

ij = 1 + k j pik kj

Cuando i = j, ij se llama tiempo promedio de recurrencia:

ij = 1/i

6. Tiempos promedio de primera pasada

Una computadora se inspecciona cada hora. Se encuentra que está trabajando o descompuesta. Si está trabajando, la probabilidad de que siga trabajando la siguiente hora es 0.87. Si está descompuesta, se repara, lo que puede llevar más de una hora. Siempre que la computadora esta descompuesta, la probabilidad de que siga descompuesta la siguiente hora es 0.43.

Encontrar las ij.

Ejemplo

Ejemplo - solución

Estado Descripción

1 FUNCIONA

2 DESCOMPUESTA

11 22

P =P = 11

22

0.87 0.13

0.57 0.43

Las ecuaciones para hallar los son: 1 = 0.871 + 0.572

2 = 0.131 + 0.432 1 + 2 = 1

De donde: 1 = 57/70 2 = 13/70

Por tanto: 11 = 1/1 = 1.23 horas 22 = 1/2 = 5.38 horas

Hay que resolver el siguiente sistema:

ij = 1 + k j pik kj

12 = 1 + p11 12

= 1 + 0.8712

21 = 1 + p22 21

= 1 + 0.4321

Donde: 12 = 7.69 horas

21 =1.75 horas

7. Cadenas de Markov con recompensa

El costo promedio a largo plazo, por unidad de tiempo está dado por:

g = j=1,s (j Cj)

Donde:

Cj = Inventarios

Nivel de ventas

Máquinas malogradas, etc.

8. Cadenas de Markov absorbentes

Una CM es absorbente, si tiene por lo menos un estado absorbente, y es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.

En una CM absorbente se puede calcular:• Número esperado de veces que se estará en un estado transitorio antes de llegar a un estado absorbente.• Probabilidad de terminar en estados absorbentes.


Se requiere una matriz de transición ordenada como la que se muestra a continuación:

s-m columnas m columnas

s-m filas Q R

m filas 0 I

Se puede entonces determinar: Número esperado de veces en un estado antes de la absorción: (I – Q)-1

Probabilidad de terminar en cada uno de los estados absorbentes: (I – Q)-1R

Transitorios

Absorbentes

Transitorios Absorbentes

Así tenemos:I es una matriz identidad de orden m x m que representa las probabilidades de permanecer dentro de un estado absorbente.

Q es una matriz de orden (s-m) x (s-m) que representa las probabilidades de ir de un estado transitorio hasta otro estado transitorio.

R es una matriz de orden (s-m) x m que representa las probabilidades de ir de un estado transitorio hasta un estado absorbente.

O es una matriz nula de orden m x (s-m) que representa las probabilidades de ir de un estado absorbente hasta un estado transitorio.


En conclusión:


1 2 3 4 S

1 p11 p12 p13 p14 p15

2 p21 p22 p23 p24 p25

P = 3 p31 p32 p33 p34 p35

4 0 0 0 1 0

S 0 0 0 0 1

Q R

O I

Se definen 4 matrices {Q, R, O, I}

8. Cadenas de Markov absorbentesEjemplo

A través del análisis de cuentas por cobrar pasadas, un contralor proporciona la siguiente información:

El balance de cuentas por cobrar indica que se tiene $60000 en cuentas por cobrar con retraso entre 0 y 30 días y $40000 en cuentas por cobrar con retraso entre 31 y 90 días.

0-30 días 31-90 días pagadas Morosas

0-30 días 0.4 0.1 0.5 0

31-90 días 0.1 0.2 0.6 0.1

Pagadas 0 0 1 0

morosas 0 0 0 1

¿Cuál debe ser la concesión?

8. Cadenas de Markov absorbentesEjemplo - solución

Estado Descripción

1 CxC con retraso entre 0 y 30 días

2 CxC con retraso entre 31 y 90 días

3 Cuentas pagadas

4 Cuentas morosas

La concesión será:60000(0.021) + 40000(0.128)= $6380

11 22 33 44

11 0.40.4 0.10.1 0.50.5 00

P =P = 22 0.10.1 0.20.2 0.60.6 0.10.1

33 00 00 11 00

44 00 00 00 11Paso = 1 día

3 4

R = 1 0.50.5 00

2 0.60.6 0.10.1

Q R

OO I

1 2

Q = 1 0.40.4 0.10.1

2 0.10.1 0.20.2

1 2

(I - Q)-1 = 1 1.702 0.213

2 0.213 1.277

3 4

(I - Q)-1R= 1 0.979 0.021

2 0.872 0.128

9. Ejercicios PropuestosProblema 1Movimiento de agua

• Sea Xi = cantidad de agua que fluye a una represa en el período i.

• Xi tiene la siguiente función de densidad:

Xi 1 2 3 4 5

F(Xi) 1/8 1/4 1/4 1/4 1/8

Para todo i independientes.

• Capacidad de la represa: 5 unidades.• Si la represa se llena, el flujo siguiente se pierde.• Al final de un período se dejan escapar 3 unidades de agua (si están

disponibles), cc se deja escapar toda el agua.• Sea: Yt = cantidad de agua en la represa al final del período t, luego de dejar

escapar el agua.

9. Ejercicios PropuestosProblema 1

Movimiento de agua

• Encontrar la matriz de probabilidades de transición.• Clasificar los estados.• Calcular las probabilidades de estado estable.• ¿Cuál es el valor esperado de agua que se pierde a la larga?• Si en un período dado no hay 3 unidades de agua, ésta se debe comprar

en otra parte. ¿Cuál es el valor esperado de este faltante por período?

9. Ejercicios PropuestosProblema 2Venta de artesanías

• Producción: 1 tapiz al día (para vender al día siguiente)• II = 1, entonces: P(V=1) = 1/3• II = 2, entonces: P(V1) = ½, P(V=2) = ¼• II = 3, entonces: P(V1) = 2/3, P(V2) = 1/3, P(V=3) = 1/5• Si II =3, el artesano no produce, sólo vende.

Hallar: La matriz de transición asociada al proceso La fracción promedio de tardes en que el artesano tendrá sólo el tapiz

producido durante ese día y ningún otro Fracción de tardes en que el artesano no produce Nivel promedio de inventario al final de un día

9. Ejercicios PropuestosProblema 3Mercado Compartido

El mercado de un producto lo comparten 4 marcas. La tabla siguiente nos muestra la distribución actual del mercado compartido y el porcentaje de personas que cambian de marca luego de compras consecutivas:

A la marca 1

A la marca 2

A la marca 3

A la marca 4

Mercado compartido

De la marca 1 60 8 20 12 40%

De la marca 2 15 40 25 20 20%

De la marca 3 25 16 50 9 30%

De la marca 4 28 12 20 40 10%

9. Ejercicios Propuestos

Problema 3

Mercado Compartido

Si en promedio se realiza una compra cada 2 meses, realizar una predicción del mercado luego de 6 meses.

¿Cuál es la participación promedio a largo plazo del mercado para cada marca si los patrones actuales de compra no se alteran?

9. Ejercicios PropuestosProblema 4

Taller de Producción

• Un taller opera dos máquinas idénticas• Cada máquina requiere de la atención del operador en momentos

aleatorios.• La probabilidad de que la máquina requiera servicio en un período de 5

minutos es p = 0.4• El operador es capaz de dar servicio a una máquina en 5 minutos.• Una máquina requiere servicio siempre al inicio de un intervalo de 5

minutos.

9. Ejercicios PropuestosProblema 5Seis 6 bolas en dos urnas

• Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas en cada urna).

• El sistema está en el estado i, i = 0,1,2,3, si la primera urna contiene i bolas blancas.

• En cada paso se saca una bola de cada urna y se intercambian (de urnas).

• Sea Xn el estado del sistema después del n-ésimo paso:

¿Por qué {Xn, n = 0, 1, ....} es una CM? Calcular la matriz de transición. Se tienen beneficios de 10, 20, 30 y 40 dólares por estar en los estados

0, 1, 2 y 3 respectivamente. ¿Cuál será el beneficio esperado a largo plazo?

9. Ejercicios PropuestosProblema 6Vigilante nocturno

Un vigilante nocturno recorre el museo cuya planta se dibuja a continuación, de acuerdo a estas reglas:•Desde la pieza D, va a la pieza C, y luego al patio P.•Desde el patio, con igual probabilidad se dirige a la pieza B, o a la pieza C (continuando luego a D).•Desde la pieza B, vuelve al patio.

Se solicita lo siguiente:Hallar la Matriz de Transición.Analizar la matriz para determinar la posibilidad de la existencia de estados estables.Calcular la probabilidad de encontrarse en cada estado después de dar 33, 34, 35 y 36 pasos. Comente.

Espacio de estados de un proceso:

• El conjunto de todos los posibles estados que un proceso puede ocupar en los distintos movimientos se llama espacio de estados. Un espacio de estados puede ser

• finito,• infinito

• Usaremos a1,a2,.....an para representar los (n) estados de un estado

• ai ‑‑‑‑‑‑> aj para representar que el proceso se mueve del estado (i) al estado (j).

Probabilidades de transición de un solo paso • P(ai ‑‑‑‑‑> aj) es la

probabilidad condicional para que el proceso que se

encuentra en el estado ai se

mueva al estado aj en un

sólo paso, y se designa por Pij . Esto recibe el nombre de probabilidad de transición de un sólo paso. Si todas estas probabilidades son conocidas para todos los pares de estados se ordenan en una matriz cuadrada que recibe el nombre de matriz de transición.

• P = [pij]

• Ejemplo:• Sea una persona sentada en el

asiento de en medio de una fila de cinco asientos [marcados con A,B,C,D,E] de izquierda a derecha. Esta persona se mueve por seis veces de una silla a la otra, estando sus movimientos controlados por una moneda que se tira al aire.

• a) Si no está al final de una fila de asientos se mueve hacia la derecha si sale CARA y hacia la izquierda si sale CRUZ.

• b) Si está al inicio o al final se quedará donde está salga lo que salga.

Espacio de Estados: [ A, B, C, D, E ]

• P[A ‑‑‑> A] = P[E ‑‑‑> E] = 1 ya que se queda donde está.

• P[B ‑‑‑> A] = 1/2 puesto que la probabilidad de que salga CR es 1/2.

• P[C ‑‑‑> C] = 0 ya que aquí no se puede quedar.

• La ∑pij = 1• Las matrices que tienen

elementos no negativos y a suma de los elementos de sus filas valen la unidad se llaman matrices estocásticas

A B C D E

A 1 0 0 0 0

B 1/2 0 1/2 0 0

C 0 1/2 0 1/2 0

D 0 0 1/2 0 1/2

E 0 0 0 0 1

Vector probabilidad inicial

• Existe un vector probabilidad inicial tal que:

• a = (a1, a2,....an) en la que los

elementos ai son las probabilidades de que el estado inicial del

proceso sea Si.•

• En el ejemplo anterior• El vector probabilidad

inicial sería• a = (0, 0,1, 0, 0)

puesto que el proceso comienza en la silla C.

Propiedad de Markov

• Considerar una secuencia Si,Sj,Sk de un experimento cuyo vector y matriz inicial son conocidos. Entonces la secuencia de probabilidad será:

P( Si,Sj,Sk ) = P( Si) P( Si‑>Sj) P( Sj‑>Sk)

• Podríamos ampliar la regla para cubrir secuencias de cualquier número de pasos. A los procesos a los cuales podemos aplicar esta regla se dicen que tienen la propiedad de Markov.

• Para tales procesos la probabilidad de la siguiente dirección depende del estado presente del proceso y no depende del estado precedente.

• Ejemplo:• En el problema anterior

calcular la probabilidad de la secuencia.

• P[C,D,C,B,A,A,A] = P[C] P[C ‑‑>D] P[D ‑‑>C] P[C ‑‑>B]. P[B ‑‑>A] P[A ‑‑>A] P[A ‑‑>A] =1*1/2*1/2*1/2*1/2*1*1 =1/16

Cadena de Markov finita y estacionara.

• Una cadena de Markov estacionara y finita queda completamente definida cuando se conoce:

• a) Espacio de estados finito.

• b) Una matriz [Pij] de probabilidades de transición de un sólo paso estacionara.

• c) El vector de probabilidad inicial.

Cadena de transición de n pasos

• El diagrama es un gráfico de una secuencia de una muestra de una cadena de Markov de cinco estados A ‑‑‑‑> E .En los doce pasos se recorren todos los estados. Evidentemente el proceso no puede quedarse nunca atrapado. A los estados que pueden atrapar un proceso se les llaman estados absorbentes.

Probabilidades de transición superiores

• La probabilidad de que el

proceso pase del estado Si al

Sj en (n) pasos se llama probabilidad de transición en n pasos y se simboliza por :

• P(n)ij

• La matriz formada por

todos los P(n)ij es una

matriz cuadrada y se denomina matriz de transición de (n) pasos.

• TEOREMA:

• Si P es la matriz de transición de un paso en una cadena finita de Markov,

entonces Pn es la matriz de transición de (n) pasos.

La probabilidad P(n)ij es la probabilidad de pasar de Si a Sj en dos pasos.

Suponiendo (n) estados en S.Existen n caminos mutuamente excluyentes

Si‑‑‑‑>S1‑‑‑‑>Sj Si‑‑‑‑>S2‑‑‑‑>Sj.......Las probabilidades de esos caminos son:• pi1 ▬►p1j

• pi2 ▬► p2j

• ........Por lo que por la regla de la cadena la probabilidad

del suceso Si‑‑‑‑>Sj en dos pasos será la suma deestas dos probabilidades.Así

Pij(n) = ∑ Pir Prj

Pero por definición de la multiplicación de matrices, la sumatoria es el elemento ij‑ésimo de la matriz P2. Luego

• P2 = Pij

• Por inducción se puede demostrar que • Pn = Pij

(n)

A B C D E

A 1 0 0 0 0

B 1/2 1/4 0 1/4 0

C 1/4 0 1/2 0 1/4

D 0 1/4 0 1/4 1/2

E 0 0 0 0 1

A B C D E

A 1 0 0 0 0

B 1/2 0 1/2 0 0

C 0 1/2 0 1/2 0

D 0 0 1/2 0 1/2

E 0 0 0 0 1

MATRIZ DE UN SOLO PASO MATRIZ DE DOS PASOS

CADENAS DE MARKOV ABSORBENTES

• Estados ergódicos:

Sea E un subconjunto de S y E' el complementario de E en S. Si cada estado de E se puede alcanzar desde cualquier otro estado de E, pero ningún estado de E' se puede alcanzar desde E, entonces E recibe el nombre de conjunto ergódico. Un estado ergódico es un elemento de un conjunto ergódico.

• CADENAS DE MARKOV ABSORBENTES

• Son cadenas en donde todos los estados transitorios son absorbentes.

• CADENAS ERGODICAS• Cadena que está formada

por un conjunto ergódico se llama cadena ergódica. Se distinguen dos tipos de cadenas ergódicas:

• a) Cadena ergódica cíclica: en ella sólo se puede entrar en un estado a intervalos periódicos fijos.

• b) Cadena ergódica regular: cadena ergódica no‑cíclica.

EJEMPLO DE CADENA REGULAR

S1 S2

S1 1/2 1/2

S2 1/2 1/2 Está claro que el sistema completo nunca estará completamente "atrapado" en un estado, así que la cadena es regular.

S1 S2 S3

S1 0 3/4 1/4

S2 1/2 0 1/2

S3 1/4 3/4 0

Siempre es posible moverse de un estado a cualquier otro, en cualquier paso siendo los movimientos no‑cíclicos. Así la cadena y la matriz son regulares.

EJEMPLO DE CADENA NO REGULAR

S1 S2 S3

S1 ½ 1/4 1/4

S2 0 1/3 1/3

S3 0 1/4 1/4

Después de n pasos la cadena entrará (con probabilidad 1 cuando n tiende a ∞) en S2 o en S3. Una vez situada en uno de estos estados nunca podrá pasar a S1. Por lo tanto S1 es un estado transitorio y así la cadena es no regular y por lo tanto no‑ergódica, aunque el conjunto [ S2, S3 ] sea un conjunto ergódico.

EJEMPLO DE CADENA CICLICA

S1 S2 S3

S1 0 0 1

S2 1 0 0

S3 0 1 0

La cadena se mueve con período 3 a través de los conjunto cíclicos [ S1 ] [ S2 ] y [ S3 ]. Es por lo tanto una cadena cíclica ergódica y no una cadena regular.

Clasificación de estados en una cadena de Markov

• Se dice que el estado i es accesible desde el estado j si la probabilidad de transición en n pasos de j a i es positiva, p(n)ij > 0, para algún número natural n

• Si el estado i es accesible desde el estado j y viceversa se dice que los estados están comunicados

Clasificación de estados de una cadena de Markov

• Estado transitorio– Es aquél tal que después de que el proceso ha entrado ahí, nunca

regresará– El estado i es transitorio si y sólo si existe un estado j que es

accesible desde i, pero donde el estado i no es accesible desde j– Al no haber acceso al estado i desde j, existe una probabilidad

positiva (incluso igual a 1) de que el proceso se mueva al estado j y nunca regrese al estado i

• Estado recurrente– Es un estado tal que una vez que el proceso ha estado en él,

existe la seguridad de que volverá– Un estado es recurrente si y sólo si no es transitorio

• Estado absorbente– Es un estado tal que después de haber entrado allí, el sistema ya

nunca saldrá– Para que un estado i sea absorbente se requiere que pii = 1

Estado transitorio

• En la siguiente matriz de transición, el estado 2 es transitorio, ya que de él es posible pasar directamente al estado 0, pero no de regreso

• Por tanto existe la posibilidad de que el sistema pase del estado 2 al 0 y no regrese nuevamente

0 1 2 3

0 0.25 0.25 0 0.5

1 0.1 0.5 0.25 0.15

2 0.3 0.1 0.4 0.2

3 0.2 0.1 0.4 0.3Esta

do n

Estado n+1

Estado transitorio

0

2 3

1

0.25

0.25

0.10

0.10

0.40

0.25

0.20

0.40

0.5

0.30

0.500.15

0.30

0.10

0.20

El estado 2 es transitorio. Notamos que tiene una conexión directa al estado 0, pero no de regreso

Estado recurrente

• En la siguiente matriz de transición, todos los estados, excepto el 2, son recurrentes

• Esto es porque desde los estados 0,1 y 3 se puede acceder a cualquiera otro estado, y a su vez, los estados 0,1 y 3 son accesibles desde cualquier otro estado

0 1 2 3

0 0.25 0.25 0 0.5

1 0.1 0.5 0.25 0.15

2 0.3 0.1 0.4 0.2

3 0.2 0.1 0.4 0.3Esta

do n

Estado n+1

Estado recurrente

0

2 3

1

0.25

0.25

0.10

0.10

0.40

0.25

0.20

0.40

0.5

0.30

0.500.15

0.30

0.10

0.20

Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que tiene una conexión directa desde ellos, también la tiene hacia ellos

Las flechas coloreadas por pares indican las conexiones desde y hacia el estado 1

Estado absorbente

• En la siguiente matriz de transición, el estado 0 y el estado 2 son absorbentes, ya que una vez entrando en alguno de ellos, el sistema no vuelve a salir

• Esto ocurre porque la probabilidad de pasar al estado 0 dado que se encuentra en el estado 0 es igual a 1

• Análogamente ocurre para el estado 2

0 1 2 3

0 1 0 0 0

1 0.1 0.5 0.25 0.15

2 0 0 1 0

3 0.2 0.1 0.4 0.3Esta

do n

Estado n+1

Estado absorbente

0

2 3

1

1

0.10

0.10

1

0.25

0.40

0.5

0.30

0.150.30

0.20

Los estados 0 y 2 son absorbentes. Notamos que una vez que el sistema llega a alguno de ellos, no vuelve a salir

Ejemplo: La ruina del jugador

Xo es el capital inicial del jugador igual a 2 soles

En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente

El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo

ENTÓNCES:

• Proceso Estocástico es la descripción de la relación entre las variables aleatorias Xo, X1, X2,…, Xt (donde t es el número de jugadas)

• Si Xt fuera el precio de una acción en el periodo t, entonces se trata de un PROCESO ESTOCÁSTICO CONTÍNUO.

Cadenas de Markov se basa en 2 conceptos: Estado y Transición.

El sistema ocupa un estado i con probabilidad pi y después de un periodo procede a un transición para el estado j con una probabilidad de transición tij

Entónces:

Donde N es el número de estados del sistema

Matriz de Transición de estados T

Por lo tanto, una secuencia de intentos de un experimento es

una Cadena de Markov Si:

a) El resultado del m-ésimo intento depende sólo del resultado del m-1 ésimo intento

b) La probabilidad tij de pasar del estado i al estado j en los intentos sucesivos del experimento permanece constante.

Vector de probabilidad de distribución de estados al inicio

Vector de probabilidad de distribución de estados después de un periodo (jugada)

Vector de probabilidad de distribución de estados después de 2 periodos (jugadas)

Vector de probabilidad de distribución Vector de probabilidad de distribución de estados después de 3 periodos de estados después de 3 periodos (jugadas)(jugadas)

Vector de probabilidad de Vector de probabilidad de distribución de estados después de n distribución de estados después de n periodos (jugadas)periodos (jugadas)

Vector de distribución de estado estable (a la larga)

Diapositivas Cadenas de Markov

Documents

Transcript of Diapositivas Cadenas de Markov