Unidad II: Procesos Estocásticos

Investigación de

Operaciones II

Ing. Paulina González Martínez

Contacto: clasesdii@gmail.com

Unidad II: Procesos Estocásticos

Procesos Estocásticos.

Cadenas de Markov. Ecuaciones de Chapman-Kolmogorov.

Clasificación de estados de una cadena de Markov.

Tiempos de primera pasada.

Propiedades de lago plazo de las cadenas de Markov.

Cadenas de Markov en tiempo continuo.

Una Cadena de Markov es una serie de eventos, en la cual la

probabilidad de que ocurra un evento depende del evento inmediato

anterior. En efecto, las cadenas de este tipo tienen memoria. “

Recuerdan” el último evento y esto condiciona las posibilidades de

los eventos futuros. Esta dependencia del evento anterior distingue a

las cadenas de Markov de las series de eventos independientes, como

tirar una moneda al aire o un dado.

Por ejemplo: consideremos la propagación de una enfermedad

contagiosa. La transmisión de la enfermedad se produce desde un

individuo infectado a uno susceptible de contagio. Teniendo presente

periodos semanales.

Sea p la probabilidad de que durante una semana cualquiera un

individuo infectado le transmita la enfermedad a uno susceptible de

contagio. Se considera que cuando una persona ha sido infectada,

ésta queda inmune una vez que ha sido tratada.

CADENAS DE MARKOV

Sea Xn el número de individuos susceptibles de contagio en la

población al final de la semana n=1,2,...

Se define , como la probabilidad de que haya j

individuos susceptibles al final de la semana n+1 dado que hay

exactamente i individuos susceptibles de contagio al final de la

semana n (i j ).

Entonces:

)iX/jX(IPp n1nij

jjiij )p1(p

j

ip

Cadenas de Markov en tiempo discreto

Para mayor claridad, veamos un ejemplo:

Estamos interesados en cómo la distribución de una población entre estados puede cambiar durante un

período de tiempo.

La tendencia de una población a moverse entre n estados se puede describir a veces mediante una matriz

de n x n.

Consideremos una población distribuida entre n = 3 estados, que llamaremos estado 1,estado 2 y estado 3.

Se supone que conocemos la proporción pij de la población del estado j, que se mueve al estado i en

determinado período de tiempo fijo.

Supongamos que la población de un país, está clasificada de acuerdo con los ingresos en

Estado 1: pobre

Estado 2: ingresos medios

Estado 3: rico

Además en cada período de 20 años tenemos los siguientes datos para la población y su descendencia:

De la gente pobre, el 19% pasó a ingresos medios, y el 1% a rica; de la gente con ingresos medios, el 15%

pasó a pobre, y el 10% a rica; de la gente rica, el 5% paso a pobre, y el 30%, a ingresos medios.

Construcción elementos pij matriz de transición

Considerando que la matriz de transición es una matriz de probabilidades, se tiene:

MATRIZ DE TRANSICION

OBSERVACIONES:

•Las entradas de la diagonal de la matriz representa la proporción de la población que no

cambia de estado en un período de 20 años.

•La suma de los registros de cada columna de la matriz T es 1, pues la suma refleja el

movimiento de toda la población para el estado relacionado en la parte superior de la

columna.

Estado 1 Estado 2 Estado 3

Estado 1 0.80 0.19 0.01

Estado 2 0.15 0.75 0.10

Estado 3 0.05 0.30 0.65

MMMM

MMMM

M

M

MjMiij

ppp

ppp

ppp

ppp

pP

21

)1(2)1(1)1(

22221

11211

...1...1)(

Matriz P de Probabilidades de Transición en una Etapa

MATRIZ DE TRANSICION

CADENAS DE MARKOV EN ETAPA INICIAL

)(

)2(

)1(

0

0

0

0

MXIP

XIP

XIP

f f n = PT f n-1 = (PT)n f 0

Adicionalmente, se supone conocida la distribución de probabilidad de la

Cadena de Markov en la etapa inicial, que denotamos según f 0, donde :

El conocimiento del proceso estocástico {Xn}n=0,1,2,..., consiste en

poder determinar la distribución de probabilidad en cada etapa,

es decir calcular IP (Xn = j) para cada n 1 y estado j=

1,2,.....,M.

Se debe tener presente que para cada j:

i

nij

n

i

nnn

iXIPp

iXIPiXjXIPjXIP

)(

)()/()(

1

11

MATRIZ DE TRANSICION

Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes positivos

aperiódicos, entonces existe una distribución estacionaria , tal que > 0 y que

se obtiene como la solución única del sistema:

TP

PROPOSICION

Matricialmente esto equivale a tener:

De manera recursiva se tiene entonces:

f n = PT f n-1 = (PT)n f 0

)(

)2(

)1(

)(

)2(

)1(

1

1

1

21

22212

12111

MXIP

XIP

XIP

ppp

ppp

ppp

MXIP

XIP

XIP

f

n

n

n

MMMM

M

M

n

n

n

n

MATRIZ DE TRANSICION

También es posible obtener las probabilidades de transición de un estado a otro al cabo de k etapas, que denotamos por : Que resumidas en una matriz (para el caso de un número finito de estados). Estas satisfacen las ecuaciones de: Chapman- Kolmogorov que implican: P(k) = Pk

)/()/( 0

)( iXjXIPiXjXIPp knkn

k

ij

)( )()( k

ij

k pP

Cadenas de Markov en tiempo discreto

EJERCICIO Nº1

Dada la matriz de transición de un sistema determine:

a. ¿Podría confeccionar un diagrama de transición?

b. ¿Podría determinar los estados a largo plazo de la matriz?

0.080 0.184 0.368 0.368

0.632 0.000 0.000 0.368

0.264 0.368 0.368 0.000

0.080 0.184 0.368 0.368

P=

a. Debemos verificar las propiedades de matriz de transición:

Diagrama de transición para n=4:

1

3

2

4 ↺

b. Estados a largo plazo:

0.080 0.184 0.368 0.368

0.632 0.000 0.000 0.368

0.264 0.368 0.368 0.000

0.080 0.184 0.368 0.368

π1 π2

π3

π4

= π1 π2 π3 π4

1= π1 + π2 +π3 +π4

π1 = 0.2451

π2 = 0.2011

π3 =.02940

π4 = 0.2598

EJERCICIO Nº2

Suponga que toda la industria de gaseosas produce solo 2 colas: Coca-Cola y Pepsi. Cuando una persona ha comprado CC hay una posibilidad de 90% de que siga comprándola la vez siguiente; si una persona compró Pepsi, hay 80% de que repita la vez siguiente.

a) Si una persona actualmente es comprador de Pepsi ¿cuál es la probabilidad de que compre CC pasadas 2 compras a partir de hoy?

b) Si en la actualidad una persona es comprador de CC ¿cuál es la probabilidad de que compre CC pasadas 3 compras a partir de hoy?

c) Supongamos que el 60% de toda la gente toma hoy CC y el 40% Pepsi, a 3 compras a partir de ahora, ¿qué fracción de los compradores estará tomando CC?

d) Determine el estado estable del mercado.

EJERCICIO Nº3

Un fabricante de grabadoras está tan seguro de su calidad que está

ofreciendo garantía de reposición total si el aparato falla en dos años.

Basándose en datos compilados la compañía ha notado que solo el 1 % de

las grabadoras falla durante el primer año y 5 % durante el segundo. La

garantía no cubre grabadoras ya reemplazadas.

Modele el sistema como una cadena de Markov.

Solución:

1º) Definir cuantos estados existen

2º) Escribir claramente los estados

3º) Construir el sistema

Estados:

E1: Grabadoras funcionando durante el 1º

año

E2: Grabadoras funcionando durante el 2º

año

E3: Grabadoras reemplazadas por garantía

E4: Finaliza la garantía

0 0.99 0.01 0

0 0 0.05 0.95

0 0 1 0

0 0 0 1

Nota:

•Como solo falla el 1% de las grabadoras el 1º año, el 99% restante

corresponde a las grabadoras funcionando el 2º año y además es la cantidad

de grabadoras reemplazadas por derecho de garantía.

EJERCICIO Nº4

Un taxi efectúa sus servicios en las ciudades R y S. si el taxi está en

R, la probabilidad de que un pasajero quiera ir a S es de 0.8. si está en

S, la probabilidad de ir a R es de 0.3.

Se sabe además que el beneficio esperado por carrera es:

Dentro de R: $1000

Dentro de S: $1200

Entre R y S: $2000

a) Obtener la probabilidad, a largo plazo de estar en R

b) Suponiendo que realiza 10 viajes, calcular, a largo plazo, el

beneficio esperado por carrera.

EJERCICIO Nº5

La producción de uvas en una empresa del Valle del Limarí se

clasifican según la cantidad y calidad de sol recibida durante el año y

estas pueden ser A, B ó C. la uva de tipo A, se destina a la producción

de licores añejados, la de tipo B para vinos de selección y la tipo C

para producir licores económicos. Por los antecedentes del año

anterior se determinó que si la cosecha de uvas fue de tipo A, las

probabilidades de tener durante la cosecha siguiente, una cosecha de

uvas igual es de 0,4, y se espera una cosecha de uvas de tipo C de

0,3. Si la cosecha de uvas fue del tipo B, entonces se espera contar

con uva del tipo A en una probabilidad de 0,6 y B de 0,4. Si durante el

año la cosecha de uva es de tipo C, entonces para el año siguiente, se

espera que la producción sea de tipo C con una probabilidad de 0,4 y

de tipo B de 0,6.

En promedio se producen anualmente 125000 kgs. De uva, y el ultimo

año se produjo solo uva del tipo B.

Se le solicita que apoye al ingeniero a cargo del programa de

producción en la elaboración del programa de producción para los

próximos 5 años y establezca la producción que se espera para 10

años más.

EJERCICIO Nº6

Ante la problemática actual de la crisis energética, el gobierno ha decidido analizar el

uso de las energías disponibles para generar energía eléctrica, con el fin de destinar

recursos para investigar aquellas que son alternativas sustentables (Eólica). El

Ministerio de Transporte y Energía le solicita a Ud. determinar cuales serán las

proporciones de uso de dicha energía en un horizonte de 10 años. Las energías

actualmente en uso son: Petróleo, Carbón, Hidráulica y Eólica. Por estudios

realizados, se ha establecido que en la actualidad se utiliza el 60% en energía

Hidráulica, 15% en Petróleo y 20% en Carbón. Por otra parte se analizó que: de la

energía Hidráulica el 95% se mantiene usando la misma energía y el 5% cambia a

Eólica; del uso del Carbón, el 25% se cambia a Hidráulica, un 45% continúa usando

Carbón y un 5% cambia a Petróleo; del uso de Petróleo, un 40% se mantiene usando

Petróleo, un 15% se cambia a Carbón y un 30% se cambia a Hidráulica; también se

sabe que quienes usan energía Eólica lo siguen haciendo. Se le solicita a Ud.:

a) Matriz inicial del caso

b) Matriz de Transición para resolver la situación planteada

c) Diagrama de Transición

d) Proporción de uso para los próximos 3 años

e) ¿Es conveniente de acuerdo a la tendencia del uso de los medios de generar

energía eléctrica que se realice investigación en energía alternativa (Eólica) o

buscar mejores mecanismos para obtener petróleo, Carbón o Hidráulica a mas

bajos costos?