Unidad 6 Cadenas de Markov en Tiempo Continuo

8/9/2019 Unidad 6 Cadenas de Markov en Tiempo Continuo

1/23

ICI2212 Modelos Estocsticos

Profesor Claudio C. Araya Sassi

Unidad 6: Cadenas de Markov en Tiempo Continuo

Curso Perodo Verano, Enero de 2015

Facultad de IngenieraEscuela de IndustriasIngeniera Civil Industrial


2/23

Cadenas de Markov en Tiempo Continuo

2Profesor MSc. Claudio Araya Sassi

En la unidad anterior se supuso que el parmetro t del tiempo es

discreto (es decir, t = 0, 1, 2, . . .).

Este supuesto es adecuado para muchos problemas, pero existen ciertos

casos en los que se requiere un parmetro (llamado t) de tiempo

continuo, debido a que la evolucin del proceso se observa de manera

continua a travs del tiempo.

La definicin de cadena de Markov que se dio en la unidad anterior

tambin se extiende a esos procesos continuos.


3/23

Formulacin


Se etiquetan los estados posibles del sistema 0, 1, . . ., M.

Si se comienza en el tiempo 0 y se deja que el parmetro de tiempo t

corra de manera continua para 0, sea la variable aleatoria ()elestado del sistema en el tiempo .

Entonces

(

)toma uno de sus (M + 1) valores posibles en un intervalo,

< despus salta a otro valor en el siguiente intervalo < y as sucesivamente, donde los puntos de trnsito (, . ..) son puntos aleatorios en el tiempo (no necesariamente enteros).

Ahora considere los tres puntos en el tiempo:

1) 0 2) > 3) + > 0 ,


4/23

Formulacin


Por lo tanto, el estado del sistema se ha observado en los tiempos t=s y

t=r. Estos estados se etiquetan como

Dada esta informacin, el paso natural es buscar la distribucin de

probabilidad del estado del sistema en el tiempo t= s + t. En otras

palabras, cul es la probabilidad

Un proceso estocstico de tiempo continuo ; 0 tiene lapropiedad markoviana si

()

+ () , 0, 1, . . ,

+ () + , 0, 1, . . , 0, > > 0


5/23

Formulacin


Observe que + es una probabilidad detransicin, igual que las probabilidades de transicin de las cadenas de

Markov de tiempos discretos, donde la nica diferencia es que ahora noes necesario que t sea entero.

Probabilidades de transicin estacionarias

Si las probabilidades de transicin son independientes de s, de manera

que

Funcin de probabilidad de transicin de tiempo continuo

Un proceso estocstico de tiempo continuo ; 0 es unacadena de Markov de tiempo continuo si presenta la propiedad

markoviana.

+ 0 , > 0

() 0

lim 1, 0,


6/23

Algunas variables aleatorias importantes


Cada vez que el proceso entra en el estado i, la cantidad de tiempo que

pasa en ese estado antes de moverse a uno diferente es una variable

aleatoria , donde 0 , 1 , . . , Suponga que el proceso entra en el estado en el tiempo . Entonces, para cualquier cantidad de tiempo fijo > 0, observe que

> si y solo si para toda en el intervalo + . Por lo tanto, la propiedad markoviana(con probabilidades de transicin

estacionarias) implica que

Dice que la distribucin de probabilidad del tiempo que falta para que el

proceso haga una transicin fuera de un estado dado siempre es la

misma, independientemente de cunto tiempo haya pasado el proceso

en ese estado.

> + > >


7/23



En efecto, la variable aleatoria no tiene memoria; el proceso olvida su

historia.

Existe slo una distribucin de probabilidad (continua) que posee esta

propiedad, la distribucin exponencial.

Esta distribucin tiene un solo parmetro, llmese q, donde la media es

1/q y la funcin de distribucin acumulada es

1 , 0


8/23



Este resultado conduce a una forma equivalente para describir una cadena

de Markov de tiempo continuo:

1. La variable aleatoria tiene una distribucin exponencial con media 1/.2. Cuando sale de un estado , el proceso se mueve a otro estado, con

probabilidad , donde satisface las condiciones

3. El siguiente estado que se visita despus del estado i es independiente del

tiempo que pas en el estado i.

0

1

=


9/23



Intensidades de transicin

Papel anlogo a las probabilidades de transicin de un paso de una cadena de

Markov de tiempos discretos.

Donde

()es lafuncin de probabilidad de transicin de tiempo continuo es la probabilidad descrita en la propiedad 2 de la diapositiva anterior parmetro de la distribucin exponencial de

0 lim1 ()

, 0, 1, 2, ,

0 lim()

,


10/23




La interpretacin intuitiva de y es que son tasas de transicin.

En particular, es la tasa de transicin hacia fuera del estado i en elsentido de que es el numero esperado de veces que el proceso deja elestado i por unidad de tiempo que pasa en el estado i.

De esta forma, es el reciproco del tiempo esperado que el proceso pasaen el estado i por cada visita al estado i; es decir,

De manera similar,

es la tasa de transicin del estado i al estado j en el

sentido de que es el numero esperado de veces que el proceso transitadel estado i al estadoj por unidad de tiempo que pasa en el estado i. As,

1/[]


11/23




es el parmetro de una distribucin exponencial de una variablealeatoria relacionada Cada vez que el proceso entra al estado i, la cantidad de tiempo que

pasara en el estado i antes de que ocurra una transicin al estado j (si no

ocurre antes una transicin a algn otro estado) es una variable aleatoria, donde , 0, 1, , . Las son variables aleatorias independientes, donde cada tiene una

distribucin exponencial con parmetro , de manera que:

1/ El tiempo que pasa en el estado i hasta que ocurre una transicin ()esel mnimo (sobre ) de las .

Cuando ocurre la transicin, la probabilidad de que sea al estadoj es

/


12/23

Probabilidades de estado estable


Ecuaciones de Chapman-Kolmogorov

Para cualesquiera estados i yj, y nmeros no negativos (0 ),

Se dice que un par de estados i yj se comunican si existen tiempos

tales que > 0 > 0. Se dice que todos los estados que se comunican forman una clase.

Si todos los estados de una cadena forman una sola clase, es decir, la

cadena de Markov es irreducible.

()( )

=


13/23




Si la cadena de Markov es irreducible, entonces,

Siempre existe y es independiente del estado inicial de la cadena de

Markov, paraj =0, 1, . . ., M.

Las satisfacen las ecuaciones

> 0, > 0

lim


14/23




Sin embargo, las siguientes ecuaciones de estado estable proporcionanun sistema de ecuaciones mas til para obtener las probabilidades de

estado estable:

es la probabilidad (estable) de que el proceso est en el estado jes la tasa de transicin hacia fuera dej dado que el proceso se encuentraen el estadoj.

es la tasa de transicin del estado i alj dado que el proceso se encuentra

en el estado i.

tasa a la que el

proceso deja el

estado j

, 0, 1, . , .

tasa a la que el proceso

entra al estadoj desde

cualquier otro estado

1

=


15/23

Ejemplo 1


Un taller tiene dos maquinas idnticas en operacin continua excepto cuando

se descomponen. Como lo hacen con bastante frecuencia, la tarea con mas

alta prioridad para la persona de mantenimiento que trabaja tiempocompleto es repararlas cuando sea necesario. El tiempo que se requiere para

reparar una maquina tiene distribucin exponencial con media de 1/2 da.

Una vez que se termina la reparacin, el tiempo que transcurre hasta la

siguiente descompostura tiene distribucin exponencial con media de un da.

Estas distribuciones son independientes.

Defina la variable aleatoriaX(t) como

X(t) = nmero de maquinas descompuestas en el tiempo t,

El estado (numero de maquinas descompuestas) aumenta en 1 cuando

ocurre una descompostura y disminuye en 1 cuando se termina una

reparacin.


16/23

Ejemplo 1


Como tanto las descomposturas como las reparaciones ocurren una a la

vez,

El tiempo esperado de reparacin es de 1/2 da, de manera que la tasa a

la que se terminan las reparaciones (cuando hay maquinas

descompuestas) es 2 por da, lo que implica que 2 2 .

De manera similar, el tiempo esperado hasta que se descompone unamaquina en operacin es de un da, de manera que la tasa a la que se

descompone (cuando esta en operacin) es de uno por da; esto implica

que 1 .

Durante los tiempos en los que las dos maquinas operan, lasdescomposturas ocurren a una tasa de 1+1 = 2 por da, por lo que

2.

0 0


17/23


18/23

Ejemplo 1


Diagrama de tasas


19/23

Ejemplo 2


Suponga que ahora se agrega al taller una tercera mquina, idntica a las

dos primeras. La persona de mantenimiento debe atender todas las

mquinas. 0 2 2 3 1

+ + 3 3

+ + 4 + 4 + + 3 + 3

+ + 2 2


20/23

Ejemplo 2


Diagrama de tasas

0 1 2 3

01 3q

10 2q

12 2q

21 2q

23 1q

32 2q


21/23

Ejemplo 2


Ecuaciones de estado estable

0, 1, ,

=

1

0 1 +

2 + 3

+ + + 1


22/23


23/23

Ejemplo 2


Ecuaciones de estado estable

Reemplazando en (5) se tiene:

+ 32 + 32 + 34 1

4 + 6 + 6 + 34 1

194 1

419

3

2 4

19 6

19

619

34 4

19 3

19

Unidad 6 Cadenas de Markov en Tiempo Continuo

Documents

Transcript of Unidad 6 Cadenas de Markov en Tiempo Continuo