CADENA DE MARKOV

Canales Trujillo, Pierina.

Investigación Operativa II.

Bruno Romero, Carlos.

PONENTE:

CURSO:

DOCENTE:

PROCESOS ESTOCÁSTICOS

Una sucesión de observaciones X1; X2; …… se denomina proceso estocástico:

1. Si los valores de estas observaciones no se pueden predecir exactamente.

2. Pero se pueden especificar las probabilidad para los distintos valores posibles en cualquier instante de tiempo.

X1 : v.a que define el estado inicial del proceso.

Xn : v.a que define el estado de proceso en el instante de tiempo n.

PROCESOS ESTOCÁSTICOS

El espacio paramétrico T de un proceso estocástico es el conjunto de todos los posibles valores que puede tomar el tiempo.

T= {t/t є T}

PROCESOS ESTOCÁSTICOS

El espacio de estados S de un proceso estocástico es el conjunto de todos los posibles valores que puede tomar dicho proceso:

S= { Xt | t є T}

MODELO DE MARKOV

Una cadena de Markov, es un procesos estocástico en el que si el estado actual Xn y los estados previos X1,…..,Xn-1 son conocidos,La probabilidad del estado futuro Xn+1 no depende de los estados anteriores X1, ….., Xn-1, y solamente depende el estado actual Xn.Es decir:Para n= 1,2,…. YPara cualquier sucesión de estados s1,…..,sn+1P( Xn+1 = sn+1 | X1 = s1, X2=s2,…., Xn= sn) =P ( Xn+1 = sn+1 | Xn =sn)

Resumiendo:

Un proceso de Markov Finito tiene las siguientes características Generales:

1. Es un proceso estocástico.

2. Tiene la Propiedad Markoviana:

P( Xn+1 = sn+1 | X1 = s1, X2=s2,…., Xn= sn) = P ( Xn+1 = sn+1 | Xn =sn)

Propiedad de Markov: Conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, “dado el presente, el futuro es independiente del pasado”.

Probabilidades de transición

Las CM están completamente caracterizadas por las probabilidad de transición en una etapa,

Las CM homogéneas en el tiempo, que son aquellas en las que:

Donde qij se llama probabilidad de transición en una etapa desde el estado i hasta el estado j.

Matriz de transición

Los qij se agrupan en la denominada matriz de transición de la CM:

Propiedades de la matriz de transición

Por se los qij probabilidades,

Por ser 1 la probabilidad del suceso seguro, cada fila ha de sumar 1, es decir:

Una matriz que cumpla estas dos propiedades se llama matriz estocástica.

Diagrama de transición de estados

El diagrama de transición de estados (DTE) de una CM es un grafo dirigido cuyos nodos son los estados de la CM y cuyos arcos se etiquetan con la probabilidad es nula, no se pone arco.

MODELO MATEMATICO

Notación: pij : Probabilidad de cambiar del estado “i” al estado “j”.P : Matriz formada por los valores de pij (Matriz de transición).Si(t) : Probabilidad de encontrarse en el estado “i” en el periodo “t”.S(t) : Vector de probabilidad de estado en el periodo “t”.

APLICACIONES DE LAS CADENAS DE MARKOV 

Física

Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o el modelo de difusión de Laplace. 

Meteorología

Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos. 

Modelos epidemiológicos

Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias). 

Simulación

Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación. 

APLICACIÓN CADENA DE MARKOV

En un pueblito el clima puede cambiar de un día para otro, considere solo dos estados del tiempo: clima seco o húmedo. La probabilidad de tener un clima seco al día siguiente es de 0.8 si el dia actual es seco, pero si el clima es húmedo la probabilidad de tener un clima seco es de 0.6. Suponga que dichos valores no cambian en el tiempo, se pide determinar:

a) La matriz de transición.

b) El diagrama de transición

c) Las probabilidad de estado estable del sistema

APLICACIÓN CADENA DE MARKOV

Un vendedor de campo de la tienda “EFE” realiza su trabajo en tres ciudades Ate, Barranca y Callao. Para evitar desplazamientos innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al día siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en CALLAO, la probabilidad de tener que seguir trabajando en ella al día siguiente es 0.4, la de tener que viajar a BARRANCA es 0.4 y la de tener que ir ATE es 0.2. Si el viajante duerme

un día en BARRANCA, con probabilidad de un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos viajará a CALLAO, mientras que irá ATE con probabilidad 0.2. Por último si el agente comercial trabaja todo un día en ATE, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1, irá a BARRANCA con una probabilidad de 0.3 y a CALLAO con una probabilidad de 0.6.

  ATE BARRANCA CALLAO

ATE 0.1 0.3 0.6

BARRANCA 0.2 0.2 0.6

CALLAO 0.2 0.4 0.4

a) Si hoy el vendedor de campo está en CALLAO, ¿cuál es la probabilidad de que también tenga que trabajar en CALLAO al cabo de cuatro días?

b) Trace el diagrama de árbol de dos periodos para el vendedor de campo que viaja a la cuidad deCALLAO.

SOLUCION

GRACIAS :P