Cadenas de markov investigacion de operaciones
21
CADENAS DE MARKOV (INTRODUCCION)
-
Upload
eddy-guerrero -
Category
Engineering
-
view
960 -
download
6
Transcript of Cadenas de markov investigacion de operaciones
CADENAS DE MARKOV (INTRODUCCION)
TEMAS
Variables aleatorias
Proceso Estocástico
Temas
Cadena de Markov
Algunas veces se está interesado en analizarcómo cambia una variable aleatoria con eltiempo. Este estudio incluye procesosestocásticos.
Un tipo de proceso estocástico en particular esconocido como Cadena de Markov que se hanaplicado en áreas como:
•Educación•Comercio•Finanzas•Servicios de salud•Contabilidad•Producción
Las cadenas de Markov fueron introducidas porel matemático ruso Andrey Markov (1856-1922)alrededor de 1905. Su intención era crear unmodelo probabilístico para analizar lafrecuencia con la que aparecen las vocales enpoemas y textos literarios. El éxito del modelopropuesto por Markov radica en que es losuficientemente complejo como para describirciertas características no triviales de algunossistemas, pero al mismo tiempo es losuficientemente sencillo para ser analizadomatemáticamente.
ANDREY MARKOV
TEMAS
Variables aleatorias
Proceso Estocástico
Temas
Cadena de Markov
• Es un proceso que evoluciona en el tiempo de una maneraprobabilística.
• Un proceso estocástico es una colección indexada de variablesaleatorias parametrizadas por el tiempo
{Xt}={X0, X1, X2, …}
Donde Xt representa una característica de interés medibleen el tiempo t. Por ejemplo puede representar los nivelesde inventario al final de la semana t.
• Es una descripción de la relación entre las variables aleatoriasX0, X1, X2, …
• Es un proceso que evoluciona en el tiempo de unamanera probabilística.
• Un proceso estocástico es una colección indexadade variables aleatorias parametrizadas por eltiempo
TEMAS
Variables aleatorias
Proceso Estocástico
Cadena de Markov
En la teoría de la probabilidad, se conoce como cadenade Markov a un tipo especial de proceso estocástico enel que la probabilidad de que ocurra un eventodepende del evento inmediatamente anterior.
En efecto, las cadenas de este tipo tienen memoria,recuerdan el último evento y esto condiciona lasposibilidades de los eventos futuros. Esta dependenciadel evento anterior distingue a las cadenas de Markovde las series de eventos independientes, como tirar unamoneda al aire o un dado. Estos modelos muestran unaestructura de dependencia simple, pero muy útil enmuchas aplicaciones.
Propiedad de Markov: Conocido el estado del procesoen un momento dado, su comportamiento futuro nodepende del pasado. Dicho de otro modo, “dado elpresente, el futuro es independiente del pasado”
Un proceso estocástico para t = 0, 1, 2, 3… y los estados a,b,c…
P( Xt+1=j | Xt=i , Xt-1=h , … , X1=b , X0=a )
Es una cadena de Markov, si se depende solamente de: P( Xt+1=j | Xt=i )
La distribución de probabilidad del estado en el tiempo t +1 dependedel estado en el tiempo t y no depende de los estados por los quepasa la cadena en el camino.
Luego: P( Xt+1= j | Xt= i )= pij
Donde pij es la probabilidad de que dado que el sistema está en elestado i en el tiempo t, estará en un estado j en el tiempo t+1. Si elsistema se mueve del estado i durante un período al estado j duranteel siguiente período, se dice que ocurrió una transición de i a j. Las pij
se denominan probabilidades de transición para la cadena deMarkov.
En la mayoría de las aplicaciones, lasprobabilidades de transición se muestran comouna matriz de probabilidad de transición P deorden s x s. La matriz de probabilidad detransición P se puede escribir como:
Diagrama de transición
• Es un grafo dirigido cuyos nodos son losestados y cuyos arcos se etiquetan con laprobabilidad de las transiciones existentes.
• Es un arreglo donde se condensan lasprobabilidades de pasar de un estado a otro.
i j
pij
TEMAS
TEMAS
Ejemplo
Ejemplo: La línea telefónica
Sea una línea telefónica de estados:desocupada (D) y ocupada (O).
Si en el instante t está ocupada, en elinstante t+1 estará ocupada conprobabilidad 0.7 y desocupada conprobabilidad 0.3. Si en el instante t estádesocupada, en el instante t+1 estaráocupada con probabilidad 0.1 ydesocupada con probabilidad 0.9.
SOLUCION
D O
0.1
0.3
0.9 0.7
Matriz de transiciones:
Representación gráfica:
1 2
0.6
0.50.4
0.51s
3 4
0.70.40.3
5
0.2
0.5
0.10.8
2s
Dados dos estados i y j, una trayectoriade i a j es una sucesión de transicionesque comienza en i y termina en j, talque cada transición en la secuenciatiene una probabilidad positiva deocurrir.
Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de ia j. (El estado 5 es alcanzable desde el estado 3 a través de la trayectoria 3-4-5, pero el estado 5 no es alcanzable desde el estado 1 no hay trayectoria que vaya de 1 a 5)
Se dice que dos estados i y j se comunican si j es alcanzable desde i, e ies alcanzable desde j. (Los estados 1 y 2 se comunican: podemos pasar de 1 a 2 y de 2 a 1)
Un conjunto de estados S en una cadenade Markov es un conjunto cerrado si unavez dentro de uno de los estados de éstepermanece en el conjunto por tiempoindefinido. (Tanto S1 = {1, 2} como S2 = {3,4, 5} son conjuntos cerrados. Observeque una vez que entramos a un conjuntocerrado no podemos dejarlo nunca)
CLASIFICACION
Cadena irreductible:
2
1
3
4
Se dice que una cadena de Markov es irreductible si todo estado puedealcanzarse desde cualquier otro estado después de una cantidad finita detransiciones. En este caso se comunican todos los estados de la cadena.Todos los estados de una cadena irreductible deben formar un conjuntocerrado.
CLASIFICACION
Estado absorbente:
Un estado i es estado absorbente si pii = 1. Siempre que seentre a un estado de absorbente, nunca se saldrá de él. Porsupuesto, un estado absorbente es un conjunto cerrado quesólo contiene un estado. (El estado 3 es un estadoabsorbente)
1
2
3
CLASIFICACION
Estado transitorio:
Un estado i es un estado transitorio si hay un estado j alcanzable desde i,pero el estado i no es alcanzable desde el estado j. En otras palabras, unestado i es transitorio si hay manera de dejar el estado i de tal modo quenunca se regrese a él. (El estado 2 es un estado transitorio)
1
2
3
CLASIFICACION
Estado recurrente:
Si un estado no es transitorio, se llama estado recurrente. Todos los estados de una cadena irreductible deben ser recurrentes. (Los estados 1 y 2 son estados recurrentes; el estado 3 es transitorio)
1 2
3
