CADENAS DE MARKOV

CADENAS DE MARKOVUNIDAD 4PROCESO ESTOCSTICOUna sucesin de observaciones X1, X2, , Xn se denomina proceso estocstico.

Si los valores de estas observaciones no se pueden predecir exactamente, pero se pueden especificar las probabilidades para los distintos valores posibles en cualquier instante de tiempo.

PROCESO ESTOCSTICOX1: variable aleatoria que define el estado inicial del proceso

Xn: variable aleatoria que define el estado del proceso en el instante de tiempo nPROCESO ESTOCSTICOPROCESO ESTOCSTICOPROCESO ESTOCSTICOCADENAS DE MARKOVUna cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. Las cadenas de este tipo tienen memoria. "Recuerdan" el ltimo evento y esto condiciona las posibilidades de los eventos futuros.

Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. CADENAS DE MARKOVEl juego de blackjack es un ejemplo en el que el pasado condiciona al futuro. Conforme se van jugando las cartas, las probabilidades en las siguientes manos se van modificando. Las posibilidades en el juego dependen del estado o las condiciones en que se encuentre en el monte.

CADENAS DE MARKOV

En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los consumidores, para pronosticar las concesiones por deudores que no pagan a tiempo, para planear las necesidades de personal, para analizar el reemplazo de equipo, entre otros.

CADENAS DE MARKOVEl anlisis de Markov, llamado as en honor de un matemtico ruso Andrei Andreyevich Markov que desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Con esta informacin se puede predecir el comportamiento del sistema a travs del tiempo.

CADENAS DE MARKOVFuturoFuturoPasadoPresentePresenteCADENAS DE MARKOVLa probabilidad del estado futuro Xn+1 no depende de los estados anteriores X1, , Xn-1, y solamente depende del estado actual Xn.

Es decir, para n=1, 2, y para cualquier sucesin de estados S1, , Sn+1

RESUMIENDOUn proceso de Markov finito tiene las siguientes caractersticas generales:

Es un proceso estocsticoTiene la propiedad Markoviana

Propiedad de Markov: conocido el estado del proceso en un momento dado, su comportamiento futuro no depende del pasado. Dicho de otro modo, dado el presente, el futuro es independiente del pasado

EJEMPLOEl estado de una mquina puede describirse como una cadena de Markov.

Xn = condicin de la mquina en el n-simo periodo de tiempo

0 = la mquina est funcionando1 = la mquina est parada en espera de reparacin2 = la mquina est parada en reparacin

EJEMPLOTiempo (min., hrs., das, etc)Los valores que puede tomar la variablePROBABILIDADES DE TRANSICINPROBABILIDADES DE TRANSICINMATRIZ DE TRANSICINn+1nMATRIZ DE TRANSICINPROPIEDADES DE LA MATRIZ DE TRANSICINMATRIZ DE TRANSICIN+= 1DIAGRAMA DE TRANSICIN DE ESTADOSEl diagrama de transicin de estados (DTE) de una cadena de Markov es un grafo dirigido cuyos nodos son los estados de la cadena de Markov y cuyos arcos se etiquetan con la probabiliad de transicin entre los estados que unen. Si dicha probabilidad es nula, no se pone arco.ij21EJEMPLO: lnea telefnicaSea una lnea telefnica de estados:ocupado = 1 y desocupado = 0.

Si en el instante t est ocupada, en el instante t+1 estar ocupada con probabilidad 0.7 y desocupada con probabilidad 0.3. Si en el instante t est desocupada, en el t+1 estar ocupada con probabilidad 0.1 y desocupada con probabilidad de 0.9.EJEMPLO: lnea telefnicaEJEMPLO: lnea telefnican+1n010.10.30.70.9EJERCICIODetermine y resuelva dos ejemplos en equipo donde se pueda aplicar la matriz de transicin.PROBABILIDAD ESTADO N-ESIMOPROBABILIDAD ESTADO N-ESIMOPROBABILIDAD ESTADO N-ESIMOEJEMPLOEl departamento de estudios de mercado de una fbrica estima que el 20% de la gente que compra un producto un mes, no lo comprar el mes siguiente.Adems, el 30% de quienes no lo compren un mes lo adquirir al mes siguiente.

En una poblacin de 1000 individuos, 100 compraron el producto el primer mes.

Cuntos lo comprarn dentro de dos meses?EJEMPLOCompranNo compran0.200.300.700.80

EJERCICIO1. En un pueblito el clima puede cambiar de un da para otro, considere slo dos estados del tiempo:Clima secoClima hmedo

La probabilidad de tener un clima seco al dpia siguiente es de 0.8 si el da actual es seco, pero si el clima es hmedo la probabilidad de tener un clima seco es de 0-6.Suponga de dichos valores no cambian en el tiempo, se pide determinar:El diagrama de transicinLa matriz de transicin

EJERCICIO (SOLUCIN)SecoHmedo0.20.80.60.4EJERCICIO2. El valor de una accin flucta da con da. Cuando la bolsa de valores se encuentra estable, un incremento en un da tiende a anteceder una baja el da siguiente, y una baja por lo regular es seguida por un alza. Podemos modelar estos cambios en el valor mediante un proceso de Markov con dos estados, el primer estado consistente en que el valor se incrementa un dia dado, el segundo estado definido por la baja. (la posibilidad de que el valor permanezca sin cambio se ignora) suponga que la matriz de transicin es la siguiente: 0208 0901 ,, ,, Si el valor de la accin baj hoy, calcule la probabilidad de que se incremente 3 das despus a partir de ahora.

Cuntos lo comprarn dentro de dos meses?EJERCICIOCambio de maanaCambio de hoyEJERCICIO (SOLUCIN)