Cadenas de Markov

Cadenas de MarkovInvestigacin de Operaciones II

Captulo 17Cadenas de Markov

El estudio de cmo una variable aleatoria cambia con el tiempo incluye procesos estocsticos, en particular se pone mucha atencin en un tipo de proceso estocstico llamado cadena de Markov; las cadenas de Markov han sido aplicadas en reas como educacin, comercializacin, servicios de salud, finanzas, contabilidad y produccin.Algunas aplicaciones y usos de las cadenas de Markov usualmente son , podemos saber cmo el precio de las acciones de unaempresa evoluciona en el mercado. El estudio de cmo cambia una variable aleatoria con el tiempo incluye los procesos estocsticos. En particular, nos centramos en un tipo de proceso estocstico conocido comocadena de Markov. Estas se han aplicado en reas como la educacin, la comercializacin, la salud servicios, finanzas, contabilidad y produccin.

Proceso EstocsticoUn proceso estocstico discreto en el tiempo es una descripcin de la relacin entre las variables aleatorias X0, X1, X2.Podemos concluir diciendo que un proceso estocstico continuo en el tiempo, es simplemente un proceso estocstico en el que el estado del sistema se puede ver en cualquier instante, no slo en instantes discretos del tiempo.

Cadena de MarkovUn tipo especial de proceso estocstico en tiempo discreto es llamadocadena de Markov. Para simplificar nuestra exposicin, suponemos que en cualquier momento, el proceso estocstico en tiempo discreto puede estar en uno de un nmero finito de estados marcados como 1, 2,. . . , S. Definicin: Proceso estocstico de tiempo discreto si, para t=0, 1, 2,.ytodos los estados. En esencia, dice que la distribucin de probabilidad del estado en el tiempo t+1depende del estado en el tiempo t (it) y no depende de los estados de la cadena pasados a travs de la manera que en el tiempo t. En nuestro estudio de las cadenas de Markov, hacemos el supuesto adicional de que para todo estadoi yj y toda t,P(Xt+1=j|Xt=i)es independiente det. Este supuesto nos permite escribir P(Xt+1=j|Xti)_pijdonde pij es la probabilidad de que, dado el sistema se encuentra en el estado ien el tiempo t,ser en un estado j en eltiempo t+1. Si el sistemase mueve desde el estado i durante un perodo deal estado j durante el prximo perodo, se dice que unatransicin de i a jse ha producido.

La Pija menudo hace referencia a las probabilidades de transicin de la cadena de Markov. La ecuacinimplica que la ley de probabilidades sobre el estado el prximo perodo de la actual estado no cambia (o se mantiene estacionaria) con el tiempo. Por esta razn, es amenudo llama la Asuncin de estacionalidad. Cualquier cadena de Markov que satisface la ecuacin se llama cadena estacionaria de Markov. Nuestro estudio de las cadenas de Markov tambin nos obliga a definir el qi que la probabilidad de que la cadena se encuentra en el estado ien el tiempo 0,es decir, P(X0=i)=qi. Llamamos al vector q=[q1q2.qs]la distribucin de probabilidad inicial de la cadena de Markov. En la mayorade las aplicaciones, las probabilidades de transicin se muestra como un s X sprobabilidad de transicin de la matriz P.

Un tipo especial de proceso discreto en el tiempo se llama cadena de Markov. Para simplificar la exposicin, se supone que en cualquier instante, el proceso estocstico discreto en el tiempo puede estar en un nmero finito de estados identificados con 1, 2, ,s.En el estudio de las cadenas de Markov, se hace la suposicin adicional de que para los estados i y j toda t, P(Xt+1= jXt =i) =pij Donde pij es la probabilidad de que dado que el sistema est en el estado i en el tiempo t, estar en un estado j en el tiempo t+1. Si el sistema se mueve del estado durante un periodo al estado j durante el siguiente periodo, se dice que ocurri una transicin para la cadena de Markov.

Probabilidades de transicin en la n-sima etapaImagine que se est estudiando una cadena de Markov con una matriz de probabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara son estacionarias, no nos molestaremos en marcar nuestras cadenas de Markov como estacionarias). Una pregunta de inters es: si una cadena de Markov est en estado i en el tiempo m, Cul es la probabilidad de que n periodos despus la cadena est en el estado j? Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad es independiente de m, as que se podra escribir

Donde se llama probabilidad del n-simo paso de una transicin del estado i al estado j.Resulta claro que . Para determinar , observe que si el sistema ahora est en el estado i, entonces para que el sistema termine en el estado j dos periodos a partir de ahora, se debe ir del estado i a algn estado k y luego del estado k al estado j (vase la figura 3). Este razonamiento nos permite escribir

Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la ltima ecuacin como :El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con la columna J de la matriz P. por consiguiente, es el ij-simo elemento de la matriz . Al ampliar este razonamiento, se puede demostrar que para ,

Por supuesto, para , as que se debe escribir

Clasificacin de los estados en una cadena de Markov.Dados dos estados i y j, una trayectoria de i a j es una secuencia de transiciones que comienza en i y termina en j; tal que cada transicin en la secuencia tiene una probabilidad positiva de ocurrir.Un estado j es alcanzable desde el estado i si hay una trayectoria que conduzca de i a j.Se dice que dos estados i y j se comunican si j es alcanzable desde i, e i es alcanzable desde j.Un conjunto de estados S en una cadena de Markov es un conjunto cerrado si ningn estado fuera de S es alcanzable desde cualquier estado en S.Un estado i es peridico con periodo k>1 si k es el nmero ms pequeo tal que las trayectorias que conducen del estado i de regreso al estado i tienen una longitud que es un mltiplo de k. Si un estado recurrente no es peridico, se conoce como aperidico.

Si los estados en una cadena son recurrentes, aperidicos y se comunican entre s, se dice que la cadena es ergdica. Cadena IrreductibleSe dice que una cadena de Markov es irreducible si cada estado se puede alcanzar desde cualquier otro estado despus de un nmero finito de transiciones; o sea, para ,

En este caso, todos los estados de la cadena se comunican.

Cadenas ErgodicasUna cadena de Markov irreducible es ergdica si todos sus estados son ergdicos. En este caso la distribucin de probabilidad absoluta Siempre converge unvocamente a una distribucin lmite cuando , donde la distribucin lmite es independiente de las probabilidades inciales . Ahora podemos anunciar el siguiente teorema:Teorema 18.6-1 Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nulos o estados recurrentes no nulos. En cada caso, todos los estados se comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga un nmero finito de estados, la cadena no puede constar solo de estados transitorios, ni tampoco puede contener algn estado nulo. Probabilidades de estado estable y tiempos promedio de primer pasoSea P la matriz de probabilidades de transicin para una cadena de Markov ergdica con estados 1, 2, , s(con ij-simo elemento pij ). Despus de transcurrido un gran nmero de periodos, la probabilidad de que la cadena de Markov est en el estado j es independiente del estado inicial. La probabilidad de largo plazo, o estado estable, j se determina resolviendo el siguiente conjunto de ecuaciones lineales:

Teorema 1

Recordemos que el -esimo elemento de es . El teorema 1 establece que para cualquier estado inicial ,

Observe que para grande, tiende a una matriz con renglones idnticos. Esto significa que despus de un largo tiempo, la cadena de Markov se estabiliza, e (independientemente del estado inicial ) hay una probabilidad de que se est en el estado .Dadas y de una cadena de Markov, las probabilidades absolutas del sistema despus de un nmero especfico de transicin se determina como sigue. Sean las probabilidades absolutas del sistema despus transicin, o sea, en . La expresin general para en trminos de y , se puede encontrar como sigue: Tambin Donde es la probabilidad de transicin de segundo orden o de dos pasos, o sea, es la probabilidad de pasar del estado al estado en exactamente dos transiciones.De igual manera se puede demostrar por induccin que Donde es la probabilidad de transicin de orden o de pasos dada por la formula recursiva En general, para toda ,

Estas son las ecuaciones de Chapman-Kolomogorov.Determinacin de la probabilidad de estar en el estado j en el tiempo n cuando se desconoce el estado inicial.En muchas situaciones, no se conoce el estado de la cadena de Markov en el tiempo 0. Como se define en la seccin 17.2, sea qi la probabilidad de que la cadena este en el estado i en el tiempo 0. Entonces se puede determinar la probabilidad de que el sistema est en el estado i en el tiempo n por medio del siguiente razonamiento.La Probabilidad de estar en el estado j en el tiempo n

= q (columna j of )Donde .

Tiempos Promedios de Primer PasoPara una cadena ergdica, sea mij = nmero esperado de transiciones antes de llegar primero al estado j, dado que en la actualidad nos encontramos en el estado i; mij se llama tiempo promedio de primer paso del estado i al estado j.

Clculo de las probabilidades de estado estable y tiempos promedio de primero paso en la computadora.Puesto que al resolver un sistema de ecuaciones se obtienen las probabilidades de estado estable y los tiempos promedio de primer paso, se podra usar LINDO para determinar estos valores. Simplemente teclee la funcin objetivo de 0 e introduzca las ecuaciones que necesite para resolver como sus restricciones.Por otro lado se podra usar el siguiente modelo de LINGO para determinar las probabilidades de estado estable y los tiempos promedio de primer paso para una cadena ergdica.MODEL:1)2)SETS:3)STATE/1..2/: PI;

Cadenas Absorbentes.Variedad de aplicaciones interesantes de la cadena de Markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios, Este tipo de cadena se llama cadena absorbente. Consideremos una cadena de Markov absorbente: si se comienza en un estado transitorio, entonces finalmente se est seguro de salir del estado transitorio y terminar en uno de los estados absorbentes.En una cadena de Markov un conjunto C de estados se denomina cerrado si el sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemplo especial de un conjunto cerrado es un estado particular que tenga una probabilidad de transicin . En este caso se denomina estado absorbente.Todos los estado de una cadena irreducible deben formar un conjunto cerrado y ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe satisfacer todas las condiciones de una cadena de Markov y por ello, puede estudiarse de forma independiente.Una cadena de Markov en la que una o ms estados es un estado absorbente es una cadena de Markov absorbente. Para contestar preguntas importantes acerca de una cadena de Markov absorbente, se listan los estados en el siguiente orden: primero los estados transitorios, luego los estados absorbentes. Suponga que hay s m estados transitorios (t1, t2, , ts-m )y m estados absorbentes (a1 , a2 ,, am ). Se escribe la matriz de probabilidades de transicin P como sigue:

Modelos para planificar la fuerza de trabajo.Algunas organizaciones, usan varias categoras de trabajadores. Para fines de planificacin a largo plazo, suele ser til predecir el nmero de empleados de cada tipo que estar disponible (si contina la tendencia actual) en el estado estable.De manera ms formal, considere una organizacin cuyos miembros se clasifican en cualquier punto del tiempo en uno de s grupos (identificados como 1, 2, , s).Durante cada perodo, una fraccin pij de quienes comienzan un periodo en el grupo i comienza el siguiente periodo en el grupo j. Tambin, durante cada periodo, una fraccin pi,s+1 de los miembros del grupo i salen de la organizacin. Sea P la matriz de s x (s+1) cuyo ij-simo elemento es pij.. Al comienzo de cada periodo, la organizacin contrata Hi miembros del grupo i. Sea Ni (t) no tiende a un lmite, se llama a N=(N1, N2, , Ns ) el censo de estado estable de la organizacin.

Si existe un censo de estado estable, se puede determinar al resolver el sistema de s ecuaciones que se obtiene como sigue: simplemente observe que para que exista un censo de estado estable, debe ser cierto que en el estado estable, para i= 1, 2, , s.

Para una organizacin en la que cada miembro se clasifica en uno de s grupos,Pij = fraccin de miembros que comienzan un periodo en el grupo i que empiezan el siguiente periodo en el grupo j.Pi,s+1= fraccin de los miembros del grupo i que dejan la organizacin durante un periodo.P= matriz de s x (s+1) cuyo ij-simo elemento es PijHi= nmero de miembros del grupo i contratados al comienzo de cada periodoNi= nmero lmite (si existe) de miembros del grupo i.Ni se podra calcular igualando el nmero de personas por periodo que entran al grupo i con el nmero de personas por periodo que salen del grupo i. As, (N1, N2, , Ns ) se puede calcular resolviendo

Uso de LINGOEl siguiente modelo de LINGO se puede usar para determinar el censo de estado estable para un problema de planificacin de fuerza de trabajo:

En la lnea 2, se crean los posibles estados y se define para cada estado I el nivel de censo de estado estable y el nmero contratado, N(I) y H(I), respectivamente. En la lnea 3, se crea para cada par de estados (I,J) la probabilidad TPROB (I,J) de ir del estadoI en un periodo al estado j durante el siguiente periodo.En la lnea 6, se introduce el valor de H(I) para cada estado I. En las lneas 7 a 9, se introduce la TPROB (I,J) para el ejemplo 9. En las lneas 11 a 13, se crea para cada estado I la ecuacin (14).Observe que usamos el hecho de que

Al introducir la instruccin GO se obtendr el nivel de censo de estado estable (NI) para el estado I. Observe que al modificar la porcin DATA del programa, tambin se podra introducir un censo de estado estable deseado (N(I)) y pedir a LINGO que determine un conjunto de niveles de contratacin (H(I)) con el que obtiene el censo de estado estable deseado.En una cadena de Markov irreducible aperidica, (a) Si los estados son todos transitorios o todos nulos, entonces como para toda y y j y, no existe una distribucin limite.(b) Si todos los estados son ergdico, entonces

Donde es la distribucin limite (estado estable). Las probabilidades existen en forma nica y son independiente de en este caso, se puede determinar a partir del conjunto de ecuaciones

El tiempo medio de recurrencia para el estado j esta dado entonces por

BibliografaInvestigacin de Operaciones Autor: Wayne L. WinstonIndiana University

Captulo 17