cadenas de markov

5/13/2018 cadenas de markov - slidepdf.com

http://slidepdf.com/reader/full/cadenas-de-markov-55a7502310583 1/6

Ing. Vicente Campos Contreras Instituto Tecnológico de Jiquilpan

UNIDAD IIICADENAS DE MARKOV

Las cadenas de Markov, pueden usarse como modelo de un proceso físico o económico quetenga las siguientes propiedades.

1. El conjunto de sucesos posibles es finito.

2. La probabilidad del siguiente suceso depende solamente del suceso inmediatoanterior.

3. Estas probabilidades permanecen constantes en el tiempo.

Cada suceso individual se denomina estado. Por tanto habrá tantos estados como sucesos posibles. Para propósitos de notación Si significa el i-ésimo estado de un total de m estrados posible, donde 2 ≤ m < ∞. Cada vez que se produce un nuevo resultado o suceso se dice queel proceso ha avanzado o que se ha incrementado en un paso. Esto puede repetirse tantasveces como se desee. Un paso puede representar u periodo de tiempo o cualquier otracondición que pueda conducir a cualquier otro suceso posible. El símbolo n se utiliza paraindicar el número de pasos o incrementos. Por tanto n=0, representa el presente; n=1,representa el suceso posible de la siguiente ocasión; y n=2 representa una ocasión despuésde la siguiente.

Muchos problemas de I de O se componen de sucesos discretos, los cuales dependen de unresultado anterior. En estos casos se puede utilizar ventajosamente las Cadenas de Markovtanto en el modelaje como en el análisis.

Formulación de un proceso como Cadena de Markov:

La información se escribe en forma de tabla de probabilidades, esta tabla se denomina

matriz de transición y se designa con la letra P.

P=

Cada elemento de esta tabla representa la probabilidad de desplazarse desde un estado hastaotro. Paras propósitos de notación un elemento de la matriz de transición se designa por pij.Esta es la probabilidad condicional de que si el proceso está ahora en un estado i, en elsiguiente paso podrá estar en un estado j.

Una matriz de transición debe satisfacer las siguientes condiciones:

1. cada elemento debe ser una probabilidad, o sea que debe tener un valor entre 0 y 1.Es decir que es imposible tener una probabilidad mayor que 1 o negativa.

2. Cada fila debe sumar exactamente 1.

Empleando la notación general, esta matriz de transición tendrá la siguiente forma:

Hasta

Desde S1 S2 . . . Sm

S1

S2.

.

.

Sm

1




Donde 10 ≤≤ ij p

m j pm

j

ij ...3,2,1,11

==∑=

En la matriz anterior se observa que para un estado en n =1, una fila enumeracompletamente todas las posibles formas de estados que el proceso (cliente) puede seguir.Por tanto una fila es un vector de probabilidad. Esto es de esperarse, ya que sencillamenteun vector es una matriz de 1 x m. Un vector de probabilidad debe satisfacer los requisitossimilares de una matriz de transición.

1. Cada elemento debe ser una probabilidad, esto es, 10 ≤≤ ij p

2. La suma de los elementos del vector debe ser igual a 1: 11

=∑=

m

j

ij p

Por lo tanto una matriz de transición P está compuesta por filas de vectores de probabilidadi

V .

ANÁLISIS DE PROBABILIDAD POR MEDIO DE CADENAS DE MARKOV

La matriz de transición puede usarse para determinar la probabilidad de un suceso despuésde n pasos, dado un estado especifico inicial iS .

Según la notación definida, se ha demostrado que lo siguiente es correcto.

[ ]imiiiii p p p pV ......210= y 1=ii p

En el tiempo cero se conoce exactamente cual es el estado; por tanto la probabilidad de queel estado i exista es 1.

[ ]imiiii p p p P V V ...21

01==

La i-ésima fila de la matriz P, es el vector de probabilidad i.

La probabilidad de los resultados o sucesos en dos pasos, es el producto del vector de

probabilidad 1iV con la matriz de transición P . Por consiguiente, puede hacerse el siguiente

análisis. P V V ii

12 =

21123 )( P V P P V P V V iiii ===

312134)( P V P P V P V V iiii ===

… 11211 )(−−−

===n

i

n

i

n

i

n

i P V P P V P V V

Por lo tanto la probabilidad de los sucesos después de n pasos a partir de ahora pueden

determinarse utilizando el vector de probabilidadiV y alguna potencia de la matriz detransición P .

2

mmmm

m

m

m p p p

p p p

p p p

SmS S

S

S

S

P

...

............

...

...

...

...

21

22221

11211

21

2

1

=




Ejemplo:

En realidad, si se desea el resultado después de n pasos. n P da una información aún máscompleta ya que se compone de todos los vectores individuales n

iV . Por tanto n P da las

probabilidades de estar en cualquier estado dado para todas las condiciones, o estados,iniciales posibles.

Ejemplo:

CONDICIONES DE ESTADO ESTABLE.

Para que una matriz de una cadena de Markov alcance el estado estable debe ser una matrizergódica y regular.

CADENAS DE MARKOV ERGÓDICAS.

Una cadena ergódica describe matemáticamente un proceso en el cual es posible avanzar desde un estado hasta cualquier otro estado. No es necesario que esto sea posible precisamente en un paso, pero debe ser posible para cualquier resultado sea logradoindependientemente del estado presente.

Ejemplo calles.

Si se elabora una matriz de transición con la información obtenida, puede inspeccionarse para determinar si describe una cadena ergódica. Se efectúa una prueba sencilla paradeterminar la posibilidad de alcanzar desde cada estado inicial o presente todos los demásestados.

Sea X algún valor positivo de probabilidad ij p y se puede visualizar en cuantos pasos se puede ir desde un estado inicial, a cualquier otro estado determinado.

CADENAS DE MARKOV REGULARES.

Una cadena regular se define como una cadena que tiene una matriz de transición P la cual para alguna potencia de P tiene únicamente elementos positivos de probabilidad (diferentesde cero). Usando la misma matriz de transición de las cadena ergódica, la forma mássencilla de verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado lamatriz hasta que todos los ceros sean eliminados o hasta que se demuestre obviamente que

por lo menos un cero nunca podrá eliminarse.

La existencia de las condiciones de estado estable en una cadena ergódica regular puededemostrarse de una manera sencilla, calculando n P para diversos valores de n.

Ejemplos:

De lo anterior, se observa que a medida que aumenta el valor de n, los valores de ij p

tienden hacia un límite fijo y cada vector de probabilidadn

iV tiende hacerse igual paratodos los valores de i. Esto sugiere los siguientes enunciados:

3




1. Para un valor n suficientemente grande, el vector de probabilidad n

iV se hace igual

para todas las i y no cambia para valores grandes de n.2. Puesto que P V V n

i

n

i =+1 y n

i

n

i V V =+1 , existe un vector de probabilidad V* tal que P V V ** = .

El vector [ ]mvvvV ...* 21=

contiene las probabilidades que existen en condiciones deestado estable. El enunciado 2., proporciona un método analítico para obtener estos valores.Sea jv el j-ésimo elemento del vector de probabilidad V*. Puesto que V* todavía es unvector de probabilidad, aún debe existir la siguiente condición:

11

=∑=

m

j

jv

Y según la proposición 2. [ ] [ ]mmvvv P vvv ...... 2121 =

Si se expande este producto de matrices se obtienen m ecuaciones. Cuando se agrega elrequerimiento de que la suma de las probabilidades sea igual a 1, hay m+1 ecuaciones y m

incógnitas, descartando cualquiera de las últimas m ecuaciones. La ecuación 11

=∑=

m

j

jv no

puede descartarse puesto que las restantes m ecuaciones pueden satisfacerse si todas las0= j

v .

Ejemplos.

CADENAS DE MARKOV ABSORBENTES

Para describir procesos o sistemas que cesan (o por lo menos vuelven a comenzar) despuésde alcanzar determinadas condiciones, se utiliza un caso especial de cadenas de Markov.

Un estado absorbente es aquel que tiene una probabilidad de ser abandonado de cero, o seaque, una vez comenzado es imposible dejarlo, y el proceso se detiene completamente o sedetiene para luego comenzar a partir de algún otro estado.Una cadena de Markov es absorbente si:

1. Tiene al menos un estado absorbente2. Es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.

No es necesario efectuar esta transición en un paso; ni es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado noabsorbente.

Ejemplo.

ANÁLISIS DE CADENAS DE MARKOV ABSORBENTES.

A partir del análisis de esta clase de cadena pueden obtenerse diversas clases de información pertinente. Es posible determinar los siguientes datos:

1. El número esperado de pasos antes de que el proceso sea absorbido2. La probabilidad de absorción por cualquier estado absorbente dado

4




El primer paso del análisis es reagrupar la matriz de transición de manera que haya cuatrosubmatrices:

=

N A

I P

0

Estas matrices más pequeñas contienen elementos de probabilidad pero si se consideranindividualmente no constituyen una matriz de transición.

Consideradas individualmente contienen la siguiente información con respecto a las probabilidades. Se supone que hay a estados absorbentes y n estados no absorbentes, ya+n=m estados totales:

I. Una matriz identidad a x a que representa la probabilidad de de permanecer dentro de unestado absorbente (esta matriz no se utiliza para cálculos posteriores).0. una matriz a x n que representa la probabilidad de ir desde un estado absorbente a un

estado no absorbente. A. Una matriz n x a que contiene las probabilidades de ir desde un estado no absorbente a unestado absorbente.

N. una matriz n x n que contiene las probabilidades de permanecer en un estado noabsorbente

Para un estado inicial dado la matriz ( ) 1−− N I da el número esperado de veces que un

proceso está en cada estado no absorbente antes de la absorción.

Para el cálculo de la probabilidad de absorción para cada estado absorbente dado es( ) A N I

1−−

Ejemplos.

NÚMERO DE PASOS PARA ALCANZAR POR PRIMERA VEZ UN ESTADODETERMINADO EN CADENAS DE MARKOV.

En algunos casos es interesante determinar en una cadena no absorbente el número esperadode pasos antes de que el proceso que comienza en un estado i entre o alcance un estado noabsorbente dado j. Esto es análogo al proceso de absorción de una cadena absorbente. Por consiguiente para determinar el número de pasos antes de alcanzar por primera vez un

estado específico j, simplemente se modifica la matriz de transición de manera que el estado j aparezca como un estado absorbente y se utiliza el método desarrollado anteriormente.

Ejemplos.

UNIDAD IV

LA PROGRAMACIÓN DINÁMICA

5




La programación dinámica es la técnica mas apropiada para resolver problemas querequieran de decisiones interrelacionadas, es decir, decisiones que deben tomarse en formasecuencial y los cuales influyen en decisiones futuras de esa secuencia.

Este concepto puede tomarse en problemas que tienen funciones continuas.

La programación dinámica divide el problema en un conjunto de problemas más pequeños y

fáciles de resolver y luego agrupa los resultados del análisis. Esto se denominadescomposición.

En forma general, este concepto se expresa como:

Retorno total = Retorno a partir de las decisiones inmediatas + retornos optímales a partir delas etapas futuras que resultan de la decisión inmediata.

En términos de programación dinámica, a cada parte se le denomina etapa. En cada etapa por lo menos se toma una decisión, es decir, se optimiza una variable de decisión. La salidao retorno de cada etapa depende de las decisiones anteriores, es decir, de las condiciones

para esa etapa y de la función objetivo. Matemáticamente esto se expresa como:),( iii S d f r =

Donde r i = Es el retorno de la etapa i.d i= Es la decisión en la i-ésima etapa.S i=Son los recursos o condiciones que prevalecen en ese instante de la

etapa.F(d i , S i )=Es la función objetivo para la etapa que depende de las condiciones en

ese instante para tomar una decisión:

La función objetivo total es el resultado de la suma de la función objetivo óptima de cada

etapa.)(*),(* 1 iiiiii S d f S d r f −+=

−

1**

−+= ii f r f

Donde f* i-1 = Función óptima de la etapa anterior. f* = Función total óptima.

6

cadenas de markov

Documents

Transcript of cadenas de markov