Maestría en Bioinformática Probabilidad y Estadística: Clase 4

Procesos aleatorios Ejemplos Cadenas de Markov

Maestrıa en BioinformaticaProbabilidad y Estadıstica: Clase 4

Gustavo [email protected]

Facultad de IngenierıaUniversidad de la Republica

Abril de 2010


Contenidos

1 Procesos aleatorios

1 EjemplosCaminata del borracho con barreras absorbentesCaminata del borracho con barreras reflectantesLa ruina del apostadorPaseo aleatorio en ZPaseo aleatorio en Z2

Paseo aleatorio en Z3

Competencia de especiesProceso de Galton-WatsonModelo de Ehrenfest

2 Cadenas de MarkovMatriz de transicionEstado inicial


Procesos aleatorios

Informalmente hablando, un proceso aleatorio se obtienecuando se repite un experimento aleatorio.

Ejemplo: Tiramos una moneda sucesivas veces y registramoslos resultados:

C C N C N N C N N N C N C N N N C C...

Este es un proceso aleatorio independiente, ya que lasvariables aleatorias Xi , i = 1,2, . . ., que registran los sucesivosresultados de tirar la moneda, son independientes. (Podemospensar que estamos codificando la secuencia de tiradasdefiniendo Xi = 1 si en la tirada i sale Cara, Xi = 0 si en latirada i sale Numero).


Para introducir la definicion general comenzamos considerandoel Espacio de estados:

DefinicionEl Espacio de estados, E = {s1, s2, . . . , sr}, es el conjunto deposibles valores que puede tomar cada una de las variablesaleatorias que definen el proceso.

Observacion: A lo largo del curso supondremos que elconjunto E es discreto (con una cantidad finita o infinita deelementos).

DefinicionUn Proceso aleatorio (en tiempo discreto) con espacio deestados E es una sucesion de variables aleatorias{Xn : n = 0,1,2, . . .}, donde Xn ∈ E para cada n ≥ 0.


Comentarios:

A la variable X0 se le llama Estado inicial del proceso.Decimos que los procesos estan definidos a tiempodiscreto porque el ındice n (el tiempo) toma valores en elconjunto de enteros no negativos. Sin embargo no siempreeste ındice representa al tiempo: por ejemplo, las variables{Xn} pueden caracterizar los nucleotidos en una cadenade ADN, y en tal caso el ındice n representa los sitios de lacadena. Mas adelante estudiaremos algunos procesos entiempo continuo.


Ejemplos

1) La caminata del borracho con barreras absorbentes:Consideremos el espacio de estados E = {0,1,2,3,4,5,6,7}.Cada uno de esos estados representa una esquina en unaciudad unidimensional. Consideremos un borracho que caminaaleatoriamente en esta ciudad de acuerdo con las siguientesreglas:

Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1

2 oretrocede una cuadra con probabilidad 1

2 .Toda vez que el borracho alcanza la esquina 0 (quecorresponde a su casa) o la esquina 7 (que corresponde aun bar), allı se queda. Decimos que 0 y 7 son estadosabsorbentes.

El proceso {Xn} registra las sucesivas esquinas por las quepasa el borracho.


2) La caminata del borracho con barreras reflectantes:Igual que en el ejemplo anterior, E = {0,1,2,3,4,5,6,7}.Consideremos ahora que el borracho camina aleatoriamentede acuerdo con las siguientes reglas:

Si en el tiempo n el borracho se encuentra en alguna delas esquinas intermedias, {1,2,3,4,5,6}, entonces en eltiempo n + 1 avanza una cuadra con probabilidad 1

2 oretrocede una cuadra con probabilidad 1

2 .Toda vez que el borracho alcanza la esquina 0 esempujado hacia el estado 1 y toda vez que alcanza laesquina 7 es empujado hacia el estado 6. Decimos ahoraque 0 y 7 son estados reflectantes.


Al estudiar este tipo de problemas surgen naturalmente unaserie de preguntas:

En el Ejemplo 1: ¿Cual es la probabilidad de que elsistema sea absorbido por el estado 0 antes de serabsorbido por el estado 7?En el Ejemplo 1: ¿Cuanto tiempo transcurre, en promedio,hasta que el sistema llega a un estado absorbente?En el Ejemplo 1: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados transitorios?En el Ejemplo 2: ¿Como se comporta el sistema cuandon→∞?En el Ejemplo 2: ¿Cuanto tiempo, en promedio, pasa elsistema en cada uno de los estados?

Estas y otras cuestiones seran analizadas en las proximasclases.


3) La ruina del apostador: Consideremos el conjuntoE = {0,1,2, . . . ,G}, con G fijo, donde cada estado representael posible capital de un apostador que juega en un casino.Supongamos que la probabilidad de ganar en una apuesta esp y que la probabilidad de perder es q = 1− p; suponemos queen cada apuesta el jugador gana o pierde una unidad dedinero. La variable Xn registra el capital del apostador al tiempon. El proceso se define como sigue:

Si en el tiempo n el capital es un numero del conjunto{1,2,3, . . . ,G − 1}, entonces en el tiempo n + 1 el capitaldel apostador aumenta una unidad con probabilidad p odisminuye una unidad con probabilidad q.El apostador deja de apostar cuando alcanza la gananciaG o cuando su capital es 0. Estos estados pueden versecomo estados absorbentes.


Ejemplo de calculo de las probabilidades de absorcion:Denotamos: wj = probabilidad de que el jugador llegue a ganarG (antes de perder todo) si comienza con una ganancia inicialj .Las cantidades w0,w1,w2, . . . ,wG satisfacen el siguientesistema de ecuaciones lineales:

wj = pwj+1 + qwj−1, para j = 1,2, . . . ,G − 1.w0 = 0.wG = 1.

Resolviendo ese sistema de ecuaciones y usando lascondiciones de contorno se obtiene:Caso 1: Si p = q = 1

2 , entonces: wj =jG , para cada

j = 1,2, . . . ,G − 1.Caso 2: Si p 6= q, entonces: wj =

(q/p)j−1(q/p)G−1 , para cada

j = 1,2, . . . ,G − 1.


4) Paseo aleatorio en Z: El espacio de estados es Z y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema avanza unaunidad con probabilidad 1

2 o retrocede una unidad conprobabilidad 1

2

5) Paseo aleatorio en Z2: El espacio de estados es Z2 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia arriba o haciaabajo con igual probabilidad (1

4 ).

6) Paseo aleatorio en Z3: El espacio de estados es Z3 y ladinamica del proceso se define de la siguiente manera: Dado elestado al tiempo n, en el tiempo n + 1 el sistema se desplazauna unidad hacia adelante o hacia atras o hacia la izquierdao hacia la derecha o hacia arriba o hacia abajo con igualprobabilidad (1

6 ).


Realizaciones del paseo aleatorio en Z.


Realizacion del paseo aleatorio en Z2.


Realizaciones del paseo aleatorio en Z3.


7) Competencia de dos especies por un territorio:Consideremos un cuadrado con L× L casilleros. Cada casilleropuede estar ocupado por una especie vegetal (en tal caso lopintamos de negro) o por otra (en tal caso lo pintamos deblanco). En cada tiempo el estado del sistema quedacaracterizado especificando cuales sitios son de un color ycuales de otro; ası que |E | = 2L2

. La dinamica del proceso sedefine como sigue: Dado el estado al tiempo n, se elige uncasillero al azar y luego se elige al azar uno de los casillerosvecinos a ese; se pinta entonces el casillero elegidoinicialmente con el color del casillero vecino. Eso defineeventualmente un nuevo estado al tiempo n + 1.

Se observa que hay dos estados absorbentes (todo blanco otodo negro), e interesa saber cual es la probabilidad de queuna especie domine a la otra a partir de una configuracioninicial.


8) Proceso de Galton-Watson: Consideremos individuos quetienen un numero aleatorio de hijos. En cada generacion cadaindividuo tiene hijos independientemente de los otrosindividuos y con la misma distribucion de probabilidad.Comenzando con un individuo, Z0 = 1, el proceso Zn cuentacuantos descendientes hay en la generacion n. Obviamente 0es un estado absorbente. Interesa estudiar paraque condiciones el proceso se extingue con probabilidad 1 ypara que condiciones sobrevive indefinidamente con algunaprobabilidad positiva.


9) Modelo de Ehrenfest de difusion de gases: ConsideremosN bolillas colocadas en una caja con dos compartimentos, A yB. Xn cuenta la cantidad de bolillas que hay en elcompartimento A al tiempo n. La dinamica del proceso sedefine como sigue: Dado el estado del proceso al tiempo n, seelige una bolilla al azar y se la cambia de compartimento. Demanera que Xn+1 aumentara o disminuira en una unidad.En este modelo interesa saber cual es el comportamientoasintotico cuando n→∞.


Condicion de Markov

¿Que tienen en comun todos estos procesos que acabamos dedescribir? Todos ellos cumplen la siguiente condicion:

Condicion de Markov

P(Xn+1 = j | Xn = i ,Xn−1 = in−1, . . . ,X1 = i1,X0 = i0)= P(Xn+1 = j |Xn = i),

para todos los valores de n ≥ 0; i0, i1, . . . , in−1, i , j ∈ E.

Los procesos {Xn : n ≥ 0} que cumplen la Condicion deMarkov se llaman Cadenas de Markov


Matriz de transicion

Si las probabilidades de transicion P(Xn+1 = j |Xn = i) nodependen de n decimos que la Cadena de Markov esHomogenea. Todos los ejemplos que vimos y los que veremosa lo largo del curso son de este tipo. En tal caso denotamos:

pij = P(Xn+1 = j |Xn = i) = P(X1 = j |X0 = i).

Matriz de transicionAgrupando las cantidades {pij} en una matriz obtenemos lamatriz de transicion de la cadena de Markov:

P =

p11 p12 ... p1rp21 p22 ... p2r. . . .. . . .

pr1 pr2 ... prr


Nota: Hemos supuesto, para simplificar la notacion, queE = {1,2, . . . , r}.

Observaciones:

El tamano de la matriz es |E | × |E |. (En los ejemplos 4), 5)y 6) el tamano es infinito)pij ≥ 0 para cada i , j ∈ E .∑

j∈E pij = 1 para cada i ∈ E .

A una matriz que cumple con estas condiciones se le llamamatriz estocastica.


Estado inicial

El segundo ingrediente que necesitamos para caracterizar unacadena de Markov es el estado inicial.Supongamos que para n = 0 conocemos las probabilidades deque el proceso este en cada uno de los elementos del conjuntoE . Para simplificar suponemos como antes queE = {1,2, . . . , r}. Denotamos:

π(0)1 = P(X0 = 1)

π(0)2 = P(X0 = 2)... = ...

π(0)r = P(X0 = r)


Estado inicial

Estado inicial

Agrupando las cantidades {π(0)i } en un vector fila obtenemos elestado inicial de la cadena de Markov:

π(0) = (π(0)1 , π

(0)2 , . . . , π

(0)r ).

Maestría en Bioinformática Probabilidad y Estadística: Clase 4

Documents

Transcript of Maestría en Bioinformática Probabilidad y Estadística: Clase 4