Procesos Estoc´asticos - Departamento de...

Procesos Estocasticos

Raul Jimenez y Rosario Romera

UC3M

Diciembre 2008

Raul Jimenez y Rosario Romera (UC3M) Procesos Estocasticos Diciembre 2008 1 / 49

Introduccion

Procesos Estocasticos

El paso del tiempo juega un papel esencial en el complejo mundo queobservamos. Es por eso la mayorıa de los modelos matematicos considerancantidades que cambian aleatoriamente con el tiempo. Tales modelos sonllamados procesos estocasticos y hay de muchos tipos.

Muchos fenomeno reales de la naturaleza, de las finanzas, de la ingenierıamotivan las reglas de los que procesos especıficos que vamos a consideraren este curso. Ellos son:

1 Cadenas de Markov a tiempo discreto

2 Martingalas

3 Procesos de Poisson y de renovacion

4 Cadenas de Markov a tiempo continuo y procesos de colas

5 Movimiento Browniano y difusiones


Introduccion

Definicion general

Un proceso estocastico es una familia de variables aleatorias Xt , t ∈ Tdefinidas sobre un mismo espacio de probabilidad (Ω,F ,P) y con valoresen un mismo espacio, llamado espacio de estados y comunmentedenotado por S .

En este curso T siempre sera un conjunto de numeros reales.

Si T = 0, 1, 2, . . . , decimos que Xt , t ∈ T es un proceso atiempo discreto.

Si T es un intervalo de numero reales, decimos que es a tiempocontinuo.

Si T ⊂ Rn con n > 1, el proceso se denomina campo aleatorio.

Cada ω ∈ Ω, define una funcion T → S , t → Xt(ω), que llamaremostrayectoria del proceso estocastico.


Cadenas de Markov

Cadenas de Markov

Hace mas de un siglo se escribio el primer trabajo seminal sobre Cadenasde Markov y aun siguen siendo un instrumento tremendamente util demodelacion estocastica.

Su importancia obedece a dos razones:

1 Muchos ejemplos fısicos, biologicos, economicos y sociales puedes serdescritos con ellas.

2 Son modelos sencillos y su teorıa esta bien desarrollada.


Cadenas de Markov

Definicion

El proceso Xn es una Cadena de Markov (CM) si para cualquiern ∈ N, j , i , in−1, . . . , i0 ∈ S (espacio de estados)

P(Xn+1 = j |Xn = i ,Xn−1 = in−1, . . . ,X0 = i0) = P(Xn+1 = j |Xn = i)

Esta expresion es llamada propiedad de Markov y establece que dado elpresente cualquier otra informacion del pasado es irrelevante para predecirel futuro.

Nos restringiremos al caso temporalmente homogeneo, en el cual laprobabilidad

P(Xn+1 = j |Xn = i) = p(i , j)

no depende del tiempo n. La matriz P con componente [P]i ,j = p(i , j) esllamada matriz de transicion de la cadena Xn.


Cadenas de Markov

Ejemplo 1: Ruina del jugador

A y B son jugadores que tienen k y N − k euros respectivamente. Lanzanuna moneda repetidamente y en cada turno B le paga a A un euro si escara. En caso contrario A le paga un euro a B. El juego termina cuandouno de los jugadores se arruina. La cantidad de euros que A tiene luego den turnos es una CM con probabilidades de transicion

p(i , i − 1) = p(i , i + 1) =1

2, si 0 < i < N,

p(0, 0) = p(N,N) = 1 y p(i , j) = 0 en caso contrario

A veces es util representar la cadena por un diagrama. Para el ejemploanterior, con N = 4, serıa

0 1 2 3 41

1/2 1/2

1/2 1/2

1

1/2 1/2


Cadenas de Markov

Ejemplo 2: Urnas de Ehrenfest

Considere la CM que toma valores en 0, 1, . . . , a con probabilidades detransicion

P(Xn+1 = j |Xn = i) =

1− i

a si j = i + 1ia si j = i − 10 en cualquier otro caso

En forma matricial, para a = 5,

0 1 2 3 4 50 0 1 0 0 0 01 1

5 0 45 0 0 0

2 0 25 0 3

5 0 03 0 0 3

5 0 25 0

4 0 0 0 15 0 1

55 0 0 0 0 1 0

Se tienen dos urnas, con a bolasrepartidas dentro de ellas, y en cadaetapa se escoge una bola al azar yse cambia de urna. La cadena Xn

representa el numero de bolas deuna de las urnas tras n etapas.


Cadenas de Markov

Ecuaciones de Chapman-Kolmogorov

Usando la propiedad de Markov y la homogeneidad temporal, es facilcomprobar que la probabilidad de ir de i a j en m etapas es

P(Xm = j |X0 = i) =∑k

p(i , k)P(Xm−1 = j |X0 = k)

Iterando, se obtiene que

P(Xm = j |X0 = i) = pm(i , j)

Es decir, la probabilidad de ir de i a j en m etapas es el elemento (i , j) dePm. La esencia de las ecuaciones anteriores esta recogida en lasecuaciones de Chapman-Kolmogorov

pm+n(i , j) =∑k

pm(i , k)pn(k, j)


Cadenas de Markov

Conjuntos cerrados e irreductibles

Decimos que:

i se comunica con j (i → j) si, para algun n, pn(i , j) > 0

los estados i y j se comunican entre si (i ↔ j) si i → j y j → i .

Un conjunto de estados es:

cerrado si no existe ningun estado dentro del conjunto que secomunique con alguno afuera. Es decir, una CM no puede escapar deun conjunto cerrado.

irreductible, si todos los estados del conjunto se comunican entre si.Si el conjunto de estados de una CM es irreductible entonces lacadena puede visitar cualquier estado del conjunto.

Como ejemplo, considere la CM asociada a la ruina del jugador con Neuros en juego. Entonces, 0,N es cerrado pero no es irreductible y1, . . . ,N − 1 es irreductible pero no es cerrado.


Cadenas de Markov

Estados recurrentes y transitorios

Sea Ti = minn ≥ 1 : Xn = i tiempo de primera pasada por i (sincontar de donde partio). Entonces, la probabilidad de que Xn regrese ai es ρi = P(Ti <∞|X0 = i).

La propiedad de Markov implica que la probabilidad de que Xn retorne ai n veces es ρn

i . Por lo que

Si ρi < 1 la probabilidad de que Xn pase por i infinitas veces escero. En ese caso, la cadena eventualmente no regresa a i y decimosque el estado i es transitorio.

Si ρi = 1 la cadena regresa a i infinitas veces. En este caso decimosque el estado i es recurrente.

Un estado i se denomina absorbente si p(i , i) = 1. Por supuesto, si i esabsorbente entonces es recurrente.

Siguiendo con el ejemplo anterior de la ruina del jugador, 0 y N sonabsorbentes mientras que 1, . . . ,N − 1 son transitorios.


Cadenas de Markov

Caracterizacion de conjuntos de estados recurrentes

Proposicion 1. Si el espacio de estados de una cadena es finito entoncespuede partirse en T ,C1, . . . ,Ck , donde T es el conjunto de todos losestados transitorios mientras que C1, . . . ,Ck son conjuntos irreductibles ycerrados de estados recurrentes.

Proposicion 2. Si C es un conjunto de estados finito, cerrado eirreductible entonces todos los estados de C son recurrentes.

La prueba de la proposicion 2 pasa por demostrar algunas propiedadesutiles de los estados recurrentes y transitorios:

Si i es recurrente y i → j y entonces j es recurrente.

Si i → j pero j no se comunica con i entonces i es transitorio.

En todo conjunto cerrado finito hay al menos un estado recurrente.


Cadenas de Markov

Estados periodicos y aperiodicos

Otra definicion, desafortunadamente muy tecnica pero necesaria parapoder enunciar un importante resultado asintotico, es:El perıodo del estado i se define por

d(i) = m.c.d.n ≥ 1 : pnii > 0

Si d(i) = 1, el estado i se denomina aperiodico.

En la ruina del jugador, los estados transitorios tienen perıodo 2 mientrasque los absorbentes son aperiodicos. En la mayorıa de los casos nosencontraremos (o disenaremos) CM con estados aperiodicos. Para verificarcuales son aperiodicos, son utiles las siguientes propiedades:

Si p(i , i) > 0 entonces i es aperiodico

Si i ↔ j entonces d(i) = d(j)


Cadenas de Markov

Distribucion estacionaria

La cadena Xn es estacionaria si la distribucion de Xn es la mismapara todo n.

Decimos que una funcion de probabilidades π es una distribucionestacionaria para la cadena Xn si

cuando X0 ∼ π entonces Xn ∼ π para todo n.

Ahora bien, sabemos que si Xn ∼ π entonces Xn+1 ∼ πP. Es decir:

Una distribucion estacionaria es una solucion de la ecuacion π = πP. Olo que es lo mismo, verifica

π(j) =∑

i

π(i)p(i , j) para cualquier estado j

Si la cadena alcanza la distribucion estacionaria, es comun decir que lacadena esta en estado de equilibrio.


Cadenas de Markov

Comportamiento asintotico

Teorema 1. Consideremos una CM con matriz de transicion P y conespacio de estados irreductible y aperiodico. Si π es una distribucionestacionaria entonces para todo par de estados i , j se tiene

limn→∞

pn(i , j) = π(j)

Esto es, no importa de donde parta la cadena, asintoticamente alcanza elequilibrio. Los resultados que siguen tienen que ver con la unicidad yexistencia de π.

Teorema 2. Si el espacio de estados es irreductible entonces de existir unadistribucion estacionaria serıa unica.

Teorema 3. Si el espacio de estados es finito entonces existe al menosuna distribucion estacionaria.


Cadenas de Markov

Distribucion estacionaria y tiempos de retorno

La conexion entre la distribucion estacionaria y los tiempos de primeravisita, en este caso de primer retorno, viene dada por el siguiente teorema.

Teorema 4. Si la CM es irreductible, aperiodica, y tiene distribucionestacionaria π entonces

π(i) =1

E [Ti |X0 = i ]

Por simplicidad tipografica, denotaremos por µi al tiempo esperado delprimer retorno a i , esto es µi = E [Ti |X0 = i ].

Decimos que i es positivo recurrente si µi <∞. Si el estado i esrecurrente pero no es positivo recurrente (i.e. si ρi = 1 pero µi = ∞)entonces decimos que i es nulo recurrente.


Cadenas de Markov

Existencia de π cuando el espacio de estados es infinito

La clasificacion anterior de estados recurrentes en nulo y positivos permiteextender el teorema de existencia para el caso finito (Teorema 3) al casoinfinito.

Teorema 5. Si una cadena es irreductible las siguientes proposiciones sonequivalentes:

1 Al menos un estado es positivo recurrente

2 Todos los estados son positivos recurrentes

3 Existe una distribucion estacionaria

La recurrencia positiva puede ser difıcil de demostrar en ejemplosconcretos. En la practica, lo que hacemos es resolver π = πP y aplicar quesi Xn ∼ π entonces Xm ∼ π para todo m ≥ n.


Cadenas de Markov

Ley de grandes numeros para CM

Una propiedad importante de las distribuciones estacionarias es que son lafraccion lımite del tiempo de ocupacion. Mas precisamente, si Nn(i) elnumero de visitas al estado i hasta el instante n entonces

limn→∞

Nn(i)

n= π(i)

La formalizacion de este resultado la presentamos en una forma masgeneral y util para diversas aplicaciones:

Teorema 6. Sea Xn una CM irreductible con matriz de transicion p ydistribucion estacionaria π. Sea G (i) la ganancia obtenida cada vez que lacadena alcanza el valor i . Supongamos que

∑i |G (i)|π(i) <∞. Entonces,

cuando n →∞1

n

n∑k=1

G (Xk) →∑

i

G (i)π(i)


Martingalas

Martingalas

Vamos a estudiar una clase de procesos que pueden verse como la fortunade un jugador que juega repetidamente un juego justo. Ası que pensemosque Mn es la fortuna del jugador luego de jugar n turnos del juego.

Decimos que M0,M1, . . . es una martingala si para cualquier n ≥ 0

1 E |Mn| <∞2 para cualquier sucesion de posibles valores m0,m1, . . . ,mn

E [Mn+1|M0 = m0,M1 = m1, . . . ,Mn = mn] = mn

La segunda propiedad es equivalente a

E [Mn+1 −Mn|M0 = m0,M1 = m1, . . . ,Mn = mn] = 0.

Es decir, condicionando al pasado, la ganancia neta esperada luego delturno siguiente es cero. Esto es, el juego es justo.


Martingalas

Esperanza condicional

Como el estudio de martingalas recae fuertemente en el concepto deesperanza condicional es conveniente extenderla en un sentido masgeneral. En los cursos introductorios de probabilidad, si X ,Y son variablesaleatorias, la esperanza de X dado Y = y se entiende como el valoresperado de la distribucion de X dado Y = y ,

E [X |Y = y ] =

∑x x P(X = x |Y = y) caso discreto∫

x fX |Y=y (x)dx caso continuo

Sea ψ tal que, para cada posible valor y de Y se tiene

ψ(y) = E [X |Y = y ]

La variable aleatoria ψ(Y ) es llamada esperanza condicional de Xdado Y y se denota por E [X |Y ].


Martingalas

Definicion

Usando el concepto revisado de esperanza condicional, volvemos a ladefinicion de martingala:

Decimos que M0,M1, . . . es una martingala si para cualquier n ≥ 0

1 E |Mn| <∞2 E [Mn+1|M0,M1, . . . ,Mn] = Mn

Si en vez de la igualdad en 2 tenemos lo que ocurre en la mayorıa de losjuegos de casino

E (Mn+1|M0,M1, . . . ,Mn) ≤ Mn

decimos entonces que Mn es una supermartingala. Si por el contrario,el juego es a favor del jugador y

E [Mn+1|M0,M1, . . . ,Mn] ≥ Mn

decimos que es una submartingala.


Martingalas

Ejemplos

Paseos aleatorios. Sean X1,X2, . . . variables aleatoriasindependientes y Mn = M0 + X1 + · · ·+ Xn. Ya que

E [Mn+1 −Mn|M0,M1, . . . ,Mn] = E [Xn+1],

Mn es una supermartingala si E [Xi ] ≤ 0, una martingala si E [Xi ] = 0y una submartingala si E [Xi ] ≥ 0.

Black-Scholes discreto. Sean Z1,Z2, . . . variables aleatoriasindependientes normales N(µ, σ2) y definamos Mn = M0e

Z1 . . . eZn .Entonces,

E [Mn+1|M0,M1, . . . ,Mn] = MnE [eZn+1 ],

Ası que Mn es una supermartingala si E [eZi ] ≤ 1, un martingala siE [eZi ] = 1 y una submartingala si E [eZi ] ≥ 1.


Martingalas

Modelo Binomial de precios de acciones

Sean Z1,Z2, . . . variables aleatorias independientes, con

P

(Zi =

(1 + t)

er

)= p y P

(Zi =

1

(1 + t)er

)= 1− p,

y definamos los precios por Mn+1 = M0Z1 · · ·Zn, n ≥ 1. La constante r esla tasa de interes (descontamos por no ganar intereses) y el factor (1 + t)y 1/(1 + t) modela las variaciones del mercado y garantiza que el preciotiene la forma M0(1 + t)ze−nr , con |z | ≤ n. La volatilidad esta asociada ap. Entonces,

E [Mn+1|M0,M1, . . . ,Mn] = MnE [Zn+1],

Ası que Mn es una supermartingala si E [Zi ] ≤ 1, un martingala siE [Zi ] = 1 y una submartingala si E [Zi ] ≥ 1.


Martingalas

Martingalas respecto a CM

Decimos que M0,M1, . . . es una martingala respecto a X0,X1, . . . si paracualquier n ≥ 0, E |Mn| <∞ y

E [Mn+1 −Mn|X0,X1, . . . ,Xn] = 0

Esta nueva definicion no es un simple capricho matematico, se justificaracuando enunciemos el teorema de muestreo opcional. Por ahora,mencionamos que en la mayorıa de los ejemplos Xn es una CM yMn = g(Xn, n) para alguna funcion g .

Teorema 1 Sea Xn una CM con espacio de estados S y matriz deprobabilidades de transicion P. Sea g : S × N → R tal que

g(i , n) =∑j∈S

p(i , j)g(j , n + 1)

Entonces Mn = g(Xn, n) es una martingala.Raul Jimenez y Rosario Romera (UC3M) Procesos Estocasticos Diciembre 2008 23 / 49

Martingalas

Ejemplos

Martingala cuadratica. Sean X1,X2, . . . variables aleatoriasindependientes con E [Xi ] = 0 y E [X 2

i ] = σ2. Considere el paseoSn = S0 + X1 + · · ·+ Xn, con S0 constante, y

Mn = g(Sn, n) = S2n − nσ2

Entonces Mn es una martingala con respecto a S0,S1, . . . .

Martingala exponencial. Sean Z1,Z2, . . . variables aleatoriasindependientes con funcion generatriz de momentosψ(α) = E [exp(αZi )]. Definamos Sn = S0 + X1 + · · ·+ Xn, con S0

constante. Entonces

Mn = g(Sn, n) =eαSn

ψn(α)

es una martingala con respecto a S0,S1, . . . .


Martingalas

Propiedades elementales

Antes de discutir los resultados centrales de la teorıa de martingalas, esconveniente aclarar algunos resultados elementales:

1 Si Xn es una martingala (super-martingala) con respecto a Ynentonces E [Xn+k |Y0, . . . ,Yn] = Xn ( ” ≤ ” ) para todo k ≥ 0.

2 Si Xn es una martingala (supermartingala) con respecto a Ynentonces para 0 ≤ k ≤ n se satisface

E [Xn] = E [Xk ] (resp.E [Xn] ≤ E [Xk ])

3 Si Xn es una martingala con respecto a Yn y φ es una funcionconvexa entonces φ(Xn) es una submartingala con respecto a Yn.


Martingalas

Tiempos de parada

Decimos que la variable aleatoria T es un tiempo de parada para elproceso Xn si la ocurrencia o no del evento T = n (que se entiendecomo paramos el proceso en el instante n) puede ser determinadoconociendo solo los valores X0,X1, . . . ,Xn (no se requiere conocer ni Xn+1,ni Xn+2, . . . ).

Ejemplo. Si Xn es una CM que representa nuestro capital en euros luegode jugar n veces, el instante (aleatorio) T en el que por primera veztenemos m euros es un tiempo de parada:

T = n = X0 6= m, . . . ,Xn−1 6= m,Xn = m

Podrıamos pensar en enriquecernos apostando en un casino y parando dejugar cuando alcancemos la suma deseada. Veamos que dice el resultadocentral de la teorıa de martingalas.


Martingalas

Teorema del muestreo opcional

Teorema 2. Si Mn es una martingala respecto a Xn y T es un tiempode parada (tambien respecto a Xn) entonces el proceso parado en T ,a saber Mmin(T ,n), n ≥ 0, es tambien una martingala respecto a Xn.Si adicionalmente, P(T <∞) = 1 y existe una c ∈ R+ tal que|Mmin(T ,n)| ≤ c para todo n entonces

E [MT ] = M0

La version del teorema anterior para super y submartingalas es:

Teorema 3. Si Mn es una supermartingala respecto a Xn(respectivamente submartingala) y T es un tiempo de parada (tambienrespecto a Xn) entonces el proceso parado en T es una supermartingalarespecto a Xn (respectivamente submartingala).


Martingalas


Teorema 4. Si Mn es una martingala tal que para todo n se satisfaceE |Mn| ≤ c , para algun c <∞, entonces limn→∞Mn existe casi siempre yes finito.

Corolario. Si Mn es una martingala no negativa entonces limn→∞Mn

existe casi siempre y es finito.

Teorema 5. Sea Mn una martingala con incrementos acotados, esdecir, para todo n, |Mn+1 −Mn| < c para algun c <∞. Sea

σ2n = E [(Mn+1 −Mn)

2|M0,M1 . . . ,Mn]

y definamos n(s) = minn :

∑ni=1 σ

2i ≥ s

. Entonces

lims→∞

Mn(s)√s⇒ N (0, 1)


Proceso de Poisson

Procesos de Renovacion y el Proceso de Poisson

Sean T1,T2, . . . variables aleatorias i.i.d no negativas y

Sn = T1 + · · ·+ Tn si n ≥ 1 y S0 = 0

Pensemos en Sn como los tiempos en los que se reporta una incidencia(fallo, reclamo, etc.) en un sistema. El proceso que representa el total deincidencias hasta el tiempo t, definido por

N(t) = maxn : Sn ≤ t,

se conoce como proceso de renovacion. El caso particular en el que lostiempos entre incidencias T1,T2, . . . son variables exponenciales conmedia λ > 0 se denomina proceso de Poisson con intensidad λ. A partirde la formula de convolucion para la suma de variables independientes, sedemuestra que N(t) es una variable aleatoria Poisson con media λt.


Proceso de Poisson

Propiedades

Teorema. N(t), t ≥ 0 es un proceso de Poisson con intensidad λ si ysolo si

1 N(0) = 0

2 N(t)− N(s) ∼ Poisson(λ(t − s)), para todo 0 ≤ s < t

3 N(t), t ≥ 0 tiene incrementos independientes. Es decir, sit0 < t1 < · · · < tm entonces

N(t1)− N(t0),N(t2)− N(t1), . . . ,N(tn)− N(tn−1)

son variables aleatorias independientes

Ademas de ser un proceso de renovacion y un proceso con incrementosindependientes, veremos mas adelante que el proceso de Poisson y otrosprocesos basados en el son ejemplos de Procesos de Markov y Martingalasa tiempo continuo.


Proceso de Poisson

Proceso de Poisson no homgeneo

En numerosas situaciones es realista suponer que hay mas incidencias aciertas horas que a otras. Para modelar esta situacion, es conveniente lasiguiente generalizacion del Proceso de Poisson:

Decimos que N(t), t ≥ 0 es un proceso de Poisson no homogeneo conintensidad λ(t) si

1 N(0) = 0

2 N(t)− N(s) ∼ Poisson(∫ t

s λt), para todo 0 ≤ s < t

3 N(t), t ≥ 0 tiene incrementos independientes

Los tiempos entre ocurrencias asociados a un Proceso de Poisson nohomogeneo no tienen por que ser exponenciales. Es suficiente calcular ladistribucion del tiempo de la primera incidencia

P(T1 ≤ t) = 1− P(N(t) = 0) = 1− e−R t0 λ(s)ds


Proceso de Poisson

Proceso de Poisson compuesto

Podemos asociar variables a cada incidencia que representen costos deatencion o reclamos. Ası, si Yi representa el costo de atencion de laincidencia i-esima, el proceso

S(t) =

0 si N(t) = 0

Y1 + · · ·+ YN(t) si N(t) ≥ 1(1)

representa el costo acumulado a tiempo t. Cuando los reclamos Yi seani.i.d., un supuesto comun en teorıa del riesgo, y el proceso N(t) en (1) esde Poisson, el proceso S(t), t ≥ 0 se conoce como Proceso de PoissonCompuesto. La media y la varianza de S(t) se puede calcular para el casomas general:

ES(t) = EN(t) · EYi

Var(S(t)) = EN(t)Var(Yi ) + Var(N(t))(EYi )2


Proceso de Poisson

Proceso de Riesgo Colectivo

Consideremos una cartera de seguros que recibe un ingreso por primas dec euros por unidad de tiempo. Denotemos por Yi el monto del reclamo delsiniestro i y sea N(t) el proceso que registra el numero de reclamos atiempo t. El balance de la cartera a tiempo t es

X (t) = X (0) + ct − S(t),

siendo S(t), t ≥ 0 el proceso definido en (1)

El tiempo de ruina es

τ = inftt > 0 : X (t) < 0

y la probabilidad de ruina

ψ(x) = P(τ <∞|X (0) = x)

Problema clasico: calcular ψ(x)

7/13/08 7:57 PM350px-Samplepathcompoundpoisson.JPG 350!301 pixels

Page 1 of 1http://upload.wikimedia.org/wikipedia/en/thumb/6/6b/Samplepathcompoundpoisson.JPG/350px-Samplepathcompoundpoisson.JPG


Cadenas a tiempo continuo

Definicion

Para extender la propiedad de Markov a tiempo continuo se requieredefinir la probabilidad condicional dado que conocemos el proceso en unintervalo continuo [0, s] del tiempo, es decir, condicionar respecto aeventos del tipo Xt , 0 ≤ t ≤ s.

Decimos que el proceso estocastico Xt , t ≥ 0 es una Cadena deMarkov a tiempo continuo si para cualesquiera instantes del tiempo0 ≤ s0 < s1 < . . . sn < s y cualquier conjunto de estados i0, . . . , in, i , j severifica

P(Xt+s = j |Xs = i ,Xsn = in, . . . ,Xs0 = i0) = P(Xt+s = j |Xs = i)

Esto es, dado el presente, cualquier otra informacion pasada del proceso esredundante para hacer pronosticos del futuro.



Ejemplo

Sea N(t), t ≥ 0 el proceso de Poisson con intensidad constante λ y Ynun CM a tiempo discreto con matriz de transicion P. Entonces, el procesodefinido por Xt = YN(t) es una cadena de Markov a tiempo continuo.

Si S1,S1, . . . son los momentos de renovacion del proceso N(t), entoncesX0,XS1 , . . . es una CM a tiempo discreto con la misma ley que Yndado Y0 = X0. Los tiempos transcurridos (Ti = Si − Si−1) entre losinstantes de actualizacion del proceso Xt son variables i.i.d exponenciales.

La propiedad de perdida de memoria de la distribucion exponencial es laclave para que la cadena descrita sea de Markov.

La probabilidad de transicion de esta cadena es

P(Xt = j |X0 = i) =∑n≥0

e−λt (λt)n

n!pn(i , j)



Probabilidades y tasas de transicion

Como en el caso discreto, supondremos que la cadena es homogenea,

P(Xs+t = j |Xs = i) = P(Xt = j |X0 = i)

y llamaremos matriz de probabilidades de transicion a la matriz Pt concomponente i , j definida por

[Pt ]i ,j = pt(i , j) = P(Xt = j |X0 = i)

Las probabilidades de transicion satisfacen las ecuaciones deChapman-Kolmogorov, que para el caso continuo son

ps+t(i , j) =∑k

ps(i , k)pt(k, j)

La tasa con la cual la cadena salta de i a j se denomina tasa de transiciony se denota por q(i , j). Como la cadena es homogenea se tiene que

q(i , j) = limt→0+

pt(i , j)

t



Construccion de la CM a partir de las tasas de transicion

La tasa con la cual la cadena deja el estado i la denotamos por λi :

λi =∑j 6=i

q(i , j)

Decimos que un estado i es absorbente si λi = 0, estable si 0 < λi <∞ einstantaneo si λi = ∞. La cadena deja los estados instantaneos de formainmediata, ası que siempre asumiremos λi <∞. Si λi > 0 definimos lasprobabilidades de transicion

r(i , j) = q(i , j)/λi

Si X (s) = i y el estado i es absorbente, la cadena permanecera en i porsiempre. Por el contrario, si el estado es estable, la cadena permanecera eni un tiempo distribuıdo exponencialmente con tasa λi y luego saltara aotro estado con probabilidad de transicion r(i , j). Usando recursivamenteeste procedimiento construımos la cadena.



Ecuaciones diferenciales de Kolmogorov

Hemos discutido como a partir de las tasas de transicion podemosconstruir la cadena a tiempo continuo. Ya que la cadena esta determinadapor las probabilidades de transicion, entonces deberıamos poderlas calcularestas ultimas a partir de las tasa de transicion. La formalizacion de estaconstruccion se expresa en el siguiente resultado:

Teorema 1. Supongamos que ningun estado es instantaneo. Entonces, lasprobabilidades de transicion son diferenciables en t y para cualquier par deestados i , j se tiene

dpt

dt(i , j) =

∑k 6=i

q(i , k)pt(k, j)− λipt(i , j) Backward equation

dpt

dt(i , j) =

∑k 6=j

q(k, j)pt(i , k)− λjpt(i , j) Forward equation




Para el estudio asintotico de las cadenas de Markov a tiempo continuo norequerimos la condicion de aperiodicidad. Vamos a definir algunosconceptos para el caso continuo antes de enunciar los resultados masimportantes.

1 Una cadena continua es irreductible si puede saltar de un estado aotro en un numero finito de saltos. Mas formalmente, para todo parde estados i , j existe una sucesion finita de estadosi = k1, k2, . . . , kn, kn+1 = j con q(km, km+1) > 0 para todo1 ≤ m ≤ n.

2 Llamamos generador infinitesimal de la cadena a la matriz Qdefinida por

Q(i , j) =

q(i , j) si j 6= i−λi si j = i



Distribucion estacionaria

Decimos que π es una distribucion estacionaria si para todo t > 0 es unasolucion de π = πPt . O bien, elemento a elemento, sipara todo j y t > 0

π(j) =∑

i

π(i)pt(i , j)

Verificar por definion que una funcion de probabilidad es una distribucionestacionaria es en general difıcil ya que, por un lado, tiene que cumplirseπ = πPt para todo t > 0 y, por otro, el calculo de Pt puede sercomplicado. El siguiente teorema resuelve el problema.

Teorema 2. π es una distribucion estacionaria para la cadena sii πQ = 0.O lo que es lo mismo, si y solo si∑

i 6=j

π(i)q(i , j) = λjπ(j)



Teorema de convergencia

Al igual que en el caso discreto, sin importar el estado inicial, la cadenaalcanza el estado de equilibrio asintoticamente. Es por ello que ladistribucion estacionaria es un objeto clave en el estudio de modelosmarkovianos:

Teorema 3. Supongamos que la cadena a tiempo continuo Xt , t > 0 esirreductible y que tiene distribucion estacionaria π. Entonces,

limt→∞

pt(i , j) = π(j)

Adicionalmente, si G (i) es la ganancia obtenida cada vez que la cadenaalcanza el estado i y

∑j |G (j)|π(j) <∞, se tiene

1

t

∫ t

0G (Xs)ds →

∑j

G (j)π(j), cuando t →∞



Condicion de balance detallado

Decimos que π satisface una condicion de balance detallado si

πiq(i , j) = π(j)q(j , i), para todo par de estados i , j (2)

sumando sobre todos los estados i 6= j , de la ecuacion anterior resulta∑i 6=j

πiq(i , j) = λjπj ⇒∑i 6=j

πiq(i , j)− λjπj = [πQ]j = 0

Es decir, si π satisface (1) entonces es una distribucion estacionaria. Essencillo construir ejemplos para constatar que el recıproco no esnecesariamente cierto.

Las ecuaciones de balance detallado (1) son en general sencillas deresolver y se satisfacen para muchos modelos importantes.



Cadenas de nacimiento y muerte

Consideremos la cadena a tiempo continuo con espacio de estados0, 1, . . . con q(n, n + 1) = λn para n ≥ 0 y q(n, n− 1) = µn para n > 0.

El proceso se denomina de nacimiento y muerte, λn representa la tasade nacimiento cuando hay n individuos en el sistema y µn la tasa demuerte.

Las ecuaciones de balance detallado de la cadena de nacimiento y muerteson

π(n − 1)λn−1 = π(n)µn, para n ≥ 1

Usando recurrencia se obtiene

π(n) =λn−1λn−2 · · ·λ0

µn µn−1 · · ·µ1π(0)



Ejemplos de Colas

1 M/M/1. Es la cola en un sistema con un servidor, tiempos entrellegadas exponenciales con tasa λ y tiempos de servicio exponencialescon tasa µ. Corresponde a un proceso de nacimiento y muerte conλn = λ y µn = µ. Si la tasa de trafico ρ = λ/µ < 1, su distribucionestacionaria es la distribucion geometrica desplazada

π(n) = (1− ρ)ρn para n ≥ 0

2 M/M/s. El mismo caso que antes pero con s servidores. Es elproceso de nacimiento y muerte con λn = λ y

µn =

nµ 1 ≤ n ≤ ssµ n > s

Si ρ < s la cola tiene una distribucion estacionaria que satisface

π(s + n) =

(λ

sµ

)n+1

π(s − 1)


Movimiento Browniano


El botanico R. Brown (1773-1858) observo, a traves de unmicroscopio, que pequenas partıculas de polen suspendidas en aguarealizaban un movimiento particularmente irregular. El propio Browndescubrio que partıculas muy finas de varios minerales seguıan elmismo movimiento.

En 1900, L. Bachelier introdujo un proceso para modelar lasfluctuaciones financieras.

Tambien Einstein (1905) dio una explicacion del fenomeno

Wiener (1894-1964) logro dar un modelo preciso y riguroso para lastrayectorias irregulares de las partıculas, como funciones continuaspero no diferenciables en ningun punto.

Desde entonces, las contribuciones teoricas y aplicaciones a otrasareas de las ciencias no han cesado.



Definicion

El proceso estocastico B(t), t ≥ 0 es un Movimiento Browniano (MB)con varianza σ2 si cumple las siguientes condiciones:

1 B(0) = 0

2 Tiene incrementos independientes

3 Para todo s < t, B(t)− B(s) ∼ N (0, σ2(t − s))

4 Las trayectorias del proceso t → Bt son funciones continuas.

Si σ = 1 decimos que el movimiento es estandar. Note que si B(t) esestandar entonces βB(t) es un MB con varianza β2. Ası que de ahora enadelante asumiremos sin perdida de generalidad que B(t) es estandar.

Otra propiedad util es la de reescalamiento. Esta es, para cualquier α > 0,

B(αt), t ≥ 0 ≡ √αB(t), t ≥ 0



El MB como un Proceso Gaussiano

El Movimiento Browniano es un caso particular de los procesosGaussianos. Es decir

(B(t1),B(t2), . . . ,B(tn)) ∼ N (µ,Σ)

cualesquiera que sean t1, t2, . . . , tn. La forma de Σ es sencilla, sigue dela siguiente importante propiedad

E [B(t)B(s)] = min(t, s)

Otros Procesos Gaussianos derivados del MB son

Puente Browniano: B(t)− tB(1), para 0 ≤ t ≤ 1.

Proceso de Ornstein-Uhlenback: e−tB(e2t), para −∞ < t <∞.

Proceso de Ito:∫ t0 µ(t)dt +

∫ t0 σ(t)dB(t), para 0 ≤ t.



Formula de Ito

Aun cuando las trayectorias brownianas no son diferenciables en ningunpunto, existe un proceso con trayectorias continuas que tiene la mismadistribucion que la aproximaxion lımite por sumas de Riemann-Stieltjes delproceso de Ito

dXt = µ(t)dt + σ(t)dB(t)

Lo anterior es la clave para definir el calculo estocastico. Como para elcalculo diferencial estandar requerimos de la regla de la cadena, en estecontexto requerimos de una regla operativa conocida como formula deIto. La formula establece que, para cualquier f con derivada de segundoorden continua, el proceso f (Xt) es de Ito y satisface la ecuaciondiferencial estocastica

df (Xt) = f ′(Xt)σ(t)dB(t) +

(f ′(Xt) +

1

2f ′′(Xt)σ

2

)dt



Formula de Black-Scholes

Una aplicacion selecta de la formula de Ito es la famosa formula deBlack-Scholes. En su version original supone que los precios de lasacciones siguen un movimiento browniano exponencial

dXt = Xt(µdt + σdBt)

Si el valor de la accion a tiempo t es f (t,Xt) y r es la tasa de interesentonces

∂f

∂t+

1

2σ2X 2

t

∂2f

∂X 2t

+ rXt∂f

∂Xt− r f = 0

Usando la formula de Black-Scholes, el calculo de la llamada opcioneuropea (XT − K )+ resulta

X0Φ(σ√

t − α)− e−rtKΦ(α)

Siendo α = (log(K/X0)− µt)/σ√

t y Φ(x) = P(N (0, 1) ≤ x)


Procesos Estoc´asticos - Departamento de...

Documents

Transcript of Procesos Estoc´asticos - Departamento de...