Tema 3.

Procesos estocásticosbásicos en teoría decolas.

3.1 Introducción. Planteamiento general.

Un proceso estocástico es en esencia un modelo

matemático de un fenómeno que evoluciona en el tiempo de forma

aleatoria.

Ejemplos:

• El número de llamadas telefónicas recibidas en una centralitahasta cierto instante t.

• La sucesión de tiempos que permanecen en el buffer de unconmutador los paquetes de una conexión en espera de sertransmitidos.

• La sucesión de tamaños (en bytes) de los paquetes que llegan aun conmutador de red.

De una manera más formal, un proceso estocástico se define

como una familia de variables aleatorias ξs s∈S, definidas sobre un

mismo espacio de probabilidad (Ω, B ,P), que representa el

comportamiento aleatorio del fenómeno que se estudia. En este

contexto ξs suele representar el valor de una variable de interés ξ

medida en el instante s, o el valor que toma esa variable sobre el s-

ésimo objeto que interviene en el fenómeno analizado.

En las aplicaciones que veremos a lo largo de este curso,

cuando T es continuo suele ser T=ö+, y cuando es discreto suele

ser T=ò.

Ejemplos:

• ξt = número de llamadas telefónicas recibidas en una centralitahasta cierto instante t.

• ξk = Tiempo que permanece en el buffer de un conmutador el k-ésimo paquete de una conexión desde que llega hasta que estransmitido.

• ξk = Tamaño (en bytes) del k-ésimo paquete de una conexión.

Asimismo el espacio de probabilidad (Ω, B ,P) representa el azar.

Los elementos ω ∈ Ω son los posibles resultados aleatorios de la

observación del fenómeno, P es la función que asigna a los ω su

probabilidad de ocurrencia P(ω), y B es la colección de conjuntos de

Ω a los que se puede asignar de modo consistente un valor de

probabilidad.

De acuerdo con esta definición, a cada ω ∈ Ω fijo, el proceso

le asocia los valores ξs(ω) que constituyen una función de S en ö

denominada trayectoria del proceso asociada a ω. De esta forma,

podemos considerar un proceso estocástico como una función de

dos variables ξ(s,ω) = ξs(ω) de S×Ω en ö en la que:

• Para cada s fijo: ξs (·): Ω − ö+

es una variable aleatoria.

• Para cada fijo: ξ• (ω): S − ö es una trayectoria del proceso

Si llamamos öS al espacio de todas las funciones de S en ö,

también podemos interpretar un proceso estocástico con conjunto

de parámetros S y valores en ö como una única aplicación:

X : Ω − öS

que a cada ω ∈ Ω le hace corresponder la función :

X (ω) = ξ• (ω): S − ö

Desde esta perspectiva puede entenderse un proceso estocástico

como el conjunto de todas las posibles formas en que puede

evolucionar la variable en estudio (trayectorias) más una

distribución de probabilidad sobre dicho conjunto, que nos indique

cuál es la probabilidad de que se produzca cada trayectoria

particular.

El problema es ¿cómo determinar la distribución de probabilidad

asociada a un proceso estocástico?. Aunque lo natural sería

considerar como distribución del proceso la distribución conjunta de

las variables aleatorias que lo componen, el hecho de que

usualmente S sea infinito impide esta aproximación. Los trabajos de

Kolmogorov en los años 30 del siglo pasado condujeron al teorema

que lleva su nombre y que garantiza que bajo ciertas condiciones

de regularidad, conocer la distribución (finito-dimensional) de

probabilidad de ( )1 2, , ...,

ns s sξ ξ ξ para todo n y para cualesquiera s1, s2,

..., sn ∈ S es equivalente a conocer la distribución de probabilidad

del proceso. Ello se traduce, en la práctica, en que el estudio de los

procesos estocásticos se realiza a través de sus distribuciones finito

dimensionales.

3.2 Procesos Puntuales

Un proceso puntual aleatorio es un proceso estocástico cuyas

realizaciones consisten en conjuntos de puntos distribuidos

aleatoriamente sobre un cierto espacio continuo. Tales puntos

suelen corresponder, en la práctica, a los instantes de tiempo en

que han ocurrido algunos sucesos de interés, o a las localizaciones

en el espacio de ciertos objetos.

Ejemplos

• El conjunto de instantes en que se producen las llegadas o

salidas de clientes en cola

• El conjunto de instantes en que se producen los

nacimientos de los individuos de una población.

• En estos dos ejemplos, el continuo sobre el que se hallan

distribuídos los puntos es el tiempo.

El análisis de los procesos puntuales se realiza habitualmente

a través de sus procesos contadores asociados.

Dado un proceso puntual definido sobre un espacio continuo

T, se define su proceso contador asociado como aquel proceso

que a cada subconjunto A T⊂ le asigna el número N(A) de

ocurrencias del proceso puntual localizadas en A. Cuando T es el

tiempo, el proceso contador suele expresarse como Nt tl q ≥0 , donde

Nt representa el número de sucesos puntuales que han ocurridos

en [0,t].

Si Nt tl q ≥0 es un proceso contador asociado a un proceso

puntual temporal, para s<t el valor de N Nt s− representa el

número de ocurrencias del proceso que han tenido lugar en el

intervalo (s,t].

Cuando y t s v uN N N N− − son variables aleatorias

independientes ∀ < ≤ <s t u v , el proceso Nt tl q ≥0 se dice de

incrementos independientes. Asimismo, si la distribución de la

variable N N s tt s− <, , depende sólo de la diferencia t-s , el

proceso se dice de incrementos estacionarios.

Uno de los procesos contadores más importantes es el

Proceso de Poisson, proceso que se usa extensamente en teoría

de colas.

3.3 El proceso de Poisson homogéneo

Un proceso contador Nt tl q ≥0 es un Proceso de Poissonhomogéneo si verifica las siguientes condiciones:

( )

( ) ( )( ) ( )

( )( )

0

0

1. 0 1

2.

1

1

0t 0

es de incrementos independientes

3.-

donde es un infinitésimo de orden superior a , esto es:

lim

t t

t t t

t t t

P N

N

P N N t o t

P N N o t

o t t

o tt

λ

≥

+∆

+∆

∆ →

− = =

−

− = = ∆ + ∆

− > = ∆∆ ∆

∆=

∆

En esta caracterización queda de manifiesto que aquellos

procesos de incrementos independientes tales que, durante un

tiempo infinitesimal es muy improbable que ocurra más de un

suceso seguirán una distribución de Poisson.

Como ejemplo en los que esta condición se da

frecuentemente, puede citarse las llegadas de clientes a una cola.

En este caso Nt representa el número de clientes llegados a la cola

en el intervalo de tiempo (0,t]

Calculemos ( ) ( ), 0n tp t P N n n= = ≥ :

Si n 1:

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( )

( ) ( )( ) ( ) ( )( ) ( ) ( )

( ) ( )( ) ( ) ( )( ) ( ) ( )

0 0

2

2

1

,

0 1 1

1 1

1

n n

n t t t t t t t tk k

t t t t t t t t

n

t t t tk

n

t t tk

n n n kk

p t t P N k N N n k P N n k P N N k

P N n P N N P N n P N N

P N n k P N N k

P N n t o t P N n t o t P N n k o t

p t t o t p t t o t p t o t

λ λ

λ λ

+∆ +∆= =

+∆ +∆

+∆=

=

− −

+ ∆ = = − = − = = − − = =

= = − = + = − − = +

+ = − − = =

= = − ∆ − ∆ + = − ∆ + ∆ + = − ∆ =

= − ∆ − ∆ + ∆ + ∆ + ∆

∑ ∑

∑

∑

2

n

=∑

Si n=0:

( ) ( ) ( ) ( )( ) ( )( )

0

0

0, 0 0 0

1t t t t t t t tp t t P N N N P N P N N

p t t o tλ+∆ +∆+ ∆ = = − = = = − =

= − ∆ − ∆

Estas ecuaciones pueden reescribirse como:

( ) ( ) ( ) ( )( )0 0 0p t t p t p t t o tλ+ ∆ − = − ∆ − ∆

( ) ( ) ( ) ( )( ) ( ) ( )( ) ( ) ( )

( )1

2,

1

n

n n n n n kk

p t t p t p t t o t p t t o t p t o t

n

λ λ− −=

+ ∆ − = − ∆ − ∆ + ∆ + ∆ + ∆

≥

∑

Dividiendo por t y tomando límite cuando t 0, nos queda:

( ) ( )( ) ( ) ( ) ( )

0 0

1

'

' 1n n n

p t p t

p t p t p t n

λ

λ λ −

= −

= − + ≥

La primera ecuación es fácil de resolver:

( ) ( ) ( )( )

( )( )

( )( ) ( )( ) ( )( ) ( ) ( )

0 00 0 0 0

0 0

0 0 0 0

' ''

ln ln 0 ln ln 1

t t

t

p t p up t p t du du

p t p u

p t p t p t t p t e λ

λ λ λ

λ λ −

= − ⇒ = − ⇒ = − ⇒

− = − ⇒ − = − ⇒ =

∫ ∫

Para las siguientes ecuaciones procedemos recursivamente; así,

para n=1 tenemos:

( ) ( ) ( )1 1 0'p t p t p tλ λ= − +

Si resolvemos en primer lugar la ecuación homogénea resulta:

( )1 ( ) tp t c t e λ−=

y aplicando el método de variación de la constante:

( ) ( ) ( ) ( ) ( )1 1' '( ) 'tt tp t c t e c t e c t e p tλλ λλ λ−− −= − = −

de donde:

( ) ( ) ( )( ) ( )

0

1

'( ) 't t

t

c t e p t e c t c t t c

p t t c e

λ λ

λ

λ λ λ λ

λ

− −

−

= = ⇒ = ⇒ = + ⇒

⇒ = +

Imponiendo ahora la condición de que p1(0)=0 nos queda c=0 y por

tanto:

( )1tp t te λλ −=

Procediendo de modo análogo para n=2, 3, 4,… llegamos a la

fórmula general (que puede probarse por inducción):

( ) ( )!

nt

n

tp t e

nλλ −=

que corresponde precisamente a la distribución de Poisson.

3.3.1 Propiedades del proceso de Poisson

• El número de ocurrencias de un proceso de Poisson de

parámetro λλλλ en un intervalo de longitud ττττ sigue una

distribución de Poisson de parámetro λλλλττττ

En efecto, por ser el proceso de incrementos independientes, lavariable t tN Nτ+ − es independiente de 0t tN N N− = . Por tanto:

( ) ( )

( ) ( )0

!

t t t t t

n

P N N n P N N n N

P N n en

τ τ

λττ

λτ

+ +

−

− = = − = = =

= = =

• El proceso de Poisson es de incrementos estacionarios,esto es:

( ) ( ) , , ,t h t s h sP N N n P N N n t s h n+ +− = = − = ∀

(la demostración se sigue de la propiedad anterior, dado que seobtiene la misma probabilidad s,t,h,n)

• La distribución de probabilidad de los tiempos entreocurrencias de sucesos de un proceso de Poisson esexponencial:

En efecto, sea Wn=Tn-Tn-1. Entonces:

( ) ( )( )

1 1/ 1 /

1 0 1n n n n

wt w t

P W w T t P W w T t

P N N e λ

− −

−+

≤ = = − > = =

= − − = = −

que, como se observa, sigue una distribución exponencial deparámetro λ, independientemente de n y Tn.

• El recíproco también es cierto, esto es, si 1n nW≥ es

una sucesión de variables aleatorias independientes e

idénticamente distribuidas con distribución exp( ),

entonces 1n nW≥ son los tiempos entre ocurrencias de

un proceso de Poisson.

• Falta de memoria de la distribución exponencial. Si Xes una variable aleatoria con distribución exponencial,

( ) ( ), , 0P X t s X s P X t t s≥ + ≥ = ≥ ∀ ≥

Esta propiedad puede interpretarse del siguiente modo: el tiemporesidual que falta hasta la próxima ocurrencia del proceso esindependiente del tiempo transcurrido desde la últimaocurrencia del mismo y, además, tiene la misma distribuciónexponencial que el tiempo total entre dos ocurrencias. Lademostración es sencilla:

( ) ( ) ( )( )( )

( )( ) ( )

( )t st

s

P X t s X sP X t s X s

P X s

P X t s e e P X tP X s e

λλ

λ

− +−

−

≥ + ∩ ≥≥ + ≥ = =

≥

≥ += = = = ≥

≥

Esta propiedad confiere al proceso de Poisson homogéneo

gran sencillez de manejo y simplicidad matemática en los

desarrollos, convitiéndolo en el modelo adecuado para

aquellos fenómenos en los que no sea necesario tener en

cuenta explícitamente el tiempo transcurrido desde la

última ocurrencia.

3.4 El proceso de Poisson no homogéneo

Cuando las condiciones que definen el proceso de Poisson se

modifican de modo que la intensidad del mismo (el valor de ) sea

función de t, esto es:

( )

( ) ( ) ( )( ) ( )

0

0

1. 0 1

2.

1

1

es de incrementos independientes

3.-

t t

t t t

t t t

P N

N

P N N t t o t

P N N o t

λ

≥

+∆

+∆

− = =

−

− = = ∆ + ∆

− > = ∆

el proceso resultante se denomina de Poisson no homogéneo de

intensidad (t).

Siguiendo un desarrollo paralelo al realizado para el proceso

homogéneo, se obtiene que:

( ) ( ) ( )( ) ( )

!

n

tt n

tP N n p t e

n−ΛΛ

= = =

donde:

( ) ( )0

tt s dsλΛ = ∫

se denomina función paramétrica del proceso.

Suma de procesos de Poisson

La suma de k procesos de Poisson independientes

N N Nt t tk1 2a f a f a fn s n s n s, ,..., con intensidades respectivas λ λ λ1 2t t tka f a f a f, , ..., es

también un proceso de Poisson con intensidad λ λ λ1 2t t tka f a f a f+ + +... .

3.5 Procesos de Markov

En muchos sistemas basta conocer su estado actual y las

reglas por las que se rige su comportamiento para predecir su

evolución futura. La idea subyacente es que lo que le haya sucedido

al sistema hasta llegar al estado actual no aporta, en orden a

predecir su estado en el futuro, ninguna información que no esté ya

recogida en las variables que definen su estado presente (principiode independencia entre el futuro y el pasado una vez que seconoce el presente). Esta idea puede generalizarse en un contexto

de probabilidades, y constituye la base de la definición de los

procesos de Markov.

Un proceso de Markov es un proceso estocástico ξss∈S tal

que:

P(ξs+t ∈ B| ξu, u≤s) = P(ξs+t ∈ B| ξs)

En otras palabras es un proceso tal que la distribución condicional

de su valor futuro ξs+t dada toda su evolución hasta el presente ξu ,

u≤s, depende sólo del valor actual ξs y es independiente del pasado.

Si además ocurre que P(ξs+t ∈ B| ξs) es independiente de s,

entonces el proceso se dice homogéneo o estacionario.

Cuando S es discreto, el proceso de Markov se dice en

tiempo discreto, y en tiempo continuo en otro caso. El conjunto

de valores que puede tomar un proceso de Markov recibe el nombre

de espacio de estados del proceso. Cuando el espacio de estados

es discreto, el proceso suele recibir el nombre de Cadena deMarkov.

3.6 Procesos Semi-Markovianos

Un Proceso Semimarkoviano (SMP), también conocido comoProceso de Renovación Markoviano (MRP), es un procesoestocástico con espacio de estados discreto, y cuyas transicionesentre estados forman una cadena de Markov, siendo los tiemposentre sucesivas transiciones variables aleatorias.

En el caso particular de que estas variables sigan una distribucióngeométrica (cuando el proceso es en tiempo discreto) o exponencial(cuando el proceso es en tiempo continuo), con parámetrodependiente sólo del estado actual, el proceso es de Markov,debido a la falta de memoria de estas variables.

3.7 Cadenas de markov en tiempo discreto

3.7.1 Condición de Markov

Las cadenas de Markov en tiempo discreto constituyen elmodelo de proceso de Markov más simple. El tiempo T es discreto(T = ò; en general se llaman etapas a las unidades de tiempodiscretas) y también es discreto (finito o numerable) el espacio deestados, al que llamaremos E. La condición de Markov se expresaen este caso de la forma,

P j i i i P j in n n n n nξ ξ ξ ξ ξ ξ+ += = = = = = =1 0 0 1 1 1, ,...,c h c h

3.7.2 Cadenas de Markov homogéneas

Una cadena de Markov es homogénea, cuando verifica:

P j i P j i p n m Nn n m m ijξ ξ ξ ξ+ += = = = = ∀ ∈1 1c h c h = ,

lo que significa que la probabilidad de pasar del estado i al estado jen una etapa es independiente de cuál sea esta etapa.

3.7.3 Caracterización de las cadenas de Markov homogéneas

Una cadena de Markov homogénea queda determinada por:

1. El espacio de estados E (finito o numerable).2. La probabilidad de transición del estado i al j,

independiente de n, ∀ ∈ = = =+i j E P j i pn n ij, , /ξ ξ1b g .

Obviamente p i Eijj E∈∑ = ∀ ∈1, .

3. La distribución inicial de la cadena:∀ ∈ = =i j E P i pi, , ξ 0

0b g a f

Ejemplo:Consideremos un sistema de comunicación que transmite los

dígitos 1 y 0. El buffer de entrada de este sistema tiene capacidadpara un máximo de 4 dígitos, lo que significa 5 posibles estados (0,1, 2, 3 y 4), que representan el número de bits en el buffer en cadamomento. El sistema opera en tiempo discreto y, llamando k a laocupación del buffer en el slot k, se ha observado que k secomporta según una cadena de Markov homogénea con lassiguientes probabilidades de transición:

0.3 0.3 0.2 0.1 0.10.35 0.3 0.25 0.05 0.050.15 0.25 0.3 0.25 0.050.1 0.15 0.25 0.3 0.2

0.05 0.1 0.25 0.3 0.3

P

=

donde( ) 1 , , 0,1,2,3,4ij k kp P j i k N i jξ ξ+= = = ∀ ∈ ∀ ∈

Si inicialmente el buffer está vacío, la distribución inicial de lacadena es ( ) ( ) ( ) ( ) ( )( ) ( )0 0 0 0 0(0)

0 1 2 3 4, , , , 1,0,0,0,0p p p p p p= =

3.7.4 Probabilidades de transición en n etapas

Ésta es la probabilidad de que la cadena, transcurridas n etapas, seencuentre en algún estado j, habiendo partido inicialmente delestado i, esto es:

p P j iijn

n( ) /= = =ξ ξ 0b g

Para calcular esta probabilidad, si definimos las matrices deprobabilidades de transición en una y n etapas respectivamente,como:

P p P pij i j E

nij

n

i j E= =

∈ ∈c h d ia f a f

, ,

puede probarse el siguiente resultado, conocido como ecuación deChapman-Kolmogorov:

P Pn na f =

3.7.5 Probabilidades de estado tras n etapas.

Si se desea calcular la probabilidad incondicional de que lacadena se encuentre en el estado j tras n etapas, llamandop P jj

nn

( ) = =ξb g, y p p pn n na f a f a fd i= 1 2, ,... , se tiene,

p p Pn na f a f= 0

Ejemplo:En nuestro ejemplo anterior, la matriz de probabilidades detransición en 3 etapas es:

(3) 3

0.22 0.24 0.25 0.17 0.110.23 0.25 0.25 0.17 0.110.21 0.24 0.25 0.19 0.110.19 0.22 0.25 0.2 0.130.18 0.21 0.26 0.21 0.14

P P

= =

y las probabilidades de estado en la tercera etapa son:( ) ( ) ( )3 0 3 0.21875 0.2435 0.25025 0.176 0.1115p p P= =

A continuación vemos las sucesivas potencias de la matriz detransición:

P [,1] [,2] [,3] [,4] [,5][1,] 0.30 0.30 0.20 0.10 0.10[2,] 0.35 0.30 0.25 0.05 0.05[3,] 0.15 0.25 0.30 0.25 0.05[4,] 0.10 0.15 0.25 0.30 0.20[5,] 0.05 0.10 0.25 0.30 0.30

P2

[,1] [,2] [,3] [,4] [,5][1,] 0.2400 0.2550 0.2450 0.1550 0.1050[2,] 0.2550 0.2700 0.2450 0.1425 0.0875[3,] 0.2050 0.2375 0.2575 0.1925 0.1075[4,] 0.1600 0.2025 0.2575 0.2300 0.1500[5,] 0.1325 0.1825 0.2600 0.2525 0.1725

P3

[,1] [,2] [,3] [,4] [,5][1,] 0.218750 0.243500 0.250250 0.176000 0.111500[2,] 0.226375 0.248875 0.249500 0.169250 0.106000[3,] 0.207875 0.236750 0.252625 0.186750 0.116000[4,] 0.188000 0.222625 0.254875 0.204500 0.130000[5,] 0.176500 0.214625 0.256375 0.214875 0.137625

P4

[,1] [,2] [,3] [,4] [,5][1,] 0.2115625 0.2387875 0.2515750 0.1828625 0.1152125[2,] 0.2146688 0.2409375 0.2511563 0.1800312 0.1132063[3,] 0.2075937 0.2361562 0.2522375 0.1866062 0.1174063[4,] 0.1995000 0.2305812 0.2533437 0.1940000 0.1225750[5,] 0.1948938 0.2274250 0.2539938 0.1982250 0.1254625

P5

[,1] [,2] [,3] [,4] [,5][1,] 0.2088275 0.2369494 0.2520006 0.1854119 0.1168106[2,] 0.2100656 0.2377962 0.2518244 0.1842741 0.1160397[3,] 0.2072994 0.2359159 0.2522322 0.1868303 0.1177222[4,] 0.2040838 0.2337178 0.2526922 0.1897875 0.1197188[5,] 0.2022616 0.2324741 0.2529550 0.1914653 0.1208441

P6

[,1] [,2] [,3] [,4] [,5][1,] 0.2077623 0.2362261 0.2521587 0.1863971 0.1174558[2,] 0.2082514 0.2365597 0.2520879 0.1859466 0.1171543[3,] 0.2071644 0.2358194 0.2522466 0.1869495 0.1178201[4,] 0.2058949 0.2349535 0.2524304 0.1881192 0.1186020[5,] 0.2051764 0.2344636 0.2525347 0.1887814 0.1190439

P7

[,1] [,2] [,3] [,4] [,5][1,] 0.2073441 0.2359413 0.2522198 0.1867831 0.1177116[2,] 0.2075369 0.2360728 0.2521918 0.1866054 0.1175931[3,] 0.2071091 0.2357812 0.2522541 0.1869999 0.1178557[4,] 0.2066088 0.2354402 0.2523268 0.1874611 0.1181631[5,] 0.2063257 0.2352473 0.2523679 0.1877221 0.1183370

P8

[,1] [,2] [,3] [,4] [,5][1,] 0.2071796 0.2358292 0.2522438 0.1869348 0.1178126[2,] 0.2072555 0.2358810 0.2522327 0.1868648 0.1177659[3,] 0.2070870 0.2357662 0.2522573 0.1870202 0.1178694[4,] 0.2068900 0.2356319 0.2522859 0.1872019 0.1179904[5,] 0.2067785 0.2355559 0.2523021 0.1873046 0.1180588

P9

[,1] [,2] [,3] [,4] [,5][1,] 0.2071148 0.2357851 0.2522532 0.1869946 0.1178524[2,] 0.2071447 0.2358054 0.2522489 0.1869670 0.1178340[3,] 0.2070783 0.2357602 0.2522585 0.1870282 0.1178747[4,] 0.2070007 0.2357073 0.2522698 0.1870997 0.1179224[5,] 0.2069568 0.2356774 0.2522762 0.1871402 0.1179493

P10

[,1] [,2] [,3] [,4] [,5][1,] 0.2070893 0.2357677 0.2522569 0.1870181 0.1178680[2,] 0.2071010 0.2357757 0.2522552 0.1870073 0.1178608[3,] 0.2070749 0.2357579 0.2522590 0.1870313 0.1178768[4,] 0.2070444 0.2357371 0.2522635 0.1870595 0.1178956[5,] 0.2070271 0.2357253 0.2522660 0.1870755 0.1179062

P11

[,1] [,2] [,3] [,4] [,5][1,] 0.2070792 0.2357608 0.2522584 0.1870274 0.1178742[2,] 0.2070839 0.2357640 0.2522577 0.1870231 0.1178713[3,] 0.2070736 0.2357570 0.2522592 0.1870326 0.1178777[4,] 0.2070615 0.2357488 0.2522610 0.1870437 0.1178850[5,] 0.2070547 0.2357441 0.2522619 0.1870500 0.1178892

P12

[,1] [,2] [,3] [,4] [,5][1,] 0.2070753 0.2357581 0.2522590 0.1870310 0.1178766[2,] 0.2070771 0.2357594 0.2522587 0.1870293 0.1178755[3,] 0.2070730 0.2357566 0.2522593 0.1870331 0.1178780[4,] 0.2070683 0.2357534 0.2522600 0.1870375 0.1178809[5,] 0.2070656 0.2357516 0.2522604 0.1870399 0.1178825

P13

[,1] [,2] [,3] [,4] [,5][1,] 0.2070737 0.2357571 0.2522592 0.1870325 0.1178776[2,] 0.2070744 0.2357576 0.2522591 0.1870318 0.1178771[3,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[4,] 0.2070710 0.2357552 0.2522596 0.1870350 0.1178793[5,] 0.2070699 0.2357545 0.2522597 0.1870360 0.1178799

P14

[,1] [,2] [,3] [,4] [,5][1,] 0.2070731 0.2357567 0.2522593 0.1870330 0.1178779[2,] 0.2070734 0.2357568 0.2522592 0.1870328 0.1178778[3,] 0.2070727 0.2357564 0.2522593 0.1870333 0.1178782[4,] 0.2070720 0.2357559 0.2522594 0.1870340 0.1178786[5,] 0.2070716 0.2357556 0.2522595 0.1870344 0.1178789

P15

[,1] [,2] [,3] [,4] [,5][1,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[2,] 0.2070730 0.2357566 0.2522593 0.1870332 0.1178780[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070724 0.2357562 0.2522594 0.1870336 0.1178784[5,] 0.2070723 0.2357561 0.2522594 0.1870338 0.1178785

P16

[,1] [,2] [,3] [,4] [,5][1,] 0.2070728 0.2357564 0.2522593 0.1870333 0.1178782[2,] 0.2070728 0.2357565 0.2522593 0.1870333 0.1178781[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070726 0.2357563 0.2522593 0.1870335 0.1178783[5,] 0.2070725 0.2357563 0.2522594 0.1870336 0.1178783

P17

[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070726 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070726 0.2357563 0.2522593 0.1870335 0.1178782

P18

[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782

P19

[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782

P20

[,1] [,2] [,3] [,4] [,5][1,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[2,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[3,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[4,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782[5,] 0.2070727 0.2357564 0.2522593 0.1870334 0.1178782

Como puede apreciarse, las sucesivas potencias de la matriz vanpareciéndose cada vez más entre sí; de hecho, a partir de P17, lasmatrices Pk, k 17, son prácticamente iguales (las diferencias quepudiera haber están por debajo del octavo decimal). Ello significaque las probabilidades de estado tras n etapas ya no cambianprácticamente a partir de la etapa 17. Tales probabilidades serían:

( ) ( )( ) ( ) ( ) ( )

0(17) 17

0 0 1717

0.2070727 0.2357564 0.2522593 0.1870334 0.1178782

17 : k k

p p P

k p p P p P p

= =

∀ ≥ = =

Por tanto, si el buffer está inicialmente vacío, transcurrido unnúmero de etapas mayor que 17, la probabilidad de que esté vacíoes de 0.207; la probabilidad de que esté ocupado por un solo dígitoes 0.235; y la probabilidad de que esté lleno es 0.117.

3.7.6 Probabilidades de etapa de primer paso

Otro problema de interés suele ser el cálculo de laprobabilidad de que, partiendo del estado i, la cadena llegue porprimera vez al estado j transcurridas n etapas. Esta probabilidadsuele denotarse como:

f P j j k n iijn

n kb g b g= = ≠ = − =ξ ξ ξ, , ,..., /1 1 0

con la convención de que:f ij

0 0b g =

La probabilidad de que la cadena, habiendo partido del estadoi, alcance alguna vez el estado j es entonces:

f fij ijn

n=

=

∞

∑ ( )

1

Si se definen las funciones generatrices:

P s p s F s f sij ijn n

nij ij

n n

n

( ) ( )( )= ==

∞

=

∞

∑ ∑1 1

, a f

puede probarse que:

F sP s

P sijij

jj

( )( )

( )=

+1

y por tanto:

f f Fij ijn

nij= =

=

∞

∑ a f1

1( )

El número medio de etapas que se emplea en ir de i a j es,µ ij ijF= ' ( )1 .

En nuestro ejemplo:Calculemos la probabilidad de que, partiendo del buffer vacío,alguna vez llegue a haber 3 dígitos en el mismo. Para ello debemoshallar:

P03(s) = 0.1s + 0.155s2 + 0.176s3 + 0.1828625 s4 + 0.1854119 s5+ 0.1863971s6+

0.1867831s7 + 0.1869348s8+ 0.1869946s9+ 0.1870181s10+ 0.1870274s11+

0.1870310s12+ 0.1870325s13+ 0.1870330s14+ 0.1870333s15+ 0.1870333s16+

0.1870334s17+ 0.1870334s18+ 0.1870334s19+ 0.1870334s20+…

P33(s) = 0.3s + 0.23s2 + 0.2045s3+ 0.194s4 + 0.1897875s5+ 0.1881192s6+

0.1874611s7+ 0.1872019s8 + 0.1870997s9+ 0.1870595s10+ 0.1870437s11+

0.1870375s12+ 0.1870350s13+ 0.1870340s14 + 0.1870336s15+0.1870335s16+

0.1870334s17+ 0.1870334s18+ 0.1870334s19+ 0.1870334s20+…

y resolver:

0303

33

( )( )

1 ( )P s

F sP s

=+

= 0.1s+0.125s2+ 0.1155s3 + 0.099s4 + 0.08418s5 +

0.0715215s6 + 0.06077467s7 + 0.05164761s8 + 0.043893012s9 +

0.03730309s10 + 0.031702741s11 + 0.02694311s12 + 0.02289817s13 +

0.01946037s14 + 0.01653885s15 + 0.01405577s16 + 0.01194564s17 +

0.01015221s18 + 0.00862804s19 + 0.00733270s20 + …

Así pues, la probabilidad de llegar al estado 3 (tener 3 dígitos en elbuffer) partiendo del estado 0 (buffer vacío) es:

f03 = F03(1) = 0.731635

El número medio de etapas que se tarda en tener 3 dígitospartiendo del buffer vacío es:

µ03 = F03’(1) = 2.05 etapas

3.7.7 Clasificación de estados de una cadena de Markovhomogénea.

• Estados recurrentes: Un estado i es recurrente si f ii = 1

• Estados transitorios: el estado i es transitorio si no esrecurrente, esto es, si f ii < 1

• Tiempo medio de recurrencia: es el tiempo medio que se tardaen regresar al estado j habiendo partido del mismo estado, estoes:

µ jj jjn

nnf=

=

∞

∑ ( )

1

• Estados recurrentes positivos: un estado j se dice recurrentepositivo si µ jj < ∞ , esto es, si el tiempo medio que se tarda enregresar a él es finito.

• Estados recurrentes nulos: un estado j se dice recurrentenulo esto es, si se tarda un tiempo medio infinito en regresar aél.

• Estados absorventes: un estado i se dice absorvente sipii = 1 , esto es, si una vez que la cadena llega a este estado ya

no puede pasar a otro distinto de él.

• Estados accesibles: un estado j es accesible desde otroestado i si:

∃ ≥ >n pijn0 0: ( )

• Estados comunicantes: dos estados i, j comunican entre sí sicada uno de ellos es accesible desde el otro.

• Estados periódicos: un estado recurrente i se dice periódicode periodo d si d es el máximo común divisor de los índices npara los cuáles pii

n( ) > 0 . Un estado con periodo 1 se diceaperiódico. Puede probarse que si el estado i es aperiódicoentonces existe un entero n0 tal que p n nii

n( ) > ∀ ≥0 0 .

• Conjunto cerrado de estados: un conjunto de estados C escerrado si:

∀ ∈ ∀ ∉ =i C j C pij, : 0

• Conjuntos irreducibles de estados: un conjunto de estados Ces irreducible si es cerrado y no contiene subconjuntoscerrados. Puede demostrarse que si C es cerrado, entonces esirreducible si y sólo si todos sus estados comunican entresí. Los conjuntos irreducibles de estados cumplen las dossiguientes propiedades:

a) Si C es irreducible, entonces sus estados son todostransitorios o son todos recurrentes.

b) Si C es irreducible y todos sus estados son recurrentes,entonces f i j Cij = ∀ ∈1 , . Más aún, o bien µ jj j C< ∞ ∀ ∈ , obien µ jj j C= ∞ ∀ ∈ (esto es, sus estados o son todosrecurrentes positivos o son todos recurrentes nulos).

c) Si C es irreducible y todos sus estados son recurrentes,entonces todos los estados de C tienen el mismo periodo.

Ejemplo:

La siguiente es la matriz de transición de una cadena de Markovcon 6 estados, numerados de 0 a 5:

1 1 10 0 006 2 3

1 0 1 0 0 0 01 2 1 12 0 05 5 5 51 33 0 0 0 04 41 14 0 0 0 02 2

1 1 15 0 0 04 4 2

→

− →

→

→ → →

• El estado 1 es recurrente, pues si el proceso comienza en él,permanece en él para siempre.

• Los estados 2 y 5 son transitorios, ya que pueden servisitados unas cuantas veces y no volver a ellos nunca más.

• Los estados 0, 3 y 4 son recurrentes, ya que una vez que elproceso llegue a uno de ellos permanece en ese conjuntopara siempre.

• El conjunto 0, 3, 4 es un conjunto cerrado de estados;también es irreducible.

• El conjunto 1 es también cerrado e irreducible.• El conjunto 2,5 no es cerrado.• El conjunto 0,1,2,3,4,5 es cerrado pero no irreducible.

3.7.8 Cadenas de Markov con espacio de estados finitos.

Hay una serie de resultados que no se cumplen para cadenas deMarkov con un número infinito de estados, pero que sí se verificansi este número es finito. Por ejemplo, en una cadena con infinitosestados podría ocurrir que ninguno fuese recurrente, pero en unacadena finita es evidente que debe existir algún estado de estaclase. Más aún, todo conjunto de estados cerrado y finito tiene almenos un estado recurrente.Teorema: Sea R el conjunto de estados recurrentes de una cadenade Markov con espacio de estados finito y sin conjuntos cerradosdisjuntos. Entonces:

a) f i E j Rij = ∀ ∈ ∀ ∈1 ,

b) µ ij i E j R< ∞ ∀ ∈ ∀ ∈,

c) Si los estados recurrentes son aperiódicos, entonces existeun entero ν ≥ 1 tal que p i E j Rij

( ) ,ν > ∀ ∈ ∀ ∈0

3.7.9 Distribución estacionaria de una cadena de Markov.

Sea 0n nξ≥ una cadena de Markov y sea 1,2,3,...E = su

espacio de estados. La distribución de probabilidad( )1 2 3, , ,...π π π π= donde ( )i P iπ ξ= = es una distribución

estacionaria para 0n nξ≥ si verifica:

Pπ π⋅ =

En caso de que exista esta distribución, si ( )0p π= , entonces( )np nπ= ∀

3.7.10 Distribución de equilibrio de una cadena de Markov.

Un problema de gran interés en las aplicaciones prácticas esel siguiente: transcurrido un número muy grande de etapas, ¿cuáles la probabilidad de que la cadena se encuentre en un estado jdeterminado?. Esta pregunta sólo tiene sentido cuando el procesoes ergódico. Un proceso estocástico es ergódico cuando existe ladistribución límite:

π ξj n ijnp j lím p= = =

→∞b g ( )

en cuyo caso se dice que la cadena está en equilibrio. Ladistribución ( )1 2 3, , ,...π π π π= recibe el nombre de distribución deequilibrio de la cadena. La ergodicidad significa que transcurridasmuchas etapas, la probabilidad de estar en un estado j, π j n ij

nlím p=→∞

( )

es independiente del estado de partida i.

El siguiente teorema nos indica en qué casos existe la distribuciónlímite de una cadena de Markov.

Teorema:

(a) Si 1n nξ

≥ es una cadena de Markov irreducible y recurrentepositiva, entonces existe una única solución no degeneradade las ecuaciones:

, 1P uπ π π= ⋅ =

(siendo u un vector de unos). Además el vector soluciónresultante ( )jπ π= verifica que

1j

jj

πµ

=

Si además los momentos de la distribución estacionaria sonfinitos entonces se tiene:

(b) Si el vector de probabilidades iniciales p(0) se elige de modoque p(0) = π, entonces la cadena es un proceso estacionario yergódico.

(c) Si además la cadena es aperiódica, irreducible y recurrentepositiva, entonces el proceso es ergódico y la distribuciónlímite coincide con la distribución estacionaria.

Teorema: Una cadena de Markov aperiódica e irreducible esrecurrente positiva si existe una solución no negativa del sistema deecuaciones:

( )0

1 0ij j ij

p x x i∞

=

≤ − ≠∑tal que:

00

j jj

p x∞

=

< ∞∑

3.8 Cadenas de markov en tiempo continuo con espacio deestados discreto.

En este caso la condición de Markov puede escribirse como:

P j i i u s P j it s s u u t s sξ ξ ξ ξ ξ+ += = = ≤ < = = =/ , , /0b g b gsiendo T = ∞[ , )0 :

Cuando esta probabilidad no depende de s, la cadena eshomogénea.

Las cadenas de Markov en tiempo continuo homogéneasverifican las siguientes propiedades:

(1) cada vez que alcanza el estado i la cantidad de tiempo que lacadena permanece en ese estado antes de transitar a otroestado sigue una distribución exponencial de parámetro νidependiente del estado de partida.

(2) Cuando el proceso abandona el estado i, entra en otro estadoj≠i con probabilidad pij, verificándose:

0, 1,j E

ii ijp p i E∈

= = ∀ ∈∑ .

En otras palabras, una cadena de Markov homogénea entiempo continuo es un proceso estocástico que se mueve de unestado a otro de acuerdo con una cadena de Markov en tiempodiscreto, pero que permanece en cada estado durante un tiempoexponencialmente distribuido (con parámetro dependiente delestado). Además el siguiente estado j al que se mueve el procesoes independiente del tiempo que haya permanecido en el estado i(si no fuera así se violaría la condición de Markov).

De esta forma, una cadena de Markov homogénea en tiempocontínuo queda definida por la matriz de transición deprobabilidades:

P t p tij i j E( ) ( )

,=

∈c h

donde:

( ) ( )0ij tp t P j iξ ξ= = =

De modo análogo al caso de tiempo discreto (en que P(n) = Pn), secumple (ecuación de Chapman-Kolmogorov):

P t s P t P s( ) ( ) ( )+ =

Asimismo, si p t P t i p t p t p ti ( ) , ( ) ( ), ( ),...= = =ξa fb g b g 1 2 , se tiene:

p t p P t( ) ( ) ( )= 0

Cálculo de la matriz de transición en un tiempo tObviamente, la pregunta que cabe hacerse ahora es, ¿de quémodo puede calcularse P(t)?Para ello, llamamos:

• 1

iν = tiempo medio que la cadena permanece en el estado i.

Como la distribución de este tiempo es exponencial, i tν ∆ es laprobabilidad de que la cadena abandone este estado en elpróximo intervalo de tiempo de amplitud ∆t.

• ij i ijq pν= . De acuerdo con la definición de νi, el valor qij∆tpuede interpretarse como la probabilidad de transitar al estado jdesde el estado i en el próximo intervalo de tiempo de amplitud∆t (esto es, ( )ij i ij ijp t t p q tν∆ = ∆ ⋅ = ∆ )

• ( ) ,

ij

ij ij i j Ei

q si i jr R r

si i jν ∈

≠= =− =

Si ahora calculamos las probabilidades de transición en un periodode duración t+∆t:

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) 1

( ) ( ) 1

ii ii ii ij ji i ii ij jij i j i

ij ii ij ik kj i ij ik kjk i k i

p t t p t p t p t p t t p t q t p t

p t t p t p t p t p t t p t q t p t

ν

ν≠ ≠

≠ ≠

+ ∆ = ∆ + ∆ = − ∆ + ∆ ⋅

+ ∆ = ∆ + ∆ = − ∆ + ∆ ⋅

∑ ∑

∑ ∑

de donde:

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

ii iii ii ij ji

j i

ij iji ij ik kj

k i

p t t p tp t q p t

tp t t p t

p t q p tt

ν

ν

≠

≠

+ ∆ −= − +

∆

+ ∆ −= − +

∆

∑

∑

tomando límite cuando ∆t→0 se obtiene la ecuación retrospectivade Kolmogorov:

, ( ) ( )ij ik k jk

p t r p t= ∑

Para obtener esta ecuación hemos calculado la probabilidad detransición pij(t+∆t) a partir de la evolución de la cadena primero enun lapso ∆t y a continuación en un periodo de longitud t. Sihubiésemos calculado dicha probabilidad partiendo primero de laevolución en un periodo de duración t y a continuación en otroperiodo ∆t, llegaríamos a:

( ) ( ) ( ) ( )( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) 1

( ) ( ) 1 .

ii ii ii ij ji ii i ij jij i j i

ij ij jj ik kj ij j ik kjk j k j

p t t p t p t p t p t p t t p t q t

p t t p t p t p t p t p t t p t q t

ν

ν≠ ≠

≠ ≠

+ ∆ = ∆ + ∆ = − ∆ + ⋅ ∆

+ ∆ = ∆ + ∆ = ⋅ − ∆ + ∆

∑ ∑

∑ ∑

de donde:

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

ii iii ii ij ji

j i

ij ijj ij ik kj

k j

p t t p tp t p t q

tp t t p t

p t p t qt

ν

ν

≠

≠

+ ∆ −= − +

∆

+ ∆ −= − +

∆

∑

∑

tomando límite cuando ∆t→0 se obtiene la ecuación prospectivade Kolmogorov:

, ( ) ( )ij ik k jk

p t p t r= ∑

Las ecuaciones de Kolmogorov pueden expresarse en formavectorial, respectivamente, como:

'( ) ( )'( ) ( )

P t RP tP t P t R

==

y la solución de ambas viene dada por:

P t P eRt( ) ( )= 0

donde, al serP I( )0 = , resulta:

P t eRt( ) =donde:

e R tn

Rt nn

n=

=

∞

∑ !0

Debe señalarse que en la práctica no resulta, en general,eficiente calcular P(t) de esta forma, resultando preferible enmuchas ocasiones tratar de obtener los pij(t) directamente a partirde alguna de las ecuaciones de Kolmogorov. Esto es lo que hemoshecho ya en el caso del proceso de Poisson homogéneo.

Distribución ergódica de una cadena de Markov en tiempocontinuo.

Por último, en analogía con el resultado obtenido para lascadenas en tiempo discreto, a menudo la probabilidad de que lacadena de Markov se encuentre en el estado j transcurrido untiempo muy largo converge a un valorππππj (probabilidad ergódica)independiente del estado inicial, esto es:

π j t ijlím p t=→∞

( )

El valor de ππππj puede interpretarse como la proporción detiempo que el sistema permanece en el estado j.

Si π es la distribución ergódica de la cadena de Markov en tiempocontínuo, verificará:

( )P t tπ π= ⋅ ∀y como, de acuerdo con la ecuación prospectiva de Kolmogorov, es

'( ) ( ) P t P t R= , se tiene que:

'( ) ( ) P t P t R Rπ π π⋅ = ⋅ = ⋅Si la cadena es ergódica, debe ocurrir que:

lim '( ) 0t

P t→∞

=

y por tanto la distribución ergódica debe cumplir:

0Rπ ⋅ =

junto con la condición natural de que 1

1n

ii

uπ π=

⋅ = =∑ , siendo u un

vector de unos.

Teorema: Una cadena de Markov en tiempo continuo esergódica si es irreducible y todos sus estados son recurrentespositivos.

La probabilidad ergódica π j puede interpretarse como la proporciónde tiempo que el sistema permanece en el estado j.

El sistema de ecuaciones 0Rπ ⋅ = admite una interpretación queresulta bastante intuitiva y fácil de comprender. Si escribimos sudesarrollo obtenemos:

0j j k kjk j

q jν π π≠

+ = ∀∑En este sistema de ecuaciones, la probabilidad ν πj j puedeinterpretarse como la tasa con que el proceso abandona el estado j.

Asimismo, la probabilidad k kjk j

qπ≠∑ puede interpretarse como la tasa

con que el proceso llega al estado j desde todos los estados k≠j.Claramente, cuando el proceso se encuentra en equilibrio ambascantidades deben ser iguales.