UNIVERSIDAD DE SEVILLA ------------- Departamento de Estadística

e Investigación Operativa

MODELOS ESTOCÁSTICOS DE LA

INVESTIGACIÓN OPERATIVA. I Curso 2010-2011

1. Procesos estocásticos. Definiciones y propiedades básicas. 2. Función generatriz de probabilidad y sus aplicaciones 3. Cadenas de Markov en tiempo discreto. 4. Procesos de Poisson. Procesos de nacimiento y muerte. 5. Cadenas de Markov en tiempo continuo. 6. Procesos de renovación. 7. Procesos de decisión markovianos.

Bibliografía 1. Beichelt, F. (2006). Stochastic Processes in Science, Engineering and Finance.

Chapman & Hall 2. Bellman, R.E. (1957). Dynamic Programming. Princeton University Press 3. Çinlar, E. (1975). Introduction to Stochastic Processes. Prentice-Hall 4. Denardo, E.V. (1982). Dynamic Programming, models and applications. Prentice-

Hall 5. Feller, W. (1989). Introducción a la teoría de probabilidades y sus aplicaciones.

Limusa-Wiley 6. Grimmett. G.R.; Stirzaker, D.R. (1992) Probability and Random Processes.

Oxford Science Publications 7. Heyman, D.P., y Sobel, M.J. (1982). Stochastic models in Operations Research.

McGraw-Hill 8. Lawler, G.F. (2006) Introduction to Stochastic Processes. Chapman & Hall 9. Heyman, D.P., y Sobel, M.J. (1990). Stochastic models. North-Holland 10. Kibzun, A.I., y Yu.S. (1996). Stochastic Programming problems. Wiley 11. Parzen. (1973). Procesos estocásticos. Paraninfo 12. Tijms, H.J. (1986). Stochastic modelling and analysis. Wiley Metodología y Evaluación. La evaluación de la asignatura en cualquier convocatoria se realizará mediante un examen final que constará de dos partes: teórica y práctica, además de un trabajo de curso obligatorio. Cada parte del examen se calificará de 0-10 puntos. Para aprobar el examen será imprescindible obtener al menos una calificación media de 5 puntos entre las partes teórica y práctica, debiendo alcanzar al menos un tres en cada una de las partes. Además del examen final para la convocatoria de junio habrá un examen eliminatorio, con las mismas características del examen final, que se celebrará con anterioridad.

LICENCIATURA EN CIENCIAS Y TÉCNICAS ESTADÍSTICAS

2º Curso

METODOS ESTOCASTICOS DE LA I.O. 1EJERCICIOS

Capıtulo 1.- Funcion generatriz de probabilidad. Apli-caciones

Ejercicio 1.1

Calcular la funcion generatriz de probabilidad, y a partir de ella la media y la varianzade las distribuciones de probabilidad:

1. Bernoulli

2. Geometrica

3. Poison

4. Hipergeometrica

Ejercicio 1.2

A un aparcamiento llegan durante una hora K tipos de vehıculos (motos, camiones,furgonetas,...). El numero de cada tipo se rige por una ley de Poisson de parametro λi,i = 1, . . . , K. Determinar la distribucion del numero total de vehıculos que llegan alaparcamiento en dicho periodo.

Ejercicio 1.3

Un insecto deposita N huevos, donde N esta distribuido segun una ley de Poisson demedia λ. Cada huevo tiene una probabilidad p de sobrevivir, independientemente de losrestantes. Determinar la distribucion del numero de supervivientes

Ejercicio 1.4

Mediante el uso de la funcion generatriz de probabilidad determinar los momentos yleyes marginales de la distribucion multinomial.

Ejercicio 1.5

Sea X distribuida segun una ley de Poisson de parametro Y, donde Y sigue una ley dePoisson de parametro µ. Probar que GX+Y (s) = exp(µ(ses−1 − 1)).

Ejercicio 1.6

Sea una variable aleatoria X que se distribuye segun una ley de Poisson de parametro(Λ),y donde Λ sigue una ley exponencial Exp(µ). Probar que X sigue una distribuciongeometrica.

1

Ejercicio 1.7

Sean X1, X2, ... variables aleatorias independientes e identicamente distribuidas confuncion de densidad ”logarıtmica”:

f(k) =(1− p)k

klog(1p); con k ≥ 1

donde 0 < p < 1. Si N es independiente de los Xi y sigue una distribucion de Poisson conparametro µ, probar que Y =

∑Ni=1 Xi sigue una distribucion binomial negativa.

Ejercicio 1.8

Tomamos X una variable aleatoria distribuida como X ∼ Bi(n, U), donde U es unavariable aleatoria distribuida uniformemente en (0, 1). Veamos que X esta uniformementedistribuida en {0,1,2,. . . ,n}.

Ejercicio 1.9

Se lanza una moneda n-veces, sea ”p”la probabilidad de que salga cara (probabilidadexito) se pide:

a.Demostrar que la funcion generatriz de probabilidad conjunta de las variables alea-torias H y T de caras y cruces, respectivamente, es:

GH,T (x, y) = (px + (1− p)y)n

b.Generalizar esta conclusion para hallar la funcion generatriz de probabilidad de unadistribucion multinomial.

Ejercicio 1.10

Se lanza una moneda repetidamente, la probabilidad de que salga cara en cada lanza-miento es p. Sea hn la probabilidad de obtener un numero par de caras en n lanzamientosde la moneda.Aceptando que 0 es par, encontrar una ecuacion verificada por hn y hn−1 ydeducir de ella que la funcion generatriz de probabilidad correspondiente es:

H(s) =1

2{ 1

1− s+

1

1− (q − p)s}

Ejercicio 1.11

Tenemos una columna de sobres y otra de cartas, con el mismo numero de unidadesen ambas. Debido al azar se nos cae ambas columnas y metemos las cartas en los sobresde forma aleatoria.

2

1. Demostrar que si Xn es el numero de cartas introducidas correctamente en su sobre,la relacion entre la probabilidad de Xn y Xn+1 es dada por:

P [Xn = j] = (1 + j)P [Xn+1 = j + 1]

2. Deducir PXn(s) = P ′Xn+1

(s)

3. Concluir P [Xn = r] = 1r( 1

2!− 1

3!+ ........ + (−1)n−r

(n−r)!)

Ejercicio 1.12

Dadas n-cartas y sus sobres con las direcciones ¿Cual es la probabilidad pn de que alcolocar al azar las cartas en los sobres ninguna carta se encuentre en el sobre correcto?

Ejercicio 1.13

Una moneda se lanza sucesivamente, obteniendo cara con probabilidad p en cadalanzamiento. Calcula la probabilidad de pm,n de que aparezcan m-caras antes de n-cruces.(Pacioli 1494).

Ejercicio 1.14

En cada paquete de un cierto alimento para ninos se incluye una estampa de un cam-peon. Hay c diferentes, y se distribuyen de modo que cada paquete puede tener cualquierade ellos con la misma probabilidad. Si compramos un paquete cada dıa:

a) Determinar el numero medio de dias transcurridos para completar la coleccion.

b) Sea T el numero de paquetes abiertos hasta que se complete la coleccion. DeterminarE[sT ] y P [T = k]. Suponiendo que c = 4.

3

Capıtulo 2.- Procesos estocasticos

Ejercicio 2.1

Sea {Zn} una secuencia de variables aleatorias incorreladas, con media 0 y varianza launidad. Definimos la media movil como: Yn =

∑ri=0 αiZn−i, siendo α1 . . . αn constantes.

Demostrar que Yn es estacionario y encontrar su funcion de autocovarianza.

Ejercicio 2.2

Sea Zn como en el ejercicio anterior. Supongamos que Yn es una secuencia estacionariaque verifica Yn = αYn−1 +Zn , −∞ < n < +∞ , para algun α/|α| < 1. Calcular la funcionde autocovarianza de Y .

Ejercicio 2.3

Sea X(t) = Y cos(θt) + Zsen(θt) donde Y y Z son variables N(0,1) y sea X(t) =Rcos(θt + ψ) donde R y ψ son v.a. independientes. Encontrar distribuciones para R y ψ

de forma que X y X posean las funciones de distribucion finito dimensionales iguales.

Ejercicio 2.4

Sea U uniforme en [0, 1] con desarrollo en base dos dado por: U =∑∞

i=1 Xi2−i. Demos-

trar que la sucesion Vn =∑∞

i=1 Xi+n2−i es fuertemente estacionaria y calcular su funcionde autocovarianza.

Ejercicio 2.5

Sea X una sucesion de v.a. con media 0 y funcion de autocovarianza c. Probar quelos coeficientes del mejor predictor lineal (en el sentido de minimizar el error cuadraticomedio) de Xr+k como funcion de Xr, Xr−1, . . . , Xr−s verifican la ecuacion:

s∑i=0

aic(|i− j|) = c(k + j) 0 ≤ j ≤ s.

Ejercicio 2.6

Consideramos el esquema autoregresivo Yn = αYn−1 + Zn, −∞ < n < +∞, donde{Zn} es una secuencia de variables aleatorias independientes con media 0 y varianza1, α ∈ R, |α| < 1. Determinar la mejor estimacion lineal de Yr+k como funcion deYr, Yr−1, . . . , Yr−s y el error cuadratico medio de esta prediccion.

4

Ejercicio 2.7

Consideremos el proceso estocastico {Zn}, n = 0, 1, 2..., que representa el recorrido deuna partıcula que se mueve a lo largo de un eje con pasos de tamano unidad, en momentosque representan incrementos de una unidad de tiempo. Suponemos que cada movimientotiene la probabilidad p de hacerlo hacia la derecha y q de ir hacia la izquierda.

1. Demostrar que es un proceso estocastico espacial y temporalmente homogeneo, yque presenta la propiedad de Markov.

2. Si la partıcula esta en la posicion 0 en el tiempo 0, determinar la probabilidad deque este en la posicion k, despues de n pasos.

3. Calcular la media y la varianza de Zn.4.Usando el teorema central del lımite, encontrar cotas al noventa y cinco por ciento

de Z10000 si p = 0.6.

Ejercicio 2.8

Consideremos un recorrido aleatorio que parte del origen. Calcular:1. Funcion generatriz de probabilidad de la sucesion {probabilidad de volver al origen

despues de n pasos}.2.Funcion generatriz de probabilidad de la sucesion {probabilidad de volver por vez

primera al origen despues de n pasos}.

Ejercicio 2.9

Basandonos en los resultados anteriores, determinar:1.Probabilidad de que se vuelva al origen.2.Probabilidad de que se visite alguna vez la parte positiva del eje.Ejercicio 2.11(El problema de la ruina). Consideremos al jugador que gana o pierde un peso con

probabilidades respectivas p y q. Sea su capital inicial z y sea a-z el capital inicial deljugador contrario, de manera que el capital combinado sera a. El juego continua hastaque el capital del jugador se reduce a cero o se incrementa hasta a, es decir, hasta queuno de los jugadores quede arruinado.Determinar:

1. Probabilidad de la ruina del jugador.

2. Distribucion de probabilidades de la duracion del juego.

Ejercicio 2.12

Una partıcula realiza un camino aleatorio sobre los vertices del cuadrado ABCD. Encada paso, la probabilidad de movimiento desde el vertice D es igual a ρCD, donde:

ρAB = ρBA = ρCD = ρDC = α

5

ρAD = ρDA = ρBC = ρCB = β

con α, β > 0 tales que α + β = 1.Sea GA(s) la funcion generatriz de probabilidad de la secuencia (PAA(n); n ≥ 0) don-

de PAA es la probabilidad de que la partıcula este en A despues de n pasos, habiendoempezado en A.

Probar que:

GA(s) =1

2·{ 1

1− s2+

1

1− |β − α|2}

y a partir de esta encontrar la funcion generatriz de probabilidad del tiempo del primerretorno a A (al origen).

Ejercicio 2.13

Consideramos un proceso ramificado. Supongamos que el numero de descendientesdirectos esta sujeto a una distribucion geometrica f(k) = qpk con k ≥ 0 y p+q = 1.Sea Zn el numero de descendiente en la n-esima generacion. Sea T = min{n : Zn = 0} eltiempo de extincion. Suponemos Z0 = 1. Se pide:

1. P [T = n]

2. ¿Para que valores de p se tiene E[T ] < ∞?

Ejercicio 2.14

En un recorrido aleatorio simetrico, p = q, que parte del origen, demostrar que laprobabilidad de no volver al origen en los 2n primeros pasos es igual a la probabilidad devolver al origen en el paso 2n, y determinar dicha probabilidad.

Ejercicio 2.15

Sea {Xn} una secuencia de variables aleatorias Bernouilli independientes que tomanvalores 0 y 1 con probabilidades p y 1 − p, respectivamente. Encontrar la funcion deprobabilidad del proceso de renovacion N(t) que nos indica el numero de realizaciones ,con tiempo entre llegadas dado por {Xn}.

6

Capıtulo 3.- Procesos de Markov.

Ejercicio 3.1Sea (Xn) una cadena de Markov y sea un conjunto {nr : r ≥ 0} de numeros enteros

ordenados en orden creciente. Demostrar que Yr = Xnr constituye una cadena de Markov.Encontrar la matriz de transicion de (Yr) cuando nr = 2r y (Xn) es:

1. Un camino aleatorio simple.

2. Un proceso de ramificacion.

Ejercicio 3.2

Sea Xn la maxima puntuacion obtenida en las primeras n tiradas de un dado. Demos-trar que (Xn) es una cadena de Markov y encontrar su matriz de transicion de probabili-dades.

Ejercicio 3.3

Consideramos la secuencia aleatoria de polıgonos convexos generada de la siguientemanera: Tomamos dos lados del polıgono inicial, trazamos un segmento que unan suspuntos medios y obtenemos dos nuevos polıgonos. Cogemos aleatoriamente uno de ellospara ser el proximo en la secuencia y ası sucesivamente. Sea Xn + 3 el numero de ladosdel n-esimo polıgono de la secuencia ası construida.1. Encontrar E[Xn] en terminos de X0.2. Encontrar la distribucion estacionaria de la cadena de Markov (Xn).

Nota: El numero de lados es Xn +3 para garantizar que el polıgono inicial sea al menosun triangulo.

Ejercicio 3.4

Sea {Sn : n ≥ 0} una caminata al azar con S0 = 0.1. Demostrar que Xn = |Sn| es una cadena de Markov. Encontrar la matriz de transi-

cion de probabilidad de la cadena.2. Sea Mn = max{Sk : 0 ≤ k ≤ n}, demostrar que Yn = Mn − Sn es otra cadena de

Markov.

Ejercicio 3.5

La copia de un libro es leıda por una secuencia infinita de editores detectando errores.Cada error es detectado con una probabilidad p en cada lectura.Entre las distintas lecturas el corrector detecta errores pero introduce un numero aleatoriode errores nuevos (los errores pueden ser introducido incluso si no detecta ningun error).Teniendo en cuenta, que el numero de errores son diferentes en cada lectura del correctorpero identicamente distribuidos:

7

Buscar una expresion para la funcion generatriz de probabilidad de la distribucion esta-cionaria Xn donde Xn: numero de errores despues de la n-esima lectura del corrector.Buscar una expresion para la funcion generatriz de probabilidad explıcita cuando el co-rrector introduce un numero de errores en cada lectura regida por una distribucion dePoisson.

Ejercicio 3.6

Una partıcula recorre un camino aleatorio sobre los vertices de un grafo G conexo, elcual para simplificar suponemos que no tiene bucles. En cada etapa la partıcula se muevede un vertice a otro de los adyacentes, teniendo cada punto igual probabilidad de serelegido. Si G tiene η(< +∞) aristas, mostrar que la distribucion estacionaria esta dadapor Πv = dv

2ηdonde dv es el grado del vertice.

Ejercicio 3.7

Mostrar que un camino aleatorio sobre un arbol binario infinito completo es una cadenade Markov de estados transitorios.

Ejercicio 3.8

Una partıcula realiza una caminata al azar sobre los vertices de un cubo.En cadaetapa permanece en el vertice en que se encuentra con una probabilidad 1

4y se desplaza

a sus vecinos con la misma probabilidad. Sean v,w dos vertices diametralmente opuestosy supongamos que la caminata comienza en v. Hallar:

1. El numero medio de etapas hasta la primera visita a v.

2. El numero medio de etapas hasta la primera visita a w.

Ejercicio 3.9

Sea la siguiente figura S:

B

A

C

D

E

Comenzamos en el vertice (A). Nos piden:

1. El tiempo de primer paso por A partiendo de A (tiempo medio de recurrencia).

8

2. Numeros de visitas a D antes de llegar a A sabiendo que partimos de A

3. Numeros de visitas a C antes de llegar a A sabiendo que partimos de A

4. Tiempo de primer paso por A sabiendo que parte de A sin que pase por E

5. Numeros de visitas a D antes de llegar a A sabiendo que partimos de A,sin pasarpor E

Ejercicio 3.10

Sea Xn la cantidad de agua que hay en un embalse el dıa n sobre el mediodia.Ddurantelas 24 horas anteriores al dıa n el embalse recibe agua que cuantificaremos en la variableYn, justamente antes de cada mediodıa la presa arroja 1 unidad de agua (si hay talcantidad).La capacidad maxima del embalse es k, y si la presa recibe excesiva cantidad esteagua se desborda y se pierde. Suponemos que las Yn son independientes e identicamentedistribuidas y que todos los numeros de valoracion son enteros no negativos.

(1)Demostrar que {Xn : n > 0} es una cadena de Markov.(2)Hallar la matriz de transicion de {Xn : n ≥ 1}(3)Encontrar una expresion de la distribucion estacionaria Π en terminos de la funcion

generatriz de probabilidad de Yn

(4)Calcular Π cuando Gy(s) = p(1− qs)−1

Ejercicio 3.12

Clasificar los estados de la Cadena de Markov dada por la siguiente matriz de paso:

P ≡

0 0 0.4 0.6 00 0.2 0 0.5 0.3

0.5 0 0.5 0 00 0 1 0 0

0.3 0 0.5 0 0.2

Ejercicio 3.13

Clasificar los estados de la cadena de Markov dada por la matriz adjunta, ası como sumatriz lımite.

a b c d e f g

a 0.8 0 0 0 0 0.2 0b 0 0 0 0 1 0 0c 0.1 0 0.9 0 0 0 0d 0 0 0 0.5 0 0 0.5e 0 0.3 0 0 0.7 0 0f 0 0 1 0 0 0 0g 0 0.5 0 0 0 0.5 0

9

Ejercicio 3.14

Sea X una cadena de Markov con espacio de estados E={1,2,3,4,5,6,7,8} y matriz detransicion:

P =

0.4 0.3 0.3 0 0 0 0 00 0.6 0.4 0 0 0 0 0

0.5 0.5 0 0 0 0 0 00 0 0 0 1 0 0 00 0 0 0.8 0.2 0 0 00 0 0 0 0 0.4 0.6 0

0.4 0.4 0 0 0 0 0 0.20.1 0 0.3 0 0 0.6 0 0

clasificar los estados y determinar la matriz lımite.

Ejercicio 3.15

Clasificar los estados de la cadena de Markov dada por la siguiente matriz de transicion,ası como determinar la matriz limite.

c)

1 2 3 4 51 0.5 0 0 0.5 02 0 0.6 0 0 0.43 0.3 0 0.7 0 04 0 0 1 0 05 0 1 0 0 0

Ejercicio 3.16

Clasificar los estados de la cadena de Markov con la siguiente matriz de transicion, ysu comportamiento lımite :

P =

0.8 0 0.2 00 0 1 01 0 0 0

0.3 0.4 0 0.3

Ejercicio 3.17

Estudiar las cadenas de Markov dadas por las matrices de transicion:

P =

p0 p1 p2 p3 · ·p0 p1 p2 p3 · ·0 p0 p1 p2 · ·0 0 p0 p2 · ·· · · · · ·· · · · · ·

10

Q =

h0 g0 0 0 0 ·h1 g1 g0 0 0 ·h2 g2 g1 g0 0 ·h3 g3 g2 g1 g0 ·· · · · · ·· · · · · ·

Determinar el comportamiento de los estados a traves de las funciones generatrices delas sucesiones {pi} y {gj}, respectivamente.

Ejercicio 3.18

Estudiar el comportamiento de los estados de los recorridos aleatorios dados por lasmatrices de transicion:

1. P1 =

q p 0 0 0 ·q 0 p 0 0 ·0 q 0 p 0 ·0 0 q 0 p ·· · · · · ·· · · · · ·

2. P2 =

0 1 0 0 0 ·q 0 p 0 0 ·0 q 0 p 0 ·0 0 q 0 p ·· · · · · ·· · · · · ·

en funcion del valor de p. Determinar las distribuciones lımite.

Ejercicio 3.19

El numero de dıas que transcurren hasta que se recibe una peticion para la suit pre-sidencial de un hotel, es una v.a. G(p). Cada cliente que realiza la peticion de la suit porun numero de dıas que es una v.a. discreta X.

1. Calcular la fraccion de tiempo que la suit esta ocupada.

2. Calcular el beneficio para el hotel, si la estancia de X dıas produce un beneficiocX + k, y un coste D.

11

Capıtulo 4.- Procesos de Poisson

Ejercicio 4.1

Dos lıneas de tren A y B comparten estacion. Los trenes de tipo A y B llegan a laestacion segun proceso de Poisson independientes con tasas λA = 3, λB = 6 trenes porhora. Suponemos que los viajeros suben y bajan de los trenes instantaneamente.

1. En un instante al azar un pasajero llega a la estacion a tomar el tren tipo A:

a) ¿Cual es la funcion de densidad del tiempo que debe esperar para tomar sutren?

b) ¿Cual es la probabilidad de que lleguen al menos 3 trenes mientras que esta es-perando?

2. ¿Cual es la probabilidad de que por la estacion pasen exactamente 9 trenes en unahora?

3. Si un observador cuenta el numero de trenes que pasan por la estacion cada ho-ra, comenzando a las 8:00 de la manana, ¿cual es el numero esperado de horastranscurridas hasta que cuenta 9 trenes?

4. Supongamos que cada tren A, B, transporta un numero de viajeros que es una v.a.uniforme discreta en [0,A], [0,B] respectivamente. Determinar el numero medio deviajeros que pasan por la estacion en [0,t], la varianza y la probabilidad de que nopase ningun viajero.

Ejercicio 4.2

Sea Tn el tiempo de la n-esima ocurrencia de un proceso de Poisson de tasa λ ydefinamos el tiempo de vida restante como la v.a. E(t) = TN(t)+1 − t, es decir el tiempoque uno debe esperar desde el instante t hasta la siguiente llegada. Probar que

P (E(t) > x) = e−λ(t+x) +

∫ t

0

P (E(t− u) > x)λe−λudu

.Resuelvase la ecuacion integral para encontrar la distribucion de E(t). Explıquese el

resultado.

Ejercicio 4.3

Sea N un proceso de nacimiento puro con intensidades λ1, λ2, . . . ,λi 6= λj siempre quei 6= j y N(0) = 0. Probar que pn(t) = P (N(t) = n) es igual a:

pn(t) =1

λn

n∑i=1

λie−λit

n∏

j=0,j 6=i

λj

λj − λi

12

Ejercicio 4.4

Un ama de casa vende subscripciones por correo de una revista. Sus clientes se suscri-ben segun un proceso de Poisson de tasa 6 cada dıa. Se pueden subscribir durante 1,2, o 3anos, lo que hacen de forma independiente con probabilidades respectivas de 1/2, 1/3, y1/6. Por cada subscripcion anual vendida se recibe una unidad monetaria. Si llamamosX(t) a la cantidad total obtenida por subscripciones en un perıodo de t dıas, calcular laganancia media, su varianza y la probabilidad de que no se venda ninguna subscripcion.

Ejercicio 4.5

Sea una maquina que funciona de forma intermitente y que puede estar en tres estados:parada, funcionamiento o estropeada (P, F, E).

1. Si esta funcionando en el instante t, hay una probabilidad γ∆t + o(∆t) de que sedecida pararla en el intervalo (t, t+∆t) y una probabilidad λ∆t+o(∆t) de que falleen dicho intervalo.

2. Si la maquina esta parada en t, hay una probabilidad de ν∆t + o(∆t) que se decidaponerla en funcionamiento en (t, t + ∆t).

3. Si la maquina falla, se tarda k unidades de tiempo en repararla y la maquina apareceparada.

Suponemos que la maquina esta parada en el instante t = 0. Definimos la duracionaparente de vida como el intervalo de tiempo entre que se pone en paro despues de unareparacion y el instante en el que la maquina vuelve a fallar. Calcular la funcion dedistribucion de la v.a. T, duracion aparente de vida, su media y su varianza.

Ejercicio 4.6

Consideremos una poblacion de bacterias de tamano N(t) en el instante t y N(0)=1.Supongamos que el crecimiento esta descrito por un proceso de nacimiento puro en elque cada miembro de la poblacion se puede dividir en dos en el intervalo (t, t + ∆t) conprobabilidad λ∆t+o(∆t) o no cambiar en este intervalo con probabilidad 1−λ∆t+o(∆t)cuando ∆t → 0.

1. Escribir el conjunto de ecuaciones diferenciales en diferencias que verifican pk(t) =P (N(t) = k).

2. Probar que la funcion generatriz de N(t), G(z,t) verifica: G(z, t) = ze−λt

1−z+ze−λt .3. Calcular E[N(t)].4. Calcular la forma de Pk(t).

Ejercicio 4.7

Supongamos que una maquina se puede hallar en tres estados: trabajando (E0), es-tropeada (E1) o quemada (E2). Suponemos que las transiciones entre los estados E1 y

13

E2 no son posibles. Denotemos por X(t) el estado en el que se encuentra la maquina enel instante t y supongamos que los tiempos entre fallos y sobrecargas (que conducen aquemar la maquina) son v.a. exponenciales, independientes e identicamente distribuidasde tasas ai, i = 1, 2, y los tiempos de reparacion de cada uno de estos tipos de fallos sonrespectivamente v.a. exponenciales, independientes e identicamente distribuidas de tasasbi, i = 1, 2. Probar que {X(t) : t ≥ 0} es una cadena de Markov de parametro continuo.Encontrar la matriz de generadores de la cadena.

Ejercicio 4.8

En un paso de cebra los peatones fluyen segun procesos de Poisson con tasa λL desde laizquierda y con tasa λR desde la derecha de dicho cruce. Suponemos que ambos procesosson independientes y que los peatones cruzan instantaneamente cuando se enciende la luzverde. Vamos a analizar tres posibles reglas de funcionamiento del semaforo:

1. Regla A Luz verde cada T minutos.

2. Regla B Luz verde cuando el numero de peatones esperando sea N0.

3. Regla C Luz verde cuando el primer peaton que llega al semaforo haya esperado T0

minutos.

Determinar para cada regla de decision:

1. El numero esperado de peatones que cruzan de izquierda a derecha en cualquier luzverde.

2. La probabilidad de que no cruce ningun peaton de izquierda a derecha en un instantede luz verde.

3. La funcion de distribucion del tiempo de luz verde.

4. El tiempo esperado para cruzar de un peaton que llega aleatoriamente.

5. El tiempo esperado desde la llegada de un observador no peaton hasta la proximaluz verde.

14

Capıtulo 5.- Procesos de nacimiento y muerte.

Ejercicio 5.1

Consideremos un sistema con dos componentes en paralelo de modo que el tiempode fallo de las componentes son v.a. i.i.d. con distribucion exponencial de media 1/λ. Eltiempo de reparacion de cada componente sigue una distribucion exponencial de media1/µ. Se supone que el tiempo de fallo de las dos componentes y su tiempo de reparacionson mutuamente independientes. Inicialmente ambas componentes estan operando has-ta que una componente falla, en cuyo caso la reparacion comienza instantaneamente yası sucesivamente. El sistema falla cuando ambas componentes no son operativas.

1. Calcular la probabilidad de que el sistema halla fallado antes del tiempo T . Hallarel tiempo medio de fallo.

2. Estudiar este mismo modelo para el caso de un sistema en alerta, es decir, si unaunidad es operativa la otra espera su fallo para entrar en funcionamiento.

3. Suponer que hay una probabilidad p de que cuando el sistema halla fallado puedarecuperarse.

Ejercicio 5.2

(Propiedad P.A.S.T.A.). Sea X = {X(t) : t ≥ 0} una cadena de Markov deparametro continuo con distribucion estacionaria π. Sea N un proceso de Poisson de tasaλ, independiente de X y definimos Yn = X(Tn), como el valor tomado por X inmediata-mente despues del instante Tn de la n-esima llegada de N. Probar que Y = {Yn : n ≥ 0}es una cadena de Markov de parametro discreto con la misma distribucion estacionariaque X.

Ejercicio 5.3

Sea X = {X(t), t ≥ 0} una cadena de Markov irreducible con matriz generatriz G, ysea Y = {Yn, n ≥ 0} la cadena encajada dada por Y0 = X(0) e Yn es el valor de X justodespues del salto n-esimo.

1. Si X tiene distribucion estacionaria Γ1, demostrar que Y tiene distribucion estacio-naria Γ∗ dada por:

Γ∗k =Γk · gkk∑

i Γi · gii

supuesto que∑

i Γi · gii < ∞.

¿Cuando ocurre Γ∗ = Γ?

15

2. Probar que un estado es persistente en X si lo es en Y .

Ejercicio 5.4

Los items llegan a un centro de manufacturas para su procesamiento segun un procesode Poisson con intensidad λ .El tiempo de servicio necesario para procesar un item es unav.a. exponencial de media 1

µ. Cuando no hay items el centro deja de operar, comenzando

de nuevo cuando se han acumulado Q nuevos items despues de un paro.Todos los itemsdel sistema son entonces procesados y el ciclo de trabajo se termina cuando no hay masitems en el sistema,repitiendose este esquema sucesivamente.

Calcular la probabilidad de que haya n items exactamente en el sistema.

Ejercicio 5.5

Un centro de reparacion dispone de 10 plazas para atender las maquinas estropeadas endos centros de produccion, en los que existen 10 maquinas en cada uno. Las maquinas delprimer centro se averıan con tasa 3 por dıa y son reparadas con tasa 4 por dıa; mientrasque las del segundo centro se averıan con tasa 1 por dıa y se arreglan con tasa 1 pordıa. Dado que el primer centro se considera de gran importancia, se toma como regla dedecision acepta siempre que sea posible maquinas del primer centro, pues el sistema nopermite espera, mientras que las del segundo centro son aceptadas si existen plazas libresy no hay en reparacion L maquinas de este centro. Determinar L para que se minimice elnumero medio de maquinas no admitidas a reparacion por unidad de tiempo.

Ejercicio 5.6

Una empresa de seguros debe mantener una cierta liquidez para hacer frente a losreintegros solicitados por sus asociados y poder cobrar los pagos realizados por sus clien-tes. El resto del capital de la empresa se encuentra invertido en valores mobiliarios. Lasentradas y salidas de caja estan descritas por sendos procesos de Poisson compuestos.Los reintegros ocurren siguiendo un proceso de tasa λ1 y la cantidad reembolsada es unav.a. discreta con probabilidad {φ1(j) : j = 1, 2, ...}. Los pagos los realizan los clientessegun un proceso de Poisson de tasa λ2 y las cantidades siguen la ley de probabilidad{φ2(j) : j = 1, 1, ...}.

Se desea estudiar el coste por unidad de tiempo de la siguiente regla de actuacion :”La cantidad de dinero en caja se descuenta automaticamente a b,si se supera este

lımite, comprando activos financieros. Si la cantidad en caja es inferior al nivel a, a < b,se eleva hasta esta cantidad vendiendo activos. ”

Siendo el coste de comprar activos en los mercados financieros c2 u.m. por unidadcomprada y c1 u.m. por unidad vendida. El coste por unidad de tiempo por mantener Mu.m. en caja es c0M .

16

Ejercicio 5.7

La llegada de los trabajos a la cola de proceso de un ordenador de procesamientocompartido se realiza segun un proceso de Poisson de tasa λ. El microprocesador losatiende en el orden de sus llegadas uno tras otro, empleando en cada uno de ellos un tiempoque es una variable aleatoria exponencial de parametro µ independiente, e independientede los tiempos entre llegadas. Sea X(t) el numero de trabajos en el sistema (en la cola deproceso o siendo procesado) en el instante t, X(0) = 0. Probar que X es una cadena deMarkov y escribir su matriz de generadores. Demostrar que existe distribucion estacionariasi y solo si λ < µ, encontrarla explıcitamente en este caso.

Ejercicio 5.8

Consideremos una ciudad con dos servicios de emergencia que colaboran para atendera las alarmas. La ciudad esta dividida en dos zonas. Las emergencias que se producenen la zona i se tratan de atender inicialmente por la unidad i. Las alarmas que llegancuando una sola unidad esta libre se atiende por dicha unidad independientemente de laprocedencia. Las alarmas que llegan cuando las dos unidades estan ocupadas se pierdeny no son atendidas. Los siniestros se producen segun una ley Poisson de parametrosλ1, λ2 respectivamente en cada zona. Los tiempos de servicio de una emergencia del areai atendida por la unidad j son variables aleatorias independientes exponenciales de media1

µij.

1. Determinar la matriz de generadores de la cadena.

2. Calcular la fraccion de emergencias que se pierden.

17

Capıtulo 6.- Procesos de renovacion.

Ejercicio 6.1

El numero de veces N que un animal visita un area en un cierto periodo es una v.a.geometrica de parametro θ, siendo p la probabilidad de ser capturado para su estudio encada visita. Suponemos que el animal es dejado en libertad cada vez que es capturado.

1. Demostrar que la distribucion de probabilidad del numero total de veces que esestudiado es una ley geomemtrica.

2. ¿Cual es la probabilidad de que un individuo no sea capturado?

3. Si se le inyectan c unidades de producto cada vez que es estudiado, ¿cual es lacantidad media de producto que recibe?

Ejercicio 6.2

El numero de semillas de cualquier planta de una cierta especie, se distribuye segununa ley Poisson de media λ. Cada semilla produce o no produce una flor con probabilidadp independientemente de las restantes. El numero de plantas que hay en la zona sigue unav.a. con distribucion de probabilidad pn = k · qn

0 /n, n = 1, 2, . . . ,∞, p0 = 0.Encontrar la funcion generatriz de probabilidad del numero de flores, ası como el

numero esperado de flores en dicha area.

Ejercicio 6.3

Probar que M(t) = E[N(t)] = 12λt − 1

4(1 − e−2λt) si los tiempos entre ocurrencias

siguen una distribucion G(λ, 2).

Ejercicio 6.4

Un ordenador genera aleatoriamente caracteres alfabeticos desde su teclado hacia lapantalla. Suponemos que el teclado se compone de los 27 signos alfabeticos (letras) masla barra espaciadora. Se pretende estudiar la aparicion de la secuencia examen de colas.

1. Definir un proceso de renovacion que describa el proceso.2. Aplicar el teorema elemental de renovacion para obtener el numero medio de carac-

teres generados hasta la primera obtencion de dicha secuencia.

Ejercicio 6.5

Sea N un proceso de Poisson de tasa λ. Probar que la vida total D(t) en el instantet tiene como funcion de distribucion P (D(t) ≤ x) = 1 − (1 + λ mın{t, x})e−λx, x ≥ 0.

Deducir que E(D(t)) = (2−e−λt)λ

.

18

Ejercicio 6.6

Sea N un proceso de renovacion y W el intervalo de tiempo que transcurre hasta quela duracion de un tiempo entre llegadas es mayor que s;es decir,W = inf{t : C(t) > s}siendo C(t) el tiempo transcurrido (en el instante t) desde la ultima llegada. Probar que:

FW (x) =

{0 si x < s

1− F (s) +∫ s

0FW (x− u)dF (u) si x ≥ s

donde F es la funcion de distribucion de un tiempo entre llegadas.Probar que si N es un proceso de Poisson con tasa λ entonces:

E(eθW ) =λ− θ

λ− θe(λ−θ)spara θ < λ

y E(W ) = eλs−1λ

.

Ejercicio 6.7

Una fabrica esta alternativamente produciendo y desocupada. Sean P1, P2, . . . los su-cesivos tiempos de produccion y sean D1, D2, . . . los sucesivos tiempos de desocupacion.Suponemos que {(Pn, Dn) : n ≥ 1} es una sucesion de variables aleatorias bidimensio-nales independientes. Determinar la fraccion de tiempo que la fabrica esta produciendo.

Ejercicio 6.8

Consideremos una situacion de reemplazamiento de equipos en el que se usa la siguienteregla: Un equipo se reemplaza por otro cuando falla o su edad es de T unidades de tiempo,lo que ocurra primero. Los tiempos de vida de cada equipo son X1, X2, . . . , v.a. i.i.d. confuncion de distribucion F y funcion de densidad f . El sistema incurre en un coste de c1 > 0u.m. por cada reemplazamiento sin fallo y en uno de c2 > c1 por cada reemplazamientocon fallo. Determinar el coste medio por unidad de tiempo a largo plazo.

Ejercicio 6.9

Los pedidos llegan a una fabrica segun un proceso de renovacion con tiempo medioentre pedidos 1/µ. La produccion se inicia cuando se han recibido N pedidos. Los costesde funcionamiento de la fabrica consisten en un coste fijo K cada vez que se inicia laproduccion, mas un coste de mantenimiento de pedidos con tasa hj, h > 0, cuando jpedidos estan esperando a ser atendidos.

Determinar el valor de N (entero) para que el coste por unidad de tiempo sea mınimo.

Ejercicio 6.10

Supongamos un sistema de inventario de revision periodica cuyas demandas X1, X2, . . .en semanas sucesivas son v.a.i.i.d. cuya funcion de densidad f(x) tiene los momentos de

19

primer y segundo orden finitos. Cualquier demanda que exceda el nivel de inventariose almacena hasta que se produce reaprovisionamiento. La regla de control de pedidosconsiste en observar el nivel de inventario al principio de cada semana y pedir S − xunidades siendo x el nivel de inventario x ≤ s, 0 ≤ s < S. Si s < x no se realizan pedidos.El reaprovisionamiento es instantaneo.Determinar la frecuencia media de pedido y cantidad media de cada pedido.

Ejercicio 6.11

Una fabrica produce una cantidad aleatoria de desechos por semana, que sigue unaley exponencial de media 1/µ. Los desechos solo pueden ser retirados al final de cadasemana. El almacenaje de los desechos produce un coste h por cada unidad de desechoy por semana, ademas de un coste fijo k por cada retirada de residuos, y un coste p porunidad de basura no retirada durante el ultimo periodo.

Determinar el tamano z del camion que retira los desechos de modo que minimice elcoste medio por periodo.

Ejercicio 6.12

Un guıa turıstico parte cada T minutos de la entrada principal de los Reales Alcazares.Los turistas llegan a la entrada segun un proceso de Poisson de tasa λ. Cada turista esperaal guıa con probabilidad e−µλ si tiene que esperar un tiempo t hasta que comience el nuevorecorrido. Cada turista parado paga al guıa una cantidad τ , y el guıa debe de pagar porcada grupo unos gastos de entrada de grupo de C.

Demostrar que para el guıa la duracion optima T ∗ de cada visita en grupo debeverificar:

e−µT ∗(τλT ∗ +τλ

µ) =

τλ

µ− c

siempre que τλµ

> c.

Ejercicio 6.13

Sea N un proceso de renovacion con tiempos entre ocurrencias dados por la v.a X.Supongamos que X tiene momento de primer orden finito y no nulo y momento de segundoorden finito. Usar el teorema llave para probar que:

lımt→∞

{m(t)− t

E(X1)

}=

E(X21 )

2E2(X1)− 1

Ejercicio 6.14

Un contador radiactivo se bloquea durante un tiempo cada vez que registra unapartıcula radiactiva.

20

1. Supongamos que las partıculas llegan segun un proceso de Poisson de tasa λ y quelos tiempos de bloqueo son fijos de longitud T. Probar que:

El proceso de deteccion N es un proceso de renovacion cuya distribucion detiempos entre ocurrencias es F (x) = 1− e−λ(x−T ) si x ≥ T.

Obtener una expresion para P (N(t) ≥ k)

2. Si suponemos que las partıculas llegan al contador segun un proceso de renovacion Ny la duracion de cada bloqueo es segun una v.a. positiva con funcion de distribucionFB. Probar que

P (X1 ≤ x) =

∫ x

0

{1− F (x− y)}FB(y)dm(y)

Ejercicio 6.15

La policıa de una autopista ha constatado que todos los vehıculos que circulan por lamisma lo hacen a mayor velocidad de la permitida.Un coche generico debe de pagar multas cada M kilometros, o cada vez que sufra unaaverıa (por exceso de velocidad) en un trayecto de menos de M kilometros. Por cadaaverıa se paga una cantidad igual al numero de kilometros recorridos desde el ultimo pagoy por cada multa convencional una cantidad constante C. Suponiendo que la densidad delnumero de kilometros recorridos hasta la proxima averıa viene dada por f(x) = 2

π(1+x2)

x ∈ [0,∞).¿Cual es el valor de M que hace mınimo los pagos por unidad de tiempo de un conductorgenerico?

21