Tema 7: Procesos Estocásticos - UC3M · 2007. 5. 30. · Tema 7: Procesos Estocásticos 7.1...

Estadística. Profesora María Durbán1

Tema 7: Procesos Estocásticos

7.1 Introducción y conceptos básicos

7.2 Estadísticos de un proceso estocástico

7.3 Estacionariedad de un proceso estocástico

7.4 Ergodicidad de un proceso estocástico

7.5 Ejemplos


Al final del tema el alumno será capaz de:Entender el concepto de proceso estocástico

Interpretar y calcular los estadísticos de los procesos estocásticos: esperanza, autocovarianza y autocorrelación

Interpretar y comprobar la estacionariedad de los procesos estocásticos

Interpretar y determinar si un proceso es ergódico

Saber calcular probabilidades en procesos estocásticos formados a través de distribuciones estudiadas en los temas anteriores

Referencias:Capítulo 8 de Introducción a los Sistemas de Comunicación. Stremler, C.G. (1993)Apuntes de la Universidad de Vigo (página Web)Capítulo 6 de Principios de Probabilidad, variables aleatorias y señales aleatorias








7.5 Ejemplos


En los temas 1-6 hemos estudiado procesos que no varían con el tiempo o sólo dependen de una variable.

Por ejemplo, estudiamos el número de llamadas que se producen en una central telefónica.

Y, si definimos X como el número de llamadas que se reciben en una hora, podemos decir que X sigue una distribución de Poisson de media λ

¿Pero, qué pasa si queremos definir ahora otra variable que corresponda al número de llamadas recibidas en la misma centralita durante todo el

día de trabajo (8 horas)?

Podríamos definir una nueva X’, variable que seguiría una distribución de Poisson, definida como número de llamadas recibidas en la centralita durante 8 horas, con una nueva λ’ que sería igual a 8·λ.



Y las representaciones serían (si λ=2, por ejemplo):

λ=2

λ’=16



Definición


Así, para cada tiempo que fijemos tendríamos una variable aleatoria.

Entonces, se define una familia de variables aleatorias que dependen de una variable determinista. En este caso el tiempo

PROCESO ESTOCÁSTICO

Se define el proceso estocástico X(t) como el número de llamadas que se producen en la centralita en el tiempo (0,t)

Así, para cada valor de t que se elija, tendremos una variable aleatoria distinta, con forma similar pero distinto valor.

En los temas anteriores definimos X(x), en este caso X(λ)

Ahora debemos representar X(x,t), en este caso, X(λ,t).

En general, diremos X(t) igual que antes llamábamos X y no X(λ)



EjemplosEn los sistemas de comunicaciones aparecen señales aleatorias como:

La señal de información, tiene pulsos de voz de duración aleatoria y posición aleatoria

Una interferencia en el canal que es debida a la presencia cercana de otros sistemas de comunicaciones o

El ruido en un receptor es debido al ruido térmico en resistencias y componentes del receptor.

Así, la señal recibida va ser una señal con varias componentes aleatorias. Aunque no es posible describir este tipo de señales con una expresión matemática, se pueden utilizar sus propiedades estadísticas

Son señales aleatorias en el sentido de que antes de realizar el experimento no es posible describir su forma exacta



Proceso EstocásticoEs una función de dos variables, t y x, una determinista y otra aleatoria

a) X(x,t) es una familia de funciones temporales

b) Si se fija x, tenemos una función temporal X(t) llamada realización del proceso

c) Si se fija t, tenemos una Variable Aleatoria

d) Si se fijan t y x, tenemos un número real o complejo (muy normal en teoría de la señal)


Espacio de tiempos, T

Conjunto de los posibles valores del tiempo que puede tomar el proceso estocástico

Espacio de estados, S

Conjunto de los posibles valores del proceso estocástico (resultado numérico, real o complejo)

TDiscreto

S

Continuo

Discreto

Continuo

Proceso discreto en el tiempo

Proceso continuo en el tiempo

Proceso discreto en el espacio de estados

Proceso continuo en el espacio de estados



Ejemplo 1Distintas realizaciones del proceso X(t) = N·cos((2π/24)t+φ) siendo N y φ VA con distribuciones P(10) y U(0,2π) respectivamente.




En general:


Ejemplo 2Caracterizar la continuidad del número de llamadas que llegan a la centralita.

Es continuo en el tiempo, porque puede tomar cualquier valor real:t =1 horat =1,67 horast = 8 horast = 35 horas, etc.

Es discreto en el espacio de estadosX(λ, t=t0) es siempre un número entero

Ejemplo 3El tiempo que un ordenador tarda en ejecutar una tarea es una VA Y~Exp(λ). Para hacer un estudio de la evolución temporal del sistema se construye el proceso estocástico X(t) definido como el tiempo que resta para completar la tarea sabiendo que ya ha consumido t minutos.

Dibujar una realización del proceso y especificar los espacios T y S



0 20 40 60

tiempo

02

46

x

λ=1/36



Función de distribución

Dado un proceso estocástico cualquiera, si fijamos un tiempo t=t0tendremos una V.A. X(t0) que tendrá una función de distribución asociada.

Si, para el mismo proceso, fijamos otro instante t=t1 tendremos otra VA, en principio, distinta a la anterior, con una función de distribución diferente.

Se define la función de distribución de primer orden del proceso X(t) como

))((),( xtXPtxFX ≤=

Y, por tanto, se tiene también la función de densidad de primer orden derivando la función de distribución respecto a x

dxtxdFtxf X ),(),( =



Función de distribución de segundo orden

De igual modo:

Se define la función de distribución de segundo orden del proceso X(t) como

Y, se puede obtener la función de densidad de segundo orden derivando la función de distribución parcialmente respecto a x1 y a x2

))()((),,,( 22112121 xtXxtXPttxxF ≤∩≤=

21

21212

2121),,,(),,,(

xxttxxFttxxf

∂∂∂

=



Aplicación de la función de distribución y función de densidad

Realización de un proceso continuo en el tiempo con función de densidad de primer orden gaussiana








7.5 Ejemplos


Media

La media de un proceso estocástico corresponde a:

En el caso real: [ ] ∫+∞

∞−

⋅== dxtxfxttXE x ),()()( μ

En el caso complejo: [ ] [ ] [ ])()()( tYEjtXEtZE ⋅+=

Característica:

Para cada t, se tiene una VA distinta → una media distinta

La media es, en general, una función dependiente del tiempo

Se puede entender gráficamente como el centro de gravedad de la función densidad de probabilidad



Ejemplo 4Considerar la oscilación aleatoria X(t) = cos (2Π·f·t + B·Φ), donde f es una constante real, Φ es una variable aleatoria uniforme en [− Π/2, Π/2], y B es una variable aleatoria discreta, independente de Φ, tal que P(B=0)=p y P(B=1)=q.

Definir y calcular la esperanza de la variable aleatoria X(t).

Para cada t, cos (2Π·f·t+Φ) es una variable aleatoria función de φ. Podemos escribir:


[ ] [ ]( ) cos(2 )E X t E ft Bπ φ= +

[ ] [ ][ ]

cos(2 ) | 0 Pr( 0) cos(2 ) | 1 Pr( 1)

cos(2 ) cos(2 )

E ft B B B E ft B B B

p f qE ft

π φ π φ

π π φ

= + = = + + = =

= + +

[ ]/ 2

/ 2

1 2cos(2 ) cos(2 ) cos(2 )E ft ft ftπ

ππ φ π φ φ π

π π−+ = + ∂ =∫

( )2( ) cos 2x t p q f tμ ππ

⎛ ⎞= + ⋅ ⋅ ⋅⎜ ⎟⎝ ⎠


Ejercicio 1Un transmisor envía pulsos rectangulares de altura y posición aleatorias. Cada pulso transmitido corresponde a una realización del proceso estocástico

X(t) = V·h(t − T), t > 0,

Donde l altura V del pulso es una variable aleatoria uniforme en [0,v0], y T es una variable aleatoria exponencial de parámetro λ, independiente de V, y la función determinista h(t) es

en el resto

Calcular la función valor medio del proceso estocástico X(t)



Varianza

Recordamos:

La media de un proceso estocástico corresponde a:

En el caso real: [ ] ( )∫+∞

∞−

⋅−== dxtxftxttXVar xx ),()()()( 22 μσ

[ ] [ ] [ ] [ ]22222 )()()()()( ttXEtXEtXEt xx μσ −=−=

En el caso de que la media del proceso estocástico sea siempre cero, la varianza y el valor cuadrático medio coincidirían.


[ ] ( )22( ) ( ) ( ) ( , )x xVar X t t x t f x t dxσ μ+∞

−∞

= = − ⋅∫

[ ] [ ]( )22Var X E X E X⎡ ⎤= −⎣ ⎦


Correlación

O esperanza del producto de Variables Aleatorias como función de dos variables temporales tk y ti dada por:

En el caso de que t1 = t2 se tiene el valor cuadrático medio del proceso estocástico que es una función de una variable temporal:

[ ]1 2 1 2 1 2 1 2 1 2 1 2( , ) ( ) ( ) ( , ; )XR t t E X t X t x x f x x t t x x+∞ +∞

−∞ −∞= = ∂ ∂∫ ∫

2 2( ) ( ) ( ; )XR t E X t x f x t x+∞

−∞⎡ ⎤= = ∂⎣ ⎦ ∫

Potencia del proceso



Covarianza

Covarianza del proceso X(t) como una función de dos variables temporales tk y ti dada por:

En el caso de que tk = ti se tiene la varianza del proceso estocástico

( ) ( )[ ]

( ) ( )∫ ∫∞+

∞−

∞+

∞−

−⋅−=

=−⋅−=

dxdyyxftytx

ttXttXEttC

tXtXXX

xxX

),()()(

)()()()(),(

)2(),1(21

222121

μμ

μμ

De las definiciones de correlación y covarianza, se puede obtener:

)()(),(),( 212121 ttttRttC xxXx μμ ⋅−=

En el caso de que la media del proceso estocástico sea siempre cero, la función de correlación y la de covarianza coincidirían.



Matriz de Correlación de dos procesosDados dos procesos X(t) e Y(t). Todas las propiedades de correlación se pueden colocar de forma matricial según una matriz de funciones de dos dimensiones temporales.

En el caso de que t=u la matriz de correlación tiene la expresión siguiente, siendo una matriz de funciones de una variable temporal y simétrica.

( , ) ( , )( , )

( , ) ( , )X XY

YX Y

R t u R t uR t u

R t u R t u⎡ ⎤

= ⎢ ⎥⎣ ⎦

[ ]( , ) ( ) ( )XYR t u E X t Y u=

[ ][ ]

2

2

( ) ( ) ( )( , )

( ) ( ) ( )

E X t E X t Y tR t t

E Y t X t E Y t

⎡ ⎤⎡ ⎤⎣ ⎦⎢ ⎥=⎢ ⎥⎡ ⎤⎣ ⎦⎣ ⎦



Ejemplo 4Si X(t) representa un proceso estocástico de media μx(t) = 3 y función de correlación RX(t1, t2) = 9 + 4e−0,2·|t1−t2|. Calcular la esperanza, la varianza y la covariancia de las variables aleatorias Z = X(5) y T = X(8).

1) Esperanzas E(Z) = E(X(5)) = μx(5) = 3E(T ) = E(X(8)) = μx(8) = 3

2) Varianzas E(Z2) = E(X(5)·X(5)) = RX(5,5) = 13E(T2) = E(X(8)·X(8)) = RX(8,8) = 13Var(Z) = E(Z2) − (E(Z))2 = 4Var(T) = E(T2) − (E(T))2 = 4

3) Covarianzas E(ZT) = E(X(5)X(8)) = RX(5, 8) = 9+4e−0.6

Cov(Z,T) = E(ZT) − E(Z)E(T ) = 4·e−0.6

O también como, Cov (Z,T) = KX(5, 8) = RX(5, 8) −μx(5)·μx(8) = 4·e−0.6



IndependenciaDos procesos X(t) e Y(t) son independientes si su función de densidad conjunta de cualquier orden se puede descomponer como el producto de dos funciones de densidad marginales, una conteniendo términos sólo dependientes del proceso X(t) y la otra dependientes de Y(t).

IncorrelaciónDos procesos X(t) e Y(t) son incorrelados si CXY(t1, t2) = 0 para cualquier valor de t1 y t2.

[ ] [ ] [ ])()()()( tYEtXEtYtXE ⋅=⋅

)()(),( 2121 ttttR YXXY μμ ⋅=

OrtogonalidadDos procesos X(t) e Y(t) son ortogonales si RXY(t1, t2)=0 para cualquier valor de t1 y t2. )()(),( 2121 ttttC YXXY μμ ⋅−=



EjercicioCalcular la función de correlación del proceso X(t) = A·cos (2Π·f·t+Φ), donde A y Φ son variables aleatorias independientes, siendo Φ una variable aleatoria uniforme en [− Π, Π], y A exponencial de parámetro λ.

EjercicioEl tiempo que un ordenador tarda en ejecutar una tarea es una v.a. Y ~Exp(λ). Para hacer un estudio de la evolución temporal del sistema se construye el proceso estocástico X(t) definido como el tiempo que resta para completar la tarea sabiendo que ya ha consumido t minutos.

a) Determina E[X(t)], Var[X(t)], E[X(t)2].b) Indica si cada una de las funciones del aparatado anterior depende del tiempo e interpreta el resultado.








7.5 Ejemplos


Cuando utilizamos un modelo estocástico, generalmente vamos a estar interesados en predecir el comportamiento del proceso en el futuro y paraello nos basamos en la historia del proceso. Estas predicciones no serán correctas a menos que las condiciones futuras sean análogas a las pasadas

El mecanismo físico que genera el experimento no cambia con el tiempo

Un proceso estocástico es estacionario si sus propiedades estadísticas son invariantes ante una traslación del tiempo



Ejemplo 5El número de llamadas que llegan a una centralita hasta el instante t

El número medio de llamadas no esconstante, dependede t

No estacionario



Ejemplo 6Distintas realizaciones del proceso X(t) = N·cos((2π/24)t+φ) siendo N y φ VA con distribuciones P(10) y U(0,2π) respectivamente.

La media del proceso se mantiene constante puede serestacionario



Estacionariedad (en sentido estricto)

Un proceso X(t) es estacionario en sentido estricto si la función de densidad de densidad conjunta, de cualesquiera de sus n v.a. medidas en instantes t1,…,tn, permanece constante cuando transcurre cualquier intervalo de tiempo ε

Esta es una condición muy fuerte ya que implicaría estudiar infinitas funciones de densidad conjunta

EstacionariedadEstacionariedad en sentido den sentido déébilbil

1 1 1 1( ,.... ; ,..., ) ( ,.... ; ,..., )n n n nf x x t t f x x t tε ε= + +



Estacionariedad (en sentido débil)

Un proceso X(t) es débilmente estacionario si:

Propiedades:

La potencia no depende de t

ya que

ya que

[ ]1 2 2 1

( ) (independiente del tiempo)( , ) ( ) (depende solo de la distancia

entre los tiempos considerados)X X

E X tR t t R t t

μτ τ

=

= = −

2( )E X t⎡ ⎤⎣ ⎦2( ) (0)XE X t R⎡ ⎤ =⎣ ⎦

( ) ( )X XR Rτ τ= −

[ ] [ ]( ) ( ) ( ) ( ) ( ) ( )X XR E X t X t E X t X t Rτ τ τ τ= − = − = −



Estacionariedad (en sentido débil)

Un proceso X(t) es débilmente estacionario si:

Propiedades:

Estacionario en sentido estricto débil

Si el proceso es gaussiano: estricto = débil

[ ]1 2 2 1

( ) (independiente del tiempo)( , ) ( ) (depende solo de la distancia

entre los tiempos considerados)X X

E X tR t t R t t

μτ τ

=

= = −



Distintas realizaciones del proceso X(t) = A·cos((2π/24)t+φ) siendo A constante y φ una VA con distribución U(-π, π).¿Es X(t) débilmente estacionario?

0 20 40 60

tiempo

-10

-50

510

7.3 Estacionariedad de un proceso estocásticoEjemplo 7



Utilizando:

[ ] [ ] 1( ) cos((2 / 24) ) cos((2 / 24) ) 02

E X t AE t A t dπ

π

π φ π φ φπ−

= + = + =∫

[ ] [ ]( , ) ( ) ( ) cos((2 / 24) )cos((2 / 24)( ) )XR t t E X t X t E t tτ τ π φ π τ φ+ = + = + + +

cos( ) cos( ) cos( ) sen( )sen( ) 2cos( )cos( ) cos( ) cos( )

α β α β α β

α β α β α β

± =

⇓= + + −

m

Ejemplo 7




débilmente estacionario

[ ] [ ] 1( ) cos((2 / 24) ) cos((2 / 24) ) 02

E X t AE t A t dπ

π

π φ π φ φπ−

= + = + =∫

[ ] [ ]

[ ]

( , ) ( ) ( ) cos((2 / 24) )cos((2 / 24)( ) )1 cos((2 / 24)(2 ) 2 ) cos((2 / 24) )21 cos((2 / 24) )2

XR t t E X t X t E t t

E t

τ τ π φ π τ φ

π τ φ π τ

π τ

+ = + = + + +

= + + +

=

2cos( ) cos( ) cos( ) cos( )α β α β α β= + + −

Ejemplo 7



EjercicioSea U una VA uniforme en [0,1], a partir de ella se construye el procesoX(t)=exp(-Ut)

a) Para cada valor de t, determina el rango de X(t)b) Calcula E[X(t)] y Rx(t1,t2)c) Estudia la estacionariedad en sentido amplio

Si X e Y son VA normales, independientes, con media 0 y varianza 1, se define el proceso Z(t)=Xcos(2πt)+Ysin(2πt)

a) Determinar la función de probabilidad conjunta de Z(t1) y Z(t2)b) Calcula la media y la autocovarianza del proceso Z(t)c) Estudia la estacionariedad en sentido débil y estricto

Ejercicio








7.5 Ejemplos


En muchas ocasiones, sólo disponemos de una realización del proceso (es decir, disponemos de una función temporal), en este caso, para conocer el proceso calculamos sus promedios temporales

Sea X(t) un proceso estacionario, definimos la media temporal o valor medio en el tiempo como:

La autocorrelación temporal se define como:

Ambas son VA ya que toman valores distintos para cada realización del proceso

1lim ( ) lim2

T

X T T TTM X t dt

Tμ∞ ∞−

= =∫uuur uuur

1lim ( ) ( )2

T

X T TA X t X t dt

Tτ∞ −

= +∫uuur



Diremos que un proceso es ergódico si sus promedios estadísticos coinciden con los temporales sólo necesitamos una realización del proceso para conocer los promedios estadísticos

Ergodicidad en media : Dado que la media temporal μT no depende del tiempo, para que un proceso sea ergódico en media, es necesario que la media del proceso μX sea constante, esto se cumple si el proceso es estacionario

Ejemplo 8Sea A una VA N(0,1), definimos el proceso X(t)=A. ¿Es ergódico en media?

No es ergódico en media[ ] 0

1 02

X

T

T T

E A

A t AT

μ

μ−

= =

= ∂ = ≠∫



Ergodicidad en autocorrelación : Sea . Si construimos el proceso , entonces , por lo tanto es ergódico en autocorrelación si es ergódico en media

Ejemplo 7Sea considera el proceso X(t)=acos(wt)+bcos(wt), donde a y b son dos VA independientes uniformemente distribuidas en [-1,1], estudiar la ergodicidad en media y autocorrelación.

[ ] [ ]cos( ) sin 0 0 01 sin( )( cos( ) sin ) lim 0

2

X

T

T T TT

E a wt E b wtwTa wt b wt t

T wT

μ

μ μ∞−

= + = + =

= + ∂ = → =∫ uuur

[ ]( ) ( ) ( )XR E X t X tτ τ= +( ) ( ) ( )Z t X t X tτ τ= + [ ]( ) ( )XE Z t Rτ τ=

( )Z tτ( )X t

[ ] 1( ) ( ) ( ) cos( )3

1 ( ) ( )2

X

T

T

R E X t X t w

X t X t tT

τ τ τ

τ−

= + =

+ ∂∫sin( ) cos( )sin( ) sin( )cos( )α β α β α β± = ±

Ergódico en media



[ ] [ ]cos( ) sin 0 0 01 sin( )( cos( ) sin ) lim 0

2

X

T

T T TT

E a wt E b wtwTa wt b wt t

T wT

μ

μ μ∞−

= + = + =

= + ∂ = → =∫ uuur

( ) ( ) ( )Z t X t X tτ τ= + [ ]( ) ( )XE Z t Rτ τ=

( )Z tτ( )X t

[ ]

2 2

1( ) ( ) ( ) cos( )3

1 1lim ( ) ( ) ( ) cos( )2 2

X

T

T T

R E X t X t w

X t X t t a b wT

τ τ τ

τ τ∞ −

= + =

+ ∂ = +∫uuur

No es ergódico en autocorrelación

Ergodicidad en autocorrelación : Sea . Si construimos el proceso , entonces , por lo tanto es ergódico en autocorrelación si es ergódico en media

Ejemplo 7Sea considera el proceso X(t)=acos(wt)+bcos(wt), donde a y b son dos VA independientes uniformemente distribuidas en [-1,1], estudiar la ergodicidad en media y autocorrelación.

[ ]( ) ( ) ( )XR E X t X tτ τ= +








7.5 Ejemplos


Proceso de PoissonEs un proceso de tiempo continuo y estado discreto.

X(t)= número de sucesos en [0,t]X(t)~P(λt)μX=λtCx(t1,t2)=λmin{t1,t2}

“Ruido”= señales indeseables que constituyen una interferencia en un sistema de comunicaciones. Hay dos tipos de ruido: el ruido externo alsistema (atmosférico) ruido interno al sistema (fluctuaciones aleatoriasdebidas a dispositivos). Generalmente se representan las interferenciasmediante un ruido blanco

Ruido blanco: Un proceso es un ruido blanco si las variables X(t1), X(t2) están incorreladas para todo t. Si las variables son gaussianas incorreladas = independientes

Ruido

7.5 Ejemplos


Procesos GaussianosDiremos que un proceso es gaussiano, si cualquier colección de VA del

proceso tiene distribución conjunta gaussianaEl proceso está totalmente descrito si conocemos sufunción media y su

autocovarianza (o auticorrelación)

Estacionariedad en sentido débil = estacionariedad en sentido estrictoUn proceso es independiente C(ti,tj)=0

Sean X e Y dos VA normales con media 0 y varianza Y, se define el proceso gaussiano: Z(t)=Xcos(2πt)+Ysin(2πt)

Ejercicio. Febrero 2003

-3 -2 -1 0 1 2 3

tiempo

-2-1

01

2

x1

7.5 Ejemplos


Procesos GaussianosDiremos que un proceso es gaussiano, si cualquier colección de VA del

proceso tiene distribución conjunta gaussianaEl proceso está totalmente descrito si conocemos sufunción media y su

autocovarianza (o auticorrelación)

Estacionariedad en sentido débil = estacionariedad en sentido estrictoUn proceso es independiente C(ti,tj)=0

Sean X e Y dos VA normales con media 0 y varianza Y, se define el proceso gaussiano: Z(t)=Xcos(2πt)+Ysin(2πt)

a) Determinar la función de probabilidad conjunta de de Z(t1) y Z(t2)b)Estudiar la estacionariedad en sentido débil y estricto

Ejercicio. Febrero 2003

7.5 Ejemplos


Procesos AutorregresivosUn proceso autorregresivo tiene la siguiente forma:

2( ) ( 1) ~ (0, )t tX t c X t Nα ε ε σ= + − +

[ ] [ ]2 2

2 2( ) Var X(t) ( )1 1 1X

cE X t Rτσ α στ

α α α= = =

− − −

0 20 40 60 80 100

-4-2

02 α=0.7

0 20 40 60 80 100

-3-2

-10

12

3 α−0.5

7.5 Ejemplos

Tema 7: Procesos Estocásticos - UC3M · 2007. 5. 30. · Tema 7: Procesos Estocásticos 7.1...

Documents

Transcript of Tema 7: Procesos Estocásticos - UC3M · 2007. 5. 30. · Tema 7: Procesos Estocásticos 7.1...