SENALES Y SISTEMASClase 5

Carlos H. Muravchik

15 de Marzo de 2018

1 / 43

Habıamos visto:Repaso Probabilidades (sobrevuelo)Veremos:

1. Repaso Probabilidades2. Repaso Variables aleatorias. Distribuciones. Propiedades.3. Repaso Esperanza. Propiedades.4. Repaso Algunas distribuciones y densidades continuas y

discretas.5. Repaso Funcion de variable aleatoria.6. Repaso Momentos, funcion caracterıstica.7. Distribucion y densidad conjunta.

Luego:I Distribucion Condicional.I Procesos Estocasticos. Introduccion, realizaciones

Ejemplos.

3 / 43

Repaso de probabilidades 1

I Ω: conjunto universal o coleccion de los resultados delexperimento aleatorio (salidas ωi ∈ Ω).

I A, B o Ak , k = 0, 1, 2 . . .: eventos o colecciones de salidasde interes.

I A: coleccion de “todos los posibles eventos” Ak ⊆ A.I A es una sigma-algebra: mınimo conjunto que contiene

“todos los posibles eventos” formables por union,interseccion o complemento una cantidad denumerable deveces.

I Axiomas:1. 0 ≤ PA ≤ 12. PΩ = 1 (y P∅ = 0)3. A,B disjuntos (A ∩ B = ∅) entonces

PA∪B = PA+ PB. Se extiende a un numero infinito(contable) de eventos (version 3b del axioma).

5 / 43

Repaso de probabilidades 2I Probabilidad condicional: PA/B = PA∩B

PB , cuandoPB 6= 0. Interpretacion de frecuencia.

I Independencia: A,B independientes cuandoPA ∩ B = PAPB o PA/B = PA

6 / 43

Repaso de probabilidades 3I Teorema de Bayes: PBi/A = PA/BiPBi

PAI conjuntos mutuamente excluyentes: Ω = ∪n

i=1Bi yBi ∩ Bj ; ∀i 6= j , 1 ≤ (i , j) ≤ n

I Probabilidad Total: PA =∑n

k=1 PA/BkPBk

7 / 43

Variable Aleatoria 1

I Conexion directa de Ω con el mundo fısico: dar valorescuantitativos a las salidas de un experimento aleatorio y alos eventos.

I Una variable aleatoria X es una funcion (!) X : Ω→ R.

I Requisito importante: una funcion X puede ser una VA(real) si los puntos del intervalo (−∞, x ] corresponden aun evento de Ω, para cualquier x ∈ R.

9 / 43

Variable Aleatoria 2

I Notar que X denota una variable aleatoria; pero x denotaun numero real.

I Definiendo A = ω ∈ Ω : X (ω) ≤ x permite hablar de laProbabX ≤ x asignandole el valor PA.

I Para abreviar, hablamos directamente de PX ≤ x ycuando haga falta, escribiremos los ω cuidadosamente.

10 / 43

Variable Aleatoria 3

I VA discreta: el rango de X es denumerable (toma unnumero finito o infinito contable de posibles valores).Ejemplos: moneda, ruleta,existencia de errores detransmision en una comuni-cacion, numero de errores detransmision en un paquetede datos

.

I VA continua: el rango de X es infinito no denumerable.Ejemplos: ruleta continua o rueda de la fortuna, altura deuna poblacion, valor de resistencia de resistores, duracionde una llamada telefonica.

I VA mixta: mezcla continua-discreta. Ejemplo: tiempo deespera de un auto en una esquina.

11 / 43

Probabilidad con VA discretas

I X toma valores xk , k ∈ Z.I Uno o varios ωi originan a traves de X la posibilidad de

que se de el valor X = xk . LuegoPAk = pk = PX = xk con Ak = ∪iωi .

I ¿Como calcular PX ≤ x? Aprovechar que Ak sondisjuntos: PX ≤ x =

∑xi≤x PX = xi =

∑xi≤x pi .

I Y en general, para cualquier conjunto A ∈ R, PA sepuede calcular: 1) encontrando todos los ωk tales queX (ωk ) = xk ∈ A; con esas salidas se forma A = ∪ωk .2) como las salidas son conjuntos elementales disjuntos,la probabilidad de su union se calcula facil

PA =∑

xk∈Apk

12 / 43

Distribucion Acumulativa 1

I para VA continuas el metodo anterior, falla: las uniones desalidas son no-numerables.

I La DA se define para manejar las probabilidades de queuna VA tome ciertos valores.

I Esencialmente para VA continuas, pero tambien paradiscretas.

I FX (x) , Pω ∈ Ω : X (ω) ≤ x = PX ≤ x.I Para abreviar, hablamos directamente de PX ≤ x y

cuando haga falta, escribiremos los ω cuidadosamente.

13 / 43

Distribucion Acumulativa 2I Pero hay otros conjuntos de interes

I Se pueden fabricar por uniones, intersecciones ycomplementos (recordar el Axioma 3). Ejemplo: Si x2 < x1,considerar: (−∞, x1] ∩ (−∞, x2], lımn→∞(x2 − 1/n, x2], etc.

I Hay un mınimo conjunto que contiene a todos losconjuntos que resultan por uniones, intersecciones ycomplementos (denumerables) de conjuntos elementales(−∞, x ]: se llama “Boreliano” B.

I Se puede asignar probabilidades a cualquier subconjuntode B.

14 / 43

Distribucion Acumulativa 3

Propiedades1. FX (−∞) = 0

2. FX (∞) = 1

3. 0 ≤ FX (x) ≤ 1

4. FX (x) es una funcion creciente, continua por derecha

15 / 43

Densidad de probabilidad

Motivacion: Para VA continuas, PX = xk=0... ¿Como calcularPA?

Definicion: Densidad de probabilidad

fX (x) =∂FX (x)

∂x=

∂

∂xFX (x)

Luego

PA =

∫A

fX (x)dx

Notar:I La fdp fX (x) NO es una probabilidadI En todo caso fX (x) dx ∼ Px < X ≤ x + dx

16 / 43

Densidad de probabilidad 2

PA =

∫A

fX (x)dx

Propiedades:I fX (x) ≥ 0; ∀x ∈ RI FX (x) =

∫ x−∞ fX (λ)dλ

I∫∞−∞ fX (λ)dλ = FX (∞)− FX (−∞) = 1

I Px1 < X ≤ x2 = FX (x2)− FX (x1) =∫ x2

x1fX (λ)dλ

17 / 43

Esperanza matematica 1

Motivacion: promedio ponderado de la VA

Definicion: para VA discretas

E X ,∞∑

k=−∞xkPX = xk

Definicion: para VA continuas

E X ,∫ ∞−∞

λfX (λ)dλ

19 / 43

Esperanza matematica 2

Sumas de Riemann:∫ ∞−∞

λfX (λ)dλ ∼∑

i

xi fX (xi)(xi+1 − xi)

ver que la ponderacion de cada xi esfX (xi)(xi+1 − xi) ∼ Pxi < X ≤ xi+1.

20 / 43

Esperanza matematica 3

PropiedadesI E X = µX se suele llamar media estadıstica o media.

I Si c ∈ R es una constante, E c = c.

I Si a,b ∈ R son constantes, E aX + b = aE X+ b.

I Si X > 0, E X > 0.

I Valor cuadratico medio: E X 2; media estadıstica de la(VA al cuadrado).

I Varianza: Var X , E (X − E X)2 =E X 2 − (E X)2 = E X 2 − µ2

X .

21 / 43

Normal o GaussianaX ∼ N (µ, σ2) cuando la fdp es

fX (x) =1√2πσ

e−12 ((x−µ)/σ)2

Dos parametros: media µ y varianza σ2

Teorema del lımite central: (version simple) La suma demuchas VA, no importa cual sea su distribucion pero quetengan media y varianza finitas, tiende a ser una VA gaussiana.

Permite argumentar fısicamente para postular una distribucion.Ejemplos: ruido electronico (termico), ruido de fondo espacial(expansion del universo).

23 / 43

Uniforme, ExponencialX ∼ U(a,b) cuando la fdp es

fX (x) =1

b − a(u(x − a)− u(x − b))

Los parametros a,b definen la fdp. Ejemplo: fase al origen deloscilador senoidal.

X ∼ E(λ) cuando la fdp es

fX (x) = λe−λxu(x)

Un unico parametro: λ > 0. Describe tiempo entre arribos bajociertas hipotesis (las de Poisson con parametro λ). Ejemplo:intervalo entre demandas de servicio a una central telefonica.Distribucion “desmemoriada”: si s, t ∈ R+,PX > s + t/X > s = PX>s+t

PX>s = = e−λt .24 / 43

Otras distribuciones de VA continuas:

Doble exponencial (Laplace), Cauchy, Rayleigh, χ2, Gamma,etc

25 / 43

Bernouilli, GeometricaBernouilli: X ∼ B(p)

X =

1 con probabilidad p0 con probabilidad q = 1− p

Paradigma: exitos ocurren con probabilidad p, fallas con q

Geometrica: X ∼ G(p)

PX = x = qxp

Paradigma: intentos Bernoui-lli indep’tes; numero de fallos(X ) hasta el primer exito.

A veces se usa Y = X + 1:numero de intentos hasta te-ner el primer exito.

0 10 20 30 40 500

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x

FX(x

)

Distribución Acumulativa − Geométricap=0.1

27 / 43

Binomial

Binomial: X ∼ Bi(p,n)

PX = x =

(nx

)pxqn−x

Paradigma:numero de exitos (x)en n intentos independientes

−5 0 5 10 15 20 250

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

x

PX

=x

Binomialp=1e−5; n=5e5

Ejemplos:numero de errores de transmision en un paquete de n bits

28 / 43

PoissonCuenta el numero de arribos o exitos en un lapso ∆t .X ∼ P(λ∆t) con x ∈ Z

PX = x = e−λ∆t (λ∆t)x

x!; PX ≤ x = e−λ∆t

x∑k=1

(λ∆t)k

k !

Notar: frecuentemente se supone ∆t = 1 y el parametro es λ.

−20 0 20 400

0.02

0.04

0.06

0.08

0.1

0.12

0.14

x

PX=

x

Poisson λ=10

0 10 20 300

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Poisson λ=10

F X(x)

x 29 / 43

Poisson

Paradigma:Las hipotesis para que X ∼ P(λ∆t) son:

1. PX = 1 → λ∆t cuando ∆t → 0.

2. los arribos son independientes entre sı.

3. no ocurren 2 arribos en forma simultanea.

Ejemplos: numero de paquetes de informacion que llegan a unservidor; numero de fotones que arriban a un fotodiodo, etc

30 / 43

Funcion de una VA - IntroMotivacion: A menudo interesa una funcion de la VA cuyadistribucion se conoce.Ejemplo: se conoce que una amplitud X ∼ FX (x), pero interesala distribucion FY (y) de la potencia instantanea Y = X 2.

I Supongamos que Y = g(X ) con g : R→ RI Tecnica basica: (en la serie de problemas)

FY (y) = PY ≤ y = Pg(X ) ≤ y =

= Pω ∈ Ω : g(X (ω)) ≤ y = Pg(X ) ≤ y =

= PX ∈ g−1(Ay )donde Ay∗ = y ∈ R : y ≤ y∗

I PX ∈ g−1(Ay ) se puede calcular usando solo FX (x)I g−1(Ay ) denota la “imagen inversa” por g del conjunto Ay :

el conjunto de valores de X que satisfacen g(x) ≤ yI Nota: g−1(y) no es la funcion inversa de g(·), que podrıa

no existir.32 / 43

Funcion de una VA - 2

La tecnica anterior es valida para VA discretas o continuas

FY (y) = PX ∈ g−1(Ay )

I Si la VA es continua se puede calcular fY (y) = ∂FY (y)∂y .

Note que Ay es funcion de y

33 / 43

Funcion de una VA - 3Ejemplo: Y = X 2

a) Si y < 0, FY (y) = PX ∈ ∅b) Si y = 0, FY (y) = PX = 0c) Si y > 0, FY (y) = P(x1 ≤ X ≤ x2)

= FX (x2)− FX (x1) + PX = x1 con x1 = −√y ; x2 =√

y

fY (y) =dFY (y)

dy= fX (

√y)

12√

y+ fX (−

√y)

12√

y

34 / 43

Funcion de una VA - 4

Observacion:Aun si g es continua y X una VA continua, Y = g(X ) puederesultar una VA discreta, mixta o continua.

Ejemplo: Considere los 3 casos siguientes con X ∼ U(a,b)

Y discreta Y mixta Y continua

35 / 43

Resultado

Una de las consecuencias mas importantes para Y = g(X ) esque:

µY = E Y =

∫ ∞−∞

y fY (y) dy

con fY (y) obtenida como antes, y

µg = E g(X ) =

∫ ∞−∞

g(x) fX (x) dx

son iguales, o sea µY = µg .

µY = E Y = µg = E g(X )

Esto no es trivial como parece, es un profundo resultado de lateorıa de la medida en analisis

Escriba el equivalente para VA discretas

36 / 43

Funcion caracterıstica

Definicion:

ΦX (u) = E ejuX =

∫ ∞−∞

ejux fX (x) dx

I Como veremos ΦX (u) = FfX (x)(−u/2π)

I Entre sus usos, es otro metodo para obtener densidadesde funciones de VA:Si Y = g(X ) y podemos calcular

Φg(u) = E ej u g(X)

entonces, la antitransformada de Fourier de Φg(u) definefY (y) (bajo ciertas hipotesis tecnicas).

38 / 43

Funcion caracterıstica – VA discreta

Definicion:

ΦX (u) = E ejuX =∞∑

k=−∞ejuxk pk

con pk = PX = xkI Similar a VA continua, pero cambiando lo obvio.I Como veremos ΦX (u) es la transformada de Fourier de

tiempo discreto (TFTD) de la secuencia de los pk , cuandoxk = k∆x (xk equiespaciados).

I Entre sus usos: otro metodo para obtener distribucionesde funciones de VA.

39 / 43

MomentosDefinicion: momento (no–central) de orden r -simo

mr = E X r =

∫ ∞−∞

x r fX (x) dx r ∈ Z

Definicion: momento central de orden r -simo, con r ∈ Z

µr = E (X − E X)r = E (X − µX )r =∫ ∞−∞

(x − µX )r fX (x) dx con µX = m1

I Al ver Transformada de Fourier veremos la relacion entredensidades, momentos y funciones caracterısticas.

I Anticipo: conocer la densidad ⇔ conocer la funcioncaracterıstica ⇔ conocer todos los momentos y queconverja la serie de McLaurin de la Φ(u).

I La media µX es m1, el valor cuadratico medio m2 y lavarianza µ2.

40 / 43

Momentos – VA discretasDefinicion: momento (no–central) de orden r -simo

mr = E X r =∞∑

k=−∞x r

k pk r ∈ Z

Definicion: momento central de orden r -simo, con r ∈ Z

µr = E (X − E X)r = E (X − µX )r =∞∑

k=−∞(xk − µX )r pk

con pk = PX = xk y µX = m1.

I Al ver TFTD comentaremos la relacion entre densidades,momentos y funciones caracterısticas para xkequiespaciados.

I La media µX es m1, el valor cuadratico medio m2 y lavarianza µ2.

41 / 43

Proxima Clase

I Distribuciones conjuntas y condicionalesI Procesos estocasticosI Clases de procesos.I Distribucion, densidad.I Independencia. Secuencias iid, ruido blanco.I Media estadıstica.

Y despues,I Funciones de correlacion y covarianza. Otros momentos.I Correlacion de senales determinısticas (de energıa y

potencia).I Correlacion: concepto; notacion: orden, conjugada y

desplazamiento de las variables, propiedadesautocorrelacion e intercorrelacion.

43 / 43