TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica...

23
Aníbal R. Figueiras Vidal Jesús Cid Sueiro Ángel Navia Vázquez Área de Teoría de la Señal y Comunicaciones Universidad Carlos III de Madrid TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de Telecomunicación (4º, 2º c) Unidad 12ª: Calidad de estimadores y decisores

Transcript of TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica...

Page 1: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

Aníbal R. Figueiras Vidal

Jesús Cid Sueiro

Ángel Navia Vázquez

Área de Teoría de la Señal y Comunicaciones

Universidad Carlos III de Madrid

TRATAMIENTO DIGITAL DE SEÑALES

Ingeniería de Telecomunicación (4º, 2º c)

Unidad 12ª: Calidad de estimadores y decisores

Page 2: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.1

A. Parámetros de calidad en estimación

A.1. De un parámetro determinista

Una caracterización completa la proporcionaría p ( | s):

– la calidad sería mayor con la concentración en torno a = s

– no proporciona una indicación global, sino microscópica (para cada s)

Habría que:

– calcularlo (a partir del conocimiento de la física del problema);

– estimarlo, en casos “máquina”: nótese que se trata de estimar una ddp para

cada valor de s.

En general, resulta complicado.

s

s

Page 3: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.2

Dada la lectura que se hace de p ( | s), una medida útil será el error cuadrático

condicional

que suele descomponerse en la conocida forma

es el sesgo del estimador

(tiene sentido de medida de error sistemático)

Si es nulo, el estimador se dice insesgado.

s

xx d s|pss s|ss E

22

s|ss Var s|ss E s|ss E 22

s s|s E s|ss E

Page 4: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.3

es la varianza del estimador (del error)

(tiene sentido de medida de dispersión, de error “aleatorio”)

Dado que nos movemos con información estadística, sólo puede ser nula

cuando en la estimación se emplean K muestras: en cuyo caso el

estimador se dice consistente en varianza

La (deseable) menor varianza se expresa como mayor eficiencia.

Sesgo(S) y varianza (V)

en estimación

Como con la ddp condicional, esta(s) característica(s) puede(n), en

principio, calcularse (en planteamientos analíticos) o estimarse (en

planteamientos máquina); siendo cierto, en todo caso, que es conveniente

proceder a cálculo y estimación para observar su concordancia.

s|sVar s|ssVar

s

s|spV

S

s

Page 5: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.4

Intervalos de confianza

Con la información estadística (o mediante estimación por frecuencias

relativas) se puede manejar

que es (también) la probabilidad de que s se encuentre en el intervalo

(aleatorio) : asociado a esa (probabilidad de) confianza.

Esto tiene un sentido análogo al del error cuadrático condicional; en

realidad, la consistencia en probabilidad

está implicada por la consistencia en varianza, ya que la desigualdad de

Tchebycheff implica

ss Pr

s,s

s

s|sp

s- s+

K

1ss Pr

2

s|sVarss Pr

s

Page 6: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.5

Ejercicios

E: Calcúlense la media y la varianza condicionales del estimador muestral de

la media de una va unidimensional.

El estimador es insesgado.

Para muestras tomadas independientemente,

El estimador es consistente en varianza.

Nótese que no hay dependencia de la distribución de las muestras.

mx EK

1m|m E )k(

K

1k

K

vx Var

K

1m|mVar )k(

K

1k2

Page 7: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.6

E: Calcúlese la media del estimador muestral de la varianza de una va

unidimensional.

(No emplearemos | m,v)

Como es

suponiendo muestras independientes

Es sesgado: pero asintóticamente insesgado

2K

1k

2k2K

1k

kK

1k

2kK

1k

2k mxK

1mKxm2x

K

1mx

K

1v

22k2K

1k

2k mmVarmxVarmExEK

1vE

vK

1K

K

vv

Page 8: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.7

Compromiso sesgo-varianza

Se ha encontrado que, para el estimador muestral de la varianza,

y puede pensarse en modificar el estimador para corregir el sesgo; lo que se

consigue recurriendo al estimador muestral insesgado de v

(téngase en cuenta que v no es conocida); pero así se tiene

incrementándose la varianza.

(En realidad, no puede decirse que uno de estos estimadores sea mejor

que el otro: están determinísticamente relacionados).

Lo otro que antecede es una manifestación del compromiso sesgo-

varianza frecuentemente implícito en estimación.

vK

1KvE

K

1k

2k mx1K

1v

1K

Kv~

vVar1K

Kv~Var

2

Page 9: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.8

A.2. De un parámetro aleatorio

El papel de p( | s) lo haría aquí p( , s): que también debería concentrarse

en torno a = s (aunque es una ddp 2-D, y no una familia de ddp 1-D como

p( | s)).

Error cuadrático, sesgo y varianza se dan promediados respecto a s: así,

que, como , es un número y no una función

de s.

s

s s

s

ds d sp s|pssss E

22xx

ssVary sEsEssE

Page 10: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.9

A´. Las Cotas de Cramer – Rao

Establecen cotas inferiores para las varianzas de los errores de estimación.

A´.1. Caso de parámetro determinista

Se usa una u otra forma según resulte más cómodo.

La prueba se incluye en el Apéndice.

s|s

s|plnE

sd

s|ssEd1

s|ssVar2

2

x

s|s

s|plnE

sd

s|ssEd1

2

2

2

x

Page 11: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.10

Discusión (para estimadores insesgados)

La cota sólo se alcanza si

entonces es un estimador absolutamente eficiente.

– Supuesto que existe, cumplirá

cumpliéndose la segunda igualdad para : es el ML

– Si no existe, no se puede decir que el ML tenga varianza mínima. Así, para eficiencia:

– se comprueba si el ML es ae (alcanza la cota);

– si no, habrá de buscarse un MVUE (Estimador Insesgado de Mínima Varianza)

Trabajo: Determinación de estimadores MVUEs.

sssk

s

s|pln

x

mlml

ss

sssk0s

s|pln

ml

x

mlss

s

Page 12: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.11

Ejercicios

E: Discutir el carácter eficiente del estimador mml para el caso Gauss (media

muestral).

de donde

y, al tratarse de un estimador insesgado, se ha de aplicar la cota de

Cramer-Rao

que coincide con la varianza del ML: luego el ML es eficiente.

K

1k

)k(k

mxv

1

m

m xpln

K

v

m

m|plnE

1m|mVar

2

2

x

K

1k2

k2

v

K1

v

1

m

m x pln

^

Page 13: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.12

A´.2. Caso de parámetro aleatorio

La demostración sigue una vía análoga a la anterior, partiendo de

y recordando que E{ŝ – s – b} es una constante.

La discusión de eficiencia es paralela a la anterior, pero referida al

estimador MAP (en lugar de al ML). Además, como ŝms(x) es insesgado, habrán

de coincidir.

2

s

s ,plnE

1ssVar

x

2

2

s

s ,plnE

1

x

0ds d s,pbssbssE

xx

Page 14: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.13

B. Decisión

Aparte del coste medio (cuando proceda), ya se sabe que son relevantes

– La probabilidad de error tipo I o falsa alarma

– La probabilidad de error tipo II o pérdida

(PD = 1 – PM: probabilidad de detección).

Se aprecia que existe un compromiso en su reducción: vía partición en

X0, X1, o establecimiento de h.

h d Hpd HpH|DPrPP 0

X001FAI

1

xx

h

0

1X

110MII d Hpd HpH|DPrPP0

xx

Page 15: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.14

No siempre se emplean directamente PI y PII ó PFA y PD; p. ej., en

diagnóstico se suele tomar H0 como hipótesis correspondiente a situación

normal, y H1 como hipótesis de defecto o enfermedad, y se emplean:

• Especificidad:

• Sensibilidad:

(subsiste, naturalmente, el compromiso: para su maximización).

Como en estimación, estas características

– se pueden calcular, supuesta conocida la “física” del problema

– se pueden estimar, como frecuencias relativas

y conviene contrastar resultados.

Trabajo: la técnica del “Importance Sampling”

D11 PH|DPrS

FA00 P1H|DPrE

Page 16: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.15

Ejercicio

E: Calcúlense las características del decisor ML para

H0 : x = – s + r

H1 : x = s + r

siendo s una constante y r una va G(0,v)

Ya se ha visto la forma del decisor:

y es obvia la igualdad de ambas probabilidades de error:

que se reduce inmediatamente a

Nótese la dependencia con la SNR (s2/v).

0

2

eMFA dxv2

sxexp

v2

1PPP

v/s

2

s

2

v

serfxd

2

xexp

2

1xd

v2

xexp

v2

1

h=0 s -s x

p(x|-s) p(x|s)

Page 17: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.16

Característica de Operación (OC)

Recibe este nombre la curva (familia de curvas en caso de que exista una

parametrización, como la anterior SNR) que relaciona dos características en

compromiso en una decisión: típicamente PD vs. PFA; dicha curva se recorre si

se permite la variación del umbral h.

PFA

PD

1

1 0

h

Page 18: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.17

La forma de la curva, y que se encuentre por encima de la diagonal

principal, se comprende fácilmente.

La calidad de un diseño práctico (con h seleccionable) se aprecia por la

cercanía de la curva a los lados izquierdo y superior del cuadrado que la limita.

En comunicaciones y radar, se habla de la ROC (“Receiver OC”)

Ejercicio: Demostrar que h es la pendiente de la tangente a la curva en

cualquier punto.

Page 19: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.18

Ejercicio de ampliación

A: En Recuperación de Información (IR, “Information Retrieval”) se seleccionan

ítems de una base (no estructurada) por su relevancia para un cierto uso (o

usuario); los ítems pueden ser relevantes (H1) o no (H0 ); las características de

calidad utilizadas son

– la precisión P: Pr(H1|D1)

(probabilidad de que un ítem seleccionado sea relevante)

– la recuperación R: Pr(D1|H1)

(probabilidad de recuperar ítems relevantes)

a) Discútase el compromiso entre estas características.

b) Indíquese la forma de la OC R vs. P.

Page 20: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.19

a)

para que tienda a 1, ha de bajar Pr(D1|H0) (PFA) y subir R = Pr(D1|H1)

(PD): cuyo compromiso ya es conocido.

b) La forma de la OC será:

HPrH|DPrHPrH|DPr

HPrH|DPr D|HPr

001111

11111

111

001

HPrH|DPr

HPrH|DPr1

1

P

R

1

1 0 Pr(H1)

Page 21: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

0d s

s|p)s(bss d s|p

sd

)s(bd1

ss

E

x

xxx

Apéndice: Cota C-R para parámetro determinista

Se aplica la desigualdad de Cauchy-Schwartz

: (= si y sólo si u=kv),

con ,

0d s|p)s(bsss|)s(bssE

xx

12.20

222

vuuv

s|p

s

s|plnu x

x

)s(bsss|pv x

sd

)s(bd1d

s

s|p)s(bss

x

x

sd

)s(bd1ds|p

s

s|pln)s(bss

xx

x

Page 22: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

2

2

2

sd

)s(bd1d s|p)s(bssd s|p

s

s|pln

xxxx

x

de donde

Alternativamente,

(Nota: si se alcanza, no implica mínimo error cuadrático medio: es para un b(s)

dado).

12.21

ss

s|p

sd

)s(bd1

s|sVars|ssVard s|p)s(bss2

2

2

xxx

ss

s|pln

sd

)s(bd1

s|sVar

2

2

2

x

Page 23: TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica de Operación (OC) Recibe este nombre la curva (familia de curvas en caso de que

TDS/4, IT/ATSC-DTC/UCIIIM

12.22

La forma alternativa nace de

y derivando nuevamente la última integral

que es

0d s|p

s

s|plnd

s

s|pd s|p

sxx

xx

xxx

0d s|p

s

s|plnd s|p

s

s|pln2

2

2

xx

xxx

x

0s|

s

s|plnEs|

s

s|plnE

2

2

2

xx