TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica...
Transcript of TRATAMIENTO DIGITAL DE SEÑALES Ingeniería de ......TDS/4, IT/ATSC-DTC/UCIIIM 12.16 Característica...
Aníbal R. Figueiras Vidal
Jesús Cid Sueiro
Ángel Navia Vázquez
Área de Teoría de la Señal y Comunicaciones
Universidad Carlos III de Madrid
TRATAMIENTO DIGITAL DE SEÑALES
Ingeniería de Telecomunicación (4º, 2º c)
Unidad 12ª: Calidad de estimadores y decisores
TDS/4, IT/ATSC-DTC/UCIIIM
12.1
A. Parámetros de calidad en estimación
A.1. De un parámetro determinista
Una caracterización completa la proporcionaría p ( | s):
– la calidad sería mayor con la concentración en torno a = s
– no proporciona una indicación global, sino microscópica (para cada s)
Habría que:
– calcularlo (a partir del conocimiento de la física del problema);
– estimarlo, en casos “máquina”: nótese que se trata de estimar una ddp para
cada valor de s.
En general, resulta complicado.
s
s
TDS/4, IT/ATSC-DTC/UCIIIM
12.2
Dada la lectura que se hace de p ( | s), una medida útil será el error cuadrático
condicional
que suele descomponerse en la conocida forma
es el sesgo del estimador
(tiene sentido de medida de error sistemático)
Si es nulo, el estimador se dice insesgado.
s
xx d s|pss s|ss E
22
s|ss Var s|ss E s|ss E 22
s s|s E s|ss E
TDS/4, IT/ATSC-DTC/UCIIIM
12.3
es la varianza del estimador (del error)
(tiene sentido de medida de dispersión, de error “aleatorio”)
Dado que nos movemos con información estadística, sólo puede ser nula
cuando en la estimación se emplean K muestras: en cuyo caso el
estimador se dice consistente en varianza
La (deseable) menor varianza se expresa como mayor eficiencia.
Sesgo(S) y varianza (V)
en estimación
Como con la ddp condicional, esta(s) característica(s) puede(n), en
principio, calcularse (en planteamientos analíticos) o estimarse (en
planteamientos máquina); siendo cierto, en todo caso, que es conveniente
proceder a cálculo y estimación para observar su concordancia.
s|sVar s|ssVar
s
s|spV
S
s
TDS/4, IT/ATSC-DTC/UCIIIM
12.4
Intervalos de confianza
Con la información estadística (o mediante estimación por frecuencias
relativas) se puede manejar
que es (también) la probabilidad de que s se encuentre en el intervalo
(aleatorio) : asociado a esa (probabilidad de) confianza.
Esto tiene un sentido análogo al del error cuadrático condicional; en
realidad, la consistencia en probabilidad
está implicada por la consistencia en varianza, ya que la desigualdad de
Tchebycheff implica
ss Pr
s,s
s
s|sp
s- s+
K
1ss Pr
2
s|sVarss Pr
s
TDS/4, IT/ATSC-DTC/UCIIIM
12.5
Ejercicios
E: Calcúlense la media y la varianza condicionales del estimador muestral de
la media de una va unidimensional.
El estimador es insesgado.
Para muestras tomadas independientemente,
El estimador es consistente en varianza.
Nótese que no hay dependencia de la distribución de las muestras.
mx EK
1m|m E )k(
K
1k
K
vx Var
K
1m|mVar )k(
K
1k2
TDS/4, IT/ATSC-DTC/UCIIIM
12.6
E: Calcúlese la media del estimador muestral de la varianza de una va
unidimensional.
(No emplearemos | m,v)
Como es
suponiendo muestras independientes
Es sesgado: pero asintóticamente insesgado
2K
1k
2k2K
1k
kK
1k
2kK
1k
2k mxK
1mKxm2x
K
1mx
K
1v
22k2K
1k
2k mmVarmxVarmExEK
1vE
vK
1K
K
vv
TDS/4, IT/ATSC-DTC/UCIIIM
12.7
Compromiso sesgo-varianza
Se ha encontrado que, para el estimador muestral de la varianza,
y puede pensarse en modificar el estimador para corregir el sesgo; lo que se
consigue recurriendo al estimador muestral insesgado de v
(téngase en cuenta que v no es conocida); pero así se tiene
incrementándose la varianza.
(En realidad, no puede decirse que uno de estos estimadores sea mejor
que el otro: están determinísticamente relacionados).
Lo otro que antecede es una manifestación del compromiso sesgo-
varianza frecuentemente implícito en estimación.
vK
1KvE
K
1k
2k mx1K
1v
1K
Kv~
vVar1K
Kv~Var
2
TDS/4, IT/ATSC-DTC/UCIIIM
12.8
A.2. De un parámetro aleatorio
El papel de p( | s) lo haría aquí p( , s): que también debería concentrarse
en torno a = s (aunque es una ddp 2-D, y no una familia de ddp 1-D como
p( | s)).
Error cuadrático, sesgo y varianza se dan promediados respecto a s: así,
que, como , es un número y no una función
de s.
s
s s
s
ds d sp s|pssss E
22xx
ssVary sEsEssE
TDS/4, IT/ATSC-DTC/UCIIIM
12.9
A´. Las Cotas de Cramer – Rao
Establecen cotas inferiores para las varianzas de los errores de estimación.
A´.1. Caso de parámetro determinista
Se usa una u otra forma según resulte más cómodo.
La prueba se incluye en el Apéndice.
s|s
s|plnE
sd
s|ssEd1
s|ssVar2
2
x
s|s
s|plnE
sd
s|ssEd1
2
2
2
x
TDS/4, IT/ATSC-DTC/UCIIIM
12.10
Discusión (para estimadores insesgados)
La cota sólo se alcanza si
entonces es un estimador absolutamente eficiente.
– Supuesto que existe, cumplirá
cumpliéndose la segunda igualdad para : es el ML
– Si no existe, no se puede decir que el ML tenga varianza mínima. Así, para eficiencia:
– se comprueba si el ML es ae (alcanza la cota);
– si no, habrá de buscarse un MVUE (Estimador Insesgado de Mínima Varianza)
Trabajo: Determinación de estimadores MVUEs.
sssk
s
s|pln
x
mlml
ss
sssk0s
s|pln
ml
x
mlss
s
TDS/4, IT/ATSC-DTC/UCIIIM
12.11
Ejercicios
E: Discutir el carácter eficiente del estimador mml para el caso Gauss (media
muestral).
de donde
y, al tratarse de un estimador insesgado, se ha de aplicar la cota de
Cramer-Rao
que coincide con la varianza del ML: luego el ML es eficiente.
K
1k
)k(k
mxv
1
m
m xpln
K
v
m
m|plnE
1m|mVar
2
2
x
K
1k2
k2
v
K1
v
1
m
m x pln
^
TDS/4, IT/ATSC-DTC/UCIIIM
12.12
A´.2. Caso de parámetro aleatorio
La demostración sigue una vía análoga a la anterior, partiendo de
y recordando que E{ŝ – s – b} es una constante.
La discusión de eficiencia es paralela a la anterior, pero referida al
estimador MAP (en lugar de al ML). Además, como ŝms(x) es insesgado, habrán
de coincidir.
2
s
s ,plnE
1ssVar
x
2
2
s
s ,plnE
1
x
0ds d s,pbssbssE
xx
TDS/4, IT/ATSC-DTC/UCIIIM
12.13
B. Decisión
Aparte del coste medio (cuando proceda), ya se sabe que son relevantes
– La probabilidad de error tipo I o falsa alarma
– La probabilidad de error tipo II o pérdida
(PD = 1 – PM: probabilidad de detección).
Se aprecia que existe un compromiso en su reducción: vía partición en
X0, X1, o establecimiento de h.
h d Hpd HpH|DPrPP 0
X001FAI
1
xx
h
0
1X
110MII d Hpd HpH|DPrPP0
xx
TDS/4, IT/ATSC-DTC/UCIIIM
12.14
No siempre se emplean directamente PI y PII ó PFA y PD; p. ej., en
diagnóstico se suele tomar H0 como hipótesis correspondiente a situación
normal, y H1 como hipótesis de defecto o enfermedad, y se emplean:
• Especificidad:
• Sensibilidad:
(subsiste, naturalmente, el compromiso: para su maximización).
Como en estimación, estas características
– se pueden calcular, supuesta conocida la “física” del problema
– se pueden estimar, como frecuencias relativas
y conviene contrastar resultados.
Trabajo: la técnica del “Importance Sampling”
D11 PH|DPrS
FA00 P1H|DPrE
TDS/4, IT/ATSC-DTC/UCIIIM
12.15
Ejercicio
E: Calcúlense las características del decisor ML para
H0 : x = – s + r
H1 : x = s + r
siendo s una constante y r una va G(0,v)
Ya se ha visto la forma del decisor:
y es obvia la igualdad de ambas probabilidades de error:
que se reduce inmediatamente a
Nótese la dependencia con la SNR (s2/v).
0
2
eMFA dxv2
sxexp
v2
1PPP
v/s
2
s
2
v
serfxd
2
xexp
2
1xd
v2
xexp
v2
1
h=0 s -s x
p(x|-s) p(x|s)
TDS/4, IT/ATSC-DTC/UCIIIM
12.16
Característica de Operación (OC)
Recibe este nombre la curva (familia de curvas en caso de que exista una
parametrización, como la anterior SNR) que relaciona dos características en
compromiso en una decisión: típicamente PD vs. PFA; dicha curva se recorre si
se permite la variación del umbral h.
PFA
PD
1
1 0
h
TDS/4, IT/ATSC-DTC/UCIIIM
12.17
La forma de la curva, y que se encuentre por encima de la diagonal
principal, se comprende fácilmente.
La calidad de un diseño práctico (con h seleccionable) se aprecia por la
cercanía de la curva a los lados izquierdo y superior del cuadrado que la limita.
En comunicaciones y radar, se habla de la ROC (“Receiver OC”)
Ejercicio: Demostrar que h es la pendiente de la tangente a la curva en
cualquier punto.
TDS/4, IT/ATSC-DTC/UCIIIM
12.18
Ejercicio de ampliación
A: En Recuperación de Información (IR, “Information Retrieval”) se seleccionan
ítems de una base (no estructurada) por su relevancia para un cierto uso (o
usuario); los ítems pueden ser relevantes (H1) o no (H0 ); las características de
calidad utilizadas son
– la precisión P: Pr(H1|D1)
(probabilidad de que un ítem seleccionado sea relevante)
– la recuperación R: Pr(D1|H1)
(probabilidad de recuperar ítems relevantes)
a) Discútase el compromiso entre estas características.
b) Indíquese la forma de la OC R vs. P.
TDS/4, IT/ATSC-DTC/UCIIIM
12.19
a)
para que tienda a 1, ha de bajar Pr(D1|H0) (PFA) y subir R = Pr(D1|H1)
(PD): cuyo compromiso ya es conocido.
b) La forma de la OC será:
HPrH|DPrHPrH|DPr
HPrH|DPr D|HPr
001111
11111
111
001
HPrH|DPr
HPrH|DPr1
1
P
R
1
1 0 Pr(H1)
TDS/4, IT/ATSC-DTC/UCIIIM
0d s
s|p)s(bss d s|p
sd
)s(bd1
ss
E
x
xxx
Apéndice: Cota C-R para parámetro determinista
Se aplica la desigualdad de Cauchy-Schwartz
: (= si y sólo si u=kv),
con ,
0d s|p)s(bsss|)s(bssE
xx
12.20
222
vuuv
s|p
s
s|plnu x
x
)s(bsss|pv x
sd
)s(bd1d
s
s|p)s(bss
x
x
sd
)s(bd1ds|p
s
s|pln)s(bss
xx
x
TDS/4, IT/ATSC-DTC/UCIIIM
2
2
2
sd
)s(bd1d s|p)s(bssd s|p
s
s|pln
xxxx
x
de donde
Alternativamente,
(Nota: si se alcanza, no implica mínimo error cuadrático medio: es para un b(s)
dado).
12.21
ss
s|p
sd
)s(bd1
s|sVars|ssVard s|p)s(bss2
2
2
xxx
ss
s|pln
sd
)s(bd1
s|sVar
2
2
2
x
TDS/4, IT/ATSC-DTC/UCIIIM
12.22
La forma alternativa nace de
y derivando nuevamente la última integral
que es
0d s|p
s
s|plnd
s
s|pd s|p
sxx
xx
xxx
0d s|p
s
s|plnd s|p
s
s|pln2
2
2
xx
xxx
x
0s|
s
s|plnEs|
s
s|plnE
2
2
2
xx