Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) •...

22
Fronteras de decisión Luca Mar1no Apuntes no revisados Cuidado!

Transcript of Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) •...

Page 1: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Fronteras  de  decisión  

Luca  Mar1no  Apuntes  no  revisados  

Cuidado!  

Page 2: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Función  de  Verosimilitud  

•  Supongamos  que,  después  de  demodular,  tenemos  un  vector  (un    punto)    

•  Dado  que  sabemos  que  para  cada  componente  podemos  escribir:  

•  Así  sabiendo  que  el  ruido  es  Gaussiano  podemos  escribir:      

€

p(q j | sij ) =1πN0

exp −(q j − sij )

2

N0

⎧ ⎨ ⎩

⎫ ⎬ ⎭

€

q = [q1,q2,...,qN ]

€

q j = sij + n j

€

s i = [si1,si2,...,siN ]Recodamos  que  un  símbolo  lo  indicamos  así      

Page 3: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Función  de  Verosimilitud  

•  La  función  de  Verosimilitud  de  una  sola  componente  es    

•  Recordamos  que  la  función  de  verosimilitud  es  función  de  la  componente            …no  es  una  densidad…..(en  este  caso,              es  un  numero,  un  escalar  conocido).    

•  Por  la  independencia  de  las  componentes  del  ruido  podemos  escribir  también:  

€

p(q j | sij ) =1πN0

exp −(q j − sij )

2

N0

⎧ ⎨ ⎩

⎫ ⎬ ⎭

€

sij

€

q j

€

p( q | s i) = p(q1 | si1)p(q2 | si2)⋅ ⋅ ⋅ p(qN | siN )

p( q | s i) = p(q j | sij )j =1

N

∏

Page 4: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Función  de  Verosimilitud  

•  La  función  de  Verosimilitud  ‘’total’’  será  

•  Es  decir      

€

p( q | s i) = p(q j | sij )j =1

N

∏

€

p( q | s i) =1

(πN0)N / 2 exp −

(q1 − si1)2 + (q2 − si2)

2 + ...+ (qN − siN )2

N0

⎧ ⎨ ⎩

⎫ ⎬ ⎭

€

p( q | s i) =1

(πN0)N / 2 exp −

(q j − sij )2

j =1

N

∑

N0

⎧

⎨

⎪ ⎪

⎩

⎪ ⎪

⎫

⎬

⎪ ⎪

⎭

⎪ ⎪

Page 5: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Función  de  Verosimilitud  

•  Es  importante  notar  como  esta  verosimilitud  ‘’induce’’  una  distancia  euclídeas  

•     donde    

€

p( q | s i) =1

(πN0)N / 2 exp −

d( q , s i)2

N0

⎧ ⎨ ⎩

⎫ ⎬ ⎭

€

d( q , s i)2 = (q j − sij )

2

j =1

N

∑

Page 6: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Probabilidad  a  posteriori  

•  La  probabilidad  a  posteriori  se  define  como  (usando  la  regla  de  Bayes)  

•   Realmente  para  decidir  un  símbolo  nos  interesa  solo  el  numerador,  es  decir  

•  El  termino                          resulta  ser  una  constante  (no  depende  de  los  símbolos            ).          

€

p( s i | q ) =

p( q | s i)p( s i)

p( q )

€

p( s i | q )∝ p( s i,

q ) = p( q | s i)p( s i)

€

p( q )

€

s i

Page 7: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Criterio  MAP  

•  El  criterio  MAP  (máximo  a  posteriori)  consiste  en  maximizar  esta  función  

•  La  probabilidad  a  posteriori  es  proporcional  a  la  probabilidad  conjunta.  

€

p( s i | q )∝ p( s i,

q ) = p( q | s i)p( s i)

Probabilidad  a  posteriori  

Probabilidad  conjunta  

Page 8: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Criterio  MAP  

•  Supongamos  de  tener  solo  dos  símbolos  

•  Vamos  a  elegir              si  

•  Vamos  a  elegir              si              

€

p( q | s 1)p( s 1) > p( q | s 2)p(

s 2)

€

N = 2

€

s 1

€

s 2

€

s 1

€

s 2

€

p( q | s 2)p( s 2) > p( q | s 1)p(

s 1)

Page 9: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Criterio  ML  

•  Si  los  símbolos  son  equiprobables  el  criterio  se  reduce  a  una  comparación  entre  verosimilitudes  (“Maximum  Likelihood  ”  ML)        

€

p( q | s 1) > p( q | s 2)

€

p( q | s 2) > p( q | s 1)

Page 10: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Umbrales  (fronteras)  de  decisión  •  Los  umbrales  se  logran  con  la  ecuación  

•  En  el  caso  unidimensional  se  puede  ver  que  el  umbral  es  un  valor  mas  cerca  del  símbolo  más  probable.  

€

p( q u | s 1)p( s 1) = p( q u |

s 2)p( s 2)

€

s 1

€

s 2

€

q u

€

p( s 1) > p( s 2)

€

s 1

€

s 2

€

q u

€

p( s 1) < p( s 2)

€

N = 2

Page 11: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Umbrales  (fronteras)  de  decisión  •  En  el  caso  de  símbolos  equiprobables  tenemos  

•  El  umbral  será  la  media  aritmé1ca  (en  el  caso  unidimesional)    

€

p( q u | s 1) = p( q u |

s 2)

€

s 1

€

s 2

€

q u

€

p( s 1) = p( s 2)

€

qu =s1 + s22

€

N = 2

Page 12: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Calculo  del  umbral  (caso  unidimensional)  

•  Tenemos  en  el  caso  monodimensional  (entre  dos  símbolos)  

•  Subs1tuyendo  las  verosimilitudes      

€

p(qu | s1)p(s1) = p(qu | s2)p(s2)

€

1πN0exp − (qu −s1 )

2

N0{ }p(s1) = 1πN0exp − (qu −s2 )

2

N0{ }p(s2)

€

exp − (qu −s1 )2

N0{ }p(s1) = exp − (qu −s2 )2

N0{ }p(s2)

€

− (qu −s1 )2

N0+ ln p(s1)[ ] = − (qu −s2 )

2

N0+ ln p(s2)[ ]

Page 13: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Calculo  del  umbral  (caso  unidimensional)  

•  Siguiendo  con  los  cálculos    

€

−(qu − s1)2 + (qu − s2)

2 = +N0 ln p(s2) / p(s1)[ ]−qu

2 − s12 + 2qus1 + qu

2 + s22 − 2qus2 = +N0 ln p(s2) / p(s1)[ ]

€

−s12 + 2qus1 + s2

2 − 2qus2 = N0 lnp(s2 )p(s1 )[ ]

2(s1 − s2)qu − s12 + s2

2 = N0 lnp(s2 )p(s1 )[ ]

Page 14: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Calculo  del  umbral  (caso  unidimensional)  

•  Finalmente  llegamos  a  

•  Si  los  símbolos  son  equiprobables  

•   que  es  justamente  la  media  aritmé1ca.  

€

qu =N0 ln

p(s2 )p(s1 )[ ] + s1

2 − s22

2(s1 − s2)

€

qu =0 + s1

2 − s22

2(s1 − s2)=(s1 − s2 )(s1 + s2)2(s1 − s2)

=(s1 + s2)2

Page 15: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Calculo  del  umbral  (caso  unidimensional)  

•  Lo  podemos  en  general  expresar  así  

€

qu =N0 ln

p(s2 )p(s1 )[ ]

2(s1 − s2)+s1 + s22

Page 16: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Frontera  de  decisión  (caso  bidimensional)  

•  Tenemos  en  el  caso  bidimensional  (entre  dos  símbolos)  

•  Subs1tuyendo  las  verosimilitudes      

€

p( q u | s 1)p( s 1) = p( q u |

s 2)p( s 2)

€

1πN0exp − (qu1 −s11 )

2 +(qu 2 −s12 )2

N0{ }p(s1) = 1πN0exp − (qu1 −s21 )

2 +(qu 2 −s22 )2

N0{ }p(s2)

€

− (qu1 −s11 )2 +(qu 2 −s12 )

2

N0+ ln p(s1)[ ] = − (qu1 −s21 )

2 +(qu 2 −s22 )2

N0+ ln p(s2)[ ]

Page 17: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Frontera  de  decisión  (caso  bidimensional)  

•  Desarrollando  los  cálculos    

€

− (qu1 −s11 )2 +(qu 2 −s12 )

2

N0+ ln p(s1)[ ] = − (qu1 −s21 )

2 +(qu 2 −s22 )2

N0+ ln p(s2)[ ]

€

−(qu1 − s11)2 − (qu2 − s12)

2 + (qu1 − s21)2 + (qu2 − s22)

2 = N0 lnp(s2 )p(s1 )[ ]

−qu12 − s11

2 + 2qu1s11 − qu22 − s12

2 + 2qu2s12 + qu12 + s21

2 − 2qu1s21 +

+qu22 + s22

2 − 2qu2s22 = N0 lnp(s2 )p(s1 )[ ]

€

−s112 + 2qu1s11 − s12

2 + 2qu2s12 + s212 − 2qu1s21 + s22

2 − 2qu2s22 = N0 lnp(s2 )p(s1 )[ ]

2(s11 − s21)qu1 + 2(s12 − s22)qu2 − s112 − s12

2 + s212 + s22

2 = N0 lnp(s2 )p(s1 )[ ]

Page 18: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Frontera  de  decisión  (caso  bidimensional)  

•  Hemos  llegado  a  una  recta  

•  De  la  forma      

•  Con  pendiente    

€

2(s11 − s21)qu1 + 2(s12 − s22)qu2 − s112 − s12

2 + s212 + s22

2 − N0 lnp(s2 )p(s1 )[ ] = 0

€

a

€

b

€

c

€

aqu1 + bqu2 + c = 0→qu2 = −abqu1 −

cb

€

m = −ab

= −s11 − s21s12 − s22

Page 19: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Frontera  de  decisión  (caso  bidimensional)  

•   Esto  significa  

•  que  es  ortogonal  a  la  recta  pasante  por  los  2  símbolos.  

€

m = −ab

= −s11 − s21s12 − s22

= −1m *

m* =s12 − s22s11 − s21

€

s 1

€

s 2

€

p( s 2) > p( s 1)En  esta  figura  

€

m *€

m€

q2

€

q1

€

s 1 = [s11,s12] s 2 = [s21,s22]

Page 20: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Frontera  de  decisión  (criterio  ML)  •  En  el  caso  de  símbolos  equiprobables  la  frontera  de  decisión  es  

una  recta  equidistante  respecto  a  los  2  símbolos.  

€

s 1

€

s 2

€

p( s 2) = p( s 1)En  esta  figura  

€

q2

€

q1€

d'

€

d' '

€

d'= d' '

Page 21: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Importante  observación  •  Realmente  se  puede  demostrar  que,  en  el  caso  que  los  ruidos  

sea  Gaussianos  e  independientes  entre  si,  podríamos  estudiar  el  caso  unidimensional…  considerando  solo  la  recta  pasante  por  los  dos  símbolos.  

€

s 1

€

s 2€

q2

€

q1

€

q u

€

p( s 2) > p( s 1)En  esta  figura  

Page 22: Fronteras)de)decisión) - Luca Martino Home Page · Función)de)Verosimilitud) • Lafunción)de)Verosimilitud)de)unasolacomponente)es)) • Recordamos)que)lafunción)de)verosimilitud)es)función)de)la

Importante  observación  2  •  La  fronteras  de  decisión  resultan  ser  funciones  lineales  (rectas,  

hiperplanos)  porque  los  ruidos  que  afectan  a  cada  componente  son  GAUSSIANOS  E  INDEPENDIENTES.  

•  Con  otro  1po  de  ruidos  encontraríamos  fronteras  no  lineales  (basta  añadir  correlación  para  verlo).  


Análisis de la representación de verosimilitud en el ...

Análisis de la representación de verosimilitud en el ...

De la verosimilitud al índex

De la verosimilitud al índex

transparencia.guadalajara.gob.mxtransparencia.guadalajara.gob.mx/sites/default/files/AutoDeNulidad.pdf · realizar un juicio de probabilidad y verosimilitud de derecho esgrimido por

transparencia.guadalajara.gob.mxtransparencia.guadalajara.gob.mx/sites/default/files/AutoDeNulidad.pdf · realizar un juicio de probabilidad y verosimilitud de derecho esgrimido por

eprints.ucm.es³nAntonAlv.pdf · Renovar lafunción pública La implantación del teletrabajo en la Administración ofrece una oportunidad excepcional para renovary potenciar el papel

eprints.ucm.es³nAntonAlv.pdf · Renovar lafunción pública La implantación del teletrabajo en la Administración ofrece una oportunidad excepcional para renovary potenciar el papel

MIMESIS, FICCIÓN Y VEROSIMILITUD EN LA CREACIÓN ...

MIMESIS, FICCIÓN Y VEROSIMILITUD EN LA CREACIÓN ...

Regresión: El Caso de Selección de Modelos y Pruebas de ... · p una medida de bondad de ajuste, pero el AIC considera la función verosimilitud. •Seleccionamos el modelo que

Regresión: El Caso de Selección de Modelos y Pruebas de ... · p una medida de bondad de ajuste, pero el AIC considera la función verosimilitud. •Seleccionamos el modelo que

La verosimilitud en las poéticas del clasicismo francés

La verosimilitud en las poéticas del clasicismo francés

Ateneo N° 3 - nuestraescuela.educacion.gov.arnuestraescuela.educacion.gov.ar/wp-content/uploads/2017/08/... · Nociones de Narratología: ficción, verosimilitud, narrador, trama

Ateneo N° 3 - nuestraescuela.educacion.gov.arnuestraescuela.educacion.gov.ar/wp-content/uploads/2017/08/... · Nociones de Narratología: ficción, verosimilitud, narrador, trama

A vueltas con el concepto de verosimilitud~' - Dialnet · A vueltas con el concepto de verosimilitud 107 Este resultado paradójico de Tichy (que, por cierto, no es el único)16 no

A vueltas con el concepto de verosimilitud~' - Dialnet · A vueltas con el concepto de verosimilitud 107 Este resultado paradójico de Tichy (que, por cierto, no es el único)16 no

El principio de verosimilitud en Los trabajos de Persiles ...

El principio de verosimilitud en Los trabajos de Persiles ...

Confesarse Alabando. La Verosimilitud de Lo Admirable en La Vida de Santa Teresa

Confesarse Alabando. La Verosimilitud de Lo Admirable en La Vida de Santa Teresa

CALCULO DIFERENCIAL E INTEGRAL CON APLICACIONES A …x(p)= 5;000¡10p donde p2 (0;500) ½R+: 2.-Determinar lafunción inversadel ejemploanterior y determinarlafunción ingresototal.

CALCULO DIFERENCIAL E INTEGRAL CON APLICACIONES A …x(p)= 5;000¡10p donde p2 (0;500) ½R+: 2.-Determinar lafunción inversadel ejemploanterior y determinarlafunción ingresototal.

Ficcion y Verosimilitud

Ficcion y Verosimilitud

face.unt.edu.ar · Contenidos: Modelos uniecuacionales, máxima verosimilitud, mínimos cuadrados generalizados, métodos no lineales. Mínimos cuadrados ordinarios, regresión simple,

face.unt.edu.ar · Contenidos: Modelos uniecuacionales, máxima verosimilitud, mínimos cuadrados generalizados, métodos no lineales. Mínimos cuadrados ordinarios, regresión simple,

Estimación por máxima verosimilitud y conceptos de.pdf

Estimación por máxima verosimilitud y conceptos de.pdf

ANEXOS Método de máxima verosimilitud · 2004-04-27 · Resultado de la primera parte de la encuesta.....60 5. Resultado de la segunda parte de la encuesta ... de verosimilitud

ANEXOS Método de máxima verosimilitud · 2004-04-27 · Resultado de la primera parte de la encuesta.....60 5. Resultado de la segunda parte de la encuesta ... de verosimilitud

CURSO INTRODUCCION ANALISIS MULTIVARIADO 21 · observaiones Verosimilitud Parámetros estimados Modelo saturado . Regresión Logística . Regresión Logística Link . Predicción

CURSO INTRODUCCION ANALISIS MULTIVARIADO 21 · observaiones Verosimilitud Parámetros estimados Modelo saturado . Regresión Logística . Regresión Logística Link . Predicción

Máxima Verosimilitud y Estimación Bayesiana de Parámetros (7).pdf

Máxima Verosimilitud y Estimación Bayesiana de Parámetros (7).pdf

CAPITULO3ESTIMACION: MINIMOS CUADRADOS ORDINARIOS Y MAXIMA VEROSIMILITUD

CAPITULO3ESTIMACION: MINIMOS CUADRADOS ORDINARIOS Y MAXIMA VEROSIMILITUD

La acción tutorial de lafunción docente universitaria · La acción tutorial de lafunción docente universitaria ÁNGEL LÁZARO MARTÍNEZ Universidad Complutense deMadrid* RESUMEN

La acción tutorial de lafunción docente universitaria · La acción tutorial de lafunción docente universitaria ÁNGEL LÁZARO MARTÍNEZ Universidad Complutense deMadrid* RESUMEN