Familias exponenciales y distribuciones inicialesallman.rhon.itam.mx/~mendoza/Tabasco.pdf · a una...

Familias exponenciales y distribuciones iniciales

Eduardo Gutiérrez-Peña1 y Manuel Mendoza Ramírez2

1Departamento de Probabilidad y Estadística, IIMAS-UNAM

2Departamento de Estadística, ITAM

XXVI Foro Nacional de EstadísticaVillahermosa, Tabasco. Septiembre 21-23, 2011

E. Gutiérrez-Peña y M. Mendoza R. (UNAM/ITAM) Familias exponenciales y distribuciones iniciales Foro AME 1 / 23

Contenido

1 Familias Exponenciales Naturales

2 Familias Conjugadas

3 Teoría de la Información

4 Problemas de Optimización

5 Inferencia Bayesiana Paramétrica

6 Observaciones Finales


Famila Exponencial Natural (FEN)

Densidadpθ(x |θ) = b(x) expθx −M(θ) (θ ∈ Ξ)

con M(θ) = log∫

b(x) expθx η(dx)

Espacio parametral (canónico)

Ξ = θ ∈ IR : M(θ) < ∞

Parámetro medioµ = µ(θ) = E [ X |θ ] = dM(θ)/dθ

espacio del parámetro medio: Ω = µ(Ξ)

Función de varianza

V (µ) = Var[ X |θ(µ) ] = d2M(θ(µ))/dθ2


Famila Exponencial Natural (FEN)

Sean X1, . . . , Xn ∼ pθ(x |θ) y S =∑n

i=1 Xi . Entonces

pθ(s|θ, n) = b(s, n) expθs − n M(θ)

VerosimilitudLθ(θ|s, n) ∝ expθs − n M(θ)

Información de Fisheriθ(θ) = d2M(θ)/dθ2

En términos del parámetro medio

iµ(µ) = V (µ)−1


Familia Conjugada

Familia conjugada natural

πθ(θ|s0, n0) ∝ Lθ(θ|s0, n0) (s0 ∈ IR, n0 ∈ IR)

Forma normalizada

πθ(θ|s0, n0) = exp[s0θ − n0 M(θ)]−W (s0, n0)

con W (s0, n0) = log∫

exps0θ − n0 M(θ)dθ (Diaconis-Ylvisaker)

Inicial de JeffreysπJ(θ) ∝ iθ(θ)1/2

La posterior de Jeffreys es miembro de la familia conjugada de DY si la FENtiene función de varianza cuadrática (FVC)


Teoría de la Información

Entropía relativa

DKL(f (·)||g(·)) =

∫f (x) ln

f (x)

g(x)

dx

también se conoce como la divergencia de Kullback-Liebler entre f y g.

Información Mutua

I(X , Θ) =

∫ ∫p(x , θ) ln

p(x , θ)

p(x)p(θ)

dxdθ

=

∫p(x)

∫p(θ|x) ln

p(θ|x)

p(θ)

dθ

dx

=

∫p(x) DKL(p(θ|x)||p(θ)) dx .


Optimización

Las familias exponenciales de distribuciones se pueden obtener como soluciones aproblemas de optimización de la entropía.

Mínima entropía relativa: para una g fija, se minimiza DKL(f (·)||g(·)) respecto af sujeto a las restricciones∫

hi(x)f (x)dx = mi ; i = 1, . . . , k

Si existe una solución f ∗, entonces pertenece a una familia exponencial general


Inferencia Bayesiana Paramétrica

X: observable que describe el fenómeno de interés

p(x |θ) y p(θ)

Elementos

p(x , θ) = p(θ) p(x |θ)= p(x) p(θ|x)

Función de pérdida: L(θ, θ)




p(x |θ) y p(θ)

Elementos

p(x , θ) = p(θ) p(x |θ)= p(x) p(θ|x)




I. Selección del modelo de muestreo p(x |θ)∫hi(x)p(x |θ)dx = mi ; i = 1, . . . , k

con p(x |θ) “cercana” a la medida base b(x)

Entropía Relativa Mínima (ERM, Kullback 1959):

La solución a este problema de optimización pertenece a una familia exponencial

p(x |θ) = b(x) expθx −M(θ)




p(x |θ) and p(θ)

Elementos

p(x , θ) = p(θ) p(x |θ)= p(x) p(θ|x)




II. Selección de la inicial p(θ)

De nuevo, las restricciones + “cercanía” a la medida B(θ) + ERM

La solución de este problemaes un miembro de otra familia exponencial

Si las restricciones se formulan en términos de θ y M(θ),

p(θ) es conjugada para p(x |θ)

p(θ) ∝ B(θ) expx0θ − n0M(θ)



III. Proceso de aprendizaje

− Una muestra

X(n) = (X1, . . . , Xn) muestra aleatoria de p(x |θ)

p(θ|x(n)) pertenece a la misma familia a la que pertenece p(θ) y el cálculo se simplifica

− Varias muestras

X(ni ) muestra aleatoria de p(x |θi); i=1,. . . ,k

p(θi |x(ni )) pertenece a la misma familia a la que pertenece p(θi )



− Varias muestras

Si θ1, . . . , θk son intercambiables, entonces pueden considerarse una m.a. de

p(θ|x0, n0) ∝ B(θ) expx0θ − n0M(θ)

Si los hiperparámetros (x0, n0) de la inicial común son desconocidos, se puedeutilizar el argumento previo para producir una inicial p(x0, n0)

Esta inicial resuelve otro problema de optimización; pertenecea una familia exponencial y puede ser conjugada para p(θ|x0, n0)

(George, Makov & Smith; 1993)


Iniciales Máximo Informativas


p(x |θ) y p(θ)

Elementos

p(x , θ) = p(θ) p(x |θ)= p(x) p(θ|x)

L(θ, θ) = DKL(p(x |θ)||p(x |θ))


Iniciales Máximo Informativas

Información Mutua: I(X , Θ) es una funcional de p(x , θ)

- Dada p(x), la minimización de I(X , Θ) con respecto a p(θ|x) sujeta a la restricción∫ ∫p(x)p(θ|x)L(θ(x), θ)dxdθ ≤ l

conduce a una posterior conjugada (GP & Muliere; 2004)

p(θ|x) ∝ exp(x + x0)θ − (n + n0)M(θ)

- En otro sentido, si se fija p(x |θ) y se maximiza (asintóticamente) I(X , Θ) con respecto ap(θ), se obtiene la inicial de Jeffreys (Clarke & Barron; 1994)

* Grünwald and Dawid (2004) exploran la relación entre máxima entropía y mínimapérdida esperada en el caso menos favorable. Consideran problemas de decisión yfunciones de pérdida arbitrarios.

Definen versiones generalizadas de entropía, divergencia y familias exponenciales.Como caso particular, la información mutua puede interpretarse como una entropíageneralizada.


Medida Base

Volviendo a la selección de la inicial en el caso no jerárquico...

p(θ) ∝ B(θ) expx0θ − n0M(θ)

B(θ) = πL(θ) ∝ 1 ⇒ p(θ) ∝ expx0θ − n0M(θ)

E(µ|x(n)) =

∑i xi + x0

n + n0

= x ( si x0 = 0, n0 = 0)

(Diaconis & Ylvisaker; 1979)

También,µKL = E(µ|x(n)) (GP; 1992)


Medida Base

B(θ) ∝ πJ(θ) ⇒ p(θ) ∝ [iθ(θ)]1/2 expx0θ − n0M(θ)

Esta es la inicial de referencia con restricciones (Bernardo & Smith; 1994)

FEN-FVC ⇒ θ ^ µ ⇔ iθ(θ) ∝ expk1θ − k2M(θ) para algunos k1, k2.

p(θ) ∝ exp(

x0 +k1

2

)θ −

(n0 +

k2

2

)M(θ)

= exp x0θ − n0M(θ)

De esta forma, la inicial de referencia (Jeffreys) puede interpretarse como un caso límitede la familia conjugada DY a medida que x0 → k1/2 y n0 → k2/2

(GP & Smith; 1995, 1997)


Medida Base

Considere una FEN-FVC, como en el caso previo, y sea λ = λ(θ) unareparametrización

Suponga que: (i) λ ^ θ, y (ii) existe un estimador λ = λ(x(n)) tal queE(λ|θ) = λ(θ)

Pregunta: ¿Qué medida base B(θ) produce E(λ|x(n)) = λ(x(n)) ?

La respuesta es B(θ) ∝ iθ(θ)|Jλ(θ)|−1. En este caso,

p(θ) ∝ exp (x0 + k1 − r1) θ − (n0 + k2 − r2) M(θ)= exp x0θ − n0M(θ)

con r1 y r2 determinados por λ(·)

B(θ) también puede interpretarse como un caso límite de la familia conjugada DYcomo x0 → (k1 − r1) y n0 → (k2 − r2)

(Hartigan, 1965; GP & Mendoza, 1999)


Medida Base

Así, πH(θ) ∝ iθ(θ)|Jλ(θ)|−1 es una inicial “no informativa” para λ.En términos de λ, resulta

πλ(λ) ∝ iλ(λ)

Observe queπJ(λ) ∝ [ iλ(λ) ]1/2

y

πL(λ) ∝ 1


Observaciones Finales

Las familias Exponenciales y la maximización de la entropía con restricciones,están muy relacionadas. Si las restricciones se eligen apropiadamente, puedenproducir conjugamiento.

Existe una dualidad entre maximización de la entropía y minimización de lapérdida esperada en el caso menos favorable.

Se pueden obtener distintas clases de iniciales "no informativas" como casoslímite de las familias conjugadas DY. Un caso interesante se presenta cuando elvalor esperado final del parámetro λ coincide con el correspondiente estimadorinsesgado λ.


Observaciones Finales

Otra dualidad es la que existe entre la noción clásica de insegamiento y laminimización de la pérdida cuadrática esperada. Los resultados sugieren queesta relación se podría extender utilizando una definición más general deinsesgamiento (para funciones de pérdida arbitrarias) como la que introducenNoorbaloochi & Meeden (1983).

Otras generalizaciones interesantes podrían examinarse a partir de la teoríadesarrollada por Grünwald & Dawid.


References

Bernardo JM & Smith AFM (1994). Bayesian Theory. Wiley.

Clarke BS & Barron AR (1994). Jeffreys’ prior is asymptotically least favorable under entropy risk. Jounal of StatisticalPlanning and Inference 41, 37–60.

Diaconis P & Ylvisaker D (1979). Conjugate priors for exponential exponential families. Annals of Statistics 7, 269–281.

George E, Makov U & Smith AFM (1993). Conjugate likelihood distributions. Scandinavian Journal of Statistics 26, 509-517.

Gutiérrez-Peña E & Mendoza M (1999). A note on Bayes estimates for exponential families. Revista de la Real Academiade Ciencias Exactas, Físicas y Naturales (España) 93, 351–356.

Gutiérrez-Peña E & Muliere P (2004). Conjugate priors represent strog pre-experimental assumptions. ScandinavianJournal of Statistics 31, 235–246.

Gutiérrez-Peña E & Smith AFM (1995). Conjugate parametrizations for natural exponential families. Journal of theAmerican Statistical Association 90, 1347–1356.

Gutiérrez-Peña E & Smith AFM (1997). Exponential and Bayesian conjugate families: Review and Extensions. Test 6, 1–90.

Grünwald, PD ’& Dawid, AP (2004). Game theory, maximum extropy, minumum discrepancy and robust Bayesiandecision theory. Annals of Statistics 32, 1367–1433.

Hartigan J (1965). The asymptotically unbiased prior distribution. Annals of Mathematical Statistics 36, 1137–1152.

Kullback S (1959). Information Theory and Statistics. Wiley.

Noorbaloochi S & Meeden G (1983). Unbiasedness as the dual of being Bayes. Journal of the American StatisticalAssociation 78, 619–623.


Familias exponenciales y distribuciones inicialesallman.rhon.itam.mx/~mendoza/Tabasco.pdf · a una...

Documents

Transcript of Familias exponenciales y distribuciones inicialesallman.rhon.itam.mx/~mendoza/Tabasco.pdf · a una...