Análisis de Datos en Física de Partículas - LACDAEyEA · PDF...

23
J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 1 Análisis de Datos en Física de Partículas Sección de Posgrado Facultad de Ciencias Universidad Nacional de Ingeniería C. Javier Solano S. [email protected] http://compinformatidf.wordpress.com/ Página del curso: http://compinformatidf.wordpress.com/2013/04/13/ curso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/

Transcript of Análisis de Datos en Física de Partículas - LACDAEyEA · PDF...

Page 1: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 1

Análisis de Datos en Física de Partículas

Sección de PosgradoFacultad de CienciasUniversidad Nacional de Ingeniería

C. Javier Solano [email protected]://compinformatidf.wordpress.com/

Página del curso:http://compinformatidf.wordpress.com/2013/04/13/curso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/

Page 2: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Análisis de Datos en Física de Partículas: Temas por Capítulo

1 Teorema de Probabilidad de Bayes, Variables aleatorias, y pdfs2 Funciones de r.v.s, Valores de expectación, propagación de errores3 Catálogo de pdfs4 El método de Monte Carlo5 Test estadísticos: conceptos generales6 Test statistics, métodos multivariantes7 Tests Bondad de ajuste (goodness-of-fit)8 Parámetros de estimación, maximum likelihood9 Mas de maximum likelihood10 Método de mínimos cuadrados (least squares)11 Intervalo de estimación, establecimiento de límites12 Parámetros molestos (nuisance), incertidumbres sistemáticas13 Ejemplos de aproximación Bayesiana

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 2

Page 3: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Algunos libros de Estadística, artículos, etc. G. Cowan, Statistical Data Analysis, Clarendon, Oxford, 1998

ver también www.pp.rhul.ac.uk/~cowan/sda

R.J. Barlow, Statistics: A Guide to the Use of Statistical Methodsin the Physical Sciences, Wiley, 1989

ver también hepwww.ph.man.ac.uk/~roger/book.html

L. Lyons, Statistics for Nuclear and Particle Physics, CUP, 1986

F. James., Statistical and Computational Methods in Experimental Physics, 2nd ed., World Scientific, 2006

S. Brandt, Statistical and Computational Methods in Data Analysis, Springer, New York, 1998 (CD c/libreria de programas)

C. Amsler et al. (Particle Data Group), Review of Particle Physics, Physics Letters B667 (2008) 1; ver también pdg.lbl.gov secciones de probabilidad estadística, Monte Carlo

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 3

Page 4: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Análisis de Datos en Física de Partículas

Observar eventos de un cierto tipo

Medir características de cada evento (momenta de partículas,número de muons, energía de jets,...)

Teorías (ej. SM) predicen distribuciones de estas propiedadesusando parámetros libres, e.g., α, GF, MZ, αs, mH, ...Algunas de las tareas de análisis de datos:

- Estimar (medir) los parámetros;

- Cuantificar la incertidumbre de las estimación de los parámetros;

- Probar hasta donde las predicciones de una teoría están de

acuerdo con los datos.J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 4

Page 5: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Trabajando con incertidumbre

En Física de Partículas hay varios elementos de incertidumbre:

Teoría no es determinista

Mecánica Cuántica

errores aleatorios de medición

presentes aún sin efectos cuánticos

cosas que en principio podríamos conocer, pero no..

ejs. de limitaciones de costo, tiempo, ...

Podemos cuantificar la incertidumbre usando PROBABILIDAD

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 5

Page 6: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Una definición de probabilidad

Considerar conjunto S con subconjuntos A, B, ...

Axiomas deKolmogorov(1933)

A partir de esos axiomas podemos derivar otras propiedades, ej.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 6

Page 7: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Probabilidad Condicional, independencia

Definir también probabilidad condicional de A dado B (con P (B) ≠ 0):

Ej: tirar dados:

Subconjuntos A, B independendientes si:

Si A, B independendientes,

Nota: no confundir con subconjuntos disjuntos, i.e.,

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 7

Page 8: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Interpretación de probabilidadI. Frecuencia relativa

A, B, ... son los resultados de un experimento repetible

cf. mecánica cuántica, scattering de partículas, decaimiento radiactivo ...

II. Probabilidad subjectivaA, B, ... son hipótesis (declaraciones que son verdaderas o falsas)

• Ambas interpretaciones consistentes con axiomas de Kolmogorov• En Física de Partículas, la interpretación frecuentista a menudo másútil, pero la probabilidad subjetiva puede proporcionar un tratamientomás natural de fenómenos no repetibles: incertidumbre sistemática, probabilidad que partículas SUSY existan,...J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 8

Page 9: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Teorema de BayesDe la definición de probabilidad condicional tenemos,

and

pero , entonces

Teorema de Bayes

primero publicado (posthumously) por elReverendo Thomas Bayes (1702−1761)

An essay towards solving a problem in thedoctrine of chances, Philos. Trans. R. Soc. 53(1763) 370; reimpreso en Biometrika, 45 (1958) 293.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 9

Page 10: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Ley de probabilidad total

Considerar un subconjunto B delespacio muestra S,

B ∩ Ai

Ai

B

S

Dividir en subconjuntos disjuntos Ai

tal que ∪i Ai = S,

→ Ley de probabilidad total

El teorema de Bayes se convierte en

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 10

Page 11: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Un ejemplo usando el teorema de Bayes

Suponer la probabilidad (para cualquiera) de tener AIDS (SIDA) es:

← probabilidad a priori, i.e., antes de realizar cualquier test

Considerar un test de AIDS: resultado es + o −

← probabilidades de (in)correctamente identificar una persona infectada

← probabilidades de (in)correctamente identificar una persona no infectada

Suponga que tu resultado es +. Que tan preocupado deberías estar?

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 11

Page 12: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Un ejemplo usando el teorema de Bayes (cont.)

La probabilidad de tener AIDS dado un resultado + es

Osea que probablemente estas OK!

Tu punto de vista: mi grado de creencia que tengo AIDS es de 3,2%

El punto de vista de tu doctor: 3,2% de las personas como el tendrá el AIDS

← probabilidad posterior

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 12

Page 13: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Estadística frecuentista − filosofía generalEn estadísticas frequentistas, probabilidades se asocian sólo conlos datos, es decir, resultados de observaciones repetibles (abreviatura: ).

Probabilidad = frequencia límite

Probabilidades tal como

P (boson de Higgs existe), P (0.117 < αs < 0.121),

etc. son 0 o 1, pero no sabemos cual.

Las herramientas de la estadística frecuentista nos dicen qué esperar, bajo la suposición de ciertas probabilidades, sobre hipotéticas observaciones repetidas.

Las teorías preferidas (modelos, hipótesis, ...) son aquellas en las que nuestras observaciones se considerarían 'normales'.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 13

Page 14: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Estadística Bayesiana − filosofía general En estadística Bayesiana, se usa la probabilidad subjetiva para las hipótesis:

Probabilidad a posteriori, i.e., despues de ver los datos

probabilidad a priori, i.e.,antes de ver los datos

Probabilidad de los datos asumiendo hipótesis H (el likelihood/probabilidad)

normalización envuelve suma sobre todas las hipótesis posibles

Teorema de Bayes tiene un caracter de “si-entonces”: Si tu probabilidad a priori fuera π(H), entonces te dice como esa probabilidad cambiará a la luz de los datos.

Ninguna prescripción general para los prioris (subjectivo!)

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 14

Page 15: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Variables aleatorias y funciones de densidad de probabilidad

Una variable aleatoria es una característica numérica asignada a un elemento del espacio de muestra; puede ser discreta o continua.

Supongamos que el resultado del experimento es el valor continuo x

→ f(x) = función de densidad de probabilidad (pdf)

O para resultados discretos xi con e.g. i = 1, 2, ... tenemos

x debe estar en alguna parte

función de probabilidad

x debe tomar uno de sus posibles valores

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 15

Page 16: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Función de distribución acumulativa

Probabilidad de tener un resultado menor o igual a x es

función de distribución acumulativa

Alternativamente definir pdf con

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 16

Page 17: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Histogramaspdf = histograma con

muestra infinita de datos,

bin de ancho cero,

normalizada a área unidad

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 17

Page 18: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Distribuciones multivariantes

Resultado de un experimento caracterizado por varios valores, por ej. un vector de n-componentes, (x1, ... xn)

pdf conjunta

Normalización:

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 18

Page 19: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

pdf marginalA veces sólo queremos pdf dealgunos (o uno) de los componentes:

→ pdf marginal

x1, x2 independiente si

i

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 19

Page 20: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

pdf marginal pdf (2)

pdf marginal ~ proyección de pdf conjunta en distintos ejes.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 20

Page 21: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

pdf conditional

A veces queremos considerar algunos componentes de la pdf conjunta como constante. Recordemos probabilidad condicional:

→ pdfs conditionales:

Teorema de Bayes se convierte en:

Recordar A, B independientes si

→ x, y independientes si

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 21

Page 22: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

pdfs conditional (2)Por ej. pdf conjunta f(x,y) usada para encontrar pdfs condicionales h(y|x1), h(y|x2):

Básicamente tratar algunos de las r.v.s como constante, entonces dividirla pdf conjunta por la pdf marginal de esas variables que se mantienen constantes, para que lo que quedó tenga la normalización correcta, por ej.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 22

Page 23: Análisis de Datos en Física de Partículas - LACDAEyEA · PDF filecurso-analisis-estadistico-de-datos-en-fisica-de-particulas-mf708/ Análisis de Datos en Física de Partículas:

Terminando Capítulo 1

Hasta ahora hemos hablado de algunas de las propiedades abstractas de

la probabilidad:

definición e interpretación,teorema de Bayes, ...

Y hemos definido las variables aleatorias (etiquetas numéricas parael resultado de un experimento), los cuales se describen utilizandofunciones de densidad de probabilidad.

Siguiente: Funciones de variables aleatorias, valores esperados.

J. Solano Clases de Análisis de Datos en Física de Partículas Capítulo 1 página 23