Post on 10-Nov-2018
Tema 5: Evaluación de Modelos deClasificación Supervisada
Pedro Larranaga, Inaki Inza, Abdelmalik Moujahid
Departamento de Ciencias de la Computacion e Inteligencia Artificial
Universidad del Paıs Vasco
http://www.sc.ehu.es/isg/
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 1/20
Evaluación de Modelos de Clasificación Supervisada
• Introducción• Estimación de la probabilidad de clasificación
correcta• Brier score• La curva ROC
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 2/20
Introducción
Clasificación Supervisada
X1 . . . Xn C
(x(1), c(1)) x(1)1 . . . x
(1)n c(1)
(x(2), c(2)) x(2)1 . . . x
(2)n c(2)
. . . . . . . . .
(x(N), c(N)) x(N)1 . . . x
(N)n c(N)
x(N+1) x
(N+1)1 . . . x
(N+1)n ???
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 3/20
IntroducciónClasificación Supervisada
X1 . . . Xn C CM
(x(1), c(1)) x(1)1 . . . x
(1)n c(1) c
(1)M
(x(2), c(2)) x(2)1 . . . x
(2)n c(2) c
(2)M
. . . . . . . . . . . .
(x(N), c(N)) x(N)1 . . . x
(N)n c(N) c
(N)M
Número de aciertos:∑N
i=1 δ(c(i), c(i)M )
δ(c(i), c(i)M ) =
1 si c(i) = c(i)M
0 si c(i) 6= c(i)M
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 4/20
Introducción
C Clase real+ -
+ a bCM Clase predicha
- c d
• Tasa de acierto: a+da+b+c+d
• Tasa de error: c+ba+b+c+d
• Proporción de verdaderos positivos (sensibilidad): aa+c
• Proporción de verdaderos negativos (especifidad): db+d
• Proporción de falsos positivos: ba+c
• Proporción de falsos negativos: cb+d
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 5/20
Estimación de la probabilidad de clasificación correcta
Algoritmo Inductor M p ˆ 1
N
1
N
1 X n X C M C 1 X n X C
M
pM =1
N
N∑
i=1
δ(c(i) = c(i)M )
Método no honesto de estimación
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 6/20
Estimación de la probabilidad de clasificación correcta
Testeo
Entrenamiento
M p ˆ
1
N 1 1 N
N
1 X n X C M C
1 X n X C
1
1 N
1 X n X C
Entrenamiento Algoritmo Inductor M
pM =1
N − N1
N−N1∑
i=1
δ(c(N1+i) = c(N1+i)M )
Método H de estimación basado en entrenamiento ytesteo
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 7/20
Estimación de la probabilidad de clasificación correcta
1 ˆ p 1
1 N
1 X n X C Algoritmo Inductor
N
1 X n X C B M C
N
1 X n X C 1 M C
1
1 N
1 X n X C
1 M
Algoritmo Inductor B M
B p ˆ
1
N
1 X n X C 1ª partición
B-ésima partición M
Algoritmo inductor
pM =1
B
B∑
i=1
pi
Método de estimación H repetidas veces
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 8/20
Estimación de la probabilidad de clasificación correcta
Algoritmo Inductor 1 M
Algoritmo Inductor
Algoritmo Inductor
Algoritmo Inductor 4 M
2 M
3 M
1er fold
2º fold
3er fold 4º fold
1 X n X C
1 X n X C
1 X n X C
1 X n X C
1 X n X C
1 p
2 p
3 p
4 p M
Algoritmo inductor
pM =1
k
k∑
i=1
pi
Método de estimación basado en k rodajas (k–fold crossvalidation). Si k = N leave one out
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 9/20
Estimación de la probabilidad de clasificación correcta
1 X n X C Algoritmo Inductor
1 X n X C B M C
N
1 X n X C 1 M C
1 X n X C
1 M
Algoritmo Inductor B M
1
N
1 X n X C
M
1
N
1
N
1
N
1
D
1 D
B D
1 D
B D
1 X n X C B M C
1 X n X C B M C
1 N
B N
1
1
1 \ D D
B D D \
a p , 1
0 , ˆ B p
0 , 1 p
a B p , ˆ
Algoritmo inductor
1ª muestra con reemplazamiento
B-esima muestra con reemplazamiento
pa = 1B
∑B
i=1 pi,a p0 = 1B
∑B
i=1 pi,0
pM = p0,632Bo = (0,368pa + 0,632p0)
Método de estimación 0,632 booststrapingTema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 10/20
Estimación de la probabilidad de clasificación correcta
Sobre los distintos métodos:
• Método H: utilizarlo con N grande
• Método H repetidas veces: no hay control sobre loscasos usados como entrenamiento (testeo)
• Método de estimación basado en k rodajas (k–foldcross validation): estimación insesgada de laprobabilidad de acierto, pero con alta varianza
• Método de estimación 0,632 booststraping: insesgadaen el límite y con baja varianza
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 11/20
Brier score
X1 . . . Xn C p(CM = 0|x) p(CM = 1|x)
(x(1), c(1)) x(1)1 . . . x
(1)n 1 0, 18 0, 82
(x(2), c(2)) x(2)1 . . . x
(2)n 0 0, 51 0, 49
. . . . . . . . . . . .
(x(N), c(N)) x(N)1 . . . x
(N)n 1 0, 55 0,45
B =1
N
N∑
i=1
2∑
c=1
[p(CM = c|x(i)) − δ(c(i), c(i)M )]2
B = 1N
[(0, 18− 0)2 + (0, 82− 1)2 + (0,51− 1)2 + (0,49− 0)2 +
... + (0, 55 − 0)2 + (0,45 − 1)2]
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 12/20
Brier score
• Medida de la calibración para un clasificador queasigne, para cada patrón, probabilidades a posteriori acada valor de la clase
• Suponiendo que la clase real del patrón x es 0, setrata de distinguir:
p(CM = 0|x) = 0,51 y p(CM = 0|x) = 0,97
• Interesa clasificadores con bajo valor de Brier(bastante seguros en sus predicciones)
• Para problemas con 2 clases: 0 ≤ B ≤ 2
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 13/20
La curva ROCEvaluación sensible al coste
• En muchas situaciones los dos tipos de error que puede cometer un clasificadorno tienen las mismas consecuencias• Dejar cerrada una válvula en una central nuclear, cuando es necesario
abrirla, puede provocar una explosión, mientras que abrir una válvula cuandopuede mantenerse cerrada, puede provocar una parada de la central
• Matriz de costes
C Clase realabrir cerrar
ABRIR 0 100 eCM Clase predicha
CERRAR 2000 e 0
• Lo importante no es obtener un clasificador que falle lo menos posible, sino unoque tenga coste menor
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 14/20
La curva ROC
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 15/20
La curva ROC• En muchas situaciones es difícil estimar la matriz de
costes
• Análisis ROC (Receiver Operating Characteristic)
• Usado por vez primera para evaluar radares en lasegunda guerra mundial
• Posteriormente se usó para el análisis de respuestade transistores
• A partir de 1970 se usa para aplicaciones dediagnóstico médico
• A finales de los 90 se comienza a usar en mineríade datos
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 16/20
La curva ROC•
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 17/20
La curva ROC
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 18/20
La curva ROC
• Convex hull (casco convexo) a partir de la poligonaluniendo varios puntos (FPR, TPR)
• Dichos puntos pueden provenir de variosclasificadores o de un mismo clasificador (variando elumbral)
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 19/20
La curva ROCSeleccionando el mejor clasificador
• Si cada punto de la curva ROC representa un clasificador:escoger el que tenga mayor valor de: FPcost
FNcost· Neg
Pos
• Si cada punto de la curva ROC corresponde a un umbral con elque se toma la decisión: seleccionar el clasificador con mayorárea bajo la curva (AUC)
Tema 5: Evaluacion de Modelos de Clasificacion Supervisada– p. 20/20