CLASIFICACIÓN JERÁRQUICA DE IMÁGENES

Iván Lillo Vallés

Profesores supervisores: Domingo Mery – Álvaro SotoViernes 28 de septiembre de 2012

1

Pontificia Universidad Católica de ChileDepartamento de Ciencias de la Computación

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

2

3

¿Para qué detectar objetos en imágenes?

Inspección

Vigilancia

Navegación

Interacción

Diversión

4

¿Para qué detectar objetos en imágenes?

5

¿Para qué detectar objetos en imágenes?

6

¿Para qué detectar objetos en imágenes?

© Google

http://techtalks.tv/talks/self-driving-cars/56391/

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

7

8

Aprendizaje de máquina (Machine Learning)

BD entrenamiento

Algoritmo de aprendizaje

• Sesgo – conocimiento previo• Espacio de hipótesis• Esquema de búsqueda

Evaluación

Tarea

9

Aprendizaje de máquina (Machine Learning)

Algoritmo de aprendizaje

• Sesgo – conocimiento previo• Espacio de hipótesis• Esquema de búsqueda

Sesgo

• Descripción• Esquema• Relaciones

Espacio de hipótesis

• Cómo uso los datos• Esquema de clasificador

Esquema de búsqueda

• Optimización• Exhaustiva• Greedy

10

Aprendizaje de máquina (Machine Learning)

Sesgo

• Descripción• Esquema• Relaciones

Detección de personas

HoG denso, con traslape (holístico)

Dalal & Triggs, CVPR 2005

11

Aprendizaje de máquina (Machine Learning)

Sesgo

• Descripción• Esquema• Relaciones

Detección de personas

Partes con patrones repetitivos: Poselets

Bourdev et al, ECCV 2009

12

Aprendizaje de máquina (Machine Learning)

Sesgo

• Descripción• Esquema• Relaciones

Detección de objetos

Información característica: objeto + pocas partes : Object detector de Felzenszwalb

Felzenszwalb et al, 2010

13

Aprendizaje de máquina (Machine Learning)

Sesgo

• Descripción• Esquema• Relaciones

Clasificación de escenas

Información característica: pequeñas partes (patrones) repetitivos en las imágenes (diccionario visual)

14

Aprendizaje de máquina (Machine Learning)

Sesgo

• Descripción• Esquema• Relaciones

Clasificación de escenas

Información característica: pequeñas partes (patrones) repetitivos en las imágenes (diccionario visual)

15

Aprendizaje de máquina (Machine Learning)

Espacio de hipótesis

• Cómo uso los datos• Esquema de clasificador

MODELO

Lineales

No lineales

ÁrbolesRedes

neuronales

FUNCIÓN X Y

16

Aprendizaje de máquina (Machine Learning)

BD entrenamiento

Algoritmo de aprendizaje

• Sesgo – conocimiento previo• Espacio de hipótesis• Esquema de búsqueda

Evaluación

Tarea

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

17

18

PROBLEMAS

Datos no estructurados Holístico

19

PROBLEMAS

Modelos de partes Anotaciones (poselets)

Sesgo (object detector Felzenszwalb)

Disjunción partes/clasificación

20

¿Es posible encontrar partes sin supervisión y que sean discriminativas?

Sin anotaciones

Útiles para clasificar

Sin sesgo que limite la búsqueda

Aprendizaje conjunto

21

Aprendizaje conjunto

PARTES

CLASIFICADORES CONSIDERANDO LAS PARTES

22

Aprendizaje conjunto

PARTES CLASIFICADORES CONSIDERANDO LAS PARTES

Regiones de imagen

Multiescala

Formas

Clasificadoreslineales

Puntaje (score) por cada región

23

Puntaje (score) para la imagen

Aprendizaje conjunto

PARTES CLASIFICADORES CONSIDERANDO LAS PARTES

Asignaciones de cada región

24

Regiones VectoresImagen

N regionesi = 1,…, N

fi describe región i

25

K partes

K clasificadores lineales (vectores)

L categorías

L clasificadores lineales (vectores)

Región i asignación 1,...,iz K

w

Descriptor: histograma de asignaciones ( )h z

Asignaciones unen partes y categorías

26

1

, ,i

NT T

y z i

i

E y

x z α h z w f

E° configuración

Definición de energía (score) por imagen

Score clasificadorimagen

Score partes contenidasen imagen= +

Imagen

Categoría

Asignaciones

Clasificadorcategoría

Histogramaasignaciones Clasificador

asignación zi

Descriptor región i

27

Tarea

E° configuracióncorrecta

E° configuraciónincorrecta>

1

, ,i

NT T

y z i

i

E y

x z α h z w f

, , , , ,j j j j i iE y E y i j x z x z

28

Búsqueda de parámetros optimización

, , , , ,j j j j i iE y E y i j x z x z

, , , ,j j j j i iE y E yx z x z , ,j i iy y z0 i j

2

21

L

l

l

αmin2

21

K

k

k

w

sujeto a

1

M

j

j

j

1 2 3

, 0j

29

Datos de entrada

M imágenes (xj ,yj), j = 1,…,M

Nj parches por imagen

Se busca

l, l = 1,…,L

wk, k = 1,…,K

zj, j = 1,…,M

30

Inferencia

* *

1,..., 11,...,

, arg maxN

T

i yk k ik K iy L

y z

w f

Dada imagen x, inferir categoría

31

Estimación inicial w0 , z0

Estimación |w, z

Actualizo z| ,w

Actualizo w| ,z

Estimación de parámetros

1

, ,i

NT T

y z i

i

E y

x z α h z w f

32

Estimación |w, z

Estimación de parámetros

, , , ,j j j j i iE y E yx z x z , ,j i iy y z i j

2

21

L

l

l

αmin

sujeto a

j

11

M

j

j

3

, 0j

33

Actualizo z| ,w

Estimación de parámetros

1

, ,i

NT T

y z i

i

E y

x z α h z w f

*

1,..., 1

arg maxN

T

i ys s is K i

z

w f

34

Actualizo w| ,z

Estimación de parámetros

, , , ,j j j j i iE y E yx z x z , ,j i iy y z i j

min

sujeto a

j

2

21

K

k

k

w1

M

j

j

2 3

, 0j

35

Estimación inicial w0 , z0

Estimación |w, z

Actualizo z| ,w

Actualizo w| ,z

Estimación de parámetros

Parámetros estimados

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

36

37

Caltech-4 (crops)

4 categorías

K = 200 (partes)

Esquema piramidal consistencia espacial

50% datos entrenamiento / 50% prueba

99.93% rendimiento (1 error de 1500 imágenes)

38

airplanes_side

faces motorbikes_side

cars

39

airplanes_side

faces motorbikes_side

cars

40

41

42

15 scenes categories

15 categorías

K = 750 (partes)

Esquema piramidal consistencia espacial

100 datos entrenamiento / resto prueba

78% rendimiento (81% estado del arte)

43

bedroom suburb industrial kitcken livingroom

coast forest highway inside_city mountain

open_country street tallbuilding office store

44

open_country

bedroom

suburb

industrial

kitcken

livingroom

coast

forest

highway

inside_city

mountain

street

tallbuilding

store

office

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

45

46

Mejorar modelo

Nivel intermedio jerarquía partes/objetos

Planteamiento y resolución

Partes variables, multiescala

Nuevas pruebas y bases de datos

Publicar

Contenido

Motivación

Enfoques

Propuesta

Resultados preliminares

Trabajo futuro

Conclusiones

47

48

Esquema jerárquicoposee ventajas

Aprender partesdiscriminativas

Necesidad: mejoresformulaciones y procedimientos

Por mejorar: overfitting