CONSTRUCCIÓN EN

LÍNEA E INCREMENTAL

DE DICCIONARIOS

VISUALES

Cristóbal Rojas

Profesor Guía: Álvaro Soto

26 de octubre de 2012

Motivación

• Visión por computador, clasificación

• Escenas y objetos en imágenes

• Técnicas usadas

Diccionario Visual

• Visión por Computador

BoW (Bag of Word)

• Usado en Text Mining

• Queremos clasificar textos (según sus temas)

• Uso de Bag of Word (BoW)

Bag of Word

• Usando BoW para clasificar

Bag of Word

• Diccionario y representación usando BoW

Bag of Word

• ¿Basta solo con la representación BoW?

• Necesitamos un algoritmo de clasificación

ML (Machine Learning)

Diccionario Visual

• Palabras Visuales

• BoW

Palabras Visuales

Palabras Visuales

BoW

BoW

Diccionario Visual

• ¿Cómo formamos el BoW?

• Matching de puntos de interés

Matching de puntos de interés

• Actualmente es tratado como un problema de

clasificación de múltiples clases.

• Lepetit et al. (2005)

Randomized Tree for Real –Time

Keypoint Recognition

• Matching de puntos de interés, problema de clasificación

• Usa Random Forest

Randomized Tree for Real –Time

Keypoint Recognition

• Set de entrenamiento

Randomized Tree for Real –Time

Keypoint Recognition

Pregunta de Investigación

• ¿Podemos construir un algoritmo de matching de puntos

de interés que funcione en línea?

Propuesta

• ¿Podemos crear un diccionario visual que se pueda

actualizar en línea?

• ¿Qué necesitamos para permitir que esto ocurra?

Propuesta

• Buscamos Clasificador de múltiples clases que funcione

en línea

• ECOC

ECOC (Error Correcting Output Codes)

• Clasificador de múltiples clases.

• Separa el problema en muchas clasificaciones binarias.

• Un código ternario a cada clase

• Codificación, Decodificación, Matriz de códigos.

Matriz con Códigos

• Columnas como particiones y tantas filas como clases,

esta formada por 0, 1 y -1

Codificación

• Etapa que genera los códigos de cada clase.

• Existen diversas formas de realizar esta tarea

ECOC: Decodificación

• Etapa de inferencia

• Distintos métodos

ECOC online

• Podemos incluir clases al clasificador sin necesidad de

reentrenar todo el clasificador

ECOC online

Propuesta

• Construir sistema de Matching de puntos clave usando un

clasificador ECOC

Set de entrenamiento

• Datos de lugares del DCC

• Usando SIFT para encontrar puntos de interés

Set de entrenamiento

• Crear Set de clases de los puntos de interés usando

homografías

Codificación

• One vs One

Decodificación

• Weighted decoding

Limitaciones

• Complejidad (tiempo-espacio)

Pasos a seguir

• Terminar de formular un clasificador que puede agregar

puntos de interés de manera online

• Construir el algoritmo que permita verificar si un punto es

nuevo o no

CONSTRUCCIÓN EN

LÍNEA E INCREMENTAL

DE DICCIONARIOS

VISUALES

Cristóbal Rojas

Profesor Guía: Álvaro Soto

26 de octubre de 2012