Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada

Algoritmo de Reconocimiento de Objetos en Escenas Complejaspara Aplicaciones de Realidad Aumentada

Mario G. Canul Ku1

Página web: http://mariomgck.awardspace.com

Dr. Salvador Ruiz Correa2 Dr. Jean-Bernard Hayet2

Dr. Diego Jiménez Badillo21Autor,

2Asesores

Septiembre - 2013

Centro de Investigación

en Matemáticas, A.C.

http://mariomgck.awardspace.com

Identi�cación del problema

El reconocimiento de objetos en tiempo real, es de gran utilidad endiferentes tipos aplicaciones. Un ejemplo es una aplicación derealidad aumentada (RA), para desplegar información de maneravirtual a los visitantes de un museo a través de un dispositivo móvil.

Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 1/51

Aplicaciones

(a) Industria cinematográ�ca (b) Industria de videojuegos

(c) Robots de servicio (d) Información en museos


Motivación

Realizar una métodología que permita detectar múltiples objetos, entiempo real, para desarrollar aplicaciones de RA. El interés principales crear un sistema de RA enfocado al reconocimiento de piezasarqueológicas.


Objetivos

I Desarrollar una metodología para detectar, en tiempo real,objetos que aparecen en una secuencia de video. La detecciónse realiza utilizando la apariencia de los objetos.

I Desarrollar un sistema de software de detección de objetos, entiempo real, en particular piezas arqueológicas.

I Proporcionar interacción activa entre el usuario y los objetosen una aplicación de Realidad Aumentada.

I Realizar pruebas de reconocimiento de objetos in situ y ex situcomo evaluación del sistema.


Aportaciones

I Creación de una biblioteca enfocada a la detección de objetos,que integra bibliotecas especializadas en el procesamiento deimágenes y la generación de grá�cos por computadora.

I Desarrollo de un sistema de realidad aumentada enfocado alreconocimiento de piezas arqueológicas.

I Generación de contenido virtual que combina tecnologíasmultimedia, servicios web y base de datos.

I Inclusión de un nuevo sistema de realidad aumentada, concaracterísticas diferentes a los actualmente desarrollados.


Contenido

1 Introducción

2 Conceptos

3 Metodología

4 Resultados

5 Conclusiones


Reconocimiento de objetosIntroducción

El reconocimiento de objetos se enfoca a reconocer objetos particu-lares, como son calles, personas, edi�cios, montañas, etc. Para ellorequerimos que los objetos puedan ser representados a partir de car-acterísticas de los mismos.


Realidad aumentadaIntroducción

La RA se encarga de estudiar las técnicas que permiten integraren tiempo real contenido virtual con el mundo real, permitiendo alusuario ver el mundo real con objetos virtuales superpuestos.


Realidad aumentada HistoriaIntroducción

(e) IvanSutherland(1968)

(f) Artoolkit (1999)

(g) Robert Castle-PTAMM (2009)

(h) Google glass (2012)


Proceso de reconocimiento de objetosConceptos

Detección depuntos SIFT

ClasificaciónKNN

Características

ID de objeto

Homografía yCorrección dePerspectiva Ubicación estimada

del objeto

Evaluación

Ubicación correctadel objeto

Medicióndel

Error


Detector SIFTConceptos

Scale Invariant Feature Transform (SIFT), es una metodología quefue desarrollada por David Lowe y sus estudiantes, Lowe (1999). Estámetodología esta divida en tres fases, estas son:

I Detección de puntos extremos en el espacio de escalas.I Localización de los puntos característicos.I Asignación de orientación dominante.


Detector SIFT Detección de puntos extremos en el espacio de escalasConceptos

Figura: Imagen: http://areshmatlab.blogspot.mx/2010/07/details-behind-sift-feature-detection.html

Los puntos extremos son puntos en los cuales la imagen I(x, y)tiene máximos o mínimos locales. Para obtenerlos, se emplea unaaproximación del operador Laplaciano D(p).


http://areshmatlab.blogspot.mx/2010/07/details-behind-sift-feature-detection.html

Detector SIFT Asignación de orientación dominanteConceptos

Figura: Asignación de orientación dominanteImagen: Desarrollo de un sistema cognitivo de visión para la navegación robótica

I La asignación de orientación dominante se utilizará la imagenasociada al punto característico. Se calcula en una ventana de16x16 la magnitud del gradiente m(x, y) y la orientaciónθ(x, y).

I Las orientaciones se agrupan en forma de histograma,cualquier pico del histograma que exceda el 80% se tomacomo posible orientación dominante del punto característico.


Descriptor SIFTConceptos

Figura: Descriptor SIFT.Imagen: https://picasaweb.google.com/lh/photo/vyaYFzPsGz6RzldJnvEaDQ

El descriptor SIFT corresponde a un vector d ∈ R128, se generacon las orientaciones de gradiente de una vecindad de 16 × 16 píx-eles, centrada en el punto característico y rotada por su orientaciondominante.


https://picasaweb.google.com/lh/photo/vyaYFzPsGz6RzldJnvEaDQ

Proceso de reconocimiento de objetos Clasi�caciónConceptos


ClasificaciónKNN

Características

ID de objeto


del objeto

Evaluación


Medicióndel

Error


Clasi�caciónConceptos

Figura: Problema de clasi�cación


Clási�cación de vecino más cercano KNNConceptos

? q

d1 d2 d3

d4

d5

d6

d7d8

d9d10

d11

d1

d2

El problema de clasi�cación de vecino más cercano (K-Nearest-NeighborKNN), consiste en: Dado un dato q a buscar y un conjunto de datosP, encontrar sus k datos más cercanos. El dato q es clasi�cado conla etiqueta que más se repite en los k datos más cercanos.


Particionamiento del espacio de datosConceptos

Figura: Base canónica.Imagen: http://cbase�s2bt.wikispaces.com/�le/view/Dibujo.GIF/31480951/Dibujo.GIF

Debido a la complejidad computacional de la búsqueda lineal, se hanpropuesto métodos de particionamiento del espacio de los datos y asíorganizar los datos en una estructura de árbol.

El espacio de los datos es generado a partir de una base canónica,con vectores canónicos ei, cuya i-ésima componente es igual a unoy las demás son cero.


http://cbasefis2bt.wikispaces.com/file/view/Dibujo.GIF/31480951/Dibujo.GIF

Particionamiento del espacio de datos Árbol KDConceptos

Figura: Conjuno de datos P = {(2, 3), (5, 4), (9, 6), (4, 7), (8, 1), (7, 2)},con espacio a particionar.Imagen: http://mind.kaist.ac.kr/Francis/project2.html


http://mind.kaist.ac.kr/Francis/project2.html

Particionamiento multidimensional del espacioConceptos

I El particionamiento del espacio genera un árbol con cuatrosubarboles KD aleatorios como rami�caciones. Cada subárbolKD mantiene un subconjunto de datos organizados.

I El particionamiento se realiza al obtener los primeros cincovectores ei donde los datos tienen una mayor varianza, deestos se escoge aleatoriamente un ei. Posteriormente se �jacomo umbral el promedio de los datos, Muja y Lowe (2009).


Clási�cación de vecino más cercano MultidimensionalConceptos

Figura: Clási�cación de vecino más cercano, multidimensional.Imagen: Silpa-Anan y Hartley (2008)

I La búsqueda se realiza al recorrer cada uno de los subarboles.En cada subárbol KD el recorrido inicia desde la raíz y seobtiene en cada nodo el vector ei, Muja y Lowe (2009).

I Se veri�ca si la i-ésima componente del dato q se encuentra ala derecha o a la izquierda del promedio. Con ello se elige elnodo y se inicia el descenso al siguiente nivel.


Clási�cación de vecino más cercano MultidimensionalConceptos

I Se inserta en una cola de prioridades la distancia entre lasi-ésimas componentes de q y d.

I La cola se emplea para truncar el descenso a un nivel deprofundidad y elegir el subárbol cuyo nodo contenga el datomás cercano a q. Al �nalizar la búsqueda devuelve los vecinosque se encuentran más proximos al dato a buscar,Muja y Lowe(2009).


Clási�cación de vecino más cercano SelecciónConceptos

? q

d1 d2 d3

d4

d5

d6

d7d8

d9d10

d11

d1

d2

La búsqueda se realiza para k = 2 vecinos y el vecino más cercano esaquel cuya distancia es menor que τ veces la distancia del segundo,es decir, d1 <= τd2, Lowe (2004).

A partir del resultado de la búsqueda se realiza una correspondenciaentre d y q, denotada como (x,x′).


Proceso de reconocimiento de objetos Homografía y Corrección deperspectiva

Conceptos


ClasificaciónKNN

Características

ID de objeto


del objeto

Evaluación


Medicióndel

Error


Homografía Corrección de perspectivaConceptos


Estimación de la homografía Procedimiento estándarConceptos

Para obtener la homografía H que relaciona los planos del objetoentre imágenes se realiza lo siguiente:

I Establecer correspondencias aplicando un método de búsquedade correspondencias.

I Aplicar RANSAC para estimar la homogra�a, internamente usael algoritmo DLT para agrupar las falsas correspondencias delas buenas.

I Aplicar un metodo iterativo (Levenberg-Marquardt) parareducir el error de estimación de la homogra�a.


Proceso de reconocimiento de objetos EvaluaciónConceptos


ClasificaciónKNN

Características

ID de objeto


del objeto

Evaluación


Medicióndel

Error


Evaluación Criterios de evaluaciónConceptos

Para evaluar nuestra clasi�cación utilizamos los siguientes criterios:

I Cálculo del número de falsos positivos FP , falsos negativosFN , verdaderos positivos TP y verdaderos negativos TN .

I Curvas de con�abilidad generadas a partir de una medida decon�abilidad.

I Curva de Medida-F generada a partir de la sensibilidad y laprecisión de la clasi�cación.


Proceso de detección de objetos Medición del errorConceptos


ClasificaciónKNN

Características

ID de objeto


del objeto

Evaluación


Medicióndel

Error


Evaluación Medida de con�abilidadConceptos

El vector X = [v1, v2, v3, v4] corresponde a la posición correctadonde esta ubicado el objeto en la escena, y X ′ corresponde a laposición estimada. Entonces dado que X e X ′ delimitan regionesA1 y A2 respectivamente, de�nimos una medida de con�abilidadcomo:

ε =|A3|

|A1 ∪A2|

v1 v2

v3v4

A1

A2

A3


Evaluación Curva de con�abilidadConceptos

0

0.2

0.4

0.6

0.8

1

20 40 60 80 100 120 140 160 180 200

Con�abilidad

It

Curva de con�abilidad

La curva de con�abilidad se obtiene al calcular la medida decon�abilidad ε en cada imagen It a evaluar. Con ello podemos versi la detección se realiza de manera con�able.


Evaluación Medida-FConceptos

La medida F es una medida de exactitud de una prueba o precisióny se de�ne como:

Fβ = (1 + β2) · VPP · Sensibilidad(β2 ·VPP) + Sensibilidad

.

La precisión o valor predictivo positivo (VPP), es una razón que midela proporción de verdaderos positivos con respecto a los falsos posi-tivos y la sensibilidad nos indica el porcentaje de obtener verdaderospositivos cuando realmente lo son, estas se de�nen:

Sensibilidad =TP

TP + FN, V PP =

TP

TP + FP.


Evaluación Curva de Medida-FConceptos

0

0.2

0.4

0.6

0.8

1

0 0.5 1 1.5 2

Medida-F

τ

Curva de Medida-F

β = 0.5

La curva de medida-F se obtiene al calcular la medida-F en cada ima-gen It a evaluar. La medida-F se obtiene en en función del parámetroτ del clasi�cador de vecino más cercano.


Metodología propuestaMetodología


ClasificaciónK-NN

Descriptores

ID de objeto

Estimación dela homografía

y corrección dela perspectiva

Ubicación delobjeto, ID +

Interacción(x,y)

Render

Rendering

+ +

Identificación decontenido específico


Establecimiento de correspondenciasMetodología

La etapa de detección de puntos SIFT nos proporciona un conjuntode descriptores, con ellos establecemos correspondencias entre losdescriptores de la escena y los de cada objeto.

(a) Detección de puntosSIFT

(b) Clasi�cación por KNN


Estimación de la homografía y corrección de laperspectiva

Metodología

En esta etapa, estimamos una homografía H a partir las correspon-dencias de cada objeto. Usamos H para corregir la perspectiva delcontorno del objeto y así obtener una estimación de su posición.

(c) Estimación de homografía (d) Contorno en perspectiva


Interacción con el usuarioMetodología

La interacción se realiza al seleccionar un objeto con un punto (x, y),si éste punto se encuentra contenido en el polígono, es posible asociarla acción de colorear la región de interés.

(e) Región de interés delimitada porun polígono complejo.

(f) Región de interés coloreada.


Visualización de informaciónMetodología

Finalmente, cuando el usuario selecciona una región de interés, conbase al ID del objeto, se visualiza mediante una página web toda lainformación relacionada al objeto.

Figura: Despliegue de información del objeto a través de una página web.


ExperimentoResultados

El experimento consiste en tener un objeto �jo en una escena estática,sin cambios de iluminación y una cámara en movimiento libre. Seconsidera que el objeto no se encuentra todo el tiempo en la escena.

Figura: Objeto a detectar



TN% TP% Sensibilidad Especi�cidad τ

35/200 0/0 0 1 0.20035/104 95/96 0.579268 0.972222 0.40029/32 159/168 0.981481 0.763158 0.60018/42 113/158 0.824818 0.285714 0.80032/95 31/105 0.329787 0.301887 1.00032/95 31/105 0.329787 0.301887 1.20032/95 31/105 0.329787 0.301887 1.40032/95 31/105 0.329787 0.301887 1.60032/95 31/105 0.329787 0.301887 1.80032/95 31/105 0.329787 0.301887 2.000

Cuadro: Resultados obtenidos a partir diferentes valores de τ .



0

0.2

0.4

0.6

0.8

1

20 40 60 80 100 120 140 160 180 200

Con�abilidad

It

Curva de con�abilidad

(a) Curvas de con�abilidad para τ =0.6

0

0.2

0.4

0.6

0.8

1

0 0.5 1 1.5 2

Medida-F

τ

Curva de Medida-F

β = 0.5

(b) Curva de Medida-F.


Coloreado de piezas arqueológicasResultados

Una pieza arqueológica, debido al paso del tiempo sus pigmentos sedeterioran y son pocos visibles. Por ello se desarrolló una aplicaciónde RA que ejempli�qué el coloreado de una pieza arqueológica.

(c) Coyolxauhqui de referencia. (d) Coyolxauhqui coloreado.

Figura: Coloreo del monolito Coyolxauhqui.Imágenes: Cortesía de Marco Armenta [email protected]



En las salas de exhibición es común encontrar personas que ocluyanuna o varias piezas. Entonces un visitante únicamente logrará veruna parte de la pieza ocluida.

(a) Sol Azteca de referencia. (b) Sol Azteca coloreado.

Figura: Coloreo de la piedra del Sol Azteca.Imágenes: Cortesía de Marco Armenta [email protected]



Figura: Vídeo del coloreado de la piedra del Sol Azteca.Imágenes: Cortesía de Marco Armenta [email protected]


https://www.dropbox.com/s/docu32yf86w3cqv/SolAzteca.mpeg

Información asistencial a visitantes de museosResultados

I Uno de nuestros objetivos fue crear un sistema de RA aplicadoa la arqueología. Éste se desarrolló con la �nalidad de detectare identi�car piezas aqueológicas de la sala 5 del Museo delTemplo Mayor.

I El sistema hace uso de tecnologías web para enriquecer elcontenido mediante mapas satelitales, visión de calle,información del estado del clima y vídeos.


Información asistencial a visitantes de museos VídeosResultados

(a) Mural 1 - Adoratorio a Tláloc. (b) Brasero de Tláloc.

Figura: Detección de piezas arqueológicas exhibidas en la sala 5 delMuseo del Templo Mayor.Imágenes: Cortesía del museo del Templo Mayor de la Ciudad de México


https://www.dropbox.com/s/yc5jhlk4ha09j5a/pza001.mp4

https://www.dropbox.com/s/9c1smbnu31cp6om/pza003.mp4

ConclusionesConclusiones

I Los puntos y descriptores SIFT son los más adecuados yrobustos para representar a un objeto de manera única.

I Los objetos que contienen información su�ciente de textura yde bordes, son los más factibles de detectar en escenascomplejas.

I Los mejores resultados de la clasi�cación se obtuvieron usandouna razón τ = 0.6, sin importar la cantidad de objetos adetectar.

I Usar un clasi�cador KNN facilita modi�car el conjunto deentrenamiento, sin necesidad de realizar cálculos adicionales delos parámetros.

I Señalizar los contornos del objeto mediante un polígonocomplejo, permita una interacción natural del usuario con elsistema.


Trabajo futuroConclusiones

I Realizar una investigación de las actuales metodologías quecombinen características globales y locales para la detección deobjetos.

I Hacer una revisión bibliográ�ca de las actuales metodologíasque hacen uso de bolsa de palabras visuales.

I Investigar sobre metodologías de detección de objetos conpoca información de textura y de bordes, en particularqueremos poder detectar máscaras de manera única.


Trabajo futuroConclusiones

I Aplicar técnicas de seguimiento que involucren modelosdinámicos de movimiento, con los cuales nos permita predicirla posición de un objeto.

I Desarrollar una aplicación en un dispositivo móvil que puedaemplear los actuales Google Glass.

I Implementar los algoritmos para que su ejecución sea entarjeta grá�ca. Esto conllevaría un gran aumento en lae�ciencia de todo el proceso de la detección de objetos.


½½½½½½½ Gracias !!!!!!!!


Referencias IConclusiones

Monroy, F. J., Jiménez, J. A. A., Sánchez, J. J. C., Fernández, D. V., Linares, L. J., Molina, F. J. V.,Alises, D. V., Morcillo, C. G., y Wattenberg, G. S. (2012). Desarrollo de Videojuegos 4: Desarrollode Componentes. Universidad de Castilla, ISBN: 978-84-686-1060-3.

Muja, M. y Lowe, D. G. (2009). Fast approximate nearest neighbors with automatic algorithmcon�guration. En International Conference on Computer Vision Theory and ApplicationVISSAPP'09), páginas 331�340. INSTICC Press.

Lowe, D. G. (1999). Object recognition from local scale-invariant features. En Proceedings of theInternational Conference on Computer Vision-Volume 2 - Volume 2, ICCV '99, páginas 1150�1157,Washington, DC, USA. IEEE Computer Society.

Hartley, R. I. y Zisserman, A. (2004). Multiple View Geometry in Computer Vision. CambridgeUniversity Press, ISBN:0521549518.

Lowe, D. G. (2004). Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision,60(2):91�110.

Harris, C. y Stephens, M. (1988). A combined corner and edge detector. En Proceedings of the AlveyVision Conference, University of Manchester, páginas 147�151. The Plessey Company.

Silpa-Anan, C. y Hartley, R. (2008). Optimised kd-trees for fast image descriptor matching. EnComputer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on, páginas 1�8.


Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada

Education

Transcript of Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada