SMM 2013 (Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad...
19
1 2 2 2 1 2
description
Salvador Ruiz Correa (https://www.cimat.mx/~src/), Jean Bernard Hayet (https://www.cimat.mx/~jbhayet/) and Diego Jiménez Badillo (http://archaeology.asu.edu/tm/Pages/equipodiego.html). Resumen: La capacidad de reconocer objetos en tiempo real es de gran utilidad en aplicaciones en visión computacional. Por ejemplo en aplicaciones de Realidad Aumentada, la cual estudia las técnicas que permiten integrar, en tiempo real, contenido virtual con el mundo real, a través de un dispositivo, como una computadora portátil o un dispositivo móvil. El presente trabajo propone una metodología para el reconocimiento de objetos, utilizando descriptores SIFT para representar a un objeto y un esquema de vecino más cercano para clasificar aquellos puntos sobresalientes en una escena que correspondan a un objeto, para posteriormente estimar la ubicación del mismo. Al conocer una estimación de la ubicación del objeto, podemos crear diferentes aplicaciones que utilicen la ubicación estimada para realizar alguna acción. En particular desarrollamos un sistema de Realidad Aumentada como parte de nuestro trabajo de investigación. Este sistema funge de asistencia a visitantes de museos, particularmente el Museo del Templo Mayor de la Ciudad de México. El sistema diseñado cuenta con una interfaz gráfica, la cual utiliza la ubicación del objeto para dibujar sobre su contorno un polígono complejo para señalizar que el objeto ha sido reconocido. De esta forma la interacción del usuario con el sistema es natural y dinámica. La interacción se da cuando el usuario selecciona al objeto, en ese momento se despliega información acerca del objeto a través de una página web que contiene elementos multimedia, mapas satelitales, visión de calle y vídeos. Como parte de nuestros resultados generamos diferentes vídeos donde se muestra el funcionamiento del sistema, estos se pueden consultar en la siguiente dirección web (http://mariomgck.awardspace.com/).
Transcript of SMM 2013 (Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad...
Algoritmo de Reconocimiento de Objetos en Escenas Complejaspara Aplicaciones de Realidad Aumentada
Mario G. Canul Ku1
Página web: http://mariomgck.awardspace.com
Dr. Salvador Ruiz Correa2 Dr. Jean-Bernard Hayet2
Dr. Diego Jiménez Badillo2
1Autor,
2Asesores
XLVI Congreso de la Sociedad Mexicana de MatemáticasOctubre 2013, Mérida, Yuc.
Centro de Investigación
en Matemáticas, A.C.
Motivación
Realizar una métodología que permita reconocer múltiples objetos, entiempo real, para desarrollar aplicaciones de RA. El interés principales crear un sistema de RA enfocado al reconocimiento de piezasarqueológicas.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 1/18
Contenido
1 Introducción
2 Conceptos
3 Metodología
4 Resultados
5 Trabajo futuro
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 2/18
Reconocimiento de objetosIntroducción
El reconocimiento de objetos se enfoca a reconocer objetos partic-ulares, y para reconocerlos, requerimos que los objetos puedan serrepresentados a partir de características de los mismos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 3/18
Realidad aumentadaIntroducción
La RA se encarga de estudiar las técnicas que permiten integraren tiempo real contenido virtual con el mundo real, permitiendo alusuario ver el mundo real con objetos virtuales superpuestos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 4/18
Metodología propuestaConceptos
Detección depuntos SIFT
ClasificaciónK-NN
Descriptores
ID de objeto
Estimación dela homografía
y corrección dela perspectiva
Ubicación delobjeto, ID +
Interacción(x,y)
Render
Rendering
+ +
Identificación decontenido específico
Imagen de unaescena con objetos
de interés
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 5/18
Detector SIFTConceptos
Scale Invariant FeatureTransform (SIFT), Lowe(1999), es unametodología esta divida encuatro fase:
I Detección de puntosextremos en elespacio de escalas.
I Localización de lospuntos característicos.
I Asignación deorientacióndominante.
I Generación deldescriptor.
(a) Espacio de escalas
(b) Descriptor SIFT
Figura: Imágenes:http://areshmatlab.blogspot.mx/2010/07/details-behind-sift-feature-detection.htmlhttps://picasaweb.google.com/lh/photo/vyaYFzPsGz6RzldJnvEaDQ
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 6/18
Clasi�caciónConceptos
Figura: Problema de clasi�cación
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 7/18
Clási�cación de vecino más cercano KNNConceptos
? q
d1 d2 d3
d4
d5
d6
d7d8
d9d10
d11
d1
d2
El problema de clasi�cación de vecino más cercano (K-Nearest-NeighborKNN), consiste en: Dado un dato q a buscar y un conjunto de datosP, encontrar sus k datos más cercanos. El dato q es clasi�cado conla etiqueta que más se repite en los k datos más cercanos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 8/18
Homografía Corrección de perspectivaConceptos
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 9/18
Establecimiento de correspondenciasMetodología
La etapa de detección de puntos SIFT nos proporciona un conjuntode descriptores, con ellos establecemos correspondencias entre losdescriptores de la escena y los de cada objeto.
(a) Detección de puntosSIFT
(b) Clasi�cación por KNN
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.Imágenes: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 10/18
Estimación de la homografía y corrección de laperspectiva
Metodología
En esta etapa, estimamos una homografía H a partir las correspon-dencias de cada objeto. Usamos H para corregir la perspectiva delcontorno del objeto y así obtener una estimación de su posición.
(a) Estimación de homografía (b) Contorno en perspectiva
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.Imágenes: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 11/18
Interacción con el usuarioMetodología
La interacción se realiza al seleccionar un objeto con un punto (x, y),si éste punto se encuentra contenido en el polígono, es posible asociarla acción de colorear la región de interés.
(a) Región de interés delimitada porun polígono complejo.
(b) Región de interés coloreada.
Figura: Piezas arqueológicas de la sala 5 del Museo del Templo Mayor.Imágenes: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 12/18
Visualización de informaciónMetodología
Finalmente, cuando el usuario selecciona una región de interés, conbase al ID del objeto, se visualiza mediante una página web toda lainformación relacionada al objeto.
Figura: Despliegue de información del objeto a través de una página web.Imágen: Caracol Marino, cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 13/18
Coloreado de piezas arqueológicasResultados
Una pieza arqueológica, debido al paso del tiempo sus pigmentos sedeterioran y son pocos visibles. Por ello se desarrolló una aplicaciónde RA que ejempli�ca el coloreado de una pieza arqueológica.
Figura: Vídeo del coloreado de la piedra del Sol Azteca.Imágenes: Cortesía de Marco Armenta [email protected]
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 14/18
Información asistencial a visitantes de museosResultados
Otra aplicación de nuestro trabajo fue el desarrolló un sistema quereconoce e identi�car piezas aqueológicas de la sala 5 del Museo delTemplo Mayor.
Figura: Detección de piezas arqueológicas exhibidas en la sala 5 delMuseo del Templo Mayor.Imagen: Cortesía del Museo del Templo Mayor de la Ciudad de México
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 15/18
Trabajo futuroTrabajo futuro
I Aplicar técnicas de seguimiento que involucren modelosdinámicos de movimiento, con los cuales nos permita predicirla posición de un objeto.
I Desarrollar una aplicación en un dispositivo móvil que puedaemplear los actuales Google Glass.
I Implementar los algoritmos para que su ejecución sea entarjeta grá�ca. Esto conllevaría un gran aumento en lae�ciencia de todo el proceso de la detección de objetos.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 16/18
½½½½½½½ Gracias !!!!!!!!
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 17/18
Referencias ITrabajo futuro
Lowe, D. G. (1999). Object recognition from local scale-invariant features. En Proceedings of theInternational Conference on Computer Vision-Volume 2 - Volume 2, ICCV '99, páginas 1150�1157,Washington, DC, USA. IEEE Computer Society.
Algoritmo de Reconocimiento de Objetos en Escenas Complejas para Aplicaciones de Realidad Aumentada 18/18
