Seminario de Titulacin II

Librera de mtodos de Realidad Aumentada optimizada para dispositivos

mviles inteligentes

Por: Enrique Israel Hernndez Meza.

Director: Dr. Froyln Mario Espinoza Escalante

30 Agosto 2011

Resumen

En la actualidad la industria ha puesto en el mercado millones de dispositivos mviles

inteligentes que integran cmaras, sensores de movimiento, orientacin,

posicionamiento y procesadores con capacidades para ser considerados con el

propsito de resolver algoritmos matemticos complejos, de visin, en manipulacin de

imgenes en tiempo real y ser utilizados en un sin nmero de aplicaciones con diversos

usos. El presente protocolo propone una librera de mtodos que agrupe algoritmos

optimizados para estos dispositivos y sean utilizados como herramienta para el

aprovechamiento de la realidad aumentada, adems de facilitar los beneficios que esta

tecnologa ha demostrado en centros de investigacin e influya con un impacto

econmico positivo en: entrenamiento mdico especializado, educacin, de uso militar,

diseo de productos, arquitectura, construccin, compras, manufactura. En general

cualquiera que requiera la visualizacin de objetos virtuales en ambientes reales y su

interaccin en el mundo cotidiano, podr hacer uso de esta tecnologa.

Antecedentes

La Realidad Aumentada (RA) es una tecnologa de cmputo que permite la interaccin

de objetos inexistentes con entornos reales; la cual usa los principios de la realidad

virtual, ya que permite el modelado de objetos computacionales en segunda y tercera

dimensin (2D y 3D), con la diferencia sustancial de que reemplaza la inmersin de

ambientes virtuales, por ambientes cotidianos del mundo real [7]. Ya que la RA es una

tecnologa que superpone objetos inanimados sobre espacios visuales en tiempo real

[1], permite llevar acabo la experimentacin y visualizacin de objetos virtuales en

etapas previas al desarrollo y usarlas en entrenamiento, recreacin, anlisis etc. Ya sea

en desactivacin de bombas, aprendizaje de cirugas de alto riesgo, entrenamiento

para el bombardeo militar, creacin de infraestructura arquitectnica y proyectar las

imgenes en diversos dispositivos para su observacin: ya sea en pantallas,

dispositivos mviles, observadores visuales de inmersin (HMD, por sus siglas en

Ingles) antes de que se realicen fsicamente [4].

Han pasado ms de 40 aos desde que Ivan Sutherland desarroll la primera

aplicacin de RA, permaneciendo vigente en los centros de investigacin y consorcios

de alto presupuesto, manteniendo costos elevados, y limitando el acceso de esta

tecnologa a quien lo pueda pagar [1]. Gracias, al creciente desarrollo de dispositivos

mviles inteligentes (DMI) y a los recientes avances que se han realizado en la

integracin de circuitos, cmaras y sensores cada vez ms pequeos con una

asombrosa capacidad de procesamiento y bajo consumo de energa, se vuelve posible

su incorporacin para ser utilizados en aplicaciones para RA por lo tanto al crear una

librera de mtodos optimizados de uso general para los DMI disponibles en el

mercado, se pondr al alcance los beneficios que ofrece a un costo accesible.

Este protocolo plantea que para el desarrollo de una libreara optimizada RA, se

requiere cumplir con cuatro componentes esenciales [7] y con ello se lograra el objetivo

de poner al alcance la tecnologa a cualquier usuario comn para crear aplicaciones

ad-hoc a su rea, lo cual traer beneficios econmicos y ahorros a todo tipo de

industria que requiera visualizar un producto en el ambiente y lugar en el que

funcionar antes de crearlo.

La descripcin de los componentes planteados:

1. Capacidades del software de RA para la creacin de objetos virtuales;

2. Mtodos de Captura y Tcnicas de anlisis del ambiente Real;

3. Algoritmos de rastreo y superposicin espacial;

4. Visualizacin y proyeccin

Capacidades del software de RA para la creacin de objetos virtuales

La caracterstica principal en el desarrollo de programas de realidad aumentada, es la

capacidad de adaptarse al entorno visual e identificar las propiedades que lo

componen. Para ello se requiere de una serie de algoritmos especializados que puedan

interpretar en patrones tiles las imgenes capturadas permitiendo el anlisis e

interpretacin de los objetos censados dentro del marco de la imagen de ambiente.

Una de las tareas ms complejas en la manipulacin de imgenes en tiempo real, es la

localizacin actual un objeto y el clculo de la posicin que podr ocupar en el

ambiente en un futuro, y con ello lograr superponer el objeto 3D inexistente en la nueva

composicin de imagen, con la orientacin y posicin correcta. Para ello no solo se

hace el uso de la cmara, sino tambin de los mltiples sensores que se encuentran en

el DMI; ya que es importante saber la posicin del usuario, que desplazamiento se est

realizando y es vital que el software proporcione los mtodos necesarios para su

utilizacin [4,5].

Captura y Tcnicas de anlisis del ambiente Real

En la actualidad las cmaras que se encuentran en los dispositivos mviles inteligentes

producen millones de datos por segundo, para poder procesar esta informacin se

requiere de unidades de procesamiento de alto rendimiento capaces realizar los

clculos pertinentes y dar respuesta en un tiempo determinado [7]. Debido a que los

dispositivos mviles no cuentan con procesadores de alto rendimiento computacional,

una forma para resolver este reto es identificar formas fijas dentro de las imgenes

como: lneas, lmites, esquinas, formas en cada marco del video capturado. Para ello

se utilizan una serie de mtodos que permiten alterar y analizar los datos provenientes

de la cmara y modificarlos en la pantalla, logrando con ello el uso de DMI, algunos de

los ms usados: re-dimensionamiento, conversin espacial de color, rotacin de

Imagen e inversin, des-entrelazado, ajuste de color y mapeo escalar, correccin en

gama y realzado de contraste [6].

Algoritmos de rastreo y superposicin espacial para RA

Dentro del estado del arte para la RA se utilizan varias tcnicas para la solucin de los

problemas planteados en los mtodos algunos de los algoritmos ms utilizados son

Viola Jones, Ransac, Kalman, Filtraje Extendido de Kalman, Covarianzas Promedio

Recursivas, geometra epipolar, el censado de profundidad, Mapeo y Localizacin

simultnea [7].

Visualizacin y proyeccin

La primordial tarea de esta etapa es la de mostrar los objetos virtuales y su interaccin

con el medio ambiente que se est observando en tiempo real y para ello se pueden

utilizar pantallas, proyectores, HMD, en 2D y 3D. El propsito de este artculo es

plantear la utilizacin de las pantallas tctiles 2D que se encuentran en los DMI sin

considerar alguna otra posibilidad. Por lo cual se utilizaran los mtodos que

proporcione el sistema operativo nativo del DMI con el que se trabaje.

Problema:

La Realidad Aumentada es una tecnologa enfocada a visualizar objetos virtuales en

espacios reales, utilizando equipos de cmputo dedicados de alto rendimiento y

programas especializados de gran costo; Dado que no existen aplicaciones de

propsito general, el aprovechamiento de las ventajas que ofrece se limita a los

sectores de investigacin. Sin embargo, gracias al gran impacto que ha tenido la

penetracin de dispositivos mviles inteligentes y al incremento en sus capacidades

computacionales, es posible crear una serie de mtodos optimizados que permita el

uso de esta tecnologa por todos.

Justificacin:

La utilizacin de esta librera de RA, pondr al alcance la tecnologa a cualquier usuario

comn que pueda crear aplicaciones ad-hoc a su rea, para disee objetos en 3D e

interacte virtualmente con ellos; lo cual traer beneficios econmicos y ahorros a todo

tipo de industria que requiera visualizar un producto en el ambiente y lugar en el que

funcionar antes de crearlo.

Objetivo General

Realizar una librera optimizada de mtodos de Realidad Aumentada para dispositivos

mviles inteligentes bajo los sistemas operativos IOS, Android.

Objetivos Especficos

Realizar una aplicacin que demuestre la facilidad del uso de la RA, para un usuario

comn utilizando la librera de mtodos propuesta.

Determinar el impacto econmico que tiene la aplicacin en un rea especfica.

Hiptesis:

La implementacin de algoritmos optimizados para dispositivos mviles inteligentes,

posibilita la creacin de una libreara de mtodos generales que libere el potencial que

ofrece la realidad aumentada y la ponga al alcance del usuario comn.

Mtodos y Materiales

Se analizaran las libreras de mtodos que se encuentran disponibles para IOS y

Android para desarrollar los mtodos de manipulacin en el DMI que permita la

utilizacin de la pantalla tctil, el sensor de posicionamiento espacial, los acelermetros

para determinar la posicin de la pantalla, en el caso de que estos mtodos no sean lo

suficientemente robustos, ser necesaria la implementacin de drives para optimizar el

uso de las capacidades de los sensores.

La implementacin de los algoritmos que se utilizaran en la librera de mtodos y que

de acuerdo con el anlisis realizado son: Viola Jones, Ransac, Kalman, y la geometra

epipolar.

Viola-Jones: El algoritmo ser usado en la deteccin de objetos con caractersticas

complejas ya que tiene la particularidad de identificar caras, adems ser entrenado

para la identificacin de detalles, usando bsicamente las caractersticas de Haar-Like

y una cascada de clasificadores de Adaboost [7].

RANSAC: La incorporacin de este algoritmo determinar la orientacin para descartar

puntos atpicos y mantener exactos los puntos de correspondencia e inters. Esto se

lograr colocando imgenes perfectamente alineadas en varios puntos con la imagen

base, mantenindola restringida con la matriz homgrafa de 3x3 Con ello se

determinar cuantos objetos son correspondientes y encajan en el modelo [3,7].

Kalman Kanade, Lucas-Tomasi: Al desarrollar este algoritmo se podrn identificar

correctamente los objetos dentro de una imagen y con ello proceder a la deteccin de

movimientos entre cuadros de imagen y video, basado en la subsecuente variacin que

la imagen puede tener ya sea en cambio de posicin y orientacin. Con ello se obtiene

una aplicacin robusta para el anlisis de desplazamiento de objetos [7].

Filtraje Extendido de Kalman: En la actualidad el solo uso de cuadros base para

calcular la posicin en la imagen genera ruido, el cual es conocido como jitter, debido a

los cambios sucesivos de las imgenes superpuestas, que permite la recuperacin

independiente de cada cuadro; aplicando del filtro extendido se suavizan las

estimaciones de orientacin y traslado [3].

Covarianzas Promedio Recursivas (RAC): El algoritmo de Covarianzas promedio

recursivas (RAC) por sus siglas en ingls, es usar para actualizar la direccin y

magnitud de los vectores en objetos 3D y con ello estimar la posicin con respecto de

una imagen base [3].

Geometra epipolar: Es un algoritmo complementario que ser usado para derivar la

localizacin 3D de cada punto en la escena, determinando con ello la posible

localizacin exacta del nuevo objeto [2,3].

El Desarrollo de algoritmos de distribucin espacial que determinen la posicin y

modifique la estructura del objeto segn la perspectiva espacial de quien lo use. Para

ello se utilizar el mtodo euclidiano para determinar desplazamientos, el censado de

profundidad y Mapeo y Localizacin simultnea [2, 3, 7].

Se utilizar el ambiente de desarrollo eclipse con soporte a objectiveC, y java para la

implementacin de los algoritmos y el desarrollo de la aplicacin en las diferentes

plataformas en la que se trabajaran los DMI (IOS, ANDROID).

Se requiere de un equipo de cmputo Apple y un emulador de IPAD para los ambientes

de desarrollo que sern eclipse y xcode para el caso de IOS y Android.

Se utilizar una tableta IPAD para la demostracin de la aplicacin y el futuro anlisis

del impacto econmico que esta tendr. Para la medicin del impacto econmico que

genere el uso de esta tecnologa se sub contratar a una institucin para que la realice,

por lo tanto queda fuera del alcance los procedimientos que utilizar.

Compilar en eclipse la API que contenga los mtodos y permita su uso para el futuro

desarrollo de aplicaciones en Android.

Cronograma de actividades 2011

Actividad Ago Sep Oct Nov Dic

Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2

Documentacin y Anlisis de algoritmos existentes para RA

Conseguir de equipo mvil inteligente

Conseguir las herramientas de cmputo para el desarrollo

Revisin de los mtodos para manipulacin de sensores en DMI

Propuesta de Arquitectura de software para la librera

Diseo de algoritmo para el espaciamiento en tiempo real

Cronograma de actividades 2012

Actividad Ene Feb Mar Abr May

Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2

Implementacin de algoritmos de rastreo

Implementacin de mtodos de sper posicionamiento 3D

Desarrollo de algoritmo de espaciamiento

Desarrollo de la aplicacin para el IPAD

Actividad Jun Jul Ago Sep Oct

Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2 Q1 Q2

Compilacin de API para Android

Revisin de funcionalidad

Pruebas

Determinacin del impacto econmico

Documentacin y Desarrollo de Tesis

Revisin Tesis

Actividad Nov Dic

Q1 Q2 Q1 Q2

Presentacin Tesis

Presupuest

Presupuest 2011

Materiales Costo

Compra equipo de computo 23000

Compra IPAD o DMI 8000

IDE XCODE y licencias de uso 600

IDE eclipse y licencias de uso 0

Emulador DMI Ipad 500

Emulador DMI Android 500

Subtotal por ao 32600

Presupuest 2012

Materiales Costo

Subcontrato para la Determinacin del impacto econmico 40000

Subtotal por ao 40000

Total del Proyecto

72600

Referencias bibliogrficas

1 Mark B, Dieter S, special issue on augmented reality, Virtual Reality (2011) 15:9798

DOI 10.1007/s10055-011-0190-1

2 Mehran M, Leila B. A novel augmented reality system of image projection for image-

guided neurosurgery. Acta Neurochir (2013) 155:943947 DOI 10.1007/s00701-013-

1668-2

3CHEN J, WANG Y, GUO J, LIUWei, L, XUE K, LIU Y & DING G. Augmented reality

registration algorithm based on nature feature recognition. August 2010 Vol. 53 No. 8:

15551565doi: 10.1007/s11432-010-4026-5

4 Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality.

ComputGraph Appl, 2001, 21: 3447

5 Azuma R A survey of augmented reality (1997). Teleoperators Virtual Environ

6(4):355385

6 Maha C, Yi W, Augmented Reality on Mobile Internet Devices Based on Intel

ATOM Technology. 2010 Intel Corporation

7 Brian D, Yves L, Bruce T, Giving robotic systems spatial sensing with visual

intelligence. August 18, 2013, http://www.embedded.com/print/4419781