VISUALIZACIÓN VISUALIZACIÓN AUMENTADA DE AUMENTADA DE

MODELOS 3D PARA MODELOS 3D PARA DISEÑO DISEÑO

ARQUITECTÓNICOARQUITECTÓNICOAlberto Ruiz AguilarAlberto Ruiz Aguilar

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

1.1. INTRODUCCIÓNINTRODUCCIÓN

1.11.1 Herramientas de asistencia al Herramientas de asistencia al proceso de ideación arquitectónicoproceso de ideación arquitectónico

1.21.2 Realidad AumentadaRealidad Aumentada

1.31.3 ObjetivosObjetivos

1.41.4 Arquitectura del sistemaArquitectura del sistema

1.1. INTRODUCCIÓINTRODUCCIÓNN

Sistema tradicional: CAD(2D) o Madera de Sistema tradicional: CAD(2D) o Madera de balsa(3D)balsa(3D)

Representación real en 3DRepresentación real en 3D Construcción de maquetas para cada Construcción de maquetas para cada

ideaidea

Realidad AumentadaRealidad Aumentada

1.11.1 HERRAMIENTAS DE ASISTENCIA AL HERRAMIENTAS DE ASISTENCIA AL PROCESO DE IDEACIÓN PROCESO DE IDEACIÓN ARQUITECTÓNICOARQUITECTÓNICO

Realidad aumentada:Realidad aumentada: Combina objetos reales y virtualesCombina objetos reales y virtuales Interactivo y en tiempo realInteractivo y en tiempo real Se alinean los objetos virtuales y realesSe alinean los objetos virtuales y reales

1.1. INTRODUCCIÓINTRODUCCIÓNN

1.21.2 REALIDAD REALIDAD AUMENTADAAUMENTADA

Sistema ergonómico de apoyo al diseño Sistema ergonómico de apoyo al diseño arquitectónico arquitectónico

Ventaja:Ventaja: Gran interactividadGran interactividad Compatibilidad con herramientas CADCompatibilidad con herramientas CAD

Propósito:Propósito: Sustitución de la maqueta físicaSustitución de la maqueta física

1.1. INTRODUCCIÓINTRODUCCIÓNN

1.3 OBJETIVOS1.3 OBJETIVOS

1.1. INTRODUCCIÓNINTRODUCCIÓN

1.4 ARQUITECTURA DEL 1.4 ARQUITECTURA DEL SISTEMASISTEMA

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

2.2. SISTEMA DE POSICIONAMIENTOSISTEMA DE POSICIONAMIENTO

2.12.1 Sistema de posicionamiento. Sistema de posicionamiento. Características y fuentes de error.Características y fuentes de error.

2.22.2 Método propuesto. Método propuesto.

2.32.3 Búsqueda y detección de la marca. Búsqueda y detección de la marca.

2.42.4 Estimación de coordenadas. Estimación de coordenadas.

2.52.5 Resultados. Resultados.

Precisión en el ajuste del posicionamientoPrecisión en el ajuste del posicionamiento

Retardos mínimos en la imagen de salidaRetardos mínimos en la imagen de salida

Debe ser eficiente a los movimientos del Debe ser eficiente a los movimientos del usuariousuario

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.1 2.1 CARACTERÍSTICASCARACTERÍSTICAS

Dispositivos en la mano o cabeza que nos Dispositivos en la mano o cabeza que nos provean de informaciónprovean de información

Utilización de objetos del mundo realUtilización de objetos del mundo real Dispositivos activos situados en el medioDispositivos activos situados en el medio

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.1 2.1 CLASIFICACIÓNCLASIFICACIÓN

Desalineamientos mecánicosDesalineamientos mecánicos Errores en los elementos usados para el Errores en los elementos usados para el

trackingtracking

Distorsiones en la ópticaDistorsiones en la óptica Parámetros de visión incorrectosParámetros de visión incorrectos Retardo desde que se conoce la posición Retardo desde que se conoce la posición

hasta que se muestra la imagenhasta que se muestra la imagen

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.1 FUENTES DE 2.1 FUENTES DE ERRORERROR

Factores que intervienen en la elección:Factores que intervienen en la elección: Garantizar la interacciónGarantizar la interacción Necesidad de un soporte físicoNecesidad de un soporte físico Garantizar la portabilidadGarantizar la portabilidad

Posicionamiento a partir de una marca Posicionamiento a partir de una marca artificial en el entorno utilizando ARToolkitartificial en el entorno utilizando ARToolkit

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.2 MÉTODO 2.2 MÉTODO PROPUESTOPROPUESTO

Criterios para el diseño de marcas:Criterios para el diseño de marcas: Debe permitirnos determinar la posición y Debe permitirnos determinar la posición y

orientaciónorientación Igualdad de oportunidades a todas las Igualdad de oportunidades a todas las

orientacionesorientaciones Imagen de la marca únicaImagen de la marca única Localización e identificación con algoritmos Localización e identificación con algoritmos

rápidos y simplesrápidos y simples Uso en un amplio margen de resolucionesUso en un amplio margen de resoluciones

2.3 BÚSQUEDA Y DETECCIÓN DE LA 2.3 BÚSQUEDA Y DETECCIÓN DE LA MARCAMARCA

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

Marca diseñadaMarca diseñada

2.3 BÚSQUEDA Y DETECCIÓN DE LA 2.3 BÚSQUEDA Y DETECCIÓN DE LA MARCAMARCA

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

ARToolkit incorpora funciones específicas ARToolkit incorpora funciones específicas para el reconocimiento de patronespara el reconocimiento de patrones

2.3 BÚSQUEDA Y DETECCIÓN DE LA 2.3 BÚSQUEDA Y DETECCIÓN DE LA MARCAMARCA

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.3 BÚSQUEDA Y DETECCIÓN DE LA 2.3 BÚSQUEDA Y DETECCIÓN DE LA MARCAMARCA

Búsqueda de la marca:Búsqueda de la marca: Umbralización de la imagenUmbralización de la imagen Adaptación de contornosAdaptación de contornos

NormalizaciónNormalización

2.3 BÚSQUEDA Y DETECCIÓN DE LA 2.3 BÚSQUEDA Y DETECCIÓN DE LA MARCAMARCA

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.4 ESTIMACIÓN DE 2.4 ESTIMACIÓN DE COORDENADASCOORDENADAS

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.4 ESTIMACIÓN DE COORDENADAS2.4 ESTIMACIÓN DE COORDENADAS

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.4 ESTIMACIÓN DE COORDENADAS2.4 ESTIMACIÓN DE COORDENADAS

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

Errores de posicionamiento mínimosErrores de posicionamiento mínimos Oclusiones:Oclusiones:

Patrón con seis marcasPatrón con seis marcas Alto coste computacionalAlto coste computacional

2.5 2.5 RESULTADOSRESULTADOS

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

2.5 2.5 RESULTADOSRESULTADOS

2.2. SISTEMA DE SISTEMA DE POSICIONAMIENTOPOSICIONAMIENTO

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.13.1 Métodos para la detección de la Métodos para la detección de la mano y los dedosmano y los dedos

3.23.2 Búsqueda de la mano Búsqueda de la mano

3.33.3 Detección de los dedos Detección de los dedos

3.43.4 Resultados Resultados

Sistemas basados en modelos 3d:Sistemas basados en modelos 3d: Modelos volumétricosModelos volumétricos Modelos del esqueletoModelos del esqueleto

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.1 MÉTODOS PARA LA 3.1 MÉTODOS PARA LA DETECCIÓN DE LA MANO Y LOS DETECCIÓN DE LA MANO Y LOS DEDOSDEDOS

Sistemas basados en la aparienciaSistemas basados en la apariencia Derivan de la semejanza o apariencia de Derivan de la semejanza o apariencia de

la imagenla imagen Computacionalmente más eficacesComputacionalmente más eficaces Dependen de la orientación, la escala y Dependen de la orientación, la escala y

las variaciones en la iluminaciónlas variaciones en la iluminación

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.1 MÉTODOS PARA LA 3.1 MÉTODOS PARA LA DETECCIÓN DE LA MANO Y LOS DETECCIÓN DE LA MANO Y LOS DEDOSDEDOS

Para detectar la mano:Para detectar la mano: Segmentación basada en el color y el Segmentación basada en el color y el

movimientomovimiento

Para detectar los dedos:Para detectar los dedos: Análisis de la curvaturaAnálisis de la curvatura

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.1 MÉTODOS PARA LA 3.1 MÉTODOS PARA LA DETECCIÓN DE LA MANO Y LOS DETECCIÓN DE LA MANO Y LOS DEDOSDEDOS

Segmentación orientada a color:Segmentación orientada a color: Espacio de color: Espacio de color:

rgb normalizadorgb normalizado Criterio de homogeneidad:Criterio de homogeneidad:

Umbralización Umbralización Definición de distancia:Definición de distancia:

Distancia euclídeaDistancia euclídea

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

Color de la pielColor de la piel

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

Algoritmo de segmentaciónAlgoritmo de segmentación

1.1. Detección de Detección de movimientomovimiento

2.2. Detección Detección color de pielcolor de piel

3.3. BinarizaciónBinarización

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

Método para detectar los dedos:Método para detectar los dedos: Análisis de la curvaturaAnálisis de la curvatura

Proceso:Proceso: Preparación de la imagenPreparación de la imagen Función de curvaturaFunción de curvatura Análisis de la función de curvaturaAnálisis de la función de curvatura

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

Preparación de la imagenPreparación de la imagen

Imagen Imagen segmentadasegmentada

FiltradoFiltrado DilataciónDilatación ContornoContorno

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

Función de curvaturaFunción de curvatura Cuanto se dobla el contorno de un Cuanto se dobla el contorno de un

objeto en cada puntoobjeto en cada punto

3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

Análisis de la función de curvaturaAnálisis de la función de curvatura

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.4 RESULTADOS3.4 RESULTADOS

3.3. DETECCIÓN Y SEGUIMIENTO DE LA DETECCIÓN Y SEGUIMIENTO DE LA MANOMANO

3.4 RESULTADOS3.4 RESULTADOS

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

4.4. RECONOCIMIENTO DE RECONOCIMIENTO DE GESTOSGESTOS

4.14.1 Métodos para el reconocimiento de Métodos para el reconocimiento de gestos.gestos.

4.24.2 Método propuesto. Método propuesto.

4.34.3 Gestos reconocidos. Gestos reconocidos.

EstáticosEstáticos Detectan y clasifican gestos formados Detectan y clasifican gestos formados

por una sola postura de la manopor una sola postura de la mano

DinámicosDinámicos Detectan y clasifican gestos que Detectan y clasifican gestos que

implican movimiento de traslación y/o implican movimiento de traslación y/o rotación de la manorotación de la mano

4.4. RECONOCIMIENTO DE RECONOCIMIENTO DE GESTOSGESTOS

4.1 MÉTODOS PARA EL RECONOCIMIENTO 4.1 MÉTODOS PARA EL RECONOCIMIENTO DE GESTOSDE GESTOS

Comparación de las distancias:Comparación de las distancias: Entre los dedosEntre los dedos Entre los dedos y los vértices del Entre los dedos y los vértices del

modelomodelo

4.4. RECONOCIMIENTO DE RECONOCIMIENTO DE GESTOSGESTOS

4.2 MÉTODO PROPUESTO4.2 MÉTODO PROPUESTO

Gestos implementados:Gestos implementados: Estático: señalarEstático: señalar Dinámico: coger vérticeDinámico: coger vértice

4.4. RECONOCIMIENTO DE RECONOCIMIENTO DE GESTOSGESTOS

4.3 GESTOS RECONOCIDOS4.3 GESTOS RECONOCIDOS

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

5.5. RESULTADOSRESULTADOS

5.15.1 Estudio de tiempos Estudio de tiempos

5.25.2 Estudio de luz Estudio de luz

5.35.3 Representación de modelos 3D Representación de modelos 3D

5.45.4 Interacción con la maqueta Interacción con la maqueta

5.5. RESULTADOSRESULTADOS

Representación de modelos virtualesRepresentación de modelos virtuales Tiempo de cargaTiempo de carga Tasa de imágenesTasa de imágenes

Interacción con la maquetaInteracción con la maqueta SegmentaciónSegmentación CurvaturaCurvatura Reconocimiento de gestosReconocimiento de gestos

5.1 ESTUDIO DE TIEMPOS5.1 ESTUDIO DE TIEMPOS

Representación de maqueta virtualRepresentación de maqueta virtual Luz directa puede provocar reflejo y pérdida Luz directa puede provocar reflejo y pérdida

de la marcade la marca

InteracciónInteracción La mano cambia de color aparente cuando La mano cambia de color aparente cuando

cambian las condiciones de iluminacióncambian las condiciones de iluminación Fallos cuando el contraste es muy elevadoFallos cuando el contraste es muy elevado

5.5. RESULTADOSRESULTADOS

5.2 ESTUDIO DE LUZ5.2 ESTUDIO DE LUZ

5.5. RESULTADOSRESULTADOS

5.3 REPRESENTACIÓN DE MODELOS 5.3 REPRESENTACIÓN DE MODELOS 3D3D

5.5. RESULTADOSRESULTADOS

5.4 INTERACCIÓN CON LA 5.4 INTERACCIÓN CON LA MAQUETAMAQUETA

ÍNDICEÍNDICE

1.1. IntroducciónIntroducción

2.2. Sistema de posicionamientoSistema de posicionamiento

3.3. Detección y seguimiento de la Detección y seguimiento de la manomano

4.4. Reconocimiento de gestosReconocimiento de gestos

5.5. ResultadosResultados

6.6. ConclusionesConclusiones

6.6. CONCLUSIONESCONCLUSIONES

Representación de modelos 3DRepresentación de modelos 3D Dependencia respecto condiciones de luzDependencia respecto condiciones de luz OclusionesOclusiones

Interacción con objetos virtualesInteracción con objetos virtuales Segmentación dependiente de las Segmentación dependiente de las

condiciones de luzcondiciones de luz Mejora del filtradoMejora del filtrado Ampliación de los gestos reconocidosAmpliación de los gestos reconocidos

El sistema cumple con los objetivos El sistema cumple con los objetivos propuestospropuestos