Realidad Aumentada en la herencia cultural digital

Javier Campos – CTO ediamsistemas

Realidad Aumentada en la herencia cultural

• Uso de nuevas tecnologías (RA, etc.) para conservar nuestro patrimonio (herencia) cultural.

• Tecnologías más adecuadas para aplicarlo.• Posibles objetivos donde aplicar las tecnologías.• Apoyo a sectores sociales menos valorados a lo

largo del tiempo.• Potenciar las economías locales fomentando el

turismo.• Experiencias aplicadas y en progreso.

Tecnologías más adecuadas para aplicarlo

• Tracking 2D/3D/EBT• Geolocalización y SLAM• Contenido 3D y reconstrucción• Audio y audio 3D• Reconocimiento de texto (OCR) y traducción

automática• Vistas panorámicas y de 360 grados• Reconocimiento en la nube (Visual Search /

Cloud Recognition)

Tracking 2D/3D/EBT• El sistema conocido como “tracking” es la

forma de forzar que al visualizar con la cámara del dispositivo una imagen u objeto, se obtenga un resultado en pantalla con algo asociado como contenido 3D o multimedia en general.

• Aunque hay diferentes opciones, globalmente se puede clasificar en imágenes y marcadores fiduciales (2D) y objetos reales (3D/EBT).

Tracking 2D (marcadores fiduciales)Reconocimiento de marcadores fiduciales

Uso de fiduciales• Pros:– Rápida detección y menos problemas de reflejo.– Fácil creación y posibilidad de disponer de gran

cantidad (512 ó más).• Contras:– Estéticamente incómodos para incorporar en

algunos entornos (museos, galerías, etc.)– Problemas para ubicarlos en determinados

entornos.

Tracking 2D (imágenes reales)

Fuente: VENTURI Flyer.App para Android.

Tracking 2D (imágenes reales)

Fuente: Mapa Tricentenari Barcelona.Desarrollada para Android e iOS para eventos de conmemoración cultural.

Tracking 2D (imágenes reales)

Metaio museum project

Fuente: App TechCoolTour para Android e iOS para promoción de itinerarios culturales Bizantinos y Románicos.

Uso de imágenes reales como patrones de detección

• Pros:– Realizable sobre instalaciones actuales (exposiciones,

documentación, etc.)– Fácil creación y posibilidad de un volumen apropiado

de imágenes para la mayoría de situaciones (Visual Search para mayor volumen)

• Contras:– No todas las imágenes sirven como patrón. Falta de

contraste, imágenes muy parecidas, etc.– Condiciones ambientales pueden generar problemas

de detección (excesiva/poca luz, exterior/interior…)

Tracking 3DEl tracking 3D permite crear mapas de modelos reales gracias a herramientas que capturan “point clouds” con información de dichos puntos para posterior reconocimiento.

Tracking 3DLas herramientas de creación de tracking 3D necesitan “aprender” del entorno que tienen que reconocer a posteriori.

Como tecnología “relativamente nueva”, no siempre se consigue la precisión deseada.

Uso de tracking 3D• Pros:– Reconocimiento de objetos tridimensionales

reales que forman parte de nuestras vidas.– Experiencias más espectaculares para el usuario.

• Contras:– Problemas con grandes entornos (edificios, etc.)– Tecnología no suficiente madura, todavía necesita

de mucho trabajo para conseguir muy buena precisión.

Tracking EBT

Uso de tracking EBT• Pros:– Posibilidad de crear interacciones con formas

básicas.

• Contras:– Para usos muy concretos, por ser una tecnología

muy poco madura.

Geolocalización y SLAM

• La geolocalización nos permite ubicar elementos virtuales en coordenadas físicas de nuestro entorno.

• SLAM (Localización y mapeado simultáneo) es una tecnología que permite a los sistemas crear mapas de su entorno y asociarlos con ubicaciones físicas.

Geolocalización y SLAM

Geolocalización y SLAMEste es el futuro de la geolocalización con la utilización de SLAM.

Mucha más precisión y mapeado en tiempo real.

Contenido y reconstrucción 3D

• La creación de contenidos 3D es el talón de Aquiles para estas tecnologías.

• Las tecnologías de reconstrucción 3D consiste en automatizar el proceso de creación de contenidos 3D a partir de información de dichos elementos.

Contenido y reconstrucción 3D

La reconstrucción 3D de la izquierda está creada a partir de las imágenes de la derecha.

Contenido y reconstrucción 3D

Ejemplo de como la tecnología de reconstrucción 3D avanza y nos permitirá crear contenidos de manera automatizada en el futuro.

Audio y audio 3D

Lund Time Machine

Audio y audio 3D

Reconocimiento de texto (OCR) y traducción automática

Vistas panorámicas y de 360 grados

• Las vistas panorámicas y de 360 grados son una gran forma de inmersión en entornos antes de poder verlos físicamente.

• Cada vez el equipamiento para crear este tipo de vistas está más al alcance del usuario.

• Esto facilita la creación de contenidos por parte de los usuarios y poder compartir entornos y ubicaciones.

Vistas panorámicas y de 360 grados

Vistas panorámicas y de 360 grados

Google Night Walk

Visual Search / Cloud Recognition

• Ante la necesidad de reconocer mayor cantidad de imágenes y las limitaciones que tienen los dispositivos móviles, el sistema de reconocimiento “en la nube” nos permite de manera muy rápida realizar el sistema de tracking a través de Internet.

Visual Search / Cloud RecognitionLa capacidad de reconocimiento de imágenes que nos ofrece este tipo de sistemas permite al usuario almacenar miles de imágenes y poder buscar coincidencias en cuestión de segundos.

Este sistema de tracking externo, permitiría almacenar gran cantidad de información visual en bases de datos en la nube con información del patrimonio que nos rodea.

Y con una creación de contenidos adecuada, podríamos ofrecer al usuario todo ese conocimiento que podemos aportar.

Visual Search / Cloud Recognition

Posibles objetivos donde aplicar las tecnologías.

• Museos.• Archivos.• Exposiciones, cementerios.• Edificios o barrios emblemáticos.• Colaboraciones escolares recopilando

información familiar que se conservará a lo largo del tiempo (colaborativo)

Potenciar las economías locales fomentado el turismo

• El turismo es una de las formas por excelencia para conocer las culturas de otros lugares y de disfrutar de la riqueza patrimonial de estos.

• Mantener esta información a lo largo del tiempo nos permite crear ese legado de herencia digital que podemos dejar a generaciones venideras.

Apoyo a sectores sociales menos valorados a lo largo del tiempo

• Determinados colectivos han aportado grandes valores y conocimiento a la humanidad y nunca se han visto reconocidos.

• Conservar información sobre estas aportaciones y poder revivir ese sentimiento, ayuda a la sociedad actual a valorarse más y a valorar más esos sectores en ocasiones muy desconocidos.

Apoyo a sectores sociales menos valorados a lo largo del tiempo

Augmented illustra: The power of female professors

University de Groningen, Holanda: En los últimos 400 años, 150 profesores y 2 profesoras.

Apoyo a sectores sociales

Zeitung Magazine: Acción contra la violencia de género. Verizon: Reconocimiento de las

tecnologías implementadas por la población afroamericana.

Experiencias aplicadas y en progreso.

• Como participantes en proyectos europeos, hemos tenido la suerte de desarrollar experiencias relacionadas con la conservación e información sobre el patrimonio cultural.

• Entre ellas están TechCoolTour, creada para la conservación de rutas Bizantinas y Romanas en la zona de Italia, Serbia, Croacia y Eslovenia.

• En el proyecto VENTURI, como desmostrativo del tercer año, se está creando una experiencia para conservar la memoria histórica de tres barrios emblematicos de la ciudad de Grenoble.

TechCoolTourEste proyecto intenta acercar las rutas históricas a los usuarios con el aliciente de disfrutar de experiencias usando Realidad Aumentada

TechCoolTour

Usando un dispositivo móvil, sobre los infoboards habilitados en estas rutas, podemos conocer el pasado de estos lugares y enriquecernos con su cultura.

Proyecto VENTURI

Proyecto VENTURI

Gracias por vuestra atenciónwww.ediamsistemas.com

@ediamsistemas