Tecnologías interactivas e inmersivas aplicadas a la docencia · crear todo tipo de experiencias...
Transcript of Tecnologías interactivas e inmersivas aplicadas a la docencia · crear todo tipo de experiencias...
Tecnologías interactivas e inmersivas aplicadas a la docencia
Prof. Fernando Boronat SeguíImmersive Interactive Media R&D Group
Departamento deCommunicaciones
Índice
1. Breve presentación del grupo IIM.
2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.
3. Demos propias
1. Presentación del Grupo de investigación:Immersive Interactive Media (IIM) R&D group
• Integrado dentro del Departamento de Comunicaciones dela UPV, con actividad y producción científica muy intensa endiferentes áreas relacionadas con la TIC.
• Áreas de investigación: telecommunicaciones (redes),ciencia de los ordenadores y la computación, electrónica,comunicaciones A/V, arte multimedia, turismo y ciudadesinteligentes…
• Multidisciplinar: Profesores,investigadores, estudiantes dedoctorado, master y grados dediversas áreas.
Líneas de Investigación1. Sincronización multimedia (MediaSync)
• Inter-Media Sync: lip-sync, subtitles sync…• Inter-Device Sync (IDES): multi-screen scenarios…• Inter-Destination Media Sync (IDMS): e.g. Social TV.• Hybrid Broadcast Broadband Sync: multi-view cameras…
2. Media Streaming (RTP/RTCP, RTSP, HAS).3. Sistemas Distribuidos, inmersivos e interactivos.
• Quality of Service (QoS) & Quality of Experience (QoE).• TV Distribuida, Interactiva e inmersiva.• MulSeMedia: Experiencias Multi-Sensoriales.• Escenarios de RV 3D inmersivos. Cave, Head Mounted
Displays or HMD (e.g. Oculus Rift...).• Captura de Movimiento (MOCAP) e interacción y control por
gestos (IR, Kinnectv2, Leap Motion…)4. Pantallas Multi-Táctiles (p. ej., para trabajo collaborativo).
Desde el punto de vista de los sistemas inmersivos einteractivos nos interesa:
• Sistemas con diversas y nuevas formas de interactuar:
• Una persona con un sistema digital.
• Varias personas con uno o varios sistemas digitales.
• Personas con personas (a través de sistemas digitales) …
Índice
1. Breve presentación del grupo IIM.
2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.
3. Demos propias
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
• Interactividad/Interacción Persona-Ordenador (HumanComputer Interaction o HCI).
• Inmersividad (efectos multi-sensoriales).
• Realidad Virtual (Virtual Reality o VR).
• Realidad Aumentada (Augmented Reality o AR).
Interacción/Interactividad• Interacción: acción recíproca que se ejerce entre varios
objetos, personas, grupos... (Influencia mutua).
A) Interactividad con dispositivos o apps: interacciónentre una persona y una máquina o dispositivosmediante herramientas de entrada/salida: teclado, ratón,touchpad, voz, sensores (tracking/control gestos)…
B) Interactividad con otras personas: herramientas detexto y/o audio/videoconferencia, herramientascolaborativas…
• Normalmente, se sobreentiende que la interactividad esen tiempo real.
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Orígenes de los sistemas interactivos
Sistemas primitivos de interacción.• Cintas o tarjetas perforadas y
teleimpresoras.
Años 60:• Sistemas de tiempo compartido
mediante terminales en modo texto.• Interfaz de línea de comandos.
Interfaces de pantalla completa. • Gestionadas mediante menús y
cajas de diálogo. • Útiles cuando los recursos del
sistema o el tamaño de la pantalla es reducido.
• Teletexto, WAP, …
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
• Manipulación de objetos gráficos, dispositivos apuntadores, entornos basados en ventanas.
• SketchPad de Ivan Sutherland (1963).• El ratón de Douglas Engelbart (1968).
Años 70: Ordenadores manejados por personal especializado. • Primaba la eficiencia del sistema.
Orígenes de los sistemas interactivos
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
• Años 80: primeros sistemas comerciales quepermiten la manipulación de objetos gráficos
Orígenes de los sistemas interactivos
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Años 90-20xx: El ordenador pasa a ser utilizado en el trabajodiario.• Necesidad de mecanismos que faciliten la relación con el
usuario (interacción) y mejoren la productividad.• Sistemas WIMP (Windows, Icons, Menus, Pointer), basados
en ventanas y en la metáfora del escritorio.
Orígenes de los sistemas interactivos
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
En la actualidad…
• Interfaces táctiles y gestuales. • Reconocimiento de voz e interfaces basadas en el habla.• Efectos multi-sensoriales.• Inmersividad…
Orígenes de los sistemas interactivos
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Inmerso (R.A.E.): estar sumergido en algo.
Sistemas inmersivos multimedia: Proporcionan a losusuarios sensación de estar sumergidos/integrados en laexperiencia multimedia.
Ejemplos: Videojuegos, Sistemas de Realidad Virtual…
Inmersividad
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Realidad Virtual
• Medio que proporciona una visualización participativaen tres dimensiones y la simulación de mundosvirtuales en tiempo real.
• Entorno generado por ordenador en el que losparticipantes pueden entrar físicamente e interactuaren él desplazándose por su interior o modificándolo.
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
• Sistemas RV inmersivos. El usuariotiene la sensación de estar explorando unmundo virtual, utilizando diferentesaccesorios como guantes, gafas, cascosy/o traje especial para poder sertransportado a diferentes mundos.
Inmersividad
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Abrir vídeo
• Sistemas RV semi-inmersivos. Formados por diversaspantallas en forma de cubo (paredes, techo y piso) donde seproyecta el mundo virtual (CAVE: Cave Automatic VirtualEnvironment). El usuario puede utilizar gafas (3D) además demecanismos de tracking para que, al moverse, cambie laproyección de forma acorde.
Inmersividad
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Ver vídeo 1: Cave
Video 2: Cave L
• Teclado, ratón, joystick, micrófono…
• Guantes:
Dispositivos de entrada/salida
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Leap Motion Kinect
Mandos (Wii, Xbox…)
Dispositivos de entrada/salida
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
VídeoLeap Motion
Vídeo Kinect 1
HMD: Head Mounted DisplaysHTC vive
Samsung Gear VR
Oculus Rift/Go
Google Cardboard
Dispositivos de entrada/salida
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Dispositivos de seguimiento (trackers)
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Ver Video
Haptics(dispositivos de contacto/fuerza/presión)
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Aplicaciones de la RV
• Entretenimiento: Videojuegos 3D• Simuladores (Ejército y Fuerzas de seguridad,
Educación…).• Aprendizaje (ámbito educativo y/o profesional)).• Medicina (tratamiento de fobias y traumas).• Arquitectura Virtual.• …
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Realidad Aumentada (RA)• Consiste en combinar el mundo real con el virtual mediante
procesos informáticos, enriqueciendo la experiencia visual ymejorando la calidad de comunicación con el usuario.
• Proporciona información visual adicional a la realidad, y permitecrear todo tipo de experiencias interactivas: Catálogos deproductos en 3D, probadores de ropa virtual, videojuegos, etc.
Vídeo con def, apps y dispositivos de RA
2. Sistemas interactivos e inmersivos.Definiciones y ejemplos
Índice
1. Breve presentación del grupo IIM.
2. Sistemas interactivos e inmersivos. Definiciones y ejemplos.
3. Demos propias
3. Demostraciones.
Distributed, Interactive and Immersive TV.
• CSCW, Social TV and synchronous e-Learning Platforms.
• Tool for Computer-Supported Cooperative Work (CSCW).
• Cross-platform, cross-device support.• Online Video library.• Distributed Media Sharing,
Consumption and Synchronization.• Social Interaction Channels:
⁻ Synchronized text chat.⁻ AV conferencing tools.
• Presence Mechanisms:⁻ List of active sessions, members, and media
being consumed.⁻ Twitter (#Wersync, #session_id, #user_nick,
URL).
3. Demostraciones.
Herramientas con sincronización multimedia (MediaSync)
Subtítulos Adaptables sincronizados Aprendizaje de idiomas
Link forvideo
3. Demostraciones.
MulSeMedia: Multi-Sensorial Media experiences.• Stimulation of all senses: olfactory, haptics/touch, wind,
temperature, humidity, vibration...
Olfactory:Link forDemo Videos
Contact: Fernando Boronat
E-mail: [email protected]: @ferboron, @ImInMediaGroup
Youtube channel: Immersive Interactive Media R&D Group
(http://iim.webs.upv.es)