Interacción basada en webcam

Interacción basada en webcam

Joaquín Fonoll [email protected]

Ambrosio Gassol [email protected]

Generalitat de CatalunyaDepartament d'EducacióÀrea TIC Projectes TIC per a l’Educació

http://www.xtec.cat/dnee/udc/

SiMuove

Programa causa efecto que responde a los movimientos captados por la webcam

• Minimiza el esfuerzo físico y la complejidad

del interfaz

• Entorno sencillo no requiere cables ni

soportes

• Programa editable que se puede

personalizar

http://www.xtec.net/dnee/udc/act_simuove.htm

SiMuove Estructura del programa

Zonas o botones en la pantalla que se activan “toca rlos”

• Carrusel de imágenes y sonidos que se suceden.

– Avanzan con el movimiento Retroceden al quedarse quieto

• Efecto “croma” que genera transparencias

• Puede

– Graduar la sensibilidad para avanzar o retroceder

– Crear una secuencia de ejercicios– Declarar una combinación de imágenes como solución (refuerzo

final)

SiMuove Aspectos técnicos

Cámara de vídeo digital ( 15 fps)

– WebCam A distancia corta ( < 1,5 m) WebCam– Cámara de Vídeo Digital a distancia media ( > 2 m)

– Vídeo vigilancia a larga distancia

Windows XP o Suse 10

Programes específicos para Windows o Linux

Paquetes de ejercicios

Tecnología de detección de movimiento restando fotogramas sucesivos

SiMuove Animaciones

Trabaja:

• Ejercicio de causa- efecto

• Amplifica el movimiento

• Estimula la motricidad

• Ejercita la coordinación viso motriz

Las imágenes de la pantalla se animan con nuestros movimientos

SiMuove Adivina

Se muestra paso a paso la construcción de un objeto que hay que adivinar

Trabaja:

• Ejercicio de lengua oral

• Estimula la observación y la expresión

• Trabaja la lógica y el pensamiento hipotético

SiMuove Disfrazar

Fotomatón que combina la imagen real con un disfraz

Hay dos modos de trabajar:

• Exploración de las imágenes

• Selección voluntaria

Trabaja:

• Actividad lúdica

• Control postural de la cabeza

• Expresión facial

• Léxico, memoria, numeración

•Direccionalidad

SiMuove Carreras de coches

Simula la conducción de un coche que avanza con nuestros movimientos

Ejercita

• Control postural

• Estimula la atención y la motricidad

• Trabajo en equipo

SiMuove Simetrías

Hay que encontrar dos mitades de una misma fotografía moviendo las manos

Ejercita

• Lateralidad derecha / izquierda

• Coordinación extremidades

• Percepción de las formas

• Memoria visual

SiMuove – Interfaz -Educación

Aspectos educativos de la nueva interfaz con webcam

• Interacción muy simple al accesible a un mayor número de usuarios

• No requiere manejar ningún periférico. El ordenador es una extensión del propio cuerpo que responde incluso a los movimientos involuntarios

• No requiere estar sentado frente al ordenador sino dentro del campo visual que podemos modificar con el enfoque

• Amplificación del efecto motor dotándole de signific ado

• Integración de la propia imagen en un entorno virtual ( autocontrol y estimulación)

Ideas fuerza

1. El ordenador debe ofrecer nuevas oportunidades para la educación, especialmente allí donde esta ha conseguido menos resultados.

2. Algunos de los contenidos que se trabajan en la escuela desborda el uso habitual del ordenador pensado para el trabajo de oficina.

3. Si superamos el paradigma del teclado y la pantalla como interfaz del ordenador podremos atender a nuevos contenidos y usuarios

Antecedentes de SiMuove

SiMuove es el resultado de un largo proceso

1987 PIE Programa de Informatica Educativa

1990 Tauleta Sensible - Tswin

1993 Pantalla Táctil - Tpwin

1997 TocaToca Causa-Efecto

2003 Dance Pad – Alfombra de baile

2000 Proyecto Fressa - J Lagares

2004 Webcolor - Cesar Mauri, DanceMusic

2006 SiMuove, WebcolorToy, Emulator....

1996 SDNEE Seminario de Actualización en TIC para la diversidad y las NEE

1987 PIE Programa de Informática Educativa –Generalitat de Catalunya

Objetivo

Introducir la informática en el sistema educativo de Cataluña

Nuestro trabajo se caracteriza por

• Ámbito educativo

• Próximos a la demanda del usuario

• Equipo muy reducido

• Limitaciones tecnológicas

1990 Teclados de conceptos

Tableta digitalizadora 120 x 120 pixels y 32 x 32 cm

• Acceso alternativo al teclado para el parvulario y las NEE (no existían los ratones)

• Se conceptualiza como teclado expandido programable

• Mapa físico asociado a comandos del ordenador

Desarrollos

• Resolver el interfaz gráfico con el usuario (pictogramas)

• Software: Tswin , un gestor y mas de 100 aplicaciones educativas

• Producción y distribución digital de todos los materiales

1993 pantalla táctil y teclados virtuales

• Limitaciones físicas de la pantalla

• Aplicaciones restringidas

• Tpwin conversión del teclado de conceptos en teclado virtual

1997 TocaToca Causa Efecto

Los programas de causa - efecto el inicio de la comunicación persona / ordenador , persona / persona

Simplificar el entorno y las actividades

• Estimulo: textual y multimedia• Acción: teclado, ratón y otros• Reacción: textual y multimedia

Joaquin Fonoll [email protected]

TocaToca wwwTocaToca www ..xtecxtec .es.es\\~~jfonolljfonoll \\tocatocatocatoca \\

EstímuloPregunta

Esquema

Acción respuesta

Refuerzo Positivo Negativo

Antes de la acción

Imagen , sonido, texto, color,

Imagen , sonido, texto, color,

Después de la acción

Teclado

Ramón

Voz

Joystic

19971999 2002 2004

Tecnología de reconocimiento del sonido

• Globus visualización del sonido

• Recofone reconocimiento de fonemas

• Control del mouse por voz

2000 Proyecto Fressa www.lagares.org

2003 Tapiz de danza, sonido

Uso de periféricos procedentes de los videojuegos

• Integración en las herramientas desarrolladas anteriormente

• Estabilidad en los diseños

• Economía: Aprovechamiento de recursos y aplicaciones

2004 Webcolor Cesar Mauri

Control mediante Webcam basado en tecnología de visión artificial que identifica una marca de color de color y retorna las coordenadas.

• Desarrollado por http://www.crea-si.com

• Se compone de

– Api de programación (DLL)

– Pulsador, mouse y joystic virtual

– Ejemplos de programación

– Utiliza un objeto de color como cursor

– Hay que entrenar el sistema

– Interferencias con los colores del fondo

2006 WebColorToy Jordi Sanchez

Control mediante Webcam basado en un sistema de detección de movimiento.

• Se “restan” dos fotogramas consecutivos y retorna, para un área, un índice de cambio

•No requiere preparación

• Ofrece menor precisión

• Sistema compatible Linux y Windows Incluye una DLL

• Desarrollado en GPL

[email protected]

Estado de la cuestiónAlgunos usuarios no pueden utilizar el ordenador con el interfaz actual. Las alternativas resultan costosas o aparatosas.

Algunos contenidos propios de la estimulación temprana, la discapacidad, etc podrían informatizarse pero no con la interfaz actual.

Estrategia• Ayudas Técnicas : Emulación de los periféricos estándar• Integración en programas anteriores : economía de esfuerzos • Desarrollo de nuevos ejercicios : optimización de prestaciones

Para crear una nueva interfaz disponemos:• Programas abiertos, con múltiples ejercicios, que responden a

diferentes necesidades educativas• Un sistema de acceso de bajo coste basado en técnicas

elementales de visión artificial. Empleamos dos tecnologías• Reconocimiento del movimiento• Reconocimiento del color

Emulator I (Ayuda Técnica )

Modifica la interfaz de cualquier programa

Funciona con la webcam mediante técnicas de reconocimiento de color o de movimiento.

• Clic por tiempo con señales visuales y acústicas.

• Muestra en transparencia la imagen de la webcam

• Versión Windows y Linux

Ventajas

• Flexibilidad para diversos usuarios

• Pocas averías mecánicas

Inconvenientes

• Sistema no estándar no siempre aceptado por el usuario

• No tiene respuesta mecánica


Un mismo programa lo podemos utilizar como

• Pulsador hace clic sobre el programa activo mostrado o ocultando un color

• Ratón sitúa el puntero de la pantalla directamente allá donde señala el cursor de color.

- poca precisión (semejante a una pantalla táctil)

- requiere entrenamiento ( nos salimos de campo)

- actúa a distancias alejadas

• Joystick desplaza en puntero en la dirección que señalamos

• Tablero de conceptos A partir de una impresión de la pantalla al señalar el papel situamos el cursor de la pantalla

Emulator 2 (Ayuda Técnica ) http://www.xtec.cat/dnee/udc/

Mapea el campo visión de la webcam creando zonas a las que se asignan comandos.

Permite convertir en interactivo cualquier espacio

Funciona con tecnología de color

Emula la Tauleta Sensible

Sustituimos el dispositivo físico por la webcam.

Mejora la respuesta, se reduce el precio y podemos

• variar el tamaño de la lámina

• aprovechar los materiales anteriores

Tswin

Problemas para ajustar:

• Las posiciones reales al mapa virtual

• Los movimientos reales 3D sobre un plano 2D

http://www.xtec.net/recursos/tauleta

TocaToca

Programa para realizar ejercicios de causa efecto, compatibles con diversos periféricos.El campo de visión de la webcam se divide en zonas. Puede funcionar por detección de color y de movimiento

http://www.jfonoll.cat/

• Se activa con movimientos corporales

• Combinación de objetos reales con situaciones virtuales

•Chutar a portería • Bolos en la pantalla• Puntería

• Actividades de estimulación, motricidad,..

Dificultad para:

• tocar unas zonas sin invadir otras

• ubicarse dentro del campo visual de la webcam

SiMuove

Juego de causa efecto muy simple

• entorno de autor que permite situar varios objetos/ secuencias de imágenes, en la pantalla

• al tocar alguno de los objetos estos cambian la imagen

• una determinada combinación puede producir un efecto final


• la persona puede verse integrada en la imagen

• puede funcionar con el ratón

Aspectos pedagógicos

• actividad de estimulación y control motor

• el tamaño y numero de objetos determina la dificultad

• con un objeto que ocupe toda la pantalla cualquier movimiento produce un cambio

• con objetos pequeños se requiere precisión

WebColorToy

Juego que muestra varios objetos en movimiento. Debemos atrapar algunos y evitar otros

• entorno de autor que permite situar varios objetos, sus movimientos y las normas del juego

• el juego se estructura en niveles y da vidas y puntos

• la persona puede verse integrada en la imagen



• actividad de observación, discriminación y control motriz.

• el tamaño y número de objetos determina la dificultad.

• el tipo de objetos ( figuras, formas, letras, colores) y las reglas del juego determinan el objetivo de la actividad

• facilita retomar contenidos pedagógicos tradicionales (discriminación de letras o figuras) mediante actividades más físicas.

DanceMusic

Programa que genera notas musicales a partir del movimiento de un cursor de color.

• Combina un generador MIDI con el webcolor

• Existen opciones para escoger diferentes instrumentos

• Funciona con el ratón y el joystic


• Los alumnos exploran un escenario sonoro mediante movimientos físicos.

• Permite desarrollar actividades de estimulación, psicomotricidad, danza y música.

• Actividad de coordinación auditiva y motor

•Permite actividades en espacios de mesa, aula o patio. Actividades individuales o juegos de grupo. Sobre el plano vertical u horizontal.

• Lo importante no ocurre en el ordenador sino en el alumno.


El programa “esconde” un objeto que debemos encontrar, siguiendo sus instrucciones, moviendo nuestro cursor de color.

Al encontrarlo obtenemos un refuerzo visual y auditivo

• Las instrucciones/ orientaciones son - auditivas - mediante ordenes izquierda derecha arriba abajo, - por intensidad i frecuencia de sonido

• Entorno programable podemos variar las imágenes y sonidos que utilizamos como refuerzo final.

Frio y caliente


•Trabaja la atención, la orientación en el espació, la discriminación auditiva.

• Permite actividades en espacios amplios o reducidos.

• Exige rigor en el control del movimiento para resolver el ejercicio.


La webcam como interfaz

El nuevo paradigma de interfaz

• Interacción sin esfuerzo ni contactó físico. El cuerpo como periférico

• Efecto escala que permite trabajar en grandes espacios la gran motricidad y en espacios reducidos la motricidad fina

• Nuevas actividades que no requieren estar sentados frente al ordenador

Nuevas utilidades educativas

• Trabajar la motricidad / rehabilitación

• Entornos auditivos no visuales

• Creación de entornos para el control postural, la expresión emocional, motricidad fina y gruesa, ...

Perspectibas de futuro

Disponemos

• Tecnología de bajo coste

• Biblioteca de activiades educativas.

• API de programación que gestiona el control de la webcam

Proyectos de futuro

• Posibilidad de controlar 2 o mas cámaras y mas colores

• Sistema de reconocimiento de formas

• Instalaciones que incluyen camaras robotizadas y sistemas de control

Interacción basada en webcam

Joaquin Fonoll [email protected]

Ambrosio Gassol [email protected]

Jordi Sanchez [email protected]


Interacción basada en webcam

Education

Transcript of Interacción basada en webcam