Interface maquinas de Turing y Kinect: interacción en el ...
Reconocimiento visual de ademanes usando MS Kinect ......– Localización del objeto de interés...
39
Reconocimiento visual de ademanes usando MS Kinect - Introducción Dr. Héctor Avilés | Escuela de Invierno de Robótica 2015
Transcript of Reconocimiento visual de ademanes usando MS Kinect ......– Localización del objeto de interés...
Reconocimiento visual de ademanes usando MS Kinect - Introducción
Dr. Héctor Avilés | Escuela de Inviernode Robótica
2015
Contenido
● Motivación● Dispositivos de captura● Reconocimiento visual de ademanes● Resumen
Contenido
✔ Motivación ● Dispositivos de captura● Reconocimiento visual de ademanes● Resumen
Motivación
¿Qué es un ademán?
Motivación
Un ademán es un acto o movimiento que se realiza con la(s) mano(s) y/o brazo(s)
Motivación
¿Para qué nos sirven?
Motivación
Comunicar información
Motivación
Manipular objetos
Motivación
Conocer el mundo
Motivación● Los ademanes son
importantes porque:– Complementan el
lenguaje hablado– Son una alternativa
de comunicación a la distancia o en ambientes ruidosos
– Se cree que es previo a la comunicación oral
Motivación
● Igualmente los ademanes son importantes en comunicación humano-robot:– Para conversaciones más “naturales” – Para mostrar cómo, dónde y con qué debe
realizar sus tareas– Complementar o eliminar ambigüedad en
instrucciones habladas, e.g., “múevete para allá”
Contenido
✗ Motivación✔ Dispositivos de captura● Reconocimiento visual de ademanes● Resumen
Dispositivos de captura
Dispositivos “usables”
Dispositivos “táctiles”Dispositivos “táctiles”
Sistemas visuales
Dispositivos de captura
● Ventajas de los sistemas visuales:– No requieren manipulación o uso de objetos– Son menos intrusivos– Menos problemáticos para personas
discapacitadas– Permiten explorar mecanismos que emulen a
la visión humana
Dispositivos de captura
● Sin embargo:– Mayor cantidad de datos (e.g., en captura de
video RGB de 640x480 pixeles a 30Hz ≈ 27Mb)
– Requiere algoritmos más sofisticados para extracción de información
● Usualmente se realiza un compromiso “precisión-velocidad de procesamiento”
Contenido
✗ Motivación✗ Dispositivos de captura✔ Reconocimiento visual de ademanes:
✔ Definición– Decisiones de diseño
● Resumen
Definición
Reconocimiento visual de ademanes
Proceso de análisis para asignar a un ademán capturado en una o más imágenes
un concepto o significado previamente conocido
Definición
Definición
Definición
VideoTeleoperación de un robot móvil
Contenido
✗ Motivación✗ Dispositivos de captura✔ Reconocimiento visual de ademanes:
✗ Definición✔ Decisiones de diseño
● Resumen
Decisiones de diseño
● El reconocimiento visual de ademanes requiere conocer la aplicación y de ahi definir:– Ademanes– Dispositivo de captura de imágenes– Algoritmos para análisis visual– Atributos de los gestos– Método de clasificación
Aplicaciones● Operación de equipos
de cómputo (e.g., dispositivos móviles)
● Sistemas de seguridad
● Control de la TV
● Análisis de actividades en ambientes inteligentes (casas, aulas)
● Evaluación automático de interfaces gráficas
● Apoyo a personas discapacitadas
● Cuidado de niños y adultos mayores
● Interacción por videoconferencia
● Evaluación de desempeño deportivo
● Animación de avatares (e.g., en películas animadas)
● Juego de videojuegos
● ...
● Instrucción de robots
Aplicaciones
● Sin embargo, de acuerdo a M. Turk:
¡No hay una aplicación definitoria de esta área de estudio!
Selección de ademanes
● Diversas clasificaciones de ademanes:– De la mano, del brazo, del cuerpo
– Naturales (e.g., espontáneos), codificados
– Estáticos (e.g., posturas), dinámicos
– Gesticulación, pantomima, emblemáticos, lenguaje de signos
– Icónicos, metafóricos, deícticos, simbólicos, golpe
● En general, la aplicación influye en las decisiones a tomar
Dispositivos de captura
Cámaras termales
Escáner láser
Cámaras RGB-D
CámarasTime of Flight
Cámaras RGB
Cámara stereo
Análisis visual
● Tres tareas principales:– Localización del objeto de interés (i.e.,
aislarlo dentro de la imagen) – Seguimiento a través de la secuencia de
imágenes (localización y predicción)– Descripción interna del objeto
● Usualmente se requiere forma, pose, profundidad, color, movimiento
Análisis visual
● Estas tareas no son simples en ambientes poco restringidos
● No existen algoritmos que resuelvan estos problemas completamente
Análisis visual - Localización
¿Cuántos rostros hay en las imágenes de O. Ocampo?
Análisis visual - Seguimiento
Cambios de iluminación Cambios en orientación y distancia
Oclusión parcial Objetos similares
Análisis visual - Descripción de la mano
Modelo volumétricotexturizado
Modelo de Contorno
Modelo de esqueleto
Silueta
Modelo de alambreFormas geométricas simples
Atributos de los ademanes
● Objetivo esencial con múltiples propuestas de tres tipos principales:– Postura– Movimiento– Combinación postura-movimiento
Atributos de los ademanes
Postura ó posición específica en un momento determinado
Desplazamiento en la secuencia de video
Clasificadores de ademanes
● Múltiples alternativas:– Plantillas de postura/movimiento– Redes neuronales– Árboles de decisión– Modelos difusos– Modelos ocultos de Markov y redes Bayesianas
(dinámicas)– ...
● Los modelos probabilistas aparecen comúnmente en la literatura
Decisiones de diseño
Las decisiones anteriores forman parte de una teoría al reconocimiento visual de
ademanes todavía en desarrollo
Decisiones de diseño
● Aproximación computacional de D. Marr al problema de visión:– Modelo computacional: ¿Qué ademanes?,
¿para qué usarlos?– Algoritmos: ¿Qué información extraer de los
ademanes?, ¿cómo reconocerlos?– Implementación: ¿Qué dispositivos de
captura?, ¿qué estructuras de datos?, ¿lenguajes?
Contenido
✗ Motivación✗ Dispositivos de captura✔ Reconocimiento visual de ademanes:
✗ Definición✗ Decisiones de diseño
✔ Resumen
Resumen
● Los ademanes son importantes en comunicación natural humano-humano, hombre-máquina y humano-robot
● Múltiples aproximaciones (aplicaciones, dispositivos, algoritmos de análisis visual, descripciones, atributos, clasificadores)
● Ninguna solución definitiva todavía para cada etapa ni para el problema en general
¿Preguntas?
