DETECCIÓN Y REGULACIÓN INTELIGENTE DE EMOCIONES EN ANCIANOS

José Miguel Latorre Postigo

Unidad de Psicología Cognitiva Aplicada

Instituto de Investigación en Discapacidades Neurológicas (IDINE)

Universidad de Castilla-La Mancha

1. ESQUEMA GENERAL DEL PROYECTO¿Qué objetivos pretendemos alcanzar?

¿Qué pretendemos alcanzar?• PRIMERO

• Desarrollar un sistema capaz de detectar emociones a través de la expresión facial y la respuesta fisiológica.

• Adaptar el sistema para su uso con ancianos.

• SEGUNDO• Desarrollar un sistema de regulación de las emociones, mediante

el uso de estímulos como color, iluminación, paisaje sonoros, música o recuerdos autobiográficos, entre otros.

• Adaptar el sistema para su uso con ancianos.

RECOGNIZED EMOTIONS

Ground truth data

EMOTION REGULATION

Data mining techniques for emotion regulation.

Emotions & brain electrical and spatial activity data fusion.

Data Fusion and Mining

Emotion Interpretation and Regulation

Emotion-tailored music / sounds, colors and lightning conditions.

EMOTION-TAILORED MUSIC/SOUNDS, COLORS AND LIGHTS; ROBOT BEHAVIORS

AMBIENT ADAPTATION

Ambient Intelligence

An intelligent system is in charge of adapting the ambience towards regulating emotions. No private information is sent outside the system.

Smart AmbientAssessment

System tuned to regulate specific emotions in the ambience.

2. DETECCIÓN DE EMOCIONESProcedimientos para la inducción y detección de emociones

Emoción

Experiencia subjetiva:

sentimientos

Activación fisiológica

Conducta expresiva:

comportamiento

Detección de emociones a través de la expresión facial• Reconocimiento de emociones a través de la expresión

facial en tiempo real• Análisis de la Expresión Facial

• Detección de emociones a través de la Expresión Facial

1. Detection of facial points

• Active shape models are used for the

detection of facial points

• ASM are statistics models about the

possible shapes of an object• Several models • Databases:

• IMM: 37 images, 58 points• BioID: 1521 images, 20 points• XM2VTS: 2360 images, 68 points

• XM2VTS generates the most suitable model

Facial Expression Analysis

• Eyebrow Features

Facial Expression Analysis

2. Feature extraction

Eye Features

Mouth-Nose Features

•Fear Disgust Surprise

Hits

Data and Results:Emotion Detection in Images

4. Detection of emotionsHappiness Sadness Anger

Neutral

Emotion: Happiness

Predicted: Disgust

Emotion: Anger

Predicted: Disgust

Data and Results:Emotion Detection in Video

Wrong Predictions

Emotion: Disgust

Predicted: Anger

Emotion: Surprise

Predicted: Fear

Emotion: Fear

Predicted: Sadness

Emotion: Sadness

Predicted: Fear

Detección de emociones a través de la respuesta fisiológica• Respuesta electrodermal• Pulso• Temperatura corporal• Electromiograma (EMG)

Hardware scheme

Prototype

Diseño de hardware

• Basis: Sweat increases as arousal level grows.

• Constant voltage circuit measure skin conductance.• 1.5 Hz low-pass filter and 0.05 Hz high-pass filter were

used• These signals were sampled at 20 Hz.

Sensor de la actividad electro-dermal

Technician monitor

Patient monitor

• Once the EDA signals were recorded, they were post-processed by following the methodology described in [2].

1) Signals were filter again with a 1.5 Low-pass filter to decrease the noise.

[2] Wearable and Automotive Systems for Affect Recognition from Physiology, Jennifer A. Healey. Phd dissertation. 2000.

Procesamiento de la señal

2) First forward difference was computed

3) Positive events were discriminated as those exceeding a threshold.

Procesamiento de la señal

Detección de emociones en ancianos• Experimentos con jóvenes/ancianos• Cambios en la expresión facial con la edad• Cambios en la respuesta fisiológica con la edad

3. REGULACIÓN DE EMOCIONESProcedimientos para el cambio del estado emocional a través de distintos estímulos ambientales

Description of the Experiment

Andante

=60

1. Walking on the streetJuan Francisco Manzano Ramos

Three little bar songs suite

5 1.

9 2.

14

• The piece is titled “Walking on the Street”, framed in a suite called “Three Little Bar Songs Suite”

• The different melodies combine both classical and contemporary elements of music

• The only requirement is that both music pieces share a tonal harmonic language, with a harmonic rhythm of classical music and repetitive rhythmic parameters

• This enables to highlight each of the auditions to categorize them correctly

• So, in this way, we have a piece which rhythm uses constantly alternating dotted notes (providing a touch of swing) and syncopated notes in prominent places

First Musical Test: The Beat

• Then, changes are provided to the harmonic rhythm used.

Uso de técnicas de recuerdo autobiográfico

• Después de realizar una Revisión de Vida estructurada se implementaría un sistema integrado de recuerdos personales, incluyendo:• Fotografías• Vídeos• Música• Paisajes sonoros• …

4. INTERACCIÓN SISTEMA-USUARIO¿Cómo percibe e interactúa el usuario con tecnología desarrollada?

Participantes:

• Antonio Fernández-Caballero

• José M. Latorre• María T. López • Elena Lozano-Monasor • Francisco Vigo-Bustos• Marina V. Sokolova• Alicia Fernández-Sotos• Pablo Olivos Jara

• Arturo Martínez-Rodrigo

• Roberto Zangróniz • José Manuel Pastor• César Sánchez Melendez

• Laura Ros• Juan Pedro Serrano• Jorge Ricarte• Luz Fernández-Aguilar

MUCHAS GRACIAS POR SU ATENCIÓN

Jose.Latorre@uclm.es

This work was partially supported by Spanish Ministerio de Economía y

Competitividad / FEDER under TIN2013-47074-C2-1-R grant.