Post on 15-Jun-2015
• Estudio de técnicas aplicadas al reconocimiento de actividades físicas cotidianas
• Monitorización supervisada y no supervisada
• Diferentes campos de
aplicación (teleasistencia, e-salud, deportes, etc.)
• Definir una metodología propia para el reconocimiento de actividades
• Mejorar los resultados en el marco supervisado y seminaturalístico
Analizar la información extraída de la monitorización de ejercicios habituales
Definir modelos de caracterización a partir de las señales asociadas a cada actividad
Establecer metodologías para la selección de las variables más adecuadas
Comparar diversas metodologías de extracción de conocimiento
Para ello
FASE I: Análisis de las señales y valoración de qué pre-procesado es necesario
FASE II: Identificación, definición y aplicación de las técnicas
para extracción de características
FASE III: Selección de
características
FASE IV: Clasificación
FASE V: Test, análisis de los
resultados y selección del modelo de clasificador
• Cinco acelerómetros • Cuatro actividades
• Dos metodologías de • Veinte usuarios monitorización
Andar Sentarse y relajarse Permanecer de pie Correr
0 200 4005
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 4003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 4004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 4000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 4004
4.5
5
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Muslo0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 400 6000
2
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3004
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 4005
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 4003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 4004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 4000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 4004
4.5
5
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 4005
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 4003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 4004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 4000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 4004
4.5
5
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 4005
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 4003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 4004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 4000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 4004
4.5
5
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 4005
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 4003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 4004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 4000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 4004
4.5
5
5.5
6
6.5
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 400 6000
2
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 400 6000
2
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 400 6000
2
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 200 400 6000
2
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 200 400 6000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 200 400 6002
4
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3004
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3004
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3004
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Muslo
0 100 200 3004
6
8
10
Tiempo (seg)
Acele
ració
n (
G)
Cadera
0 100 200 3003
4
5
6
7
8
Tiempo (seg)
Acele
ració
n (
G)
Muñeca
0 100 200 3004
5
6
7
Tiempo (seg)
Acele
ració
n (
G)
Brazo
0 100 200 3000
5
10
15
Tiempo (seg)
Acele
ració
n (
G)
Tobillo
0 100 200 3002
4
6
8
10
12
Tiempo (seg)
Acele
ració
n (
G)
Muslo
An
dar
Sen
tars
e y
rela
jars
e
Pe
rman
ece
r d
e p
ie
Co
rre
r
• Acelerómetro del tobillo
28 30 32 34 36
3
4
5
6
7
Tiempo (seg)
Ace
lera
ció
n (
G)
Andar
82 84 86 88 90 92
5
5.5
6
Tiempo (seg)
Ace
lera
ció
n (
G)
Sentarse y relajarse
420 430 440 450
5
5.2
5.4
5.6
5.8
6
6.2
6.4
Tiempo (seg)
Ace
lera
ció
n (
G)
Permanecer de pie
76 77 78 79 80
1
2
3
4
5
6
7
8
Tiempo (seg)
Ace
lera
ció
n (
G)
Correr
• Offset
• Saltos de discontinuidad (descalibración)
• Anomalías (movimientos irregulares, cambios de orientación, caídas, etc.)
• Ruido de alta frecuencia
NECESIDAD DE PREPROCESAMIENTO
• Filtrado de media modificado – Permite eliminar el offset – Elimina las descalibraciones
• Filtrado paso bajo + paso alto – Elimina ruido de alta frecuencia – Elimina offset – Elimina picos de baja frecuencia
• Otras opciones valoradas – Filtro de mediana – Wavelets
Original Filtrado media
LPF + HPF
Magnitudes
Amplitud Autocorrelación Cepstrum Densidad espectral de energía Espectro en amplitud Espectro en fase Histograma Reconstrucción de mínima fase Valor de los históricos Wavelet
Correlación cruzada Coherencia espectral Índice de desfase
Operaciones matemático-estadísticas
Coeficiente de asimetría Cruces por cero Curtosis Desviación estándar Distorsión armónica total Energía total Entropía Máximo Media aritmética, armónica, geométrica, truncada Mediana Mínimo Moda Momento de orden 4 y 5 Posición del máximo/mínimo Rango Varianza
• Método de la señal completa
• Método de la subseñal más característica – Basado en correlación
– Basado en coherencia
• Método de la ventana – Fija
– Deslizante
LABORATORIO
SEMINATURALÍSTICOS
Filtrados Originales Sin Offset
Señal completa Subseñal (correlación) Subseñal (coherencia) Ventana (fijo) Ventana (deslizante)
Filosofía de monitorización
Preprocesado Técnica de extracción
• Conjunto de características muy amplio (861 variables)
• Influye en el proceso de clasificación
POSICIÓN ÓPTIMA Pocas Características Buena Clasificación
0 200 400 600 800-1
-0.5
0
0.5
1x 10
4 Acel. TOBILLO, Act. CORRER
Características
Va
lor
de
la
ca
racte
rística
0 0.2 0.4 0.6 0.8 10
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2x 10
4
Nivel de solapamiento
Núm
ero
de c
ara
cte
rísticas d
iscrim
inante
s
ACELERÓMETRO DEL TOBILLO
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
0 200 400 600 800-1
-0.5
0
0.5
1x 10
4 Acel. TOBILLO, Act. CORRER
Características
Va
lor
de
la
ca
racte
rística
Criterio de solapamiento
0
10
20
30
40
Acel. MUSLO, Act.CORRER
Carac. media geom. de los coef. wavelets a5V
alo
r d
e la
ca
racte
rística
Criterio de calidad discriminante
Actividades discriminadas
Acelerómetros donde lo permite
Grado de Calidad
4 5 1
4 4 2
4 3 3
4 2 4
4 1 5
3 5 6
3 4 7
3 3 8
3 2 9
3 1 10
2 5 11
2 4 12
2 3 13
2 2 14
2 1 15
1 5 16
1 4 17
1 3 18
1 2 19
1 1 20
0 5 21
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
100
200
300
400
500
600
700
800
900
Nivel de solapamiento
Núm
ero
de c
ara
cte
rísticas d
iscrim
inante
s
ACELERÓMETRO DEL MUSLO
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
• Nº de características discriminantes en función del umbral de solapamiento
0 0.2 0.4 0.6 0.8 1
0
200
400
600
800
1000
Nivel de solapamiento
Nú
me
ro d
e c
ara
cte
rística
s d
iscrim
ina
nte
s ACELERÓMETRO DEL BRAZO
• Modelo utilizado: criterio de restricción máximo (usolap, ÓPTIMO = 0)
– Categorías basadas en el método de extracción de la subseñal más característica no superan la condición
0 0.2 0.4 0.6 0.8 10
100
200
300
400
500
600
700
800
900
Nivel de solapamientoNúm
ero
de c
ara
cte
rísticas d
iscrim
inante
s
ACELERÓMETRO DE LA MUÑECA
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
0 0.2 0.4 0.6 0.8 10
100
200
300
400
500
600
700
800
900
Nivel de solapamientoNú
me
ro d
e c
ara
cte
rística
s d
iscrim
ina
nte
s ACELERÓMETRO DE LA MUÑECA
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
• Pueden ser
Supervisados / No supervisados Binarios / Multientrada Binarios / Multiobjetivo Paramétricos / No paramétricos Etc.
• Principales
opciones
Lógica Difusa Redes Neuronales Máquinas de Soporte Vectorial (SVM) Árboles de Decisión Redes Bayesianas Modelos Ocultos de Markov
• Rápidos • Solución simple • Buenos precedentes • Multiclase basado en
modelos binarios • Diferentes tipos de
kernels (lineal, cuadrático, RBF, MPL, etc.).
0 50 100 150 2000
20
40
60
80
100
120
Media geométrica de los coeficientes wavelets a3, señal del eje XMe
dia
ge
om
étr
ica
de
lo
s c
oe
ficie
nte
s w
ave
lets
a3
, se
ña
l d
el e
je Y Hiperplano separador para kernel RBF
Resto de actividades (entrenamiento)
Resto de actividades (clasificado)
Andar (entrenamiento)
Andar (clasificado)
Vectores de soporte
0 20 40 60 80 100 120 1400
5
10
15
20
25
30
35
40
45
50
Media geométrica de los coeficientes wavelets d3
Me
dia
ge
om
étr
ica
de
lo
s c
oe
ficie
nte
s w
ave
lets
d4
Hiperplano separador para kernel de tipo lineal
Resto de actividades (entrenamiento)
Resto de actividades (clasificado)
Correr (entrenamiento)
Correr (clasificado)
Vectores de soporte
• Muy rápido
• Fácil interpretación
• Relación con el selector basado en solapamiento
• Modelo multiclase directo
• Modo binario y modo multivariable
• Validación cruzada – Un sujeto se aísla en el entrenamiento para el test
– La mitad se utilizan para entrenar y el resto para test
SVM: - RBF más regular - Mejores tasas de acierto para las actividades “correr” y “sentarse y relajarse” - Resultados muy buenos para datos de tipo laboratorio y puntualmente aceptables para seminaturalísticos
ÁRBOLES DE DECISIÓN: - Profundidad inferior a nivel 5 - Excelentes resultados para las categorías de
laboratorio, con resultados muy buenos para la aproximación seminaturalística
SVM FILTRADOS ORIGINALES SIN OFFSET
LAB 96.37 ± 4.58 84.43 ± 5.94 86.90 ± 6.99
SEM 75.81 ± 0.90 75.73 ± 3.02 78.20 ± 2.14
ÁRBOLES FILTRADOS ORIGINALES SIN OFFSET
LAB 98.92 ± 1.08 98.48 ± 1.19 98.87 ± 0.66
SEM 95.05 ± 1.20 92.8 ± 4.01 93.00 ± 4.20 Mej
ore
s re
sult
ado
s p
ara
cad
a ca
tego
ría
Media (%) ± desviación estándar (%)
• Comparativa con otros trabajos
TRABAJO Porcentajes de acierto
S.W. Lee and K. Mase. Activity and location recognition using wearable sensors. 92.85% a 95.91%
J. Mantyjarvi, J. Himberg, and T. Seppanen. Recognizing human motion with multiple acceleration sensors.
83% a 90%
K. Aminian, P. Robert, E. E. Buchser, B. Rutschmann, D. Hayoz, and M. Depairon. Physical activity monitoring based on accelerometry: validation and comparison with video observation.
89.30%
L. Bao and S.S. Intille. Physical Activity Recognition from Acceleration Data under Semi-Naturalistic Conditions 89%
ESTE ESTUDIO 95.05% (SEM), 98.92(LAB)
Fuente: L. Bao and S.S. Intille. Physical Activity Recognition from Acceleration Data under Semi-Naturalistic Conditions
• El preprocesado, modelo de extracción y selección de características, y clasificador determinan de forma directa la eficiencia del sistema
• Los mejores resultados (≈ 100%) para datos de laboratorio se obtienen con:
• Para datos seminaturalísticos hay que valorar otras posibilidades (resultados dependientes de la metodología seguida que pueden llegar a dar ≈ 95%)
• Cada acelerómetro ofrece por sí mismo un ratio de acierto alto, luego a priori no sería necesario utilizar combinaciones (si bien se pueden emplear en modo redundante)
Filtrado Extracción sobre la
señal completa
Variables como media geom. de los coef.
wavelets, autocorrelación o
amplitud
Clasificación basada en árboles de decisión
• Estudiar otras alternativas a la metodología propuesta, trabajando también en la mejora de las técnicas ideadas
• Analizar otras actividades, acelerómetros y proponer un sistema propio de monitorización
• Integrar el diseño junto a otros sistemas de reconocimiento para aplicaciones específicas