10/06/2020
1
Biometrics and
e-Health Applications
Prof. Julian FIERREZ
http://biometrics.eps.uam.es/
Universidad Autonoma de Madrid - SPAIN
USER INTERACTION WITH MOBILE DEVICES
Summary of the different sensors/signals of smartphone and example applications.
In blue, applications that reveal neuromotor skills, in red, cognitive functions, and
in green, applications revealing behaviors/routines.
1
2
10/06/2020
2
MULTIMODAL HUMAN-COMPUTER INTERACTION
Facial
Ritmo cardiaco 72
Estrés Medio
Emoción Neutra
Dilatación pupila 36%
Gesticulación Normal
Mov. Sacádico 42%
Habla
Intensidad 93
Tono Medio
Emoción Neutra
Alteraciones Normal
Contacto
Ritmo cardiaco 74
Saturación 93%
Sudoración Normal
Temperatura 37.4º
Normal
Sistema multimodalMultimodal
System
Input Input
Input
Output
J. Hernandez-Ortega, R. Daza, A. Morales, J. Fierrez and J. Ortega-Garcia, “edBB: Biometrics and Behavior forAssessing Remote Education”. Proc. of AAAI Workshop on Artificial Intelligence for Education (AI4EDU), New York, NY, USA, February 2020.
MULTIMODAL HUMAN-COMPUTER INTERACTION
3
4
10/06/2020
3
J. Hernandez-Ortega, R. Daza, A. Morales, Julian Fierrez and R. Tolosana, "Heart Rate Estimation from Face Videos forStudent Assessment: Experiments on edBB", in IEEE Conf. on Computers, Software, and Applications (COMPSAC), Madrid, Spain, July 2020.
J. Hernandez-Ortega, J. Fierrez, A. Morales and D. Diaz, "A Comparative Evaluation of Heart Rate Estimation Methodsusing Face Videos", in IEEE Intl. Workshop on Medical Computing (MediComp), Madrid, Spain, July 2020.
VIDEO-BASED HEART RATE ESTIMATION
Modelado
Informe médico (app móvil)
Aprendizaje supervisado
Digitalización de la escritura
Secuencias dinámicas
Sensor
Extracción de características
Globales y locales
MONITORING OF NEURODEGENERATIVE DISORDERS
5
6
10/06/2020
4
Modelado
Informe médico (app móvil)
Aprendizaje supervisado
Digitalización de la escritura
Secuencias dinámicas
Sensor
Extracción de características
Globales y locales
0 200 400 600 800 1000 12000
10
20
30
40
Vel
ocid
ad V
ertic
al
Tiempo
0 500 1000 1500 2000 2500 3000 35000
20
40
60
80
Vel
ocid
ad V
ertic
al
Tiempo
Usuario control:Tiempo total en realizar la prueba: 6.1 segundos.Número de trazos: 12.Velocidad de activación muscular promedio: 300 ms (SD=31).Velocidad de desactivación muscular promedio: 275 ms (SD=27).
Parkinson (grado 19):Tiempo total en realizar la prueba: 16.6 segundos.Número de trazos: 26.Velocidad de activación muscular promedio: 150 ms (SD=61).Velocidad de desactivación muscular promedio: 163 ms (SD=68).
R. Castrillon, A. Acien, et al., "Characterization of the Handwriting Skills as a Biomarker for Parkinson Disease", in IEEE Intl. Conf. on
Automatic Face & Gesture Recognition, Workshop on Human Health Monitoring based on Computer Vision, Lille, France, April 2019.
MONITORING OF NEURODEGENERATIVE DISORDERS
IDEA-FAST
También con otros sensores biométricos: vídeo facial, interacción táctil, teclado, smartwatch, wearables, etc. +40 other EU partners
Call 15 T6: Digital endpoints in neurodegenerative diseases
+20M€+20M€
IDEA-FAST: Proyecto Europeo (>40 Mill.) a desarrollar entre 2020-2025 en el que el grupo BiDA es el único grupo de investigación español participante.
7
8
10/06/2020
5
IDEA-FAST: Sensors
Activities of
Daily Living
IDEA-FAST: Timeline (2020-2025)
9
10