Post on 14-Aug-2021
Facultad de IngenieríaUniversidad de los Andes
Atención al cliente por medio dereconocimiento facial
Adelaida Zuluaga CajiaoAsesores: Fernando Lozano y Carolina Higuera
27 de febrero de 2020
1
Video de motivación
Atención al cliente por medio de reconocimiento facial
Adelaida Zuluaga Cajiao | Universidad de los Andes
2
Motivación
I La robótica social se ha convertidoen uno de los avances tecnológicosmás importantes a los que se hallegado hoy en día.
I El reto más grande que se presentaen este campo es cómo integrar alos robots en ambientes humanos.
I Lograr que los robots tengan unpapel beneficioso en lacotidianidad.
I Desarrollar habilidades cognitivasy sociales que sean aplicadas alcomportamiento de los robots.
I Detección y reconocimiento facial.
Figura:
Pepper en el edificio Mario Laserna
Adelaida Zuluaga Cajiao | Universidad de los Andes
3
ObjetivosObjetivo general
Objetivo generalI Desarrollar un sistema de atención al cliente, con el cual un robot semi
humanoide sea capaz de detectar y reconocer personas. Adicionalmente, elrobot debe interactuar con el cliente para brindarle un buen servicio.
Adelaida Zuluaga Cajiao | Universidad de los Andes
4
ObjetivosObjetivos específicos
Objetivos específicosI Evaluar, integrar y adaptar modelos y técnicas existentes para detección y
reconocimiento facial.I Construir base de datos para reconocimiento facialI Evaluar desempeño del sistema en el robotI Construir un sistema de interacción con las personas detectadas y
reconocidas por el robot
Adelaida Zuluaga Cajiao | Universidad de los Andes
5
AlcanceRestricciones del problema
Figura: Alcance del proyecto de grado
Adelaida Zuluaga Cajiao | Universidad de los Andes
6
Marco TeóricoRobótica social
I Los robots sociales sondiseñados y programadospara interactuar con loshumanos en entornosasistenciales.
I La interacción humanorobot permite incluir pocoa poco a estas máquinasen la vida social humana.
I Se debe trabajar endesarrollar su capacidadde autonomía y autoaprendizaje para alcanzarla inteligencia social.
Figura: Formas de interacción entre los robots y loshumanos
Adelaida Zuluaga Cajiao | Universidad de los Andes
7
Marco TeóricoDetección facial
Viola-JonesI Algoritmo implementado
por Paul Viola y MichaelJones en el 2001
I Algoritmo basado en unaserie de clasificadoresdébiles llamados Haar-likefeatures
I AdaBoost como algoritmode aprendizaje
Figura: Pasos del algoritmo de Viola-Jones
Adelaida Zuluaga Cajiao | Universidad de los Andes
8
Marco TeóricoReconocimiento facial
I Los métodos de reconocimiento facial se dividen en procesos geométricosy fotométricos.
I Métodos más implementados para reconocimiento facial: Eigenfaces, elalgoritmo Fisherfaces, el modelo de Markov Oculto, entre otros.
EigenfacesI Proceso fotométricoI Se basa en técnicas de
reducción dedimensionalidad
I Extracción de elementosesenciales de las imágenesy rechazar característicasno relevantes
Figura: Algoritmo eigenfaces
Adelaida Zuluaga Cajiao | Universidad de los Andes
9
Marco TeóricoROS
ROSI Robotic Operating SystemI Basado en una arquitectura de
grafosI Los nodos pueden recibir y
mandar mensajes.I Áreas más relevantes:
I Nodo de coordinaciónI Publicación o subscripción de
flujo de datosI Creación de nodos
Figura: Estructura de un grafo de ROS [5]
Adelaida Zuluaga Cajiao | Universidad de los Andes
10
Propuesta metodológicaPlanteamiento del problema
Planteamiento del problemaX Desarrollar una aplicación de
atención al cliente, mediante lacual el robot semi humanoide,Pepper, pueda interactuar con losusuarios y brindarles un buenservicio.
X Desarrollar dos módulos:1. Módulo de detección facial2. Módulo de reconocimiento
facial
Figura: Pepper: robot semi humanoide
Adelaida Zuluaga Cajiao | Universidad de los Andes
11
Propuesta metodológicaPlanteamiento del problema
Planteamiento del problemaX Detección facial:
I Viola-JonesI Librerías de OpenCV
X Reconocimiento facial:I EgienfacesI Construcción de base de datos
con imágenes de múltiplespersonas.
I Librerías de Scikit-Learn
X Interacción y comunicación entreel robot y el cliente
X Integrar los módulos medianteROS. Figura: Pepper: robot semi humanoide
Adelaida Zuluaga Cajiao | Universidad de los Andes
12
Propuesta metodológicaMetodología
I Nodo principal:robot_toolkit, herramientadesarrollada por la AlianzaSinfonÍA.
I Construcción de la base dedatos:X 150 imágenesX 12 clasesX Obtenidas desde el
campo visual del robotX Variaciones en las
condiciones de luzFigura: Grafo de la aplicación
Adelaida Zuluaga Cajiao | Universidad de los Andes
13
Análisis de resultados
Especificaciones técnicasI Cámara utilizada:
Cámara 2D incorporada en el robotI Resolución de la cámara:
1280 * 960 pxI Parámetros de la cámara:
X Brillo = 60X Contraste = 30X Saturación = 64
Adelaida Zuluaga Cajiao | Universidad de los Andes
14
Análisis de resultadosDetección facial
I scaleFactor = sin definirI minNeighbors = sin definir
Figura: Primeros resultados obtenidos sobre 149 pruebas
Adelaida Zuluaga Cajiao | Universidad de los Andes
15
Análisis de resultadosDetección facial
I scaleFactor = 1.3I minNeighbors = 5
Figura: Resultados finales sobre 108 pruebasAdelaida Zuluaga Cajiao | Universidad de los Andes
16
Análisis de resultadosReconocimiento facial
Reconocimiento facialI División de los datos:70 % entrenamiento y 30 % pruebaI Pre procesamiento:Estandarización de las variablesI PCAI SVM:C= 1000 y γ = 0,01
Figura: CaptionAdelaida Zuluaga Cajiao | Universidad de los Andes
17
Análisis de resultadosReconocimiento facial
X SVM con kernel RBF
Figura: Eigenfaces
Figura: Matriz de confusión para la primera configuración
Adelaida Zuluaga Cajiao | Universidad de los Andes
18
Análisis de resultadosReconocimiento facial
X SVM One vs All
Figura: Eigenfaces
Figura: Matriz de confusión para One vs All
Adelaida Zuluaga Cajiao | Universidad de los Andes
19
Análisis de resultadosIntegración de los dos módulos
Figura: Integración de los dos módulos
I Persona conocida:El robot hace una serie de clasificaciones y se selecciona el mejor puntaje.
I Persona desconocida:1. Se hace una serie de clasificaciones y el mayor puntaje es para la clase
“Desconocido”2. El robot le pregunta el nombre al usuario3. Se toman 35 fotos del nuevo usuario4. Se reentrena el modelo con las imágenes obtenidas
Adelaida Zuluaga Cajiao | Universidad de los Andes
20
Conclusiones
ConclusionesI La optimización de los modelos hizo posible que la integración de los dos
módulos fuera exitosaI El módulo de reconocimiento facial presenta errores al tener grandes
variaciones de luz y con cambios en la orientación del rostro de laspersonas.
I Otro problema que se presenta es el tiempo de interacción entre el robot yel usuario y el tiempo que le toma al robot procesar la información.
Adelaida Zuluaga Cajiao | Universidad de los Andes
21
Conclusiones
Trabajo futuroI Para garantizar una mejora significativa en el desempeño del sistema se
requiere de una mayor capacidad de cómputo.I A futuro se podría agregar a Pepper una unidad de procesamiento
adicional. Esto permitiría la implementación de modelos más robustos.I Se planea trabajar en el lenguaje natural del robot, logrando mejores
tiempos de ejecución.
Adelaida Zuluaga Cajiao | Universidad de los Andes
22
Bibliografía
1. The next frontier in robotics: social, collaborative robots | Andrea Thomaz |TEDxPeachtree
2. A.Castro González, J.C.Castillo , F.A.Martín, M.A. Salichs. “Evolución de larobótica social y nuevas tendencias”
3. P. Viola and M. Jones, “Robust real-time face detection”. In Proc. Of IEEEWorkshop on Statistical and Computational Thories of Vision, 2001.
4. Medium “Introduction to Principal Component Analysis (PCA)-with Pythoncode”
5. P.Lepej “ROS tutorial”, 2013. Obtenido de:http://lsi.vc.ehu.es/pablogn/investig/ROS/lepejROST utorialSS2014.pdf
6. J. Planells Lerma, “Implementación del algoritmo de detección facial deViola-Jones”
Adelaida Zuluaga Cajiao | Universidad de los Andes
¡Gracias!
23
Anexos
X Viola-JonesI Características Haar [6]
I Imagen integral[6]I La imagen integral en un punto (x,y) contiene la suma de todos los píxeles de
los rectángulos encontrados para las características haar, que se encuentranarriba y a la izquierda de ese punto en la imagen
Adelaida Zuluaga Cajiao | Universidad de los Andes
24
Anexos
I AdaboostCrear clasificador robusto a partir de clasificadores débiles
I Clasificador en cascada[6]
Adelaida Zuluaga Cajiao | Universidad de los Andes