Integración de Reconocimiento Cognitivo y Afectivo dentro de

un Sistema Tutor Inteligente

Dr. Ramón Zatarain CabadaDra. María Lucía Barrón Estrada

ITC

Instituto Tecnológico de CuliacánMaestría en Ciencias de la Computación

Junio 2013

ITC 2013 2

Contenido

•Introducción•Bases Teóricas•Fermat•Pruebas y resultados•Conclusiones•Contribuciones

ITC 2013 3

Introducción

ITC 2013 4

Educación Básica en México

Profesor

28.3 estudiantes

7.2 materias

Programa de estudios

Estudiante

800 horas al año de clases

La cifra de estudiantes por maestro va en aumento de acuerdo a la situación demográfica(OSDE,2007).

ITC 2013 5

Tecnologías Educativas

“Aplicación de la tecnología a la resolución de problemas educativos”

𝑎2+ 𝑏2= 𝑐

Contenido

…E1 E2 En

Proceso de Enseñanza-Aprendizaje Tradicional

ITC 2013 6

Tecnologías Educativas (Continua)

Las nuevas Tecnologías que demanda la sociedad denominada “Sociedad del conocimiento”

𝑎2+ 𝑏2= 𝑐

Contenido

…E1 E2 En

Conocimiento

TICs

ITC 2013 7

Definición del ProblemaEvaluación Académica

ENLACE (Evaluación Nacional del Logro Académico en Centros Escolares )

Instrumento para evaluar anualmente el rendimiento del estudiante en educación básica .

Asignaturas : Matemáticas, Español y alguna optativa.

PISA (Program for International Student Assesment)

Instrumento internacional para evaluar cada 3 años el aprovechamiento de los estudiantes.

Asignaturas : Matemáticas, Español y Ciencias.

ITC 2013 8

Definición del Problema (continua)

“De los estudiantes solo el 8.1% muestra

desempeño excelente” (SEP,2010).ENLACEEducación Básica

66.1%

33.9%Insuficiente y Elemental

Bueno y Excelente

ITC 2013 9

Definición del Problema (continua)

Teoría de Piaget VS Situación de la Educación México

28.7 Estudiantes

Explicación igual para todos los estudiantes

El maestro recrea un ambiente adecuado para cada estudiante.

ITC 2013 10

Bases Teóricas

ITC 2013 11

Inteligencia Artificial en la Educación

Inteligencia Artificial

Educación

Desarrollo de STI

Aprendizaje personalizado, flexible y progresivo

Aprendizaje más efectivo

• Sistemas Expertos• Sistemas Difusos• Redes Neuronales• Computación

Evolutiva

• Transferencia de Conocimiento

• Socialización• Facilitar los aspectos

cognitivos, sociales y físicos

ITC 2013 12

Sistemas Tutores Inteligentes

Programas de computadora que incorporan técnicas de IA y pedagogía para proveer tutores que saben lo que enseñan, a quién le enseñan y como enseñar

Componentes

Experto del Conocimiento

• Proceso Enseñanza-Aprendizaje

• Metodologías de Enseñanza

Conocimiento del estudiante

• Características del alumno.

• Modelo Overlay

Tutor

• Estrategias a utilizar para la interacción con el alumno

Interfaz de Usuario

• Métodos de comunicación Tutor-Estudiante

• Representación de la información

ITC 2013 13

Sistemas Tutores Inteligentes (continua)

Áreas en las que se auxilia

Educación

Psicología Ciencias

Computacionales

Aprendizaje Interactivo , Educación a Distancia

Psicología Educativa , Teorías de Apredizaje

Interfaces Humano-Computadora

Sistema Tutor Inteligente

ITC 2013 14

Redes Sociales de Aprendizaje

Redes Sociales

Redes Sociales de Aprendizaje

Redes Sociales de Aprendizaje Inteligente

• Grupos de Personas que comparten intereses comunes

• Aprendizaje Colaborativo

• Relación estudiante-estudiante

• Integran herramientas de IA para la personalización y toma de decisiones sobre los cursos.

Co

mp

uta

ció

n S

uav

e • Andes

• IMMEX

• COALA

Co

mp

uta

ció

n A

fect

iva

• LISTEN’sReading Tutor

• WayangOutpost

• AutoTutor

Age

nte

s Pe

dag

ógi

cos • Coach

Mike

• eSchool

• Pat

ITC 2013 15

Estado del Arte

ITC 2013 16

FERMAT

ITC 2013 17

¿Qué es FERMAT?

Red Social de Aprendizaje Inteligente para Matemáticas, apoyando el proceso enseñanza-aprendizaje de la educación

ITC 2013 18

Estructura general

ITC 2013 19

Arquitectura Lógica

ITC 2013 20

Arquitectura del STI

ITC 2013 21

ITS Afectivo

Modulo de Dominio del Experto:• Un curso puede ser visto como un espacio de conocimiento específico de la disciplina (un diagrama

de árbol en particular) que contiene capítulos que a su vez contiene temas. El total de nodos en el árbol representa el conocimiento del experto. El módulo de dominio se almacena como documento XML cuya estructura se muestra a continuación::

<?xml version="1.0" encoding="UTF-8"?>

<domain>

<name> Domain Name </name>

<chapters>

<chapter id="1">Chapter1 </chapter>

<urlDomain>Domain/Chapter1.xml</urlDomain>

<urlTest>Domain/Test_Chapter1.xml</urlTest>

<chapter id="2">Chapter2 </chapter>

<urlDomain>Domain/Chapter2.xml</urlDomain>

<urlTest>Domain/Test_Chapter2.xml</urlTest>

……

</chapters>

</domain>

ITC 2013 22

ITS Afectivo

Modulo del Estudiante• El módulo identifica el nivel de conocimientos del estudiante por medio de un examen

diagnóstico. • La representación del conocimiento se basa en un modelo llamado «overlay", donde el

conocimiento del estudiante es un subconjunto del conocimiento del experto. A medida que el estudiante usa el sistema tutorial inteligente él / ella expande este subconjunto.

ITC 2013 23

ITS Afectivo

Modulo Tutor

• Hemos implementado las reglas de producción (memoria procedimental) y hechos (memoria declarativa) a través de un conjunto de reglas XML.

• Además, hemos desarrollado un nuevo algoritmo de rastreo de conocimiento basado en lógica difusa, que se utiliza para rastrear estados cognitivos del alumno, aplicando el conjunto de reglas (XML y las reglas Fuzzy) al conjunto de hechos.

ITC 2013 24

Implementación del STI

ITC 2013 25

Reconocimiento de Emociones

• Las emociones se detectan por la expresión de la caray por voz (todavía trabajando en ello).

• El método utilizado para la detección de emocionesvisuales se basa en la teoría de Ekman. Trabajamoscon 7 emociones: ira, disgusto, miedo, alegría, tristeza,sorpresa y neutral (estamos iniciando con emocionesrelacionadas con aprendizaje (D’Mello))

• Una vez que el estado afectivo del estudiante se hareconocido (del rostro y la voz), ambos resultados secombinan con el estado cognitivo y se envían almódulo afectivo.

ITC 2013 26

Detección de Emoción con el Rostro

Subsistema 1 (Extracción Características and KNN)

¿Emoción?

Prueba el reconocimiento(Opcional)

Distancia y Emoción

Distancia Emoción

Pesos y metadatos

Subsistema 2.1 (Captura de imágenes

desde el lado del cliente

WEB

Subsistema 2.2 (Reconoc. Rostrodesde el servidor)

Reconocimiento de Emociones

ITC 2013 27ITC 2012 27

Distancia y Emoción

Reconocimiento de Emociones

ITC 2013 28

Implementación del STI

ITC 2012 28

Emoción

ITC 2013 29

Implementación del STI

ITC 2012 29

Entrenamiento de Red Neuronal

• JAFFE (Expresión facial en Mujer japonesa) es una base de datos deexpresiones faciales, que contiene 213 imágenes. Las 213 imágenes sedividen en siete expresiones faciales simulados por 10 Modelosfemeninos japoneses. Los resultados en el reconocimiento no fueronbuenos.

ITC 2013 30

Implementación del STI

ITC 2012 30

• Grimace (Spacek) contiene un total de 360 imágenes, las cuales se dividen en 18modelos con 20 imágenes por modelo. Una ventaja es que en ella existen tantohombres como mujeres, y la cantidad de imágenes, aunque no muy grande, es buenapara usarse en la red neuronal. La principal desventaja es que no está organizada poremociones, por lo tanto esta tarea se deja a juicio del desarrollador. Otra pequeñadesventaja es que las imágenes son un poco obscuras.

ITC 2013 31

Implementación del STI

ITC 2012 31

• RaFD (Radboud Faces Database) (Langner, y otros, 2010) (RaFD) es una base de datosde expresiones faciales que incluye un conjunto de 67 modelos incluyendo hombre ymujeres caucásicos, niños y niñas caucásicos y hombres marroquí holandeses. Losmodelos muestran 8 expresiones emocionales, las cuales corresponden al FACS(Ekman & Freisen, 1978). La base de datos presenta a los modelos demostrando 8expresiones, cada emoción en 3 direcciones de mirada diferente y además en 5posiciones de toma de la cámara. El gran total de toda la base de datos son 8040imágenes.

ITC 2013 32

Agente Pedagógico

ITC 2013 33

PRUEBAS Y RESULTADOS

ITC 2013 34

SESIÓN

ITC 2013 35

Pruebas

Caso de Prueba 1. Escuela: Lic. Benito Juárez ANS.

Caso de Prueba 2. Escuela: Instituto Chapultepec.

ITC 2013 36

Resultados

0

2

4

6

8

10

Calificación Inicial

Calificación Final

Caso de Prueba 1.

Escuela: Lic. Benito Juárez

ANS.

02468

10

Niñ

o 1

Niñ

o 2

Niñ

o 3

Niñ

o 4

Niñ

o 5

Niñ

o 6

Niñ

o 7

Niñ

o 8

Niñ

o 9

Niñ

o 1

0

Niñ

o 1

1

Niñ

o 1

2

pro

med

io

Calificación Inicial

Calificación Final

Caso de Prueba

2. Escuela: Instituto

Chapultepec.

ITC 2013 37

CONCLUSIONES

ITC 2013 38

Conclusiones

Se creó una herramienta que complementa los factores: Cognitivos, emocionales y sociales.

Los reconocedores todavía no han sido integrados a los STI.

Todavía estamos trabajando para mejorar la eficiencia del reconocedor y crear otros STIs. También se pretende reconocer emociones a través de diálogos u otros medios (multimodal) usando emociones mas enfocadas al aprendizaje (confundido, aburrido, etc.).

ITC 2013 39

PREGUNTAS