Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy
-
Upload
jose-antonio-ruiperez-valiente -
Category
Data & Analytics
-
view
544 -
download
3
Transcript of Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy
DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE
APRENDIZAJE EN LA PLATAFORMA
KHAN ACADEMY
Autor: José A. Ruipérez Valiente – [email protected] @JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – [email protected]
Universidad Carlos III de Madrid Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación
2
ÍNDICE
Introducción
Definición de parámetros de alto nivel
Desarrollo del módulo ALAS-KA
Evaluación del proceso de aprendizaje
Conclusiones y resultados
Vídeo demostración de ALAS-KA
INTRODUCCIÓN
3
4
MOTIVACIONES
Generan grandes
cantidades de
datos de bajo nivel
Plataformas e-learning
Difícil de interpretar
5
OBJETIVOS
1
2
3
Definición de un conjunto de parámetros de alto nivel
Implementación de ALAS-KA
Evaluación del proceso de aprendizaje
6
DEFINICIÓN Y PROCESO
Procesado de métricas
Generación y captura de datos
Definición 1ª conferencia internacional LAK:
“learning analytics es la medida, recolección, análisis e informe de los datos sobre los estudiantes y sus contextos, con el propósito de entender y optimizar el aprendizaje y el entorno en el que ocurre”
Trabajos como (Campbell et al., 2007) y (Clow, 2012) han
tratado las fases del proceso Visualizador
Recomendador
Actuador datos de
bajo nivel información
de alto nivel
7
KHAN ACADEMY: Estructura
8
KHAN ACADEMY: Ejercicios y vídeos
9
KHAN ACADEMY: Learning analytics
Informe Focus
Informe Activity
Informe Progress
PARÁMETROS DE ALTO NIVEL
10
11
BLOQUES DE PARÁMETROS
Correcto Progreso en la Plataforma
Distribución del Tiempo de Uso de la Plataforma
Hábitos Resolviendo
Ejercicios Hábitos de Ludificación
Uso Total en la Plataforma
CONJUNTO DE PARÁMETROS
12
Uso Total de la Plataforma
Uso efectivo de la plataforma
Abandono de vídeos y ejercicios
Tiempo total en la plataforma
Uso de elementos opcionales
Focalizador de vídeos o ejercicios
Correcto Progreso en la Plataforma
Progreso en ejercicios
Progreso en vídeos
Eficiencia temporal
Eficiencia resolviendo ejercicios por primera vez
Eficiencia viendo vídeos
13
Distribución del Tiempo de Uso de la Plataforma
Uso de la plataforma por tramos horarios
Eficiencia en tramos horarios
Media y varianza del tiempo de uso
Constancia
Hábitos Resolviendo Ejercicios
Seguidor de recomendaciones
Usuario olvidadizo
Evitador de vídeos y pistas
Usuario no reflexivo
Abusador de pistas
Hábitos de Ludificación
Interés en ganar medallas
Proporción de puntos por ludificación
MODELO COGNITIVO 14
Evitador de vídeos y pistas, usuario no reflexivo
Detectar usuarios evitadores de pistas y vídeos, y no reflexivos
Modelo de comportamiento
Ejemplo
DESARROLLO DEL MÓDULO ALAS-KA
15
FASES DEL DESARROLLO
16
Especificación de requisitos Análisis y
diseño
Implementación
Pruebas
Integración
Mantenimiento
Validación y verificación
ESPECIFICACIÓN DE REQUISITOS
17
Visualizaciones individuales y de clase
Tabla descriptiva de usuarios
Descripción de los parámetros
Soporte de distintos cursos en una instancia
Procesado de estadísticas periódico
Generación de estadísticas para cada curso
Acceso mediante log-in Khan Academy
Seguridad de acceso y gestión de permisos
Requisitos funcionales
Requisitos no funcionales
ANÁLISIS Y DISEÑO
Lenguaje de programación Python: Algunas APIs utilizadas como Webapp2, Jinga2, Numpy o Matplotlib
Google App Engine como infraestructura
App Engine Datastore para la persistencia de datos
Google Charts para las visualizaciones
18
TECNOLOGÍAS
19
DIAGRAMA DEL SISTEMA
Estudiantes
Profesores
Datastore
Procesado de datos
Visualizaciones
Recomendador
20
Cron jobs
Queue
Tasks
Procesado personalizado
PROCESADO DE DATOS
21
Fase de codificación de toda la aplicación
Código y entidades Datastore independientes de Khan Academy
IMPLEMENTACIÓN Y PRUEBAS
IMPLEMENTACIÓN PRUEBAS
Pruebas unitarias
Pruebas modulares
Prueba global
Pruebas de seguridad
22
INTEGRACIÓN, VALIDACIÓN Y MANTENIMIENTO
INTEGRACIÓN VALIDACIÓN
MANTENIMIENTO
Integración e instalación de ALAS-KA en las plataformas Khan Academy de los cursos 0
Comprobación correcto funcionamiento de Khan Academy y ALAS-KA una vez hecha la instalación
Verificar correcto funcionamiento procesado datos
Carga de nuevos usuarios
EVALUACIÓN DEL PROCESO DE APRENDIZAJE
23
24
DOS TIPOS DE EVALUACIÓN
Por combinación de parámetros...
Por perfiles de usuario a través de ALAS-KA...
... en los cursos 0 de 2012/2013
... en los cursos 0 de 2013/2014
COMBINACIÓN DE PARÁMETROS
25
Considerando un mínimo de 16 vídeos
para UEV2 o 21 ejercicios para UEE3
22 de 66 hicieron progreso correcto
Pero...
el parámetro EJ3 lo muestra
Correcto Progreso en la Plataforma
¿Quién fue más eficiente?
26
Si no ha hecho un progreso correcto... ¿Se ha esforzado?
Considerando un TT de 225 minutos, o
15 vídeos de UEV1 o 20 ejercicios de
UEE1
8 de 44 “suspensos”
se esforzaron
UEV1 UEV2 UEE1 UEE3
TT r=0.81 r=0.80 r=0.71 r=0.83
USO DE LA PLATAFORMA
La correlación de TT es indicativo de que puede ser
buen predictor
27
Mediante combinación
de los parámetros
UEV1 y UEV2 se estima
el abandono
USO DE LA PLATAFORMA
POR PERFILES DE USUARIO MEDIANTE ALAS-KA
28
Uso Total de la Plataforma
Recursos accedidos
Recursos abandonados
29
Progreso Correcto en la Plataforma Igual progreso,
¡distinta eficiencia!
30
Gran diferencia en la
constancia de dos
usuarios con similar
tiempo invertido
Distribución del Tiempo de Uso de la Plataforma
CONCLUSIONES Y RESULTADOS
31
CONCLUSIONES
32
Los objetivos marcados han sido alcanzados
Definir un conjunto de parámetros de alto nivel
Implementar ALAS-KA con dichos parámetros y visualizaciones
Usar los puntos anteriores para evaluar el proceso de aprendizaje
Es necesario decidir entre las muchas formas de procesar la información
Las interpretaciones pueden depender del contexto educativo
La carga del procesado de datos aumenta exponencialmente
RESULTADOS ASOCIADOS
33
Artículos en Journals en el índice JCR
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Leony, D., & Delgado Kloos, C. (2015). ALAS-KA: A learning analytics extension for better understanding the learning process in the Khan Academy platform. Computers in Human Behavior, 47(Learning Analytics, Educational Data Mining and data-driven Educational Decision Making), 139-148
Leony, D, Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Pardo A., Martín-Caro, D.A., Delgado Kloos, C. (In press). Detection and evaluation of emotions in Massive Open Online Courses. Journal of Universal Computer Science.
Publicación en capitulo de libro
Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Sanz, J. L., & Delgado Kloos, C. (In press). Assessment Activities in MOOCs. In Furthering Higher Education Possibilities through Massive Open Online Courses. IGI Global, E-Editorial Discovery
http://www.joseruiperez.com/mi-investigacion/
34
Publicación en congresos internacionales
Muñoz-Merino, P. J., Ruipérez Valiente, J. A., & Kloos, C. D. (2013). Inferring higher level learning information from low level data for the Khan Academy platform. In Proceedings of the Third International Conference on Learning Analytics and Knowledge - LAK ’13 (pp. 112–116). New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Kloos, C. D. (2013). An architecture for extending the learning analytics support in the Khan Academy framework. In Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality - TEEM ’13 (pp. 277–284). New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Delgado Kloos, C. (2014). A demonstration of ALAS-KA : A learning analytics tool for the Khan Academy platform. In 9th European Conference on Technology Enhanced Learning (EC-TEL 2014) (pp. 518–521)
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Delgado Kloos, C., Niemann, K., & Scheffel, M. (2014). Do Optional Activities Matter in Virtual Learning Environments? In Ninth European Conference on Technology Enhanced Learning (pp. 331–344). Graz, Austria: Springer International Publishing
El proyecto es parte del laboratorio Gradient, ha sido expuesto en diferentes foros y conferencias
Parte de los resultados de este trabajo han sido utilizados en los proyectos eMadrid y EEE-Virtual
35
El módulo ALAS-KA y los parámetros obtenidos en este TFM han sido utilizados para evaluar el proceso de aprendizaje de los cursos 0 de 2012/2013, 2013/2014 y 2014/2015
El software desarrollado ha sido liberado en GitHub bajo MIT license y puede ser accedido en este enlace
Otros méritos:
Premio al mejor proyecto Fin de Máster en Ingeniería de Telecomunicaciones patrocinado por Accenture en la Universidad Carlos III de Madrid del curso lectivo 2012/2013.
Premio eMadrid 2015 al mejor TFM/TFG/PFC relacionado con tecnologías educativas
Premio al mejor PFC/TFM/TFG del Capítulo Español de la Sociedad de la Educación del IEEE (CESEI)
Premio otorgado por el COIT-AIET al “Mejor Trabajo Fin de Máster en Nuevos Servicios, Aplicaciones y Modelos de Negocio Digitales” patrociado por Accenture
El artículo “Do Optional Activities Matter in Virtual Learning Environments?” realizado a partir de este TFM y publicado en el EC-TEL 2014 fue seleccionado como uno de los mejores artículos de la conferencia
VÍDEO DEMOSTRACIÓN DE ALAS-KA
36
DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE APRENDIZAJE EN LA PLATAFORMA
KHAN ACADEMY
¿Preguntas?
Universidad Carlos III de Madrid Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación
Autor: José A. Ruipérez Valiente – [email protected] @JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – [email protected]