1 / 20

Nuria Joglar, José Luis Risco, José Manuel Colmenar, Rubén Sánchez , Alberto

Díaz

Experiencia en el desarrollo y utilización de una herramienta de corrección automática de exámenes

2 / 20

Motivación Herramientas similares Experiencia previa Mejora de la herramienta Demostración Pruebas y Resultados Conclusiones y Trabajo Futuro

Índice

3 / 20

Motivación

Doble objetivo: Obtener una herramienta de autoevaluación para los

alumnos Necesidad propuesta por las asignaturas de Matemáticas

Completar la formación académica de algunos alumnos con un proyecto de cierta envergadura

Herramienta Desarrollo

4 / 20

Herramientas similares

Existe una gran variedad de herramientas similares a ExaNet WebCT Sakai OLAT dotLRN Moodle

El objetivo de ExaNet no es competir con estas herramientas El objetivo es motivar a los estudiantes doblemente

Mediante el uso de la herramienta, para autoevaluación Mediante el desarrollo de la misma

5 / 20

Experiencia previa

Este trabajo parte de uno previo Experiencia educativa entre varias asignaturas,

presentado en JENUI 2005 Se desarrolló una primera versión de la herramienta

Exámenes online tipo test Macropráctica compartida entre cinco asignaturas

Prueba en la asignatura de Estadística (2004-2005) Prueba voluntaria realizada en un laboratorio del centro Resultado satisfactorio

Sin errores relevantes Valorada positivamente por los alumnos

6 / 20

Mejora de la herramienta: objetivos

Superar deficiencias de la herramienta obtenida en el trabajo anterior Problemas de usabilidad en el interfaz, tanto de

administración como de realización de examen Ausencia de soporte a fórmulas matemáticas Imposibilidad de acceder a la aplicación desde el

exterior, al encontrarse en un servidor del Centro

7 / 20

Mejora de la herramienta: proceso

Desarrollado como práctica recompensada con créditos de libre elección

Dos alumnos, 45 horas totales cada uno (1,5 créditos) Método de trabajo bastante flexible para los alumnos

Objetivo final: realizar una prueba en la asignatura de Cálculo Supervisión mediante reuniones

Problemas Dificultades para trabajar con un código ajeno Objetivos eran demasiado generales Comunicación algo confusa entre profesores y alumnos Fue necesario aplazar dos veces la prueba de Cálculo

8 / 20

Mejora de la herramienta: resultados

Renovación completa del interfaz de realización de exámenes No se logró un buen interfaz de administración

Soporte para fórmulas matemáticas mediante visualización a través de MathML El profesor introduce las fórmulas en LaTeX La aplicación las traduce a MathML para su

visualización Migración de la aplicación a un servidor externo

12 / 20

13 / 20

Utilización de la herramienta: CÁLCULO Curso: Primero, Año académico 2005-06

Configuración Examen sin supervisión vía Internet

5 preguntas tipo test (cubren 3 de los 5 temas del temario) 5 respuestas posibles

30 minutosAcierto = 0.2, Fallo = -0.1, No respondida = 0

(-0.5 .. 1)Calificación sumada a nota examen final

(0 .. 10)

14 / 20

Resultados obtenidos: CÁLCULO Curso: Primero, Año académico 2005-06

98 matriculados Observación: todos los alumnos que asisten regularmente a clase,

realizan la prueba con ExaNet EACs Ejercicios Adicionales Calificados realizados en clase

Final ExaNetFinal + Exanet

EACs

Presentados 63 58 52 59.6

Aprobados 20 25 19 41

% aprobados 31.7 43.1 36.5 68.8

15 / 20

Resultados obtenidos: ESTADÍSTICA Curso: Segundo, Año académico 2005-06

Final ExaNet Final + Exanet

Presentados 56 46 42

Aprobados 23 21 19

% aprobados 41.1 45.7 45.3

Supervisado en laboratorio 104 matriculados

16 / 20

Análisis del tiempo de realización: CÁLCULO Curso: Primero, Año académico 2005-06

La herramienta registra el tiempo del examen Tiempo medio = 22 minutos (mín = 6, máx = 30)

8 alumnos acertaron las 5 preguntas Tiempos de ejecución más bajos ↔ Bajas calificaciones en EACs

-0,1

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1,0

0 5 10 15 20 25 30

Calificaciones ExaNet frente a tiempo

17 / 20

Estadísticas de aciertos por pregunta: CÁLCULO Curso: Primero, Año académico 2005-06

La herramienta ofrece estadísticas de acierto a cada una de las preguntas 45 preguntas, sólo una no apareció en ningún examen Dos tipos de preguntas

Tipo I (cálculo o propiedad) => entre 40 y 60% => dificultad homogénea Tipo II (único enunciado cierto) => entre 0 y 71% => dificultad variable

01234567

0%<p

<10%

10%

<p<2

0%

20%

<p<3

0%

30%

<p<4

0%

40%

<p<5

0%

50%

<p<6

0%

60%

<p<7

0%

70%

<p<8

0%

80%

<p<9

0%

90%

<p<1

00%

Frecuencia Frecuencia tipo II Frecuencia tipo I

Estadísticas sobre frecuencias de aciertos de preguntas

18 / 20

Conclusiones

La utilización de la herramienta mejora el porcentaje de aprobados en el examen final

Experiencia de desarrollo no fue totalmente satisfactoria

Difícil de controlar un experimento vía Internet (posibles trampas)

19 / 20

Trabajo futuro

Utilización más continua de la herramienta a lo largo del curso

Nuevas funcionalidades Grado de dificultad por pregunta

Aplicación de ExaNet en Bachillerato y Secundaria de manera continuada

Adaptación de ExaNet a Infantil y Escuelas de Música usando Flash en enunciados de preguntas

20 / 20

Experiencia en el desarrollo y utilización de una herramienta de corrección

automática de exámenes

Muchas gracias por su atenciónrsanchez@cesfelipesegundo.com