Actas XVIII JENUI 2012, Ciudad Real, 10-13 de julio 2012 Páginas...

8
Actas XVIII JENUI 2012, Ciudad Real, 10-13 de julio 2012 I.S.B.N. 10: 84-615-7157-6 | I.S.B.N. 13:978-84-615-7157-4 Páginas 303-310 Un proyecto docente basado en una auténtica evaluación continua utilizando una herramienta software M. Isabel Hartillo Hermoso, Rafael Robles Arias Departamento de Matemática Aplicada I Universidad de Sevilla E.T.S. Ingeniería Informática, Avda. de Reina Mercedes s/n 41012 Sevilla Resumen La reciente creación de la titulación de Grado en In- geniería Informática propició la adecuación de sus asignaturas al Espacio Europeo de Educación Supe- rior, poniendo especial énfasis en la promoción del aprendizaje continuado a lo largo de la vida. En es- te trabajo se presenta y analiza un proyecto de in- novación y mejora docente aplicado en la asignatu- ra Cálculo Infinitesimal y Numérico, perteneciente al módulo de Formación Básica. Se ha tomado para ello un grupo piloto dentro de la titulación. La prin- cipal característica del proyecto reside en el dise- ño de dinámicas docentes diferenciadas entre clases teóricas, prácticas de aula y prácticas de laboratorio y al mismo tiempo integradoras de un proceso con- tinuado de aprendizaje y de aplicación práctica de lo aprendido, garantizando que sea compatible con una auténtica evaluación continua de todo el proceso. La viabilidad del proyecto dependía en gran medida de la carga de trabajo que ello suponía para el profeso- rado implicado. Para ello, se diseñó una herramienta software que permite la generación y asignación de actividades personalizadas para el alumnado así co- mo una evaluación semi-automática de las mismas. Un primer análisis de los resultados obtenidos mues- tra una mejora significativa respecto de otros proyec- tos basados en planteamientos más clásicos. Summary The recent creation of the Degree in Computer En- gineering led the adaptation of their subjects to the European Higher Education Area, stressing on life- long learning throughout life. This paper presents and analyzes a proposed educational plan of inno- vation. It has been applied to the subject Cálculo Infinitesimal y Numérico (Differential Calculus and Numerical Analysis) as part of basic training mo- dules. It has been tested in a pilot group within the degree. The main feature of the project lies in the design of teaching dynamics. It has been scheduled in theoretical classes, classroom practices and labo- ratory practices. These modules achieve continuous process of learning and practical application of lear- ning, ensuring an authentic continuous assessment throughout the process. The viability of the project depended heavily on the workload for the involved teachers. For this, we designed a software tool that allows the generation and assignment of custom ac- tivities for students and semi-automatic evaluation of them. A first analysis of the results shows a signi- ficant improvement over previous results with other projects based on classic approaches. Palabras clave Proyecto docente, evaluación continua, herra- mienta software, tareas personalizadas, Sage. 1. Motivación El Espacio Europeo de Educación Superior ha su- puesto cambios en todos los ámbitos universitarios. Desde el punto de vista docente, el sistema de apren- dizaje tradicional basado en clases magistrales de ti- po teórico y práctico ha sido revisado. Una visión generalista del enfoque metodológico en el EEES lleva como protagonista a la promoción del apren- dizaje continuado a lo largo de la vida. En el docu- mento ministerial [1] leemos: “Asumiendo el papel de orientador, el profesor debe ahora evaluar el pro- ceso de aprendizaje del estudiante, no para sancio- nar sus resultados meramente, sino para ayudarle a cumplir objetivos mediante un seguimiento conti- nuo de su trabajo. Además, el nuevo sistema preten- de más verificar competencias (en el sentido de “de- mostrar ser competente para algo”) obtenidas por

Transcript of Actas XVIII JENUI 2012, Ciudad Real, 10-13 de julio 2012 Páginas...

Actas XVIII JENUI 2012, Ciudad Real, 10-13 de julio 2012I.S.B.N. 10: 84-615-7157-6 | I.S.B.N. 13:978-84-615-7157-4Páginas 303-310

Un proyecto docente basado en una auténtica evaluación continuautilizando una herramienta software

M. Isabel Hartillo Hermoso, Rafael Robles AriasDepartamento de Matemática Aplicada I

Universidad de SevillaE.T.S. Ingeniería Informática, Avda. de Reina Mercedes s/n

41012 Sevilla{hartillo,rafarob}@us.es

Resumen

La reciente creación de la titulación de Grado en In-geniería Informática propició la adecuación de susasignaturas al Espacio Europeo de Educación Supe-rior, poniendo especial énfasis en la promoción delaprendizaje continuado a lo largo de la vida. En es-te trabajo se presenta y analiza un proyecto de in-novación y mejora docente aplicado en la asignatu-ra Cálculo Infinitesimal y Numérico, pertenecienteal módulo de Formación Básica. Se ha tomado paraello un grupo piloto dentro de la titulación. La prin-cipal característica del proyecto reside en el dise-ño de dinámicas docentes diferenciadas entre clasesteóricas, prácticas de aula y prácticas de laboratorioy al mismo tiempo integradoras de un proceso con-tinuado de aprendizaje y de aplicación práctica de loaprendido, garantizando que sea compatible con unaauténtica evaluación continua de todo el proceso. Laviabilidad del proyecto dependía en gran medida dela carga de trabajo que ello suponía para el profeso-rado implicado. Para ello, se diseñó una herramientasoftware que permite la generación y asignación deactividades personalizadas para el alumnado así co-mo una evaluación semi-automática de las mismas.Un primer análisis de los resultados obtenidos mues-tra una mejora significativa respecto de otros proyec-tos basados en planteamientos más clásicos.

Summary

The recent creation of the Degree in Computer En-gineering led the adaptation of their subjects to theEuropean Higher Education Area, stressing on life-long learning throughout life. This paper presentsand analyzes a proposed educational plan of inno-vation. It has been applied to the subject CálculoInfinitesimal y Numérico (Differential Calculus andNumerical Analysis) as part of basic training mo-

dules. It has been tested in a pilot group within thedegree. The main feature of the project lies in thedesign of teaching dynamics. It has been scheduledin theoretical classes, classroom practices and labo-ratory practices. These modules achieve continuousprocess of learning and practical application of lear-ning, ensuring an authentic continuous assessmentthroughout the process. The viability of the projectdepended heavily on the workload for the involvedteachers. For this, we designed a software tool thatallows the generation and assignment of custom ac-tivities for students and semi-automatic evaluationof them. A first analysis of the results shows a signi-ficant improvement over previous results with otherprojects based on classic approaches.

Palabras clave

Proyecto docente, evaluación continua, herra-mienta software, tareas personalizadas, Sage.

1. Motivación

El Espacio Europeo de Educación Superior ha su-puesto cambios en todos los ámbitos universitarios.Desde el punto de vista docente, el sistema de apren-dizaje tradicional basado en clases magistrales de ti-po teórico y práctico ha sido revisado. Una visióngeneralista del enfoque metodológico en el EEESlleva como protagonista a la promoción del apren-dizaje continuado a lo largo de la vida. En el docu-mento ministerial [1] leemos: “Asumiendo el papelde orientador, el profesor debe ahora evaluar el pro-ceso de aprendizaje del estudiante, no para sancio-nar sus resultados meramente, sino para ayudarlea cumplir objetivos mediante un seguimiento conti-nuo de su trabajo. Además, el nuevo sistema preten-de más verificar competencias (en el sentido de “de-mostrar ser competente para algo”) obtenidas por

304 Optimización del tiempo y el trabajo del profesor

el propio estudiante en cada materia.”El principal escollo que encuentra el docente pa-

ra aplicar una verdadera evaluación continua es elincremento desproporcionado de la cantidad de tra-bajo requerido para grupos numerosos de alumnosfrente a los métodos clásicos de docencia y evalua-ción del aprendizaje. Incluso, una vez dado el pasode generar ingentes cantidades de material docentepara un curso académico, es especialmente desmo-tivadora la perspectiva de sacarle poco rendimientoen el siguiente curso salvo a costa de que se repitanlos mismos ejercicios y tareas asignadas al alumna-do. Todo ello hace que con frecuencia la evaluacióncontinua se traduzca en la realización de una o dospruebas o controles de conocimientos y escaso nú-mero de trabajos individuales o en grupos reducidos(1 o 2 trabajos para 3 o 4 alumnos por grupo). Si nose realizan evaluaciones muy continuadas, la cargade trabajo por parte del alumnado no se lleva a ca-bo uniformemente y se concentran grandes picos decarga alrededor de las pruebas evaluables. Para evi-tar este efecto nos propusimos tareas semanales, deforma individual, por parte de los alumnos. Esto su-ponía realizar diferentes pruebas para cada alumno,de dificultad similar para todos ellos durante todaslas semanas.

Nos planteamos el objetivo prioritario de conse-guir una verdadera evaluación continua optimizan-do el trabajo realizado por los profesores. Para ellonos propusimos el desarrollo e implementación deuna aplicación informática que facilitase y propicia-se nuevas metodologías docentes a la par que ayuda-se, simplificando, las gestiones de evaluación y cali-ficación del alumnado. Su principal prestación es lacapacidad de generar cuestionarios, tareas y enun-ciados de problemas diferenciados para el alumna-do, permitiendo su evaluación posterior de forma au-tomática o semiautomática, con una mínima cargade trabajo para el docente. De esta forma, se consi-gue además una distribución regular del trabajo delalumno a lo largo del cuatrimestre.

2. Contexto de aplicación y marco referen-cial

Nuestro proyecto se ha llevado a cabo en la asigna-tura “Cálculo Infinitesimal y Numérico”, asignaturade Formación Básica del Conocimiento del Grado

en Ingeniería Informática-Tecnologías Informáticasde la Universidad de Sevilla durante el curso 2011-2012.

Esta asignatura se imparte en primer curso, en elprimer cuatrimestre, por lo que se hace especialmen-te difícil para el alumnado. En primer lugar, la diver-sidad de contenidos de la asignatura es muy amplia yen segundo lugar, el alumno es un recién llegado a laUniversidad, con el choque que esto suele suponer.

En el curso 2010-2011 se impartió por primeravez el primer curso de las Titulaciones de Grado.El sistema de evaluación continua en esta asignaturaconstaba de prácticas de laboratorio, que se evalua-ban en cada sesión realizada, contabilizando un totalde seis sesiones. El cómputo global de estas prácti-cas de laboratorio suponía el 20% del total de la ca-lificación. También se realizaban tres evaluacionesde las sesiones teórico-prácticas llevadas a cabo me-diante controles parciales de la materia, repartidas alo largo del cuatrimestre. Estos controles sumaban el80% del total de la puntuación.

El principal problema que se detectó en el curso2010-2011, fue la alta tasa de abandono del siste-ma de evaluación continua por parte de los alumnos.El porcentaje que se presentaba a la última pruebaevaluable era muy bajo, por lo que el sistema deevaluación continua no era seguido por el grueso delos estudiantes. En consecuencia, se obtuvo un tasade rendimiento muy baja, frente a una tasa de éxitoaceptable.

Nos planteamos por tanto el reto de incrementar elnúmero de estudiantes que continuase con el sistemade evaluación continua a lo largo del curso, y paraello parecía necesario cambiar tanto la metodologíacomo el sistema de evaluación. Este sistema se lle-varía a cabo en un grupo al que denominamos grupopiloto, frente a tres grupos más que había en la titu-lación durante el mismo curso, que continuaron conla misma metodología y sistema de evaluación delcurso anterior.

3. Metodología

Los nuevos papeles del profesor y del alumno impli-can cambios en las formas tradicionales de enseñary aprender; en este contexto, están adquiriendo im-portancia las metodologías docentes caracterizadaspor el papel protagonista del estudiante en el reto deaprender [2].

XVIII Jornadas de Enseñanza Universitaria de la Informática 305

El aprendizaje basado en problemas (ABP) es unode los métodos de enseñanza-aprendizaje más utili-zado en las instituciones de educación superior enlos últimos años. Esta metodología posee la propie-dad de estar centrada en el alumno, propiciándosela reflexión crítica y el aprendizaje para toda la viday es una manera efectiva de educación matemáticabasada en principios del aprendizaje de adultos.

Ronis [3] considera que el ABP debe tener las si-guientes características:

• Empeño: Los estudiantes encuentran e identifi-can su tarea; el docente debe auxiliar a los es-tudiantes a hacer conexiones entre las experien-cias de aprendizaje previas y presentes.

• Exploración: Los estudiantes tienen la oportu-nidad de involucrarse directamente con el pro-blema; el docente se transforma en un provee-dor de materiales y en guía para la focalizacióndel problema.

• Explicación: El estudiante comienza a abstraerla información en forma comunicable dentro deun formato lógico. Los docentes determinan losniveles de comprensión y las posibles equivoca-ciones.

• Elaboración: Los estudiantes amplían los con-ceptos que han aprendido y hacen conexionescon otros conceptos relacionados y los aplicanal mundo real y la evaluación. Los docentespueden ayudar a los alumnos a desarrollar solu-ciones alternativas mostrando ejemplos de pro-blemas con dos soluciones diferentes.

• Evaluación: Los alumnos se evalúan a travésde rúbricas, escalas de rango, listas de cotejo yproductos referentes a problemas y proyectos.Los docentes aplican evaluaciones para deter-minar si los alumnos han logrado la compren-sión de los conceptos y el conocimiento.

Siguiendo estos principios mostraremos los pila-res en que se ha basado nuestra metodología así co-mo las competencias y habilidades a desarrollar:

• Clases teóricas: donde se comunica la explica-ción de la materia, conectándola con conoci-mientos previos, con una estructura basada enejemplos-problemas. Fundamentalmente se in-cide en la explicación y evaluación. El alumnoadquirirá la capacidad para modelar problemasde la vida real en el contexto del “Cálculo Infi-nitesimal y Numérico”.

• Tareas personalizadas: se entrega a los alum-nos, en semanas alternas, enunciados de proble-mas, que han de desarrollar y resolver usandolos conceptos y técnicas adquiridas. Promuevenel empeño, la exploración y posterior evalua-ción. Se adquieren capacidades para discernirla adecuación de los métodos a utilizar, para re-solver problemas concretos.

• Clases de problemas: en una primera parte seresuelve un problema similar al de la tarea per-sonalizada, para, en una segunda parte, cotejarla tarea realizada con respuestas válidas para asíelaborar una solución, con la mejora del desem-peño, si no estaba completo. Se incide más pro-fundamente en la explicación basada en posi-bles equivocaciones y en la elaboración final dela tarea, que se entrega al finalizar la clase. Elalumno adquirirá las competencias para trasla-dar el conocimiento abstracto a planteamientoy resolución de problemas de tipo numérico.

• Prácticas de laboratorio: uso del software mate-mático denominado Sage [4], que es un softwa-re libre, gratuito, de código abierto y bajo licen-cia GNU. Se hará tanto con el propósito de ilus-trar y practicar los problemas del Cálculo Infi-nitesimal y Numérico como con el propósito deaprender un lenguaje de programación univer-sal como es Python permitiendo un aprendiza-je interdisciplinario al conectar con otras asig-naturas como Fundamentos de Programación yProgramación Orientada a Objetos, entre otras.Cada práctica lleva un cuestionario final, basa-do en problemas del tema tratado, evaluable.Así, incidimos en la explicación, exploración,elaboración y evaluación. El alumno adquierecompetencias relacionadas con el conocimientoy control de los errores cometidos durante la re-solución de problemas mediante aproximaciónnumérica.

• Trabajo voluntario de ampliación referente a untema no impartido en clases teóricas ni prácti-cas, entregándole material tanto teórico comopráctico basado en Sage. El trabajo consiste enentregar un problema resuelto, con una explica-ción de las técnicas usadas.

306 Optimización del tiempo y el trabajo del profesor

Producto de Peso en la Criterio deaprendizaje evaluación evaluación

Sesionesde teoría

1 Asist. >80%0.5 80% >Asist. >60%0 60%>Asist.

Prácticas delaboratorio

0.1 Asist.0.3 Cuestionario

Tarea nopresencial 0.2 Corrección

Sesionesprácticas

0.05 Asist.0.15 Cuestionario

Trabajo 1 CorrecciónControl delaboratorio

1 Correción0.3 mínimo exigido

Control deproblemas

4 Correción1.25 mínimo exigido

Figura 1: Sistema de evaluación

4. Evaluación

Como hemos descrito anteriormente se ha seguidoun sistema de evalución continua durante todo elcurso, recogido en la figura 1. Las diferentes acti-vidades que se han evaluado seguían una dinámi-ca temporal cíclica de dos semanas, siguiendo el si-guiente esquema:

• Sesión de teoría, donde se explica el módulo deaprendizaje correspondiente. La asistencia a lasclases teóricas se contabiliza, ya que finalizadoel curso, aquellos alumnos que hayan asistidoa más del 80% de las sesiones teóricas obten-drán 1 punto de la nota final; si han asistido en-tre un 60% y un 80%, obtendrán 0.5 puntos.Los alumnos que no hayan alcanzado el 60%de asistencia no obtendrán ninguna puntuaciónen este apartado.

• Finalizada la sesión teórica se reparte un pro-blema personalizado sobre el módulo explica-do, realizado con el sistema generador de cues-tionarios. Esta tarea también será accesible des-de una plataforma de enseñanza virtual de laasignatura, proporcionada por la Universidadde Sevilla, para aquellos alumnos que no hayanasistido. El problema planteado es diferente pa-ra todos los alumnos, pero todos son de una difi-cultad muy similar. El alumno debe desarrollarlas respuestas a las pregunas planteadas. Esta

tarea no presencial contabilizará un máximo de0.2 puntos por tarea. Durante todo el curso serealizan 6 tareas no presenciales. De las califi-caciones obtenidas sólo se tendrán en cuenta las5 mejores.

• Sesiones prácticas. Este tipo de sesiones seplantean como un seminario de trabajo. El pro-fesor explica en estas sesiones la resolución deun problema parecido al de la tarea planteada.Se le entrega a cada alumno un formulario, per-sonalizado con cuatro respuestas tipo test a ca-da una de las preguntas. Se entregará la tareay las respuestas tipo test al finalizar la clase.Más de la mitad de la sesión práctica se dedicaa que los alumnos puedan entregar estos cues-tionarios. En la mayor parte de los casos, hayapartados donde no encuentran una respuestacomo la que han obtenido en su desarrollo, porlo que los profesores intentan corregir los erro-res que cometieron para que den una respuestacorrecta. La asistencia a estas sesiones prácti-cas suponen 0.05 por sesión y las respuestas alos cuestionarios tipo test 0.15 cada uno. Comoen el caso de las tareas no presenciales, a lo lar-go del curso se realizaron 6 sesiones, de las quese contabilizan las 5 mejores calificaciones.

• Sesiones de laboratorio. Tras una semana de ta-rea no presencial, la semana siguiente hay unasesión de laboratorio con Sage. Desarrollamosel módulo teórico que estemos considerandomediante una práctica de ordenador. Se propor-ciona en la plataforma de enseñanza virtual unarchivo tipo “worksheet” donde están todas lasórdenes de Sage usadas a partir de un problematipo del módulo tratado. Los “worksheets” deSage se abren con cualquier navegador, lo quenos permite incluir un cuestionario HTML, ge-nerado por la herramienta software, como en elcaso de las tareas no presenciales. La asistenciaa las prácticas de laboratorio suponen 0.1 pun-tos y el cuestionario 0.3 puntos. Como en loscasos anteriores hay 6 sesiones, de las que to-maremos las 5 mejores calificaciones.

Parelelamente a esta distribución cíclica de dossemanas, se ofrece la posibilidad de hacer un traba-jo sobre un módulo de aprendizaje no impartido enclase. Se proporciona material teórico y práctico enla plataforma virtual para su resolución. Se puntúa

XVIII Jornadas de Enseñanza Universitaria de la Informática 307

con un máximo de 1 punto.En la última semana de curso se realizan dos con-

troles de conocimientos. Uno de ellos para certifi-car las competencias adquiridas en las sesiones delaboratorio, consistente en resolver cuestionarios re-lativos a cualquiera de los módulos impartidos. Enesta prueba los “worksheets” usados durante las se-siones pueden ser consultados a modo de ayuda. Segeneran cuestionarios aleatorios sobre los diferentesmódulos. La puntuación máxima es de 1 punto. Seexige obtener un mínimo de 0.3 puntos para superarla asignatura.

La segunda prueba es escrita. Tienen que resolverproblemas similares a los desarrollados en las tareasno presenciales. La puntuación máxima es de 4 pun-tos y deben obtener un mínimo de 1.25 puntos parasuperar la asignatura.

Toda la metodología, incluido el sistema de eva-luación, forman parte del proyecto docente de laasignatura, publicado con anterioridad al comienzodel curso.

5. La herramienta software y sus posibili-dades

El sistema generador de cuestionarios, tareas y enun-ciados de exámenes ha sido implementado utilizan-do el lenguaje de programación Python y el interfazllamado notebook del programa Sage. Las ventajasde esta combinación radican en la flexibilidad de Sa-ge para utilizar simultáneamente un lenguaje de pro-gramación de propósito general y de alto nivel comoPython, un lenguaje de diseño de páginas web comoHTML y un lenguaje para la edición y maquetaciónde texto científico como es LATEX. El carácter mul-tiplataforma de Sage lo hace aún más propicio paranuestros intereses.

El sistema permite generar actividades evaluablesconsistentes en listas de problemas. Si bien las clá-sicas preguntas tipo test son un caso particular demodelo abordable por el sistema, éste también con-sidera la posibilidad de incluir problemas que nece-siten para su resolución de un desarrollo o cálculoprevio y que pueden contener diferentes apartados.Las soluciones finales a los mismos deben ser ob-jetivamente evaluables a partir de datos susceptiblesde ser presentados como respuestas tipo test. Paraconseguir una alta variabilidad de problemas y res-

puestas con un mínimo esfuerzo, nos basamos en laidea de que a partir de un mismo enunciado corres-pondiente a un "problema tipo", se pueden generarejercicios con contenidos diferentes de dos formas:modificando algunos datos del problema y seleccio-nando distintos apartados relacionados con la temá-tica tratada. Ambas formas son combinadas en estesistema para producir mayor variabilidad.

El sistema toma como entrada una base de datoscorrespondiente a una materia a estudiar y que esestructurada mediante una lista simple de ítems, co-rrespondientes a la clase list de Python. Cada uno deestos ítems puede ser a su vez una nueva lista o bienun elemento terminal. Los elementos terminales sereducen a números o a cadenas de caracteres entre-comilladas (strings de Python) y que forman parte dela codificación LATEX de los propios enunciados, susdatos y sus respuestas. En el primer nivel de profun-didad, la base de datos tiene la siguiente estructura:

materia = [bloque1, bloque2, bloque3, . . .]

donde cada bloque es una lista de la forma:

bloquei = [metaproblemai1, metaproblemai2, . . .]

Una cuestión clave en el diseño del sistema estáen la estructura de los llamados metaproblemas queforman los bloques de preguntas. Estas estructuraspermitirán generar un elevado número de problemasdiferentes en contenidos y/o en respuestas tipo test,a partir de estos. Dos problemas se consideran dife-rentes si contienen algún dato u apartado diferente.La diversidad de respuestas tiene además en cuen-ta el orden aleatorio de las posibles respuestas. Enun primer nivel, el metaproblema es una lista de 4elementos de la forma:

metaproblema = [estructura, metaapartados,

metadatos, metarespuestas]

Si bien la descripción completa de esta estructura es-capa a los propósitos de este trabajo, describiremosbrevemente cada una de las partes.

estructura: es una lista de elementos que configu-ran la estructura general de cada problema que se ge-nere a partir de este metaproblema. Aquí, podemosespecificar el número de apartados que contendrá elproblema generado, los apartados que se incluiránforzosamente y la maquetación de las respuestas ti-po test. También en cada apartado se puede fijar una

308 Optimización del tiempo y el trabajo del profesor

probabilidad de incluir en las respuestas tipo test unarespuesta genérica del tipo "ninguna de las otras".Todos los problemas que se generan a partir del mis-mo metaproblema comparten una misma cabecerade pregunta y un final de enunciado como puede ser,por ejemplo, una nota aclaratoria o una ayuda parala resolución.

metaapartados: es una lista con un número varia-ble de elementos. Representa los posibles apartadosde las preguntas. Sobre esta lista se hace una elec-ción, en primer lugar de los apartados obligatoriosfijados en el ítem anterior y luego de los restantes,por una elección al azar, hasta completar el total deapartados. Tanto en el enunciado principal como enlos apartados, la codificación se realiza utilizandoLATEX. Si queremos introducir un dato o texto queva a variar posteriormente para generar diversidad,lo indicamos sin más que insertar el código especial"%s"dentro de la cadena del enunciado, allí dondequeremos que se inserte. Estos datos a insertar seguardan en el siguiente ítem.

metadatos: Es una lista donde se estructuran pororden las variaciones de datos para el enunciadoprincipal y para cada uno de los apartados contem-plados en el ítem anterior. De nuevo, los datos en síson codificaciones de LATEX o números.

metarespuestas: Es una lista donde se incluyen,por orden, las respuestas a cada apartado en funciónde los posibles datos seleccionados. Las solucionesestán indexadas de forma similar a los datos conte-nidos en metadatos. Obviamente, por cada elecciónde datos existe una respuesta asociada. Una vez se-leccionados unos datos concretos y sus respuestascorrectas, las respuestas falsas que conforman las sa-lidas tipo test (se presentan 4 respuestas posibles porapartado) son seleccionadas de entre las respuestascorrectas para otros datos diferentes.

El sistema permite además personalizar las tareasintroduciendo títulos o cabeceras para la actividad,pie de documento e incluso nombre y apellidos delalumno al que va destinada la actividad, sin más queintroducir un listado de alumnos en el momento enque son generados. Cada actividad presenta en lacabecera un código diferente, de tipo hexadecimal,que no solo permite reconstruir o volver a generar elcuestionario sino que permite la corrección del mis-mo utilizando un pequeño script de Java, tambiéncontenido en el mismo interfaz de Sage, facilitandoasí la corrección de las tareas.

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

P 1/3 2/3 3/3

G1

G2

G3

GP

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

1/3 2/3 3/3

G1

G2

G3

GE

Figura 2: Permanencia sobre matriculados

Por último, una misma tarea una vez generada essalvada por el sistema en 4 formatos, lo que permitesu versatilidad para asignarla bien sea para trabajosno presenciales, prácticas de aula o prácticas con or-denador. Existe una versión sin respuestas test y otracon ellas. Simultáneamente se generan ficheros es-tándar LATEX de ambas versiones, listos para generarun salida pdf y ficheros en formato HTML compati-bles con Sage. Los dos primeros formatos permitenimprimir las tareas y los dos últimos, pueden pre-sentar las tareas desde el propio Sage en la pantalladel ordenador, lo que facilita su resolución utilizan-do este mismo software.

6. Resultados

La experiencia ha mejorado notablemente la tasa deseguimiento de la asignatura. Hemos contabilizadola permanencia de los alumnos distinguiendo tres fa-ses durante el curso. En el grupo piloto hemos lleva-do un control de asistencia, mediante hojas de fir-mas. En el resto de los grupos no había este controlde asistencia sobre tantas actividades. La evaluacióncontinua que se ha llevado a cabo en los grupos nopilotos consistía en la realización de tres controlesuniformemente distribuidos a lo largo del cuatrimes-tre. Por ello hemos considerado que si un alumnorealizaba el control en ese periodo, continuaba elmétodo de evaluación continua de ese grupo en eseperiodo. En todos los grupos hemos contabilizado,también aquellos alumnos que han realizado algunaactividad evaluable, aunque sólo fuese una asistenciaa una práctica de laboratorio, estos alumnos son losque hemos considerado como presentados. La polí-tica de matrícula ordenada de la Universidad de Se-villa obliga a los alumnos repetidores a matricularse

XVIII Jornadas de Enseñanza Universitaria de la Informática 3090,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

P 1/3 2/3 3/3

G1

G2

G3

GE

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

1/3 2/3 3/3

G1

G2

G3

GP

Figura 3: Permanencia sobre presentados

de las asignaturas suspensas de primer curso, por loque hay alumnos que no tienen intención de cursarla asignatura y no aparecen ni un solo día.

En la figura 2, se representan las tasas de perma-nencia sobre el número de alumnos matriculados delos todos los grupos. El primer diagrama de barraspresenta los porcentajes de alumnos presentados ylos tres restantes las tasas de seguimiento en las tresfases. Hemos notado G1, G2 y G3, los grupos nor-males, y GP, nuestro grupo piloto, objeto de estudio.

Se aprecia como la tasa de presentados es muy si-milar en todos los grupos, siendo la media de los nopilotos de 82.16%, frente a 86.67% del piloto. Enel primer tercio hay diferencia aunque no es signi-ficativa, el grupo piloto tiene un 77.78% frente al69.73%, en media de los otros grupos. Sin embargolas diferencias en los dos tercios de curso son muyremarcables, el grupo piloto mantiene una asistenciadel 62.22% frente al 42.16% del resto de los grupos.Al final del proceso sigue la tendencia con una asis-tencia del 55.56% para el piloto frente al 33.51% delos otros.

En la figura 3, hemos representado las tasas depermanencia, sobre los alumnos presentados. La me-dia de las tasas de permanencia sobre presentadosen los grupos no piloto, son del 84.87%, 51.32% y40.79% a lo largo del curso. En el grupo piloto es-tos porcentajes son del 89.74%,71.79% y 64.10%,respectivamente.

Definimos la tasa de éxito como el número deaprobados, frente a los alumnos que han seguidohasta el final el sistema. Así, en los grupos no pilo-to encontramos unas tasas muy parejas de 68.42%,69.23%, 64.71%, frente al grupo piloto en el que al-canzamos un 92%. Estos datos están reflejados en lafigura 4.

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

G1 G2 G3 GE

Tasas de rendimiento y éxito

rendimiento éxito 0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

G1 G2 G3 GE

Tasa de rendimiento

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

G1 G2 G3 GP

Tasa de éxito

Tasas de rendimiento y éxito (explicación) Estos son los mismos gráficos, para las definiciones que me diste: en el primero aparecen juntos y en los otros dos, separadas ambas tasas. Me gustan más por separado porque guardan coherencia con los colores de los gráficos anteriores. Mientras que en los tres grupos la tasa de éxito varía entre un 64% y un 69%, en el grupo de estudio se alcanza un 92% .

Figura 4: Tasa de éxito

0,00%

20,00%

40,00%

60,00%

80,00%

100,00%

G1 G2 G3 GE

Tasas de rendimiento y éxito

rendimiento éxito 0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

G1 G2 G3 GP

Tasa de rendimiento

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

G1 G2 G3 GE

Tasa de éxito

Tasas de rendimiento y éxito (explicación) Estos son los mismos gráficos, para las definiciones que me diste: en el primero aparecen juntos y en los otros dos, separadas ambas tasas. Me gustan más por separado porque guardan coherencia con los colores de los gráficos anteriores. Mientras que en los tres grupos la tasa de éxito varía entre un 64% y un 69%, en el grupo de estudio se alcanza un 92% .

Figura 5: Tasa de rendimiento

Definimos la tasa de rendimiento como el númerode aprobados frente a los matriculados. Como pode-mos observar en la figura 5 el grupo piloto obtieneuna tasa del 51.11% muy superior a la del resto delos grupos con tasas de 24.53%, 24.66% y 18.64%respectivamente.

Cabe destacar que aunque en el sistema de evua-luación (figura 1) se ha ponderado, sobre un máxi-mo de 1.75 puntos, la asistencia y participación delalumnado, su repercusión es mínima. Si no conta-bilizamos dicha aportación, el número de aprobadosdesciende de 23 a 21 alumnos, de donde resultaríauna tasa de éxito del 84% y una tasa de rendimientodel 46.67%.

40%

60%

Grado de satisfacción total encuestados

menor mayor

21%

79%

Grado de satisfacción sobre aprobados

menor mayor

0

2

4

6

8

10

12

1 3 5 7 9 11 13 15 17 19 21 23 25

Nivel de satisfacción

c. real c. esperada

Grado de satisfacción (explicación) Se ha realizado una encuesta al alumnado justo la semana anterior a los controles finales de evaluación. La encuesta concluye solicitando a los alumnos que indiquen una puntuación sobre 10 que consideren corresponde a su calificación final en función del trabajo realizado. Aquellos que quisieran podían identificarse para, posteriormente, comprobar el resultado. La encuesta la realizaron 29 alumnos, de los cuales se identificaron 25. En los gráficos de sectores circulares se compara el porcentaje de alumnos que obtienen finalmente menor calificación de la esperada frente a los que la obtienen mayor o igual. Curiosamente ningún alumno consideró que no merecía aprobar. Ambos gráficos se corresponden con dos situaciones: para el total de alumnos identificados y para los alumnos aprobados. En ambos casos, la mayoría de los alumnos obtuvieron finalmente mejor calificación de la que esperaban. En el otro gráfico, se han ordenado los 25 alumnos identificados por orden ascendiente de calificación obtenida y se compara esta con la que ellos estimaron que se merecían.

Figura 6: Nivel de satisfacción

310 Optimización del tiempo y el trabajo del profesor

40%

60%

Grado de satisfacción total encuestados

menor mayor

21%

79%

Grado de satisfacción sobre aprobados

menor mayor

0

2

4

6

8

10

12

1 3 5 7 9 11 13 15 17 19 21 23 25

Nivel de satisfacción

c. real c. esperada

Grado de satisfacción (explicación) Se ha realizado una encuesta al alumnado justo la semana anterior a los controles finales de evaluación. La encuesta concluye solicitando a los alumnos que indiquen una puntuación sobre 10 que consideren corresponde a su calificación final en función del trabajo realizado. Aquellos que quisieran podían identificarse para, posteriormente, comprobar el resultado. La encuesta la realizaron 29 alumnos, de los cuales se identificaron 25. En los gráficos de sectores circulares se compara el porcentaje de alumnos que obtienen finalmente menor calificación de la esperada frente a los que la obtienen mayor o igual. Curiosamente ningún alumno consideró que no merecía aprobar. Ambos gráficos se corresponden con dos situaciones: para el total de alumnos identificados y para los alumnos aprobados. En ambos casos, la mayoría de los alumnos obtuvieron finalmente mejor calificación de la que esperaban. En el otro gráfico, se han ordenado los 25 alumnos identificados por orden ascendiente de calificación obtenida y se compara esta con la que ellos estimaron que se merecían.

40%

60%

Grado de satisfacción total encuestados

menor mayor

21%

79%

Grado de satisfacción sobre aprobados

menor mayor

0

2

4

6

8

10

12

1 3 5 7 9 11 13 15 17 19 21 23 25

Nivel de satisfacción

c. real c. esperada

Grado de satisfacción (explicación) Se ha realizado una encuesta al alumnado justo la semana anterior a los controles finales de evaluación. La encuesta concluye solicitando a los alumnos que indiquen una puntuación sobre 10 que consideren corresponde a su calificación final en función del trabajo realizado. Aquellos que quisieran podían identificarse para, posteriormente, comprobar el resultado. La encuesta la realizaron 29 alumnos, de los cuales se identificaron 25. En los gráficos de sectores circulares se compara el porcentaje de alumnos que obtienen finalmente menor calificación de la esperada frente a los que la obtienen mayor o igual. Curiosamente ningún alumno consideró que no merecía aprobar. Ambos gráficos se corresponden con dos situaciones: para el total de alumnos identificados y para los alumnos aprobados. En ambos casos, la mayoría de los alumnos obtuvieron finalmente mejor calificación de la que esperaban. En el otro gráfico, se han ordenado los 25 alumnos identificados por orden ascendiente de calificación obtenida y se compara esta con la que ellos estimaron que se merecían.

Figura 7: Grado de satisfacción sobre matriculados (izq.)y sobre aprobados (der.)

En la penúltima semana de clase, antes de los con-troles de laboratorio y teórico-prácticos, se realizóuna encuesta a los alumnos del grupo piloto, paraque evaluasen la experiencia. En ese momento losalumnos tan solo conocían el 50% de su calificaciónglobal. En dicha encuesta, entre numerosos aspectostratados, los alumnos podían identificarse y autoeva-luarse en la asignatura, en un ejercicio de sinceridad.De entre los alumnos encuestados, 25 se identifica-ron y autoevaluaron. Hemos representado en la figu-ra 6, a todos estos alumnos ordenados por las cali-ficaciones que obtuvieron al finalizar el curso, me-diante la línea continua. En línea discontinua apare-cen las autocalificaciones. Curiosamente, existe unacalificación en torno a 7 puntos sobre 10 que mar-ca un cambio de tendencia o actitud en los encues-tados. Los alumnos que obtuvieron una calificaciónreal por encima de 7 subestimaron su trabajo, mien-tras que los que han sacado una calificación real in-ferior a 7 lo sobrestimaron, al punto de que ningunose autocalificó con un suspenso.

Si entendemos como estudiante satisfecho el quese autoevalúa por debajo o iguala la nota que final-mente obtiene, podemos representar los alumnos sa-tisfechos de entre los encuestados que se identifica-ron, tal como muestra la figura 7, con una tasa desatisfacción del 60%. Si nos limitamos a considerarlos aprobados la tasa de satisfacción se eleva al 79%.

7. Conclusiones

El estudio de los resultados muestra que la experien-cia llevada a cabo ha sido muy positiva. Se ha me-jorado el porcentaje de alumnos que permanecen ysiguen la asignatura durante el cuatrimestre. Cree-mos que la retroalimentación constante recibida porel alumno con las continuas pruebas y evaluacionessuponen una motivación extra que hace continuar a

un mayor número de alumnos.De las respuestas en la encuesta de satisfacción,

aunque su contenido no se presenta en este trabajo,se puede concluir que los alumnos han estado en ge-neral muy satisfechos con este proyecto docente, eincluso manifiestan su deseo de que se aplicase enotras asignaturas.

Se ha conseguido una tasa de éxito en el grupopiloto, del 92%, significativamente superior a las delresto de grupos. La tasa de rendimiento ha sido del51.11%, lo que representa más del doble que en losotros grupos.

Creemos que este sistema ha conseguido paliaruno de los más graves problemas docentes como esel abandono de las aulas por parte de nuestros alum-nos. Al mismo tiempo no sólo ha permitido incre-mentar el número de aprobados, sino que ha mejo-rado las calificaciones medias de nuestros alumnos.Sirva como dato que de un total de 6 matrículas dehonor concedidas a alumnos de la Titulación, 5 deellas corresponden a alumnos del grupo piloto.

Agradecimientos

La experiencia ha sido financiada por el I Plan Pro-pio de Docencia de la Universidad de Sevilla, bajoel proyecto titulado “Desarrollo e implementaciónde un sistema automatizado de evaluación continuapara la asignatura de Cálculo Infinitesimal y Numé-rico”. Los autores son parcialmente financiados porlos grupos de investigación “Plan de Apoyo a las en-señanzas de Máster Universitario 2012”, FQM-333y FQM-164.

Referencias

[1] Ministerio de Educación, Cultura y DeporteMás allá del examen: hacia la evaluación con-tinua, http://www.queesbolonia.gob.es

[2] Escribano, A., Del Valle, A. El aprendizaje ba-sado en problemas: una propuesta metodológi-ca en educación superior, Narcea, 2008.

[3] Ronis, D. Problem Based Learning for Mathand Science, Skylight, 2001.

[4] Stein, W., Sage: Open Source MathematicalSoftware (Version 4.7.1), The Sage Group, 2011,http://www.sagemath.org.