7/25/2019 p151

1/8

Programacin-1: Una asignatura orientada a la resolucin de problemas

Jordi Petit, Salvador RouraDepartament de Llenguatges i Sistemes Informtics

Universitat Politcnica de CatalunyaCampus Nord, edifici

08034 Barcelona

Resumen

En este artculo presentamos el nuevo mtodo do-cente de la asignatura Programaci-1 en la FacultatdInformtica de Barcelona de la Universitat Poli-tcnica de Catalunya, y damos cuenta de los resul-tados obtenidos durante los cinco cuatrimestres deaplicacin. El curso proporciona un sistema auto-mtico de verificacin de soluciones para una co-leccin de casi 300 ejercicios cuidadosamente orde-nados. Este sistema automtico se usa tambin en laevaluacin de los estudiantes durante los exmenes,

que se realizan con un ordenador. Adems, el siste-ma permite obtener datos objetivos sobre el progre-so de los estudiantes a lo largo del curso.

1. Introduccin

Programaci-1 (Programacin-1, P1) es una asig-natura del primer cuatrimestre de la FacultatdInformtica de Barcelona de la Universitat Poli-tcnica de Catalunya. Esta asignatura es obligato-ria para todas sus titulaciones (EI, ETIS y ETIG),cuenta con 72 crditos ECTS, y forma parte de lallamada Fase de Seleccin. En el pasado cuatrimes-

tre, 498 estudiantes se matricularon de P1.En el curso 2006/2007, P1 se reform partien-do de la constatacin de que muchos estudiantesllegaban a cursos posteriores sin haber conseguidolas habilidades mnimas de programacin necesa-rias para implementar fcilmente algoritmos senci-llos. Por ello, el objetivo fundamental del actual P1es que el estudiante sea capaz de escribir con sol-tura programas correctos y legibles que resuelvanproblemas de dificultad elemental.

Para lograr este objetivo, el curso est orientadoa la resolucin de problemas. La asignatura propor-ciona una coleccin de casi 300 ejercicios de pro-

gramacin cuidadosamente ordenados y graduados.El mtodo ms novedoso y original es El Jutge deP1(El Juez de P1), un servicio web para probar pro-gramas mediante extensos juegos de pruebas. Coneste sistema, los estudiantes pueden diagnosticar enpocos segundos la validez de sus soluciones paracada uno de los ejercicios de la coleccin. El Jut-ge de P1 es tambin parte integrante del sistema deevaluacin de la asignatura. Adems, el juez propor-ciona informacin objetiva sobre el trabajo, aprove-chamiento y hbitos de estudio de los estudiantes.

Si bien es cierto que jueces de este tipo han sido

ampliamente usados en el campo de los concursosde programacin (ver, p.ej. [10, 7]) y nuestro siste-ma es parecido, creemos que sta es la primera vezque se utiliza tal herramienta para un curso de in-troduccin a la programacin. Algunas experienciassimilares pero de menor magnitud y escala puedenencontrarse, por ejemplo, en [1, 3, 9].

La organizacin del artculo es la siguiente: Pri-mero presentamos brevemente la asignatura. Luegodescribimos sus principales recursos: la coleccinde problemas y el juez. A continuacin describimosel sistema de evaluacin. Finalmente, damos cuen-ta del impacto de este nuevo enfoque, presentandoy analizando los resultados obtenidos durante sus

cinco cuatrimestres de aplicacin.

2. Descripcin de la asignatura

2.1. Objectivos y temario

El objetivo fundamental del actual P1 esque el estu-diante sea capaz de escribir con soltura programas

correctos y legibles que resuelvan problemas de di-

ficultad elemental. El temario del curso es muy pa-recido al de otros cursos de introduccin a la pro-gramacin, si bien casi todo el temario abstractoy de cariz lgico-matemtico ha desaparecido (es-

XV JENUI. Barcelona, 8-10 de julio de 2009

ISBN: 978-84-692-2758-9

http://jenui2009.fib.upc.edu/

7/25/2019 p151

2/8

pecificaciones, demostraciones de terminacin, de-mostraciones de correccin, induccin, invariantes,precondiciones, postcondiciones,...). Consideramosque estos conocimientos deben formar parte del re-pertorio de un ingeniero informtico, pero los pos-ponemos para ms adelante, y nos centramos en losaspectos ms tcnicos y prcticos, orientados a lo-grar la destreza mnima en programacin requeridapor las siguientes asignaturas de la carrera.

2.2. Metodologa docente

El curso se organiza en 13 semanas de clases,a razn de 6 horas semanales. Cada semana delcurso consiste en una sesin de 3 horas de teo-ra/problemas y en otra sesin de 3 horas de labo-ratorio con presencia parcial del profesor. Los gru-pos de teora/problemas son de unos 60 alumnos, ylos de laboratorio de unos 20, con un ordenador poralumno.

Durante todo el curso, se pretende que el estu-diante trabaje por su cuenta, y con apoyo de un pro-fesor, la coleccin de ejercicios que describimos en

la siguiente seccin. Asimismo, se espera que envesus soluciones al juez automtico que comprobarsu funcionamiento con juegos de pruebas exhausti-vos. Adicionalmente, el estudiante deber mostrarregularmente sus programas (funcionen o no) a losprofesores, para que stos evalen su calidad.

3. La coleccin de enunciados

El material ms importante para nuestro cur-so de programacin es lgicamente la colec-cin de enunciados. En la actualidad, la colec-cin contiene unos 200 ejercicios [5] y unos 90

problemas de exmenes y controles [4, 2]. Enhttps://p1.lsi.upc.edu:2001/doc/jenui2009/examenes.pdf sereproducen en castellano los problemas del ltimoexamen final.

La coleccin de ejercicios est organizada si-guiendo el temario. Adems, dentro de cada tema,los ejercicios estn graduados de acuerdo con su di-ficultad. Para facilitar la organizacin del curso, losejercicios tambin estn ordenados segn una pro-gramacin semanal, correspondiente a las sesionesde laboratorio. As mismo, los ejercicios se clasifi-can en tres tipos: los que deberan hacerse durantelas sesiones de laboratorio, los que deberan traba-

jarse en casa, y otros opcionales que pueden serms complicados o ms largos, pero que pueden re-solverse con los conocimientos dados hasta ese mo-mento. No se proporcionan soluciones para ningunode estos ejercicios.

Los problemas de los exmenes de cursos ante-riores y de los controles tambin forman parte de lacoleccin. Para stos s se dan posibles soluciones.

Existen tres clases de enunciados: La mayora pi-den la elaboracin de un programa completo que,a partir de unas entradas bien definidas, produzcaunas salidas especficas. Para estos enunciados, pri-mero se describe el problema en cuestin. A con-tinuacin se define con ms rigor el formato de lasentradas y de las salidas. Finalmente, se dan algu-nos ejemplos de entradas y sus salidas correctas co-rrespondientes. As pues, la tarea del estudiante espensar e implementar un algoritmo completo. La se-gunda clase de enunciados slo pide la escritura deuna funcin o accin, y la tercera clase combina lasdos primeras.

En cualquier caso, los enunciados siempredescriben de forma clara y sin ambigedades el pro-

blema a resolver. En particular, se definen las con-diciones que se asumen en las entradas, que nuncadeben verificarse con el programa solucin.

4. El juez

El Jutge de P1 es un entorno virtual de aprendiza-je accesible va web las 24 horas del da para to-dos los matriculados. Si bien ofrece funcionalidadespropias de otros sistemas educacionales (gestin dedocumentos, tabln de anuncios, publicacin de no-tas, etc), su principal cometido es probar de formaautomtica la correccin de las soluciones enviadas

a los enunciados de la coleccin.El uso del juez es como sigue: Primero, el estu-diante (o profesor) se identifica al sistema. A con-tinuacin, elije un problema de la coleccin, vien-do su enunciado en HTML, PDF o PS, y pudiendobajarse los juegos de pruebas pblicos. Cuando elusuario est convencido de la correccin de su solu-cin, y quiere comprobarla, la enva al juez, el cualle devuelve un veredicto en pocos segundos.

El proceso interno para calcular el veredicto esel siguiente: Primero, el juez compila la solucindel estudiante. En caso de error, se devuelve un ve-redicto de Compilacin incorrecta con los men-

186 Evaluacin del alumnado

7/25/2019 p151

3/8

sajes del compilador. En otro caso, el juez intentaejecutar el programa sobre los juegos de pruebas,tanto pblicos como privados. Dichas ejecucionesse realizan en un entorno controlado para evitar laejecucin de instrucciones maliciosas. Si para algu-na de estas ejecuciones el programa aborta, se emiteun veredicto de Ejecucin incorrecta, acompaa-do de la causa del error (divisin por cero, accesoilegal a memoria, tiempo de ejecucin excedido, ...).Si no, y para cada juego de pruebas, se compara lasalida generada con la correcta. Si todas las salidasgeneradas son idnticas a las correctas, se emite unveredicto de Supera los juegos de pruebas1. Sino, el juez mira si las diferencias slo son debidasal formato de la salida (espacios o saltos de lineaincorrectos, uso inadecuado de las maysculas, ...).En este caso se emite un veredicto de No superalos juegos de pruebas: error de presentacin. Enotro caso, se emite un veredicto de No supera losjuegos de pruebas: respuesta errnea.

Evidentemente, el sistema de validacin de pro-gramas requiere de la creacin de juegos de prue-bas privados para cada enunciado, los cuales deben

comprobar la correccin de las soluciones recibi-das de forma tan exhaustiva como sea posible, ascomo la eficiencia cuando sta sea uno de los re-querimientos del enunciado en cuestin. A menu-do, cuesta mucho ms crear unos buenos juegos depruebas que pensar, escribir y solucionar los enun-ciados.

Por otro lado, cuando un programa supera todoslos juegos de pruebas, es muy posible que funcio-ne, pero no se puede garantizar que sea correcto:puede contener errores imprevisibles que no se handetectado en los juegos de pruebas, puede utilizarun algoritmo claramente inadecuado, o puede estarmuy mal escrito. Por ello, durante el curso se reco-

mienda encarecidamente que los estudiantes mues-tren regularmente a los profesores sus programasaceptados por el juez. A pesar de esta limitacin,el valor del juez es evidente en un curso de intro-duccin a la programacin, donde los estudiantesescriben programas errneos con tanta frecuencia.

En cuanto a los profesores de la asignatura, el

1De hecho, el juez dispone de sistemas de correccin ms sofis-ticados. Por ejemplo, puede proporcionar pistas sobre porqu de-terminados juegos de pruebas no son superados. Adems, y aunqueno se use en P1, en determinados casos se podra permitir que elorden de la salida sea arbitrario, o establecer un lmite en la preci-sin de los resultados.

juez tambin les ofrece interesantes funcionalida-des. En particular, los profesores pueden monitori-zar a un estudiante, viendo todos sus envos, diag-nosticar rpidamente sus errores gracias a la visua-lizacin grfica de las diferencias entre la salida ge-nerada por su programa y la correcta, y comunicarsus consejos va correo electrnico. Adems, el juezofrece estadsticas en tiempo real sobre el progresode todos los estudiantes matriculados, con la posi-bilidad de desglosar los resultados por grupos.

5. Sistema de evaluacin

El sistema de evaluacin de la asignatura se ha di-seado de forma coherente con el objetivo principaldel curso y el mtodo docente utilizado. Por ello, losexmenes siguen el mismo patrn y dificultad me-dia que los enunciados de la coleccin, y se realizandelante de un ordenador y usando el juez.

Concretamente, hay varias pruebas, todas consis-tentes en resolver un problema. Durante el curso, ypara potenciar la evaluacin continuada, se realizan6 controles que evalan el seguimiento del temario

presentado hasta el momento. Los controles son ca-da 2 o 3 semanas, y en horas de clase. Cdenota lamedia ponderada de los controles. En el periodo deexmenes, se realizan tres pruebas (F1,F2y F3)queevalan la totalidad del temario.

Cada problema se punta independientemente delos otros y recibe una nota entre 0 y 10 puntos. Lanota final de la asignatura2 es max{(C+F1+F2+F3)/4,(F1+F2+F3)/3}.

Durante los exmenes, cuando un estudiante tie-ne un programa que considera correcto, lo enva aljuez, el cual le devuelve su veredicto. Tanto si elprograma pasa todos los juegos de pruebas como si

no, el estudiante puede reenviar varias solucionespara el mismo problema. Si al final del examen noha enviado ningn programa que supere todos losjuegos de pruebas, su nota es 0.

De lo contrario, los profesores corrigen manual-mente el ltimo programa que supera los juegos depruebas. Si se detecta que el estudiante se ha saltadolas reglas bsicas de programacin fijadas con clari-dad durante el curso [8], o si el programa no cumplelos requerimientos del enunciado, o si el algoritmo

2sta es la frmula actual. Durante los tres primeros quatri-mestres, el sistema de evaluacin no inclua controles, pero s unparcial recuperable.

XV Jornadas de Enseanza Universitaria de la Informtica 187

7/25/2019 p151

4/8

usado para resolver el problema es manifiestamenteinadecuado, la nota es 0.

De lo contrario, seaVla valoracin, entre 0 y 5,dada por los profesores al programa corregido (enfuncin de la claridad, el estilo, etctera), y sea Pel nmero de programas enviados que no superanlos juegos de pruebas. La nota es 5+Vmax{P1, 0}. Es decir, se resta un punto sobre diez por ca-da solucin enviada que no pase los juegos de prue-bas, si bien la primera solucin errnea no se pe-naliza. Lgicamente, una nota negativa se convierteen 0 (hecho que acota a 10 el mximo nmero deenvos incorrectos).

El tiempo para resolver un problema de examenes de una hora. Adems, al principio del examen losestudiantes reciben 15 minutos adicionales duran-te los cuales pueden leer el enunciado y escribir enpapel, pero no usar el ordenador (hemos constatadoque este tiempo no slo obliga a leer y a reflexio-nar, sino que sirve para reducir los nervios). Tam-bin, los estudiantes reciben 5 minutos adicionalesal finalizar la hora, para poder entregar solucionesfuera de tiempo con una penalizacin proporcional

al retraso.Por otra parte, durante los exmenes cada es-tudiante puede consultar una chuleta electrnica(1000 caracteres mximo) que ha debido registraren el sistema con una semana de antelacin.

6. Evaluacin del impacto

En esta seccin analizamos los resultados de la apli-cacin de nuestro mtodo desde diversos puntos devista y, en particular, usando los datos obtenidosgracias al juez.

Los datos referidos son los del curso 2008/2009

Q1 con 498 matriculados (368 nuevos, 130 repe-tidores)3; para los otro cuatro cursos, los resulta-dos son perfectamente semejantes. Al final de estaseccin damos unos datos generales sobre los cincocuatrimestres.

6.1. Trabajo durante el curso

P1 tiene 72 ECTS. Cada ECTS se corresponde aentre 25 y 30 horas de trabajo de un estudiante me-

3498 es el nmero de matriculados el da del examen final. Lastablas y grficos muestran datos para ms matriculados, a causa delos cambios en los listados.

0

10

20

30

40

50

0 50 100 150 200 250

Numberofnew

students

Number of solved exercices

Figura 1: Trabajo durante el curso (1)

0

100

200

300

400

500

600

0 50 100 150 200

Numberofstudents

Exercice number

Figura 2: Trabajo durante el curso (2)

dio. Multiplicando, y restando 45 horas de clases deteora (que de hecho son menos), nos quedan entre135 y 170 horas de prctica. Supongamos ahora queresolver un ejercicio requiere en promedio 45 minu-tos (evidentemente esto depende mucho del tema yde la dificultad, pero resolver 4 ejercicios en una se-sin de laboratorio de 3 horas es de sobras factible).Entonces, un estudiante debera resolver entre 180y 225 ejercicios. En todo caso, quedmonos con lacantidad inferior de 180. Y an en el caso que, en

media, el tiempo requerido para resolver un ejerci-cio fuese de una hora, entonces ese nmero deberaser 135, como mnimo.

El histograma de la figura 6 muestra la distribu-cin del nmero de problemas resueltos por estu-diante. Contando los 6 controles y los 3 problemasde examen, el nmero de ejercicios resueltos en me-dia por cada estudiante nuevo de P1 es 68. Para estu-diantes repetidores, este nmero es 85. La medianas 58. Slo 66 estudiantes han resuelto ms de 135ejercicios. Slo 30 estudiantes han resuelto ms de180 ejercicios.

Por otro lado, el histograma de la figura 2 mues-

188 Evaluacin del alumnado

7/25/2019 p151

5/8

n: nota C1 C2 C3 C4 C5 C6n 9 199 139 106 96 137 46

5 n

7/25/2019 p151

6/8

0

10

20

30

40

50

60

70

0 2 4 6 8 10

Numberofstudents

Grade

Figura 3: Notas finales

0

20

40

60

80

100

0 50 100 150 200 250 300

Percentage

ofsuccess

Number of solved exercices

Figura 4: Correlacin problemas/aprobados

6.5. Relacin trabajo-resultado

A la luz de los datos anteriores, es lgico pregun-tarse si el esfuerzo de los estudiantes influye en sunota. Evidentemente la casustica es muy grande,pero los datos son significativos: El nmero mediode ejercicios resueltos por estudiante nuevo ha sidode 211 para los estudiantes con MH; 120 para losotros aprobados; 96 para los estudiantes con com-pensable; 71 para los otros suspensos; y 27 paralos no presentados.

De forma ms general, la figura 4 muestra la co-rrelacin entre el nmero de problemas realizados yla tasa de aprobados. Como es de esperar, la tenden-cia es que las posibilidades de aprobar se incremen-tan a medida que aumenta el nmero de problemasresueltos.

6.6. Historial de resultados

El cuadro 2 contextualiza los porcentajes de aproba-dos de P1 con los de las dems asignaturas de pri-mer cuatrimestre. Presentamos los porcentajes so-bre el nmero de presentados por razones de espa-

cio y para hacer comparables los resultados desde elpunto de vista de la dificultad de los exmenes, perolos resultados con NPs son equivalentes. Adems,los aprobados de P1 no contabilizan los estudiantesconvalidados provenientes de Mdulos Formativos.

Como puede constatarse, los resultados de P1 sonsiempre parecidos a los de lgebra (con la excep-cin del ltimo cuatrimestre, en el cual esta asigna-tura cambi su sistema de evaluacin), siendo am-bos claramente inferiores a los de Introduccin a losComputadores y con los resultados de Fsica entreellos. Por razones de espacio, no analizamos aqustas diferencias; el lector interesado puede consul-tar [6].

6.7. Crticas recibidas

El mtodo docente de P1 ha recibido numerosas ala-banzas por parte de estudiantes, profesores, decana-to y rectorado. Sin embargo, todos estos estamentoscon la excepcin de los profesores que han im-partido la asignatura han criticado su sistema deevaluacin, no tanto por el sistema en s, sino por el

nmero de aprobados resultante. En efecto, si bienP1 no es determinante, s juega un papel importanteen el impacto de la Fase de Seleccin y, en conse-cuencia, de toda la carrera.

Como responsables de la asignatura, hemos reci-bido presiones y hemos acudido a numerosas en-trevistas para justificar estos resultados. En estoscasos, nuestra tarea ha sido siempre exponer quelos estudiantes que trabajan el curso en general loaprueban, y que los estudiantes que no trabajan engeneral suspenden. Aqu, entendemos que trabajarel curso significa probar de resolver sus ejercicios.Adems, los resultados recopilados por el juez du-

rante el curso nos permiten demostrar a nuestros in-terlocutores que la mayora de matriculados no es-tudia. Evidentemente, esto abre interrogantes en re-lacin a la motivacin de nuestros estudiantes.

Por otra parte, se nos ha criticado con frecuenciael gran nmero de ceros que aparecen en las evalua-ciones finales. Evidentemente, estos ceros no sig-nifican forzosamente que no se haya aprendido na-da durante el curso, pero s significan que, de nue-ve problemas asignados durante el curso, no se hasabido realizar ningn programa correcto para nin-guno de ellos. Entendemos que ello es una pruebacontundente de su inmadurez para pasar el curso.

190 Evaluacin del alumnado

7/25/2019 p151

7/8

Curso P1 AL F IC2006/2007 1Q 31 31 47 562006/2007 2Q 33 36 35 562007/2008 1Q 32 29 47 642007/2008 2Q 49 48 41 662008/2009 1Q 31 52 42 57

Cuadro 2: Porcentajes aprobados de las asignaturasde 1Q

7. Conclusiones

Hemos presentado el nuevo mtodo docente de P1,puesto en marcha desde hace cinco cuatrimestres.La particularidad principal de este mtodo es su en-foque extremadamente prctico orientado a la reso-lucin de problemas. Los pilares de esta aproxima-cin son, por un lado, una extensa coleccin de pro-blemas cuidadosamente seleccionados y ordenadosy, por otro lado, un juez automtico que permite va-lidar en tiempo real las programas escritos por losestudiantes.

A nuestro parecer, el uso del juez tiene mltiples

ventajas:

Como herramienta de aprendizaje, es el meca-nismo ideal para aprender a programar, ya quecontiene un extenso listado de ejercicios, eva-la las soluciones enviadas por los alumnos alo largo del curso y les informa inmediatamen-te sobre si son o no correctas (segn juegos depruebas muy exhaustivos).

Como herramienta de ayuda a la evaluacin, eljuez permite desarrollar exmenes delante delordenador, donde el alumno es evaluado preci-samente de aquello que debe aprender, es de-

cir, resolver problemas de programacin sen-cillos (saber leer el enunciado de un problema,pensar un algoritmo para el mismo, implemen-tarlo, y comprobar que funcione). Adems, eljuez es objetivo e imparcial.

Como herramienta de seguimiento del progre-so de los estudiantes, el juez proporciona unafuente de datos de una objetividad desconoci-da hasta el momento. En efecto, el juez es pa-recido a un Big Brother que sigue los avan-ces de los estudiantes, problema a problema,tanto con estadsticas globales sobre todos los

matriculados, como de datos restringidos a ungrupo o a un estudiante en particular.

En relacin a los resultados, hemos demostradouna gran correlacin entre el trabajo de los estudian-tes y las notas que obtienen. Lamentablemente, losdatos recojidos con el juez confirman la sospechade que el esfuerzo de la mayora de nuestros estu-diantes dista mucho de la carga prevista dentro delmarco de crditos ECTS. Como consecuencia, P1

tiene un nmero elevado de suspensos.El hecho de que la nica crtica que reciba P1 sea

sobre su sistema de evaluacin, y con el triste argu-mento de un nmero de suspensos muy alto, nosconfirma que P1 est impartida por buenos profeso-res, est bien organizada, dispone de un excelentematerial y exhibe un enfoque ligero y moderno. Endefinitiva, estamos convencidos que P1 es un per-fecto exponente de la adaptacin al Espacio Euro-peo de Educacin Superior, que propugna asignatu-ras de carcter prctico que incorporen nuevas me-todologas docentes dando mfasis en el aprendiza-je basado en proyectos y problemas.

Referencias

[1] Douce C., Livingstone D., and Orwell J. Auto-matic test-based assessment of programming:A review. ACM Journal on Educational Re-sources in Computing, 5(3), 2005.

[2] Duch A., Petit J., and Roura S. Collecci decontrols de P1 solucionats, 2008.https://p1.lsi.upc.edu:2001/pbm/controls.pdf.

[3] Joy M., Griffiths N., and Boyatt R. Theboss online submission and assessment sys-

tem. ACM Journal on Educational Resourcesin Computing, 5(3), 2005.[4] Petit J. and Roura S. Collecci de problemes

dexmens de P1 solucionats, 2009.https://p1.lsi.upc.edu:2001/pbm/examens.pdf.

[5] Petit J. and Roura S. Collecci dexercicis deP1, 2008.https://p1.lsi.upc.edu:2001/pbm/exercicis.pdf.

[6] Petit J. and Roura S. Resposta a la Carta alrespecte de lavaluaci de lassignatura P1 ala fib, 2009.https://p1.lsi.upc.edu:2001/doc/resposta-

dafib.pdf.

XV Jornadas de Enseanza Universitaria de la Informtica 191

7/25/2019 p151

8/8

[7] Revilla M. Uva online judge.http://icpcres.ecs.baylor.edu/onlinejudge/.

[8] Roura S. Normes de programaci de P1, 2008.https://p1.lsi.upc.edu:2001/doc/normes.pdf.

[9] Saikkonen R., Malmi L., and Korhonen A.Fully automatic assessment of programming

exercises. In Proceedings of ITICSE 2001,Innovation and Technology in Computer

Science Education, pages 133136, 2001.[10] Skiena S. and Revilla M. Programming Cha-

llenges. Springer, 2003.

192 Evaluacin del alumnado