05-Alumnos y profrs:07-Quintana Cabanas-20pp · Los alumnos y los profesores como evaluadores....

Notas

Juan A. Marín-GarcíaLos alumnos y los profesores como evaluadores.

Aplicación a la calificación de presentaciones orales.

Miguel RumayorJacques Derrida: perspectiva y actualidad de la antimetafísica nietzscheana

en la educación para la ciudadanía.

Isabel Vilafranca Manguán y Mª Rosa Buxarrais EstradaLa educación para la ciudadanía en clave cosmopolita.

La propuesta de Martha Nussbaum.

Paloma Gavilán BouzasAprendizaje cooperativo. Papel del conflicto sociocognitivo en el desarrollo

intelectual. Consecuencias pedagógicas.

Alfonso OsorioFundamentos filosóficos de la Psicología actual.

IntroducciónLa educación universitaria se enfren-

ta en la actualidad a diferentes retos.Entre ellos, el papel que puede desempe-ñar la evaluación de los aprendizajes delos alumnos y la importancia del desarro-llo de determinadas competencias profe-sionales (Dochy et al., 1999; Maclellan,2001; Orsmond et al., 1996). Una forma deaunar estos dos aspectos es fomentar laparticipación de los alumnos en los proce-sos de evaluación del aprendizaje propio oel de sus compañeros. Sin embargo, ladocencia tradicional no suele permitir estaposibilidad y la evaluación recae en losprofesores, cuyas notas se consideran váli-das e indiscutibles (Orsmond et al., 1996).

No obstante, cada vez es más habitualque se reconozca la importancia de for-mar a los alumnos universitarios paraque desarrollen las habilidades necesa-rias para reflexionar criticamente sobre

los resultados de su trabajo y el procesoseguido para completarlo (Bordas Alsinay Cabrera Rodriguez, 2001; Kwan yLeung, 1996). No sólo eso, sino que, ade-más, sean capaces de evaluar también eltrabajo de sus compañeros. Esta habili-dad les será muy útil en su futuro traba-jo profesional, sobre todo cuando la em -presa en la que trabajen fomente el tra-bajo en equipo (Macpherson, 1999).

La investigación sobre la evaluaciónde los compañeros suele tener como obje-to la puntuación de ensayos, proyectos degrupo o presentaciones orales (Dochy etal., 1999; Magin, 2001b) y, en algunoscasos, posters (Orsmond et al., 2000).Como se han comparado actividades muydiferentes, no es de extrañar que existanresultados divergentes.

El número de investigaciones realiza-das hasta la fecha no es demasiado eleva-

revista española de pedagogíaaño LXVII, nº 242, enero-abril 2009, 79-98

79

Los alumnos y los profesores como evaluadores. Aplicación a la calificación

de presentaciones orales

por Juan A. MARÍN-GARCÍAUniversidad Politécnica de Valencia

do y sería recomendable ampliar las expe-riencias relacionadas con las evaluacio-nes de presentaciones orales (MacAlpine,1999) en diferentes disciplinas (Gatfield,1999; Kwan y Leung, 1996). Además,parece necesario incorporar nuevas for-mas de analizar los datos, que sean másrobustas y que permitan integrar las con-clusiones de diferentes investigaciones(Kwan y Leung, 1996; Magin, 2001a).

Nuestro trabajo de campo se ha cen-trado en comprobar la validez de las pun-tuaciones de los alumnos, comparándolascon las del profesor de la asignatura. Perotambién hemos comprobado si las pun-tuaciones del profesor de la asignaturason válidas. Para ello, las hemos compa-rado con las puntuaciones de 4 profesoresmás. Además analizaremos la fiabilidadde las puntuaciones cuando contamos convarios evaluadores para cada presenta-ción, tanto si son alumnos como si sonprofesores.

Para ello, hemos analizado las formasde incorporar a los estudiantes en el pro-ceso de evaluación y las conclusiones a lasque ha llegado la investigación previa.Sólo hemos tenido en cuenta los estudiosrelacionados con la evaluación de presen-taciones orales, que será la actividad rea-lizada en el trabajo de campo. En el apar-tado de introducción, podremos apreciarque uno de los aspectos mas conflictivostiene que ver con la validez/fiabilidad delas puntuaciones de los alumnos.También resumiremos las recomendacio-nes que se han propuesto para mejorar elproceso de participación de los alumnos

en la evaluación. Concluiremos la revi-sión de la literatura poniendo de mani-fiesto qué análisis estadísticos se han uti-lizado para comprobar la fiabilidad de laspuntuaciones realizadas por los alumnos,los resultados obtenidos en otras investi-gaciones y las limitaciones de los mismos.

Evaluacion por parte de los compañeros (peer assessment)

La evaluación por parte de los compa-ñeros, “peer assessment”, (PA) consiste enun proceso a través del cual un grupo depersonas puntúa a sus compañeros(Dochy et al., 1999).

Varios autores (Dochy et al., 1999;Kwan y Leung, 1996) resumen algunas delas ventajas del PA: los alumnos tienenmás confianza en sus habilidades; mejorala percepción del alumno sobre la calidadde su trabajo; los alumnos reflexionanmás sobre su conducta y sus resultados;mejora los resultados de los alumnos enlos exámenes; mejora la calidad y la efi-cacia del aprendizaje; los alumnos tomanmás responsabilidades en el proceso deaprendizaje y aumenta la satisfacción delos alumnos. Por otra parte, se consideraque desarrollar en los estudiantes lahabilidad de evaluar el trabajo propio o elde los compañeros, es un elemento impor-tante en el proceso de aprendizaje (Kwany Leung, 1996, Reynolds y Trehan, 2000).De hecho, es una de las competencias pro-fesionales para las que debemos formar anuestros universitarios si queremos for-mar profesionales reflexivos y fomentar elaprendizaje a lo “largo de toda la vida”(Cheng y Warren,1999; Dochy et al.,

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

80

Juan A. MARÍN-GARCÍA

1999; MacAlpine, 1999; Macpherson,1999).

Al revisar las investigaciones prece-dentes, los principales problemas que secitan acerca de validez y fiabilidad del PAson:

- Se puede pactar la nota o puntuarmejor a los amigos o a uno mismoque a los demás (Dochy et al.,1999; Magin, 2001b; Magin yHelmore, 2001).

- Los alumnos no suelen usar todoel rango de la escala disponible ytienen a concentrar sus puntua-ciones en el tramo medio (Dochyet al., 1999; Macpherson, 1999).

- Los alumnos no tienen el mismonivel de referencia que los profe-sores (Magin y Helmore, 2001).

- Los alumnos son malos evaluado-res de la actividad sujeta a pun-tuación y sus puntuaciones no separecen a las de los profesores(Dochy et al., 1999; Macpherson,1999; Magin y Helmore, 2001).

Las resistencias a incorporar las pun-tuaciones de los alumnos como evaluaciónsumativa, debidas a los problemas men-cionados, no son sólo de los profesores.Algunos estudiantes desconfían de la cali-dad de las puntuaciones de sus compañe-ros o de ellos mismos y no se sienten agusto con el sistema (Kwan y Leung,1996; Macpherson, 1999).

Por otra parte, hemos recogido lasrecomendaciones que hacen los diferentesautores para mejorar el proceso de PA. Eneste sentido, al poner en marcha estos sis-temas es aconsejable lo siguiente:

- La evaluación es una habilidadque se puede mejorar con la repe-tición y el entrenamiento (Dochyet al., 1999; Kwan y Leung, 1996;Macpherson, 1999; Magin, 2001a; Searby y Ewers, 1997).

- Es necesario reservar tiempo paraque el alumno pueda realizar suspuntuaciones. También es posibleque los alumnos necesiten apoyou orientaciones en algún momen-to del proceso (Dochy et al., 1999;Magin, 2001a).

- Si queremos usar PA como herra-mienta formativa, debemos ayu-dar a que los estudiantes veanestas actividades como una herra-mienta para facilitar su aprendi-zaje (Dochy et al., 1999).

- Usar los mismos criterios paratodos los evaluadores, que esténestablecidos de antemano, seanconocidos por los alumnos y esténformulados de una manera clara ysencilla. Si es posible, se recomien-da negociarlos con los estudiantes(Cheng y Warren, 1999; Dochy etal., 1999; Kwan y Leung, 1996;MacAlpine, 1999; Macpherson,1999; Magin, 2001a; Orsmond etal., 2000; Searby y Ewers, 1997;Sullivan y Hall, 1997).


81

Los alumnos y los profesores como evaluadores. Aplicación a la calificación...

- Aunque las puntuaciones indivi-duales de una persona no seanfiables, cuando se promedian laspuntuaciones de varias personas,la fiabilidad es muy elevada(Magin y Helmore, 2001).

- Usar PA como una parte de lanota, que complementa la notaentregada por los profesores(Dochy et al., 1999; Kwan yLeung, 1996; Magin, 2001a;Searby y Ewers, 1997).

En definitiva, parece que el principalpunto de desacuerdo entre las investiga-ciones es el grado de fiabilidad de las pun-tuaciones de los alumnos. Si se mejoraraeste aspecto, permitiría reducir algunasde las resistencias que hay por parte delos profesores y de los alumnos para adop-tar estos sistemas. Por eso, el objeto denuestro trabajo será comprobar el gradode fiabilidad que se obtiene en unaimplantación concreta de PA (evaluaciónde presentaciones orales), cuando se tie-nen en cuenta las recomendaciones reali-zadas por la literatura científica sobre eltema.

Validez y fiabilidad de las puntuaciones de los alumnos en presentaciones orales

Se han utilizado diferentes medidaspara establecer el grado de acuerdo entrelas puntuaciones de los alumnos y las delos profesores. La más habitual es usar elcoeficiente de correlación entre la mediade las puntuaciones de los alumnos con lapuntuación del profesor (o la media de las

puntuaciones de los profesores, si hayvarios puntuando) (Al-Fallay, 2004;Cheng y Warren, 1999; Falchikov yGoldfinch, 2000; Freeman, 1995; Kwan yLeung, 1996; Langan et al., 2005;MacAlpine, 1999, Macpherson, 1999;Magin y Helmore, 2001). Otras medidasutilizadas son el porcentaje de alumnosque dan una nota comprendida en unintervalo de confianza sobre la nota delprofesor (normalmente una desviaciónestandar) (Falchikov, 1995; Freeman,1995; Kwan y Leung, 1996), comparar lavarianza de las notas de los alumnos y delos profesores o hacer un T-test para ladiferencia de la medias entre las notas delos alumnos y las de los profesores (Chengy Warren, 1999; Freeman, 1995; Kwan yLeung, 1996; Magin y Helmore, 2001;Ward et al., 2002). Recientemente, algu-nos estudios utilizan una medida asocia-da al análisis de la varianza (ANOVA)para determinar la la fiabilidad entreevaluadores (Magin, 2001a).

Podemos comprobar que el grado deacuerdo entre las puntuaciones promediode los profesores y las del grupo de alum-nos, es bastante elevado cuando se evalú-an presentaciones orales.

Por un lado, las correlaciones entrelas puntuaciones de los alumnos y las delos profesores son moderadas o altas. Losvalores se sitúan entre 0,44 y 0,79 en 3 delos estudios citados (Falchikov y Gold -finch, 2000) y en los trabajos de variosautores (Cheng y Warren, 1999;Freeman, 1995; Kwan y Leung, 1996;Macpherson, 1999; Magin y Helmore,

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

82


2001). Mientras que son mayores que0,80 en otros 3 estudios citados (Fal -chikov y Goldfinch, 2000) y en otras dosinvestigaciones (Al-Fallay, 2004; Langanet al., 2005; MacAlpine, 1999).

Por otro lado, el grado de coincidenciade las notas de los alumnos y las del pro-fesor es muy elevado 98% (Falchikov,1995), 95% (Freeman, 1995) y 70% (Kwany Leung, 1996). También se puede confir-mar que no aparecen diferencias signifi-cativas entre notas de alumnos y profeso-res al aplicar una prueba T (Freeman,1995; Kwan y Leung, 1996). Sin embargo,la dispersión de las notas de los alumnoses sensiblemente menor que las de losprofesores (Cheng y Warren, 1999;Freeman, 1995; Kwan y Leung, 1996;Magin y Helmore, 2001). En otras pala-bras, que los alumnos tienden a concen-trar sus notas y discriminan menos quelos profesores.

No obstante, debemos tener presentesuna serie de advertencias realizadas porWard y colaboradores (2002). En primerlugar, casi todos los estudios consideranque la nota del profesor es correcta y quela diferencia de notas con los alumnos esdebida a que los alumnos no son tan bue-nos puntuando como los profesores. Noobstante, esta diferencia también puedeser debida a que las puntuaciones del pro-fesor no sean tan válidas y fiables comocabría pensar (Falchikov y Goldfinch,2000; Magin y Helmore, 2001; Orsmondet al., 1996; Pascual Gomez y GaviriaSoto, 2004). La validez tiene que ver conpuntuar lo que se pretende medir y, al

mismo tiempo, que lo que se pretendamedir sea relevante. Es decir, que searepresentativo de los conocimientos/habi-lidades, perseguidas en la asignatura,que el alumno ha adquirido. Las sugeren-cias para superar este problema es mejo-rar la fiabilidad de las puntuaciones delos profesores usando el promedio de laspuntuaciones de varios profesores exper-tos (Ward et al., 2002).

En segundo lugar, aunque existanuna serie de criterios para puntuar, nohay garantía de que todos los evaluadoreslos interpreten de la misma manera. Lamejor forma de evitar este problema esproporcionar varios criterios, lo más sen-cillos posibles e incluyendo guías explíci-tas en la parrilla de calificación (Ward etal., 2002). Otra posibilidad es tipificar laspuntuaciones de los alumnos o de los pro-fesores antes de promediarlas.

Por ultimo, Ward y colaboradores(2002) también comentan un posible pro-blema cuando sólo se analizan los datos anivel de grupo. Es decir, cuando compara-mos la media de las puntuaciones de ungrupo de evaluadores con la nota de unexperto. Este tipo de análisis no nos indi-ca el grado de acuerdo de cada alumnoindividual con la nota del profesor y nonos aporta información relevante cuandosólo se dispone de una nota originada porlos alumnos (bien porque se autoevalúano bien porque cada trabajo es evaluadosólo por un compañero).

En este artículo, pretendemos utilizarlas dos primeras recomendaciones de


83


Ward y colaboradores (2002) y dejaremospara una investigación posterior la evalua-ción de los diferentes niveles de análisis.

Objetivos y metodologíaTeniendo en cuenta las investigacio-

nes que hemos comentado en los apartadosanteriores, nos parece interesante conti-nuar aportando datos para clarificar hastaqué punto podemos confiar en las puntua-ciones que proporcionan los alumnos. Deeste modo, pretendemos reflexionar sobrela posibilidad de incorporarlas a la evalua-ción sumativa de nuestras asignaturas.

Las preguntas que pretendemos res-ponder con nuestra investigación son lassiguientes:

1. ¿Son válidas las puntuaciones deun sólo profesor? Es decir, ¿con-cuerdan con las de un grupo deprofesores?

2. ¿Es válido el promedio de las pun-tuaciones de varios alumnos eva-luando una misma presentación?Es decir, ¿concuerda con la pun-tuación del profesor?

3. ¿Qué grado de fiabilidad tienenlas puntuaciones de un sólo profe-sor si las comparamos con la deun grupo de profesores?

4. ¿Son fiables las puntuaciones delos alumnos? ¿Cuántos alumnosevaluadores serían necesariospara conseguir una fiabilidadsimilar a la de un profesor?

Para dar respuesta a las preguntas deinvestigación, utilizaremos los procedi-mientos siguientes:

- La validez de las puntuaciones deun profesor la mediremos contras-tando los puntos entregados porel profesor de la asignatura con lamedia de las puntuaciones de losotros 4 profesores que participanen esta investigación. Como nofue posible que asistieran másprofesores a la sesión de exposi-ción de final de curso, utilizare-mos los datos provenientes de lapuntuación de las presentacionesgrabadas en vídeo, tanto para elprofesor de la asignatura comopara los profesores colaboradoresen la investigación. De este modo,la situación es común para todosellos. Con estos datos calculare-mos la correlación y haremos unaprueba de T de diferencia demedias para comprobar si laspuntuaciones se corresponden auna misma población. Tambiéncalcularemos cuántas puntuacio-nes del profesor de la asignaturase diferencian de las del promediode los otros 4 profesores, enmenos de una desviación están-dar de las puntuaciones del grupode profesores (Cheng y Warren,1999; Freeman, 1995; Kwan yLeung, 1996; Magin y Helmore,2001).

- La validez del promedio de laspuntuaciones de los alumnos laintentaremos probar con un pro-

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

84


cedimiento análogo. Pero en estecaso, el valor de referencia serálas puntuaciones otorgadas por elprofesor de la asignatura el día delas presentaciones. Por lo tanto,la situación en la que se puntuabalas presentaciones es la mismapara ambos conjuntos de datos.

- La fiabilidad de las puntuacionesde los profesores y de los alumnoslas mediremos utilizando el proce-dimiento desarrollado por Maginy Helmore (2001) (ver apéndiceA). Nuestra hipótesis de partidaes que los profesores tendrán ungrado mayor de fiabilidad que losalumnos. El motivo para ello noserá la experiencia en la materiaque se imparte, puesto que lamayoría de los profesores que par-ticipan en la investigación impar-ten asignaturas muy diferentes ala evaluada, sino que la fiabilidadde los profesores se supone aso-ciada con el hecho de estar habi-tuados a puntuar y a discriminarlas puntuaciones de sus alumnos.

- Por último completaremos los aná-lisis con la estimación del númerode alumnos o de profesores quedeberían evaluar simultáneamen-te una exposición para que su fia-bilidad fuese similar a la de lapuntuación de un sólo profesorexperto (tanto en la materiaimpartida como en evaluar presen-taciones orales). Para ello, seguire-mos el procedimiento sugerido porMagin (2001a) (ver apéndice A).

Kane y Lawler (1978), sugieren tresprocedimientos para la puntuación porparte de los compañeros: rango ordenado,nominación y puntuación. Nosotros hemoselegido el tercero de ellos, donde cada per-sona puntúa a sus compañeros de acuerdocon su rendimiento, utilizando una escalade puntuación. Consideramos que es el demás fácil aplicación (aunque los otrosmétodos puedan ser más fiables o permitirun mayor grado de discriminación).

Para fomentar una mayor implicaciónde los alumnos, decidimos que los crite-rios a evaluar fuesen seleccionados porlos estudiantes, tal como describiremosmás adelante. La tarea del profesor fueintegrar las visiones de los diferentes gru-pos y generar la versión definitiva de laparrilla, incluyendo unas guías de pun-tuación para cada criterio. La parrillacontenía 9 criterios y cada uno de ellospodía puntuarse entre 0 y 3. Por lo tanto,la nota máxima para una exposición eran27 puntos.

Los alumnos objeto de estudio estánmatriculados en una de las dos clases deltercer curso de Ingeniero de OrganizaciónIndustrial. Ninguno de los alumnos habíaparticipado en actividades de evaluaciónde compañeros con anterioridad a estaasignatura. La asignatura (gestión deempresas) se imparte durante 15 semanaslectivas en clases de 2,5 horas semanales.La actividad evaluada se realizaba enparejas. Consistía en realizar una entre-vista a dos mandos de empresa, compararsus respuestas con la teoría impartida enel curso y presentar el resultado de su tra-


85


bajo ante los demás compañeros en clase.Esta exposición sería grabada en vídeo. Laactividad se exponía el último día del cursoy no era obligatoria, aunque puntuaba un10% en la nota final de la asignatura (5%por la nota de la exposición —promedio dela nota de los compañeros y del profesor—y 5% por el grado de acuerdo de las notaspuestas por cada alumno al compararlacon el promedio de notas de todos los alum-nos). Se realizaron 23 presentaciones y enellas intervinieron 44 alumnos.

Un mes antes de la exposición seexplicó la actividad durante una sesión declase. Una vez aclaradas las dudas gene-rales se formaron dos grupos de 15-20alumnos, que se reunieron para seleccio-nar los criterios que se utilizarían parapuntuar la actividad. Se empezó con una“tormenta de ideas con grupo nominal”sobre los aspectos que definen una buenaexposición oral. Posteriormente se filtra-ron los criterios (utilizando la técnica dediagrama de afinidad) teniendo como pre-misa que se seleccionaran sólo aquellosque fuesen fáciles de comprender y deobservar objetivamente por los alumnosque actuarían como evaluadores. Tanto latormenta de ideas como el diagrama deafinidad son dos técnicas contenidas en elprograma de la asignatura por lo queestas reuniones sirvieron para practicar-las. El profesor se encargó de recoger lasdos listas y sintetizarlas después de lareunión. También incluyó algunas guíaspara facilitar la puntuación.

Tres semanas antes de la exposición,durante la clase semanal, se presentó la

lista definitiva a los alumnos (ver apéndi-ce B) que la utilizaron para evaluar a 3compañeros suyos que actuaban como por-tavoces de una de las actividades de gruporealizadas durante la sesión. Además, sepuso a disposición de los alumnos, en laWEB, las grabaciones en vídeo de las pre-sentaciones realizadas durante la asigna-tura. Estas presentaciones eran indepen-dientes de la actividad objetivo de esteartículo y consistían en la actuación dediferentes alumnos (casi el 50% de losasistentes) como portavoces de las activi-dades de grupos que se iban realizandodurante las sesiones de clase. El objetivoera que, durante la semana, los alumnosse evaluasen a sí mismos y a otros doscompañeros utilizando la plantilla. Deeste modo, recibían feedback de sus habi-lidades como oradores y se familiarizabancon el uso del instrumento. En la clasesiguiente se dio la oportunidad de que losalumnos comentasen las dificultades sur-gidas durante la utilización de la parrilla.No fue necesario realizar ninguna aclara-ción ni rectificación de la misma.

Las dos semanas siguientes, los alum-nos trabajaron por su cuenta realizandolas entrevistas. El día de la presentación,los alumnos contaban con una hora declase para preparar sus presentaciones(de 3 minutos cada una como máximo).Durante la segunda hora de clase se pro-cedió a realizar las presentaciones quefueron puntuadas por sus compañeros ypor el profesor.

Con el fin de no saturar a los alumnosy que pudieran prestar atención también

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

86


al contenido de las presentaciones, losalumnos evaluaban sólo una de cada cua-tro presentaciones. La asignación de quéexposición debían evaluar se hizo en fun-ción del lugar que ocupaban en las mesasde clase (bancos con 4 asientos), por lo quepodemos considerar que fue una asigna-ción al azar. El profesor evaluó todas laspresentaciones, usando para ello la mismaparrilla de puntuación que los alumnos.

Cuatro meses después de la exposi-ción, un grupo de cuatro profesores sereunió con el profesor de la asignaturapara evaluar las presentaciones orales,que habían sido grabadas en video. De loscuatro profesores, uno impartía la mismaasignatura, pero en un centro distinto;otro pertenecía al mismo departamento ylos otros dos pertenecían a un departa-mento diferente.

En total recogimos 4 conjuntos de datos:

- Las puntuaciones que dan losalumnos a las presentaciones desus compañeros (cada exposiciónes evaluada por 7-12 alumnos)(AA).

- Las puntuaciones del profesor dela asignatura el día de la exposi-ción (PP1).

- Las puntuaciones del profesor dela asignatura viendo el vídeo delas presentaciones (PPV).

- Las puntuaciones de cuatro profe-sores viendo el vídeo de las pre-sentaciones (PGP).

Análisis y discusión de los resultadosEn la Figura 1 presentamos el gráfico

de las puntuaciones obtenidas por cadauna de las presentaciones realizadas.Hemos calculado el promedio en aquellasseries de datos donde se disponía de más de


87


FIGURA 1: Puntos obtenidos en las presentaciones.

AA: promedio de las puntuaciones de los alumnos el día de la exposición.PP1: puntuación del profesor de la asignatura el día de la exposición.PPV: puntuación del profesor de la asignatura viendo el vídeo.PGP: promedio de las puntuaciones de 4 profesores viendo vídeo.

una puntuación por exposición (AA y PGP).A simple vista se puede observar que exis-te bastante similitud entre las diferentesfuentes de datos. No obstante completare-mos una serie de pruebas estadísticas paradar rigor a esta interpretación.

En primer lugar, hemos calculado losestadísticos descriptivos y hemos compro-bado que las cuatro series de datos (AA,PP1, PPV y PGP) tienen una distribuciónnormal, mediante la Prueba de Kolmo -gorov-Smirnov para una muestra (VVAA,2002). También resumimos en la Tabla 1las correlaciones de Pearson entre lasvariables.

Las puntuaciones realizadas por elprofesor de la asignatura de las presenta-ciones grabadas en vídeo (PPV) estánaltamente correlacionadas con el prome-dio de las puntuaciones de los otros cua-tro profesores (PGP) (0,808). Las diferen-cias entre las medias de ambas puntua-ciones son significativas con una pruebaT (a=0,02). Esto indica que, en promedio,las puntuaciones del profesor de la asig-natura son 1,08 puntos menores que las

de los otros profesores. En total hay 4 pre-sentaciones (17° o) en las que la diferen-cia entre las notas de la serie PPV y las dela serie PGP son mayores que 3 puntos(una desviación estándar de la seriePGP).

De manera análoga, la correlaciónentre el promedio de las puntuaciones delos alumnos (AA) y la del profesor de laasignatura, el día de las presentaciones(PP1) es significativa y muy elevada(0,875). Las diferencias entre las mediasde ambas puntuaciones no son significati-vas con una prueba T. En total, sólo hayuna exposición (4%) en la que la puntua-ción AA se diferencia de PP1 en más deuna desviación estandar de las notas PP1(3,27 puntos).

Por lo tanto, respecto a las dos prime-ras preguntas de nuestra investigaciónpodemos concluir que las puntuaciones deun único profesor son razonablementeválidas, pues coinciden bastante con lasde un grupo de cuatro profesores. La dife-rencia promedio entre ambas puntuacio-nes, aunque es significativa estadística-

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

88


TABLA 1: Estadísticos descriptivos.

** La correlación es significativa al nivel 0,01 (bilateral).

mente, sólo es de 1 punto sobre un totalde 27. Por otra parte, en el 83% de loscasos la diferencia entre las puntuacionesPPV y PGP es menor que 3 puntos sobreuna escala de 27 puntos. No disponemosde datos de investigaciones similares quehayan estudiado estos aspectos, por loque no podemos valorarlo en comparacióncon otros hallazgos.

Del mismo modo, y de manera másremarcada, son válidos los promedios delas puntuaciones realizadas por los alum-nos a sus compañeros. De hecho, la con-cordancia de estos promedios con la notadel profesor de la asignatura es práctica-mente total. Nuestros resultados coinci-den con los estudios anteriores que encon-traron altas correlaciones entre las pun-tuaciones de los alumnos y las de los pro-fesores (Al-Fallay, 2004; Falchikov, 1995;Falchikov y Goldfinch, 2000; Freeman,1995; Langan et al., 2005; MacAlpine,1999; Macpherson, 1999; Magin yHelmore, 2001). Nuestros datos tambiéncoinciden con todos los estudios que hanobservado que la dispersión de las pun-tuaciones de los alumnos es menor y quediscriminan menos (Cheng Warren, 1999;Falchikov y Goldfinch, 2000; Freeman,1995; Kwan y Leung, 1996); Magin yHelmore, 2001). Aunque en nuestro caso,las diferencias de dispersión son bastantepequeñas. Por último, las puntuacionesque dan los alumnos a sus compañerosson ligeramente menores que las que dael profesor.

Una vez analizadas las preguntasrelacionadas con la validez, pasaremos a

comentar los resultados obtenidos con lafiabilidad de las puntuaciones de losalumnos y del profesor. En ambos casosseguiremos un procedimiento análogo.

En primer lugar, calcularemos la fia-bilidad entre evaluadores (rnn) del grupode alumnos que puntúan a sus compañe-ros o del grupo de profesores que ven elvídeo de las presentaciones, sin incluir lapuntuación del profesor de la asignatura.Posteriormente, añadiremos a los análisislas puntuaciones del profesor de la asig-natura para estimar cuál sería su fiabili-dad (r*nn). Por último, si la fiabilidad esti-mada del profesor de la asignatura (rtt) essuperior a la de los alumnos o la del con-junto de profesores colaboradores en lainvestigación (rll), calcularemos cuántosalumnos o profesores de otras disciplinas(DeltaN) sería necesario que evaluarancada exposición para que el promedio desus notas tuviese una fiabilidad similar ala del profesor de la asignatura.

Los resultados de estos análisis(Tabla 2) no pueden ser más elocuentes.La fiabilidad de las puntuaciones de losalumnos (rnn=0,90) es muy elevada cuan-do se incorpora una cantidad grande deevaluadores (en nuestro caso más de 10por exposición). Sin embargo, la fiabilidadestimada de las puntuaciones de un únicoalumno evaluador es un poco baja(rll=0,47), pero prácticamente igual a lade uno sólo de los 4 profesores que pun-tuaban los vídeos.

Ahora bien, la fiabilidad estimada delas puntuaciones del profesor de la asig-


89


natura son sensiblemente mayores(rtt=0,66) y prácticamente constantes alcontrastarla con ambas series de datos.Tanto la fiabilidad de las puntuaciones delos alumnos como la del profesor de laasignatura (rnn, rll y rtt) son más elevadasque las obtenidas en la investigación deMagin y Helmore (2001). Sin embargo, lafiabilidad de las puntuaciones de los otroscuatro profesores es prácticamente iguala la obtenida en esa investigación.

Consideramos que puede haber variosmotivos por los cuales la fiabilidad seatan alta. En primer lugar, el hecho de que

sólo hemos incluido criterios bastanteobjetivos, y que cada uno de los criteriostenía unas guías definidas para la pun-tuación. Somos conscientes de que hemosdejado de lado aspectos subjetivos quetambién son importantes en la evaluaciónde presentaciones en público (por ejem-plo, si gusta, si capta la atención del oyen-te, si interesa...). Sin embargo, nos intere-saba más fomentar la fiabilidad de laspuntuaciones que contemplar los aspectossubjetivos. Además, entendemos quecumplir con los aspectos objetivos obser-vados era una condición necesaria parauna buena presentación, es decir, si se

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

90


TABLA 2: Análisis de la fiabilidad de las puntuaciones de los alumnos y profesores.

cumplen no garantizan una buena pre-sentación, pero si no se cumplen seguroque la presentación no puede ser exitosa.Por otra parte, la parrilla la planteamoscomo un instrumento formativo ya queservía como guía a los alumnos, indicandoqué debían hacer durante la exposición(por ejemplo, hablar alto y claro, contactovisual con la audiencia...).

En segundo lugar, tanto los alumnoscomo el profesor de la asignatura hanpodido probar previamente la parrilla yfamiliarizarse con los criterios y la formade puntuación antes del día de las pre-sentaciones evaluadas en este artículo.Sin embargo, los otros cuatro profesoresque colaboraron en la investigación nodisfrutaron de este beneficio. Ellos cono-cieron los criterios en la misma sesión quepuntuaron los vídeos de las presentacio-nes. Sólo recibieron una explicación de 15minutos por parte del profesor de la asig-natura, tras la cual tuvieron unos minu-tos para leer los criterios y consultardudas. Una vez resueltas sus dudas,empezó la proyección del vídeo y puntua-ron las presentaciones. Ésta puede seruna de las causas por la que la fiabilidadestimada de uno de estos profesores (rll)es sensiblemente menor a la del profesorde la asignatura (rtt). Consideramos queestos cuatro profesores tenían una expe-riencia similar, y en algunos casos muchomayor, que el profesor de la asignatura enla evaluación de presentaciones orales desus alumnos. Por lo tanto, esa mejora defiabilidad sólo puede explicarse por lafamiliaridad con los criterios utilizados.Por otra parte, puesto que rll es similar en

los profesores (personas habituadas apuntuar a sus alumnos, pero no familiari-zados con la parrilla de criterios concretaque hemos utilizado en esta asignatura) yen los alumnos (personas no acostumbra-das a evaluar a sus compañeros, peroentrenados en el uso de la parrilla de cri-terios), podemos intuir que los criteriosutilizados y el entrenamiento previo hanservido como sustituto de la experiencia.

ConclusionesEn primer lugar, queremos advertir

que las conclusiones que vamos a extraersólo son aplicables a situaciones similaresa la relatada: presentaciones orales, eva-luadas con parrillas construídas por lospropios alumnos que han sido entrenadosen su uso. Además, las puntuaciones delos alumnos contribuían a la evaluaciónsumativa de sus compañeros, pero tam-bien recibían una nota como evaluadores,lo que les obligaba a tomarse en serio elproceso. También intentamos motivar alos alumnos comentándoles que en sufuturo trabajo como mandos es probableque tuviesen que evaluar el rendimientode sus subordinados o, incluso, de suscompañeros. Todas estas característicasse han extraído de las recomendaciones deinvestigaciones previas y sin ellas es pro-bable que los resultados fuesen diferentes.

En estas condiciones, podemos consi-derar que las puntuaciones de las presen-taciones, calculadas como el promedio delos puntos recibidos de varios alumnosactuando como evaluadores, no se dife-rencian de manera significativa de laspuntuaciones que otorga el profesor de la


91


asignatura. Por ello, podemos utilizar lasnotas derivadas del PA en la evaluaciónfinal de los alumnos sin que ello distor-sione los resultados.

Es más, las puntuaciones del profesorde la asignatura presentan algunas dife-rencias al compararlas con el promedio denotas que propone el grupo de 4 profeso-res que ha colaborado en la investigación.Aunque esas diferencias no son grandes,nos recuerdan que, por muy experimenta-do que sea un profesor, no podemos darpor sentado que las puntuaciones querealiza son absolutamente acertadas.

Esta conclusión es corroborada por eldato de que las fiabilidades estimadas deun solo evaluador son moderadamentebajas en el caso del profesor de la asigna-tura y algo bajas en el caso de los alumnoso de los otros profesores participantes.Por lo tanto, lo más aconsejable, desde elpunto de vista de la fiabilidad, sería utili-zar las puntuaciones de varios evaluado-res simultáneamente.

Los resultados de nuestro trabajoparecen indicar con bastante claridad quelos alumnos pueden llegar a ser unos bue-nos evaluadores de las presentacionesorales de sus companeros y que sus pun-tuaciones podrían servir para establecerlas notas de sus companeros sin que seaprecien diferencias con las notas quepropone el profesor de la asignatura.

Si podemos fiarnos de las puntuacio-nes de los alumnos, los profesores pode-mos descargarnos de parte de la respon-

sabilidad y tiempo dedicado a evaluación.De manera que, al mismo tiempo quefomentamos la autonomía, responsabili-dad y participación de los alumnos en elproceso (aspectos que suelen originar unamayor motivación de los estudiantes),conseguimos liberar tiempo en las ya depor sí sobrecargadas agendas de los pro-fesores.

Si no queremos dejar toda la respon-sabilidad en manos de los alumnos, tene-mos dos posibilidades: hacer intervenir avarios profesores o utilizar CA. En el con-texto de esta asignatura lo más habituales no poder contar con la participación demás profesores (bien porque es impartidapor un sólo profesor o porque, aún habien-do varios profesores, no dispongan detiempo para invertirlo en duplicar lasevaluaciones). Por lo tanto, se podríamejorar la fiabilidad si cada exposiciónfuese puntuada por el profesor de la asig-natura junto con varios alumnos (mínimoentre dos y cuatro). Con ello podríamostener unos valores de r*nn superiores a0,80 que puede considerarse bastanteadecuados (Magin y Helmore, 2001). Coneste procedimiento, el profesor no se aho-rraría tiempo, pues tiene que puntuar lasexposiciones y además invertir tiempo enpromediar las puntuaciones de los alum-nos participantes. Pero se mejoraría lafiabilidad de la evaluación y se consegui-ría implicar a los alumnos en el proceso,con los beneficios formativos y de motiva-ción que ello conllevaría.

También queremos recalcar, como fac-tores importantes para fomentar una ele-

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

92


vada fiabilidad en las puntuaciones, unaselección de criterios lo más objetivos posi-bles y la creación de guías de puntuación,la familiaridad o entrenamiento con loscriterios de evaluación y la experiencia enla evaluación de presentaciones orales.Cuanto más presentes estén estos factores,mayor será la fiabilidad de las puntuacio-nes. Es más, manejando adecuadamentelos dos factores que caen bajo el campo deactuación de un profesor (selección de cri-terios y entrenamiento) se pueden conse-guir fiabilidades muy elevadas, incluso conpocos evaluadores de cada presentación.Por lo tanto, no parece haber limitación, almenos por el aspecto de fiabilidad y vali-dez, para fomentar una mayor participa-ción de los alumnos a la puntuación denota final de sus compañeros.

La forma en que se ha construido laparrilla de criterios para la puntuación,con la participación activa de los alum-nos, y las actividades para que los alum-nos se entrenaran en el uso de la parrilla,también puede haber influido favorable-mente en la fiabilidad de las puntuacio-nes. No obstante, no estamos en condiciónde valorar su efecto en estos momentos.Nuestra intención es continuar la investi-gación con alumnos de cursos posterioresque no han participado en la elaboraciónde la parrilla y ver los resultados que seproducen. También nos gustaría analizarqué pasa cuando los alumnos usan laparrilla en las mismas condiciones que elgrupo de 4 profesores. Es decir, viendo elvídeo de las presentaciones tras unaexplicación de los criterios durante 15minutos, sin entrenarse con el uso de laparrilla.

Por último, debemos tener en cuentaque la implantación del PA y su utiliza-ción en la nota final de los alumnos, severá dificultada en entornos universita-rios tradicionales. Sobre todo, si la trans-ferencia de responsabilidades cambia elequilibrio de poder entre los profesores ylos alumnos (Dochy et al., 1999;Macpherson, 1999; Tariq et al., 1998).Además, cuando se pone en marcha PA,la gestión del proceso se complica y seinvierte más tiempo. Por lo tanto, se reco-mienda revisar, simplificar y computeri-zar el procedimiento para no sobrecargara los docentes (Cheng y Warren, 1999).

Dirección del autor: Juan A. Marín-García. Departamento deOrganización de Empresas. Universidad Politécnica deValencia. Edificio 7D. App. Correos 22012 46071 Valen -cia. SPAIN. Correo Electrónico: [email protected]

Fecha de recepción de la versión definitiva de este artículo:1.VI.2008.

BibliografíaAL-FALLAY, I. (2004) The Role of Some Selected

Psychological and Personality Traits of the Rater in theAccuracy of Self-and Peer-Assessment, System, 32:3,pp. 407-427.

BORDAS ALSINA, I. y CABRERA RODRIGUEZ, F. A. (2001)Estrategias de evaluación de los aprendizajes centra-das en el proceso, revista española de pedagogía,59:218, pp 25-48.

CHENG, W. y WARREN. M. (1999) Peer and TeacherAssessment of the Oral and Written Tasks of a GroupProject, Assesment & Evaluation in Higher Education,24:3, pp. 301-314.

DOCHY. F.; SEGERS, M. y SLUIJSMANS, D. (1999) The Use ofSelf-, Peer and Co-Assessment in Higher Education: aReview, Studies in Higher Education, 24:3, pp. 331-350.

FALCHIKOV, N. (1995) Peer Feedback Marking - DevelopingPeer Assessment, Innovations in Education and TrainingInternational, 32:2, pp. 175-187.


93


FALCHIKOV, N. y GOLDFINCH, J. (2000) Student PeerAssessment in Higher Education: A Meta-AnalysisComparing Peer and Teacher Marks, Review ofEducational Research, 70:3, pp. 287-322.

FREEMAN, M. (1995) Peer Assessment by Groups of GroupWork, Assesment & Evaluation in Higher Education, 20,pp. 289-300.

GATFIELD, T. (1999) Examining Student Satisfaction WithGroup Projects and Peer Assessment, Assesment &Evaluation in Higher Education. 24:4, pp. 365-377.

KANE, J. y l.AWLER III, E. E. (1978) Methods of PeerAssessment, Psychological Bulletin, 85:3, pp. 555-586.

KWAN, K.-P. y LEUNG, R. (1996) Tutor Versus Peer GroupAssessment of Student Performance in a SimulationTraining Exercise, Assesment & Evaluation in HigherEducation, 21:3, pp. 205-214.

LANGAN, M.; WHEATER, P.; SHAW, E.; HAINES, B.; CULLEN,R.; BOYLE, J.; PENNEY, D.; OLDEKOP, J.; ASHCROFT,C.; LOCKEY, L. y PREZIOSI, R. (2005) Peer Assessmentof Oral Presentations: Effects of Student Gender,University Affiliation and Participation in theDevelopment of Assessment Criteria, Assesment &Evaluation in Higher Education, 30:1, pp. 21-34.

MACALPINE, J. M. K. (1999) Improving and Encouraging PeerAssessment of Student Presentations, Assesment &Evaluation in Higher Education, 24:1, pp. 15-25.

MACLELLAN, E. (2001) Assesment for Learning: the DifferingPerceptions of Tutors and Students, Assesment &Evaluation in Higher Education, 26:4, pp. 307-318.

MACPHERSON, K. (1999) The Development of CriticalThinking Skills in Undergraduate SupervisoryManagement Units: Efficacy of Student PeerAssessment, Assesment & Evaluation in HigherEducation, 24:3, pp. 273-284.

MAGIN, D. J. (2001a) A Novel Technique for Comparing theReliability of Multiple Peer Assessments With That of SingleTeacher Assessments of Group Process Work, Assesment& Evaluation in Higher Education. 26:2, pp. 139-152.

MAGIN, D. J. (2001b) Reciprocity As a Source of Bias inMultiple Peer Assessment of Group Work, Studies inHigher Education, 26:1, pp. 53-63.

MAGIN, D. J. y HELMORE, P. (2001) Peer and TeacherAssessments of Oral Presentation Skills; How Reliable

Are They?, Studies in Higher Education, 26:3, pp. 287-298.

ORSMOND, P.; MERRY, S. y REILING, K. (1996) TheImportance of Marking Criteria in the Use of PeerAssessment, Assesment & Evaluation in HigherEducation, 21:3, pp. 239-250.

ORSMOND, P.; MERRY, S. y REILING, K. (2000) The Use ofStudent Derived Marking Criteria in Peer and Self-Assessment, Assesment & Evaluation in HigherEducation, 25:1, pp. 23-38.

PASCUAL GÓMEZ I. y GAVIRIA SOTO J. L. (2004) El proble-ma de la fiabilidad en la evaluación de la eficienciadocente en la universidad: una alternativa metodológi-ca, revista española de pedagogía, 62:229, pp.359-376.

REYNOLDS, M. y TREHAN. K. (2000) Assessment: a CriticalPerspective, Studies in Higher Education, 25:3, pp.267-278.

SEARBY, M. y EWERS, T. (1997) An Evaluation ot ihe Use ofPeer Assessment in Higher Educartion: a Case StudyUn the School of Music, Kingston University,Assessment & Evaluation in Higher Education, 22:4, pp.371.

SULLIVAN, K. y HALL, C. (1997) Introducing Students to Self-Assessment, Assesment & Evaluation in HigherEducation. 22:3, pp. 289-305.

TARIQ, V. N.; STEFANI, L. A. J.; BUTCHER, A. C. y HEYLINGS,D. J. A. (1998) Developing a New Approach to theAssessment of Project Work, Assesment & Evaluation inHigher Education, 23:3, pp. 221-240.

VVAA. (2002). SPSS 10 Guía para el análisis de datos.Servicio de informática Universidad de Cádiz.

WARD, M.; GRUPPEN, L. y REGEHR, G. (2002) MeasuringSelf-Assessment: Current State of the Art, Advances inHealth Sciences Education, 7:1, pp. 63-80.

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

94



95


Apéndices

Apéndice A - cálculo de la fiabilidad-adaptado de Magin (2001a) y Magin y Helmore (2001).

Para el cálculo de la fiabilidad de las puntuaciones de diversos evaluadores, podemosusar los resultados del Análisis de la Varianza de un factor. Los datos que necesitamosson el número de evaluadores promedio por exposición (N) y el ratio F (suma de cuadra-dos dentro del grupo de evaluadores). Ambos datos son proporcionados en las tablas deresumen ANOVA de cualquier programa informático que realice estos cálculos estadísti-cos. Denotaremos por F* cuando se añadan, para el cálculo de los ANOVA, las puntua-ciones del profesor de la asignatura a las puntuaciones de los N evaluadores.

Las variables de la investigación han sido calculadas del siguiente modo:

- Fiabilidad de las puntuaciones dentro del grupo de N evaluadores

� rnn=(F-1)/F

- Estimación de la fiabilidad de un sólo evaluador

� rll=(F-1)/(F+N-1)

- Fiabilidad de las puntuaciones dentro del grupo cuando se incorporan las pun-tuaciones del profesor de la asignatura a los N evaluadores

� r*nn=(F*-1)/F*

- Estimación de la fiabilidad de las puntuaciones del profesor de la asignatura

� rll=(F*-F)/(F*-F+1)

- Estimación del número de evaluadores que deberían puntuar cada exposiciónpara que su fiabilidad fuese similar a la del profesor de la asignatura

� DeltaN=N(F*-F)/(F-1)

revi

sta

espa

ñola

de

peda

gogí

aañ

o LX

VII,

nº 2

42, e

nero

-abr

il 20

09, 7

9-98

96


Apén

dice B

- plan

tilla pa

ra la

puntu

ación

de la

s pres

entac

iones

Resumen:Los alumnos y los profesores comoevaluadores. Aplicación a la calificación de presentaciones orales

La evaluación de los compañeros esuna práctica que puede proporcionar inte-resantes ventajas, tanto motivacionales,como formativas en la enseñanza univer-sitaria actual, que pretende ayudar a losalumnos a adquirir competencias profe-sionales y pretende ofrecerles cierta auto-nomía en su aprendizaje. El objetivo denuestra investigación es comprobar la fia-bilidad de las calificaciones de los alum-nos en relación con las del profesor.Además, hemos comprobado la fiabilidady la correlación de las calificaciones delprofesor de la asignatura con las califica-ciones asignadas por cuatro jueces exter-nos. Los resultados obtenidos parecenindicar que los alumnos pueden ser unosbuenos evaluadores de las presentacionesorales de sus compañeros.

Descriptores: Presentaciones orales,evaluación de compañeros, validez y fia-bilidad de la evaluación.

Summary:Students and lecturers as markers.Application in assessing oral presentations

The peer assessment is a pratice thatcan provide interesting advantages in theuniversity education. Mainly if it is triedto help the students to acquire professio-nal competencies. Our research focuseson examining the reliability of the marksgiven by students in relation to thosegiven by the lecturer. In addition, we

have verified the reliability and the corre-lation of the qualifications of the lecturerwith the qualifications assigned by fourexternal judges. The results obtainedseem to indicate that students can be ade-quate markers for their peers' oral pre-sentations.

Key Words: Oral presentations,Agreement among markers; Peer assess-ment; Reliability of the assessment.


97


05-Alumnos y profrs:07-Quintana Cabanas-20pp · Los alumnos y los profesores como evaluadores....

Documents

Transcript of 05-Alumnos y profrs:07-Quintana Cabanas-20pp · Los alumnos y los profesores como evaluadores....