Un caso práctico de meta-evaluación docente: el manual de ...Un caso práctico de meta-evaluación...

La evaluación de la actividad docentedel profesorado universitario español sólo seha llevado a cabo de forma sistemática re-cientemente. Pese a ello, un grupo numero-

so de universidades españolas ha optado porejercer la legítima labor de evaluar la activi-dad docente de su profesorado de acuerdo aestándares internacionales comúnmenteaceptados. Estos esfuerzos en tratar de con-seguir que un grupo numeroso de profesoressometa a evaluación su actividad docenteestán comenzando a dar sus frutos y, en laactualidad, estas experiencias pioneras han

Un caso práctico de meta-evaluación docente: el manualde evaluación de la Universidad Politécnica de Cataluña

Enrique García-Berro, Ricardo de la Vega, Gemma Amblàs, Érica Martínez,Laura Campeny, Gabriel Bugeda y Santiago Roca

Universidad Politécnica de Cataluña

La Universidad Politécnica de Cataluña ha sido pionera en la introducción de un modelo de eva-luación docente plenamente adaptado a las exigencias del Espacio Europeo de Enseñanza Supe-rior. Además, su sistema de evaluación de la actividad docente del profesorado ha sido homologa-do por la AQU y ANECA. Dicho modelo de evaluación docente se basa en las más recientes di-rectrices europeas y tiene como fundamento diversos indicadores indirectos. Este modelo se ha em-pleado para evaluar la docencia del profesorado en cinco convocatorias. Durante este periodo detiempo se ha acumulado una información valiosísima que permite obtener datos agregados no só-lo de la calidad de los docentes sino, también, de diversas características inherentes al proceso deevaluación, así como de la bondad de los indicadores empleados. En este artículo se presentan es-tos datos y se muestra un conjunto de datos agregados que permiten estimar la bondad y fiabilidaddel proceso de evaluación, así como su aceptación por el profesorado evaluado. Palabras clave: Docencia, profesores, Espacio Europeo de Educación Superior, evaluación do-cente, meta-evaluación.

A practical case of teaching meta-evaluation: the teaching manual of the Universitat Politècni-ca de Catalunya. The Universidad Politécnica de Cataluña has pioneered the introduction of mo-dels to evaluate the teaching activities of their academic staff within the European Higher Edu-cation Area. Our evaluation system has been homologated by the Catalan agency AQU, and bythe Spanish national agency ANECA. The evaluation framework has been designed accordingto the most recent European directives, and it is based in a set of indirect indicators. This eva-luation model has been employed so far in five occasions. During this period of time a wealthof interesting information has been acquired. This information encompasses not only the finalmarks of the teaching staff, but also, several other characteristics which are inherent to the eva-luation process, which allow to check the reliability of the indicators employed in the model. Inthis paper we present these data and we show a set of aggregated data which is used to assessthe consistency and reliability of the evaluation process. Finally, we also discuss how the tea-ching staff grades the process itself. Keywords: Teaching, professors, European Higher Education Area, teaching evaluation, meta-evaluation.

Aula Abierta 2012, Vol. 40, núm. 2, pp. 11-24ICE. Universidad de Oviedo

ISSN: 0210-2773

Fecha de recepción: 29-04-2012 • Fecha de aceptación: 22-05-2012Correspondencia: Enrique García-Berro. Departamento de Física Aplicada, Universidad Politécnica de Cataluña. C/ Esteve Terrades, 5. Castelldefels (España). C.P. 08860. Correo-e: [email protected]

conseguido afianzarse en nutrido grupo deuniversidades, entre ellas la UPC. Natural-mente, las agencias de evaluación y las pro-pias universidades han debido adaptar losestándares y procedimientos de evaluación ala realidad española, pero que se sepa no seconocen ejercicios de meta-evaluación delos mismos. Resulta pues de fundamentalimportancia estudiar los resultados de estosprocesos de evaluación, pues han sido labo-riosos, han necesitado de la colaboración delas agencias de evaluación y, en algunos ca-sos, han chocado con las reticencias de de-terminados colectivos de profesores.

En este artículo se discute una experien-cia de meta-evaluación realizada en la UPC.El artículo está estructurado de la siguientemanera. En la sección 2 se describe de for-ma sucinta el modelo de evaluación docentede la UPC. Le sigue la sección 3, en dondese analiza el marco conceptual de la meta-evaluación. La sección 4 está dedicada a ha-cer un análisis de los resultados de la eva-luación docente, haciendo especial énfasisen las distribuciones estadísticas de cadauno de los indicadores empleados en la eva-luación. En la sección 5 se estudia la percep-ción que el profesorado tiene acerca del pro-ceso de evaluación, así como de la pertinen-cia de las dimensiones de evaluación. Final-mente, en la sección 6 se resumen nuestroshallazgos principales y se elaboran nuestrasconclusiones.

El modelo de evaluación docente de la UPC

El modelo de evaluación docente de laUPC ha sido expuesto en trabajos anteriores(García-Berro, Dapia, Amblàs, Bugeda yRoca, 2009; García-Berro et al., 2010). Apesar de ello, y a fin de discutir en detallelos resultados de nuestro estudio, convienedescribir de forma somera sus principalescaracterísticas. En este modelo las dimen-siones objeto de evaluación son la planifica-ción docente, el desarrollo de la actividaddocente y los resultados de dicha actividad,y los agentes de la evaluación son el propioprofesorado, los responsables académicos y

el estudiantado. Es importante destacar queeste modelo se basa en la evaluación por pa-res, una práctica académica muy común. Esdecir, la valoración de las dimensiones deevaluación y de los correspondientes indica-dores las realizan unas comisiones, com-puestas por expertos de los diferentes ámbi-tos disciplinares de la UPC. En el modelo deevaluación de la UPC los indicadores deevaluación son los siguientes:

1. La valoración personal sobre la pro-pia actividad docente (autoinforme).Cada profesor ha de hacer dicha va-loración comentado sus tareas do-centes y haciendo mención explícitaa cómo ha planificado su docencia,cómo la ha desarrollado y cuáleshan sido los resultados.

2. Planificación docente. Se valora elvolumen de docencia impartida, in-cluyendo la docencia reglada de gra-do y la dirección de proyectos fin degrado, de máster oficial, entre otrasactividades docentes universitarias.

3. Opinión de los responsables acadé-micos. Los responsables académicosemiten un informe relativo a la acti-vidad docente del evaluado. Dichoinforme es responsabilidad exclusivade los directores de centro y departa-mento, previo informe del órganoque determinen sus reglamentos, queno tiene carácter vinculante.

4. Opinión del alumnado. La UPC rea-liza encuestas periódicas a su alum-nado sobre la actividad de su profe-sorado.

5. Desarrollo de la actividad profesio-nal. Se valora el grado de implica-ción en la renovación, mejora e in-novación de material docente. Sehan de aportar evidencias de un lis-tado suficientemente amplio, peroacotado, que incluye la totalidad delas labores docentes regladas y algu-nas otras que son de importancia pa-ra la UPC.

A cada una de estas dimensiones de eva-luación se asocian unos indicadores. Que sesepa, en la actualidad no se dispone de un

ENRIQUE GARCÍA-BERRO, RICARDO DE LA VEGA, GEMMA AMBLÀS, ÉRICA MARTÍNEZ, LAURA CAMPENY, GABRIEL BUGEDA Y SANTIAGO ROCA12

LA META-EVALUACIÓN DE UN MANUAL DOCENTE

estudio de campo cuantitativo en el que seanalice si estos indicadores son representati-vos de la actividad docente del profesoradouniversitario español y si son aceptados porla comunidad universitaria. En este trabajose demostrará que esto, efectivamente, esasí. Ello, en esencia, es totalmente equiva-lente a evaluar el propio manual de evalua-ción docente, es decir a meta-evaluarlo.

El marco conceptual de la meta-evaluación

El concepto de la meta-evaluación fuedescrito por primera vez por Scriven (1969).Genéricamente, la meta-evaluación es en-tendida como la evaluación de la evalua-ción, es decir, como una fase posterior quetiene por objeto construir un juicio sobre laevaluación como resultado, es decir un jui-cio sobre la calidad o los méritos de una eva-luación, identificando sus puntos fuertes ysus puntos débiles, y velando por el cumpli-miento de los aspectos estratégicos, metodo-lógicos y técnicos. Hoy en día existen doscorrientes complementarias en meta-evalua-ción (Díaz, 2001), una de orientación positi-vista, que considera como centrales los pro-blemas de carácter técnico o metodológico yotra cualitativa, de carácter más conceptual.La meta-evaluación positivista analiza fun-damentalmente la estadística de las medidasutilizadas, así como su pertinencia, fiabili-dad y validez – y, por ello, usa casi exclusi-vamente técnicas cuantitativas (Glass,1976). Por el contrario la corriente cualitati-va entiende por meta-evaluar dar sentido yexplicar el significado del conjunto de acti-vidades que se reconocen como evaluación,considerando críticos los elementos de pro-pósito, estrategia y valores de la evaluación– pues cualquier evaluación, al fin y al cabo,es una construcción adaptada a una realidady a unas exigencias.

Naturalmente, el enfoque positivista usatécnicas cuantitativas para estudiar los resul-tados de la evaluación y generalmente tratade dar respuesta a la pregunta de si los indi-cadores adoptados para realizar la evalua-ción son apropiados, robustos y fiables. Encontraposición, la aproximación cualitativa

da más importancia a la validez aparente (ypor tanto subjetiva) de una evaluación. Esdecir, pone el énfasis en que sea percibidacomo justa por los diferentes agentes a losque va dirigido el proceso de evaluación(House, 1993), de modo que se hace espe-cial hincapié no en interrogarse acerca de lacalidad de los datos e indicadores, sino porla finalidad del proceso, por las reglas que lohan inspirado y por otros aspectos más con-ceptuales, como el resultado de la evalua-ción en sí misma y su influencia e impactoen aquella realidad que se quiere evaluar(Santos Guerra, 1999).

En un sentido amplio, puede decirse quela meta-evaluación se basa en enfoquescomplementarios, y que por tanto no sólodebe estudiar la validez de los indicadoresempleados sino, también, la estrategia y losfines mismos de la evaluación, así como susconsecuencias. Frente al interés de la eva-luación por los resultados, la meta-evalua-ción, una vez obtenidos los resultados, losanaliza y los transciende. Tanto es así quemientras que la finalidad de la evaluación noes un análisis introspectivo, el objetivo de lameta-evaluación es precisamente la evalua-ción en sí. En definitiva, la meta-evaluaciónpermite comprobar no sólo la calidad de unproceso de evaluación, sino que tambiénpermite mejorarlo para ediciones futuras. Lameta-evaluación es, por tanto, un procesoque añade valor a la evaluación pues no de-ja de ser una validación o auditoría externadel proceso que permite su mejora continua(Stufflebeam, 1993).

El principal problema de una meta-eva-luación consiste en identificar los criteriosconforme a los cuales se ha de evaluar la eva-luación, pues no existen estándares universal-mente válidos ya que éstos dependerán de loque se estime como la calidad de la evalua-ción. Partiendo de dicha premisa, la meta-eva-luación puede incluir diferentes ámbitos deanálisis, siendo algunos de ellos (Díaz, 2001):la conveniencia y oportunidad del estudio, elproceso de la evaluación, los resultados o pro-ductos de la evaluación y su consecuente uti-lidad, la credibilidad del estudio, la pertinen-cia de los evaluadores, sus valores y su con-

13

ducta, la metodología utilizada para llevar acabo la evaluación y los modelos mentalessubyacentes en el proceso de evaluación (ele-mentos considerados como analizables yotros no considerados). Para su análisis, se ge-nera una lista de comprobación (Scriven,1969), se analizan una serie de dimensiones oítems concretos vinculados a cada una de lasdimensiones, previamente identificadas comorelevantes. La lista de comprobación puedecontener aspectos de análisis vinculados a di-ferentes categorías, como por ejemplo: riguro-sidad de los datos, fundamentación científicadel análisis, participación de los diferentesagentes existentes, impacto conseguido por elestudio, calendario y cumplimiento de los pla-zos previstos, contexto de la evaluación, o elcoste de la evaluación, entre otros. Como pue-de observarse, en una meta-evaluación riguro-sa aparecen elementos de los dos enfoquespreviamente citados.

Cualquier proceso de evaluación, se lle-va a cabo con el objetivo – tácito o explíci-to – de informar e influir sobre la percepciónde la realidad. Así pues, un proceso de eva-luación equilibrado debería contemplar laparticipación de diferentes agentes que tie-nen un interés en una determinada realidadpara no obtener datos sesgados de la misma.Dichos agentes esperan cosas diferentes,cuando no contradictorias u opuestas, por-

que no sólo tienen expectativas diferentessino que también tienen necesidades dife-renciadas. En el caso que nos ocupa (véasela figura 1), es bastante claro que la univer-sidad como institución, y el profesorado y elalumnado como agentes específicos de laactividad docente, esperan decisiones y con-secuencias diferentes en un proceso de eva-luación de la misma. Por otro lado, los ges-tores esperan poder adoptar decisiones fun-damentadas en cuanto a la asignación de re-cursos, mientras que las administracionespúblicas esperan que la propia universidadpueda dar explicaciones satisfactorias deluso de los recursos aportados. Así pues, elmapa de actores nos ayuda a identificar a to-dos los agentes de interés existentes en laactividad sometida a evaluación para, unavez identificados, permitirles participar acti-vamente en el proceso expresando sus pun-tos de vista. A posteriori, el mapa de agentescon puntos de vista dispares permite com-probar si un proceso de meta-evaluación hasido diseñado equilibradamente en lo quehace referencia a su participación.

Los resultados de la evaluación docente en la UPC

Tal como se ha mencionado anterior-mente, para proceder a la meta-evaluación


Figura 1. Mapa de actores de la meta-evaluación docente.


de cualquier proceso de evaluación común-mente se pueden adoptar dos enfoques: elpositivista y el análisis cualitativo del proce-so. Para meta-evaluar su manual de evalua-ción docente la UPC optó por acogerse a laprimera de las opciones. Se adoptó esta de-cisión porque, por un lado, se disponía deuna buena base de datos (cuatro convocato-rias y 1500 solicitudes evaluadas), con sufi-cientes datos como para hacer un análisis es-tadístico que permitiese extraer conclusio-nes con un grado de confianza suficiente, y,por otro, el propósito, la estrategia y los va-lores de la evaluación formaban parte de losrequisitos que debía satisfacer el manual deevaluación y que habían sido definidos porlas agencias de evaluación, que eran las en-cargadas de verificar y acreditar dicho ma-nual. No obstante, hay que hacer notar queotras agencias de evaluación españolas tie-nen directrices muy similares.

El manual de evaluación de la UPC con-templa diversas dimensiones de evaluación.Una descripción detallada de éstas está fue-ra de los objetivos del presente artículo, pe-ro puede encontrarse en García-Berro et al.(2010). No obstante, y por completitud, di-chas dimensiones de evaluación se han des-crito someramente en la sección 2 de este ar-tículo. Es conveniente señalar, llegados a es-te punto de la discusión, que el manual de

evaluación docente de la UPC califica la ac-tuación docente del profesorado en cuatrocategorías: A, muy favorable, B, favorable,C, correcta y D, desfavorable. Esto se haceasí para huir deliberadamente de una califi-cación numérica que podría conducir a cla-sificaciones. Se completa el análisis con unamención cualitativa, pues se reconoce la ex-celencia de manera explícita a aquellos pro-fesores que obtienen una calificación de Aen todos los indicadores.

A continuación se hará un análisis de losresultados globales del proceso de evalua-ción docente, así como de cada una de lasdimensiones de evaluación. Los datos anali-zados para hacer todos estos estudios son loscorrespondientes a las convocatorias de losaños 2007 a 2010. Dado que el profesoradosomete a evaluación su actividad una vezcada cinco años, los resultados que se des-cribirán más adelante tienen un grado de fia-bilidad alto, pues aproximadamente el 80%del profesorado de la universidad ha podidoser evaluado de acuerdo a esta metodología.

En la figura 2 se muestra el resultadoagregado de las cuatro convocatorias. Comopuede observarse, aproximadamente dosterceras partes del profesorado sometido aevaluación obtiene una calificación muy fa-vorable. Por el contrario, el porcentaje deprofesorado con evaluación desfavorable es

15

Figura 2. Resultados globales de la evaluación docente correspondiente a las convocatorias 2007-2010.

del orden del 5%. No obstante, debe señalar-se que hay un porcentaje elevado de profe-sores que voluntariamente no someten aevaluación su actividad, pues son conocedo-res que no obtendrán una valoración positi-va. Este porcentaje es de un 30% (García-Berro et al., 2009) y es muy parecido al por-centaje de sexenios de investigación dene-gados o no solicitados. Resulta, pues, evi-dente que el modelo de evaluación docentediscrimina entre el profesorado que cumplecon dedicación con sus obligaciones docen-tes y el profesorado que no lo hace, de lamisma forma que el tramo de investigaciónhace lo propio con la actividad investigado-ra. Es por ello que los resultados de la eva-luación docente pueden incorporarse en laplanificación estratégica de centros docentesy departamentos – véase García-Berro, Ro-ca y Navallas (2008) para una descripcióngenérica del marco de planificación estraté-gica de la UPC.

Resulta interesante analizar si este resul-tado depende del ámbito de especializacióndel profesorado. La UPC, al tratarse de unauniversidad tecnológica, tan sólo tiene cincoámbitos de especialización. El primero deéstos es el de la arquitectura, el urbanismo yla edificación y engloba a profesorado de las

escuelas de Arquitectura y Arquitectura Téc-nica. El ámbito de la ingeniería civil, geoló-gica y ambiental se compone de profesoradoque imparte docencia en titulaciones de In-geniería de Caminos, Canales y Puertos, In-geniería Geológica e Ingeniería de Minas,entre otras titulaciones de grado y máster. Elámbito de la ingeniería industrial es ligera-mente más heterogéneo pues además de in-corporar profesorado de los ámbitos de co-nocimiento propios de la Ingeniería Indus-trial, también se compone de profesoradoque imparte docencia en la titulación de laIngeniería de la Organización, profesores deEconomía y Empresa y profesorado de lastitulaciones impartidas en la Facultad deNáutica. Lo mismo sucede con el ámbito delas ciencias y las ingenierías biotecnológi-cas, que agrupa a profesorado de los Depar-tamentos de Física, Matemáticas, Óptica eIngeniería Agroalimentaria. Finalmente, elámbito de las tecnologías de la informacióny comunicaciones se componen principal-mente de profesorado que imparte docenciaen las titulaciones de Ingeniería de Teleco-municaciones e Ingeniería Informática, asícomo titulaciones afines.

En la figura 3 se observa el global de las4 convocatorias por ámbito de especializa-


Figura 3. Resultados de la evaluación por ámbito de especialización.


ción. Como puede observarse, las diferen-cias entre los porcentajes de profesoradoevaluado con las diferentes calificacionesque prevé el manual de evaluación son sig-nificativas, dependiendo del ámbito de espe-cialización. En particular, los porcentajes deprofesorado evaluado con una calificaciónde A no difieren significativamente entre losdistintos ámbitos de la ingeniería, pero sonnotablemente inferiores en el caso del ámbi-to de la arquitectura, el urbanismo y la edi-ficación y considerablemente superiores enel ámbito de las ciencias e ingenierías bio-tecnológicas. Posiblemente, la razón por lacual en el ámbito de la arquitectura, el urba-nismo y la edificación el porcentaje de eva-luados con A es significativamente menor(tan sólo un 24.8%) es que la docencia eneste ámbito es mucho más propedéutica. Enconsecuencia, el contacto entre alumnos yprofesores es mucho más estrecho y las ca-lificaciones otorgadas son menos favora-bles. Por el contrario, en el caso de las cien-cias y las ingenierías biotecnológicas la do-cencia, al concentrarse en primeros cursosde carrera, tiene una componente mayor declases expositivas.

A continuación se centra la atención en laplanificación docente de los evaluados. Conello se entiende, esencialmente, el númeropromedio de créditos impartidos anualmente

durante el período sometido a evaluación. Enella se incluyen, naturalmente, las clases ex-positivas, las actividades dirigidas, la direc-ción de trabajos fin de grado y de máster o ladirección de tesis doctorales, así como otrasactividades docentes de rango universitario.El baremo que se utiliza es el siguiente: si elevaluado ha impartido más de 22 créditos (uncrédito equivale a 10 horas lectivas, indepen-dientemente de la tipología de la docenciaimpartida, que puede ser tanto expositiva co-mo de otro tipo) obtiene una calificación deA; si ha impartido entre 17 y 22 créditos ob-tiene una B; cuando ha impartido entre 12 y17 créditos, C; y si ha impartido menos de 12créditos, D. Cabe enfatizar que si el evaluadoha desarrollado tareas relevantes de gestiónéstas se ven reconocidas incrementando lacalificación obtenida como mínimo al nivelsuperior, a criterio de la comisión evaluadora.La distribución puede observarse en la figura4. La gran mayoría de los evaluados, un 78%,imparte el volumen de docencia esperable deacuerdo con su categoría. Por el contrario, elnúmero de profesores que en promedio im-parte un volumen de docencia escaso es muypequeño, pues tan sólo un 1% imparte menosde 12 créditos y un 5% entre 17 y 12 créditos.

Un elemento importante en la evaluaciónde la actividad docente del profesorado es laopinión que de dicha actividad tienen los res-

17

Figura 4. Resultados globales de la planificación docente.

ponsables académicos. La UPC solicita a losdirectores de sus unidades académicas la ela-boración de informes en los que se valoran,entre otros elementos, la adecuación de lasguías docentes, de los sistemas de evalua-ción, la coordinación con otras asignaturas,el rendimiento académico, o la coordinacióncon otros profesores de la asignatura. Nueva-mente, éstos otorgan calificaciones que vandesde la A a la D. En la figura 5 se muestrala distribución global de las calificacionesotorgadas por los directores de centros do-

centes a los profesores que han sometido aevaluación su actividad docente. Como pue-de verse, la inmensa mayoría de los informesson altamente satisfactorios, un 89,7%, ymuy pocos son negativos, un 5%. En la figu-ra 6 se muestra la misma distribución para elcaso de los informes confeccionados por losdirectores de departamento, que arrojan re-sultados similares, con un 90% de califica-ciones excelentes y ninguna calificación C oD. Cabe hacerse notar que un 4.3% del pro-fesorado que somete a evaluación su activi-


Figura 5. Resultados globales de los informes de los centros docentes.

Figura 6. Resultados globales de los informes de los departamentos.


dad docente no dispone de informe de su de-partamento. La tipología de estos casos esvariada, pero en cualquier caso es justifica-ble. Aún así, las calificaciones otorgadas porlos distintos responsables no son en muchoscasos coincidentes, por lo que es la corres-pondiente comisión, atendiendo a las cir-cunstancias de cada caso particular y al restode evidencias la que determina la califica-ción del candidato.

El manual de evaluación también consi-dera los resultados de la encuesta al alumna-do. Recientemente se ha demostrado (Gar-cía-Berro, Colom, Martínez, Sallares y Ro-ca, 2011) que la encuesta al alumnado queadministra la UPC es consistente, coherentey que arroja resultados fiables. Todo ellopermite su uso en los procesos de evalua-ción del profesorado. Los alumnos calificansu satisfacción con la actuación docente delprofesorado con calificaciones que van de 1(muy deficiente) a 5 (excelente). Sin embar-go, como en los casos anteriores, las califi-caciones otorgadas por los alumnos se con-vierten a valores que varían entre A y D deacuerdo con el siguiente procedimiento.Cuando la media de todas las encuestas in-dividuales realizadas durante el período so-metido a evaluación es superior a 3,8 la ca-lificación es A, si se encuentra entre 3,2 y3,8 es B, entre 2,5 y 3,2 C y, finalmente, por

debajo de 2,5 es D. La correspondiente dis-tribución se muestra en la figura 7. El grue-so del profesorado que somete a evaluaciónsu actividad docente (aproximadamente un80%) obtiene calificaciones favorables omuy favorables y tan sólo un 2% de dichosprofesores obtiene calificaciones claramentedesfavorables.

Otro ingrediente importante en la eva-luación de la actividad docente es el gradode implicación en la docencia. Se trata eneste caso de aportar evidencias que realcenel grado de compromiso y de mejora, reno-vación o innovación del material docente enque el profesorado se apoya para llevar a ca-bo su labor. Naturalmente, las evidenciasaportadas son, en general, muy diversas.También resulta muy dispar el volumen detrabajo y la relevancia de las aportacionesque hacen los profesores. Es por ello que lavaloración de estas actividades queda a cri-terio de la correspondiente comisión de eva-luación. A título indicativo, para tener unacalificación de A en esta dimensión de eva-luación el solicitante ha de disponer de 6aportaciones, para obtener una B el númerorequerido es de 4. Si las aportaciones son 2la calificación es C y si es menor de 2, D.Alternativamente, si la envergadura de algu-na de las aportaciones así lo justifica la co-misión evaluadora puede otorgar una califi-

19

Figura 7. Resultados globales de las encuestas a los estudiantes.

cación de A, B, o C aún cuando el númerode aportaciones sea menor que el requerido.En la figura 8 se muestran los resultadosagregados. Como puede observarse, el 55%del profesorado obtiene una calificación deA, el 25% B, el 18% C y tan sólo el 2% esevaluado desfavorablemente.

Como se ha mencionado con anteriori-dad la tipología de las aportaciones que rea-liza el profesorado es muy variada. A fin deproporcionar una idea de las aportacionesmás comunes en la figura 9 se muestra la ti-pología de dichas aportaciones. Las activi-dades más frecuentes son la coordinación de


Figura 8. Resultados globales en el apartado de desarrollo profesional.

Figura 9. Tipología de las actividades aportadas por el profesorado en el apartado de desarrolloprofesional del manual de evaluación docente.


los grupos de una asignatura y la creación omejora de material docente, con porcentajesmuy altos, del 14,2% y del 13,8%, respecti-vamente. Le siguen la participación en cur-sos de mejora de la actividad docente(10,4%), las tutorías (8,4%), la participaciónen comisiones de evaluación (8,1%) y enjornadas de temática docente (8,0%), todasellas con porcentajes muy similares. Resultasignificativo que un porcentaje elevado delas aportaciones (7,6%) se corresponda conmonografías docentes, que otro porcentajeimportante (6,0%) esté relacionado con elfomento de la movilidad internacional y queel 5,3% de las aportaciones sea la participa-ción en proyectos de innovación docente.

El último elemento del manual de eva-luación que ha de considerarse es el autoin-forme aportado por el profesorado. Se tratade una valoración personal sobre la propiaactividad docente que ha de redactar el pro-pio evaluado. La UPC proporciona modelosde autoinforme a sus profesores, aunque elprofesorado también puede optar por un au-toinforme en formato libre. Dado que la ela-boración del autoinforme es una tarea de ca-rácter muy personal las comisiones de eva-luación en este caso otorgan calificacionesno tan cuantificables como en los casos an-teriores. Así pues, los autoinformes se agru-

pan exclusivamente en tres categorías: muyfavorable, favorable y desfavorable. En lafigura 10 se muestra la correspondiente dis-tribución. Un porcentaje elevado (el 85%)obtiene una calificación de muy favorable,mientras que el porcentaje de autoinformesevaluados desfavorablemente es muy pe-queño, del 3%.

La percepción del profesorado

Otro de los elementos importantes en to-da meta-evaluación es conocer la opinión delos agentes del proceso. En primer lugar seconsultó con las comisiones evaluadoras pa-ra saber su opinión sobre el proceso de eva-luación docente y ver qué apartados del ma-nual debían mejorarse. En general, las comi-siones consideraron que los criterios de eva-luación, así como los indicadores, eran ple-namente satisfactorios y elevaron un núme-ro menor de sugerencias. Sus recomenda-ciones, siempre valiosas, han sido incorpo-radas en las sucesivas revisiones del modelode evaluación.

Para estudiar la satisfacción del profeso-rado que solicitó la evaluación de su activi-dad docente se administró una encuesta entrelos participantes en el proceso de evaluación,con la que se pretendió recoger las aportacio-

21

Figura 10. Calificaciones otorgadas por las comisiones de evaluación docente a los autoinformes del profesorado.

nes, comentarios y sugerencias de las perso-nas solicitantes para mejorarlo. Entre otrosobjetivos, se pretendía hallar los puntos posi-tivos o controvertidos del modelo de evalua-ción. Esta encuesta se administró durante laconvocatoria 2010 y los resultados de la mis-ma se detallan a continuación.

De los 320 profesores que solicitaron laevaluación de su actividad docente en estaconvocatoria, el 44,7% participaron en laencuesta. Los canales de información a tra-vés de los cuales el profesorado tuvo cons-tancia del inicio del proceso fueron, mayori-tariamente, el correo electrónico que se en-vió desde el vicerrectorado (74,3% de lasrespuestas), seguido de la intranet (16,8%).Sólo una exigua parte de los encuestadosmanifestaron haberse enterado mediante loscompañeros (3,6%), a través de la páginaweb de la UPC o del GPAQ (3%), o porotros medios (1,2%). En definitiva, puedeafirmarse que el profesorado estuvo sufi-cientemente informado del calendario delproceso de evaluación docente, por lo quelos que no participaron en el mismo (~30%)lo hizo de forma consciente.

El profesorado encuestado valoró favo-rablemente la atención recibida por la uni-versidad (media de 3,83 en una escala de 1,muy insatisfecho, a 5, muy satisfecho). Un53,9% de los encuestados consideró que eltiempo establecido por el calendario paracompletar el proceso era suficiente; el22,2% opinó que el tiempo asignado era ex-cesivo, mientras que un 7,2% opinó lo con-trario, que era insuficiente.

Con respecto a la pertinencia de los in-dicadores del manual de evaluación cabe se-ñalar que para el profesorado encuestado losmás adecuados son la actuación docente y eldesarrollo profesional (media de 4,04 en unaescala de 1 a 5). Por el contrario, el criteriocon una valoración menos favorable es elautoinforme (media de 3,31). Además, laspersonas encuestadas valoran los modelosde autoinforme facilitados por el ICE comoadecuados (3,35 en una escala de 1 a 5), pe-ro consideran poco útiles, con una mediabastante baja (2,81), las jornadas de forma-ción recibidas.

La encuesta administrada recogía uncampo en el que el profesorado podía verteropiniones con respecto al proceso de evalua-ción de forma libre. Los comentarios quemás se han repetido entre las personas en-cuestadas han sido los relacionados con elautoinforme y con las encuestas al estudian-tado. Con respecto al autoinforme los en-cuestados comentaron en muchos casos quelas instrucciones para elaborarlo eran pococlaras y que las valoraciones propias suelenser siempre positivas, por lo que restabanimportancia a su presentación. Sin embargo,las comisiones evaluadoras hacen uso de di-chos autoinformes para modificar otros ele-mentos de evaluación, por lo que su uso esindispensable. Otro elemento de evaluacióncontrovertido es el uso de las encuestas alestudiantado, pues en muchos casos se alegauna posible falta de representatividad o defiabilidad. Aún así, se ha demostrado recien-temente (García-Berro et al. 2011) que lasencuestas al alumnado no sólo son fiablessino que proporcionan una información va-liosísima, por lo que su uso está plenamentejustificado. En resumen, el profesorado eva-luado no sólo acepta de buen grado la mecá-nica del proceso de evaluación, sino tam-bién los fundamentos en los que se basa elmodelo de evaluación docente.

Discusión y conclusiones

En este artículo se ha descrito un ejerci-cio de meta-evaluación de un manual deevaluación docente. En particular, se ha ana-lizado el manual de evaluación docente de laUPC. Para proceder a un análisis detalladode dicho proceso en primer lugar se ha des-crito el marco conceptual de la meta-evalua-ción, haciendo especial hincapié en los dosenfoques metodológicos que se emplean enla actualidad: el cuantitativo y el cualitativo.De forma consciente, y por la variedad y ca-lidad de la información con la que cuenta laUPC en sus bases de datos, para realizar elpresente estudio se ha adoptado el primerode los mismos.

A continuación se ha realizado un análi-sis cuantitativo de los resultados globales de



la evaluación así como de los elementos deevaluación y sus correspondientes indicado-res. Se ha encontrado que globalmente lascomisiones de evaluación otorgan califica-ciones favorables al profesorado evaluado,aunque hay diferencias significativas entrelos distintos ámbitos de conocimiento. Tam-bién se han justificado dichas diferenciaspor la diferente tipología de la docencia im-partida. Con respecto a las dimensiones deevaluación en primer lugar se ha encontradoque, a grandes rasgos, el profesorado eva-luado cumple con las obligaciones docentesque tiene asignadas. También se ha analiza-do la opinión que los responsables académi-cos tienen del profesorado que les ha sidoasignado, encontrando que en la mayor par-te de los casos ésta es favorable o muy favo-rable. Otro elemento de evaluación impor-tante es la opinión del alumnado de la actua-ción docente del profesorado que le impartedocencia. Se ha hallado que la opinión delos alumnos del profesorado que solicita laevaluación es, en la inmensa mayoría de loscasos, favorable. Esto, naturalmente, es pro-ducto de un sesgo, pues generalmente sólosolicitan dicha evaluación aquellos profeso-res que tienen elementos favorables. Asis-mismo se ha estudiado el grado de implica-ción en la docencia del profesorado, habien-do encontrado que una fracción importanteaporta evidencias suficientes de que su labordocente no se limita exclusivamente a la im-partición de clases. También se ha estudiadola tipología de las evidencias de desarrolloprofesional aportadas. Como por otro ladocabría esperar, las más comunes son la coor-dinación de los grupos de una asignatura yla creación o mejora de material docente,

aunque hay otras acciones bastante frecuen-tes. Por último, se ha analizado la distribu-ción de las calificaciones otorgadas por lascomisiones evaluadoras a los autoinformespresentados por los profesores evaluados,encontrando que tan sólo una pequeña partede los mismos son evaluados de forma des-favorable. Finalmente, se ha estudiado lapercepción que el profesorado tiene del pro-ceso de evaluación docente, encontrandoque el grado de satisfacción del profesoradoes elevado y que la valoración que hacen delos indicadores y elementos de evaluaciónes, en general, positiva.

En definitiva, se ha realizado un ejerci-cio de meta-evaluación analítico que nos hapermitido estudiar en profundidad las forta-lezas y debilidades del modelo de evalua-ción docente de la UPC, encontrando que to-dos los agentes que participan en el mismo –véase la figura 1 – lo encuentran adecuado yque permite discriminar la calidad de la do-cencia impartida. Todos esto es importantepues permite proporcionar confianza al pro-fesorado de que su evaluación se hace deacuerdo a parámetros comúnmente acepta-dos y conforme a estándares consolidados.Además, los resultados obtenidos confirmanque los gestores de la universidad puedenadoptar decisiones estratégicas y rendircuentas a la sociedad. Más aún, estos análi-sis proporcionan a la universidad una infor-mación valiosísima que permite valorar elgrado de progreso en la función docente. Fi-nalmente, el estudio realizado también per-mite ofrecer al alumnado garantías de que ladocencia que recibe es de calidad y confor-me a las directrices emanadas de las agen-cias europeas de evaluación.

23

Referencias

Díaz, L. F. (2001). La meta-evaluación y su méto-do. Revista de Ciencias Sociales, 93, 171-192.

García-Berro, E., Colom, X., Martínez, E., Salla-rés, J. y Roca, S. (2011). La encuesta al alum-nado en la evaluación docente del profesora-do. Aula Abierta, 39, 3-14.

García-Berro, E., Dapia, F., Amblàs, G., Bugeda,G. y Roca, S. (2009). Estrategias e indicado-

res para la evaluación de la docencia en elmarco del EEES. Revista de Investigación enEducación, 6, 142-152.

García-Berro, E., Roca, S., Amblàs, G., Murcia, F.,Sallarés, J. y Bugeda, G. (2010). La evaluaciónde la actividad docente del profesorado en elmarco del EEES. Aula Abierta, 38, 29-40.

García-Berro, E., Roca, S. y Navallas, F. J.(2008). Retos de la integración de la Univer-

sidad Española en el Espacio Europeo de Co-nocimiento: algunas reflexiones y propues-tas. En J. Gairín y S. Antúnez (Comps.), Or-ganizaciones Educativas al servicio de la so-ciedad, (pp. 587-598). Madrid: Wolters Klu-wer Educación.

Glass, G. V. (1976). Primary, secondary and me-ta-analysis of research. Educational Resear-cher, 5, 3-8.

House, E. R. (1993). Evaluación, ética y poder.Madrid: Morata.

Santos Guerra, M. A. (1999). Metaevaluación: ri-gor, mejora, ética y aprendizaje. En B. Jimé-nez (Comp.), Evaluación de Programas,Centros y Profesores, (pp. 49-62). Madrid:Síntesis.

Scriven, M. S. (1969). An introduction to meta-evaluation. Educational Product Report, 2,36-38.

Stufflebeam, D. L. (1993). Evaluación sistemáti-ca. Guía teórica y práctica. Barcelona: Pai-dós.


Un caso práctico de meta-evaluación docente: el manual de ...Un caso práctico de meta-evaluación...

Documents

Transcript of Un caso práctico de meta-evaluación docente: el manual de ...Un caso práctico de meta-evaluación...