eEXPERIENCIA DE EVALUACIÓN EXTERNA DE LAS UNIVERSIDADES

HÉCTOR M. GRAD FUCHSEL eg

Este artículo se propone analizar laevaluación externa de la enseñanza, la in-vestigación y los servicios académicos delas titulaciones en el contexto del Plan Na-cional de Evaluación de la Calidad de lasUniversidades (Consejo de Universidades,1995) y del Programa de Evaluación de laCalidad de la Enseñanza Superior de laUniversitat de Barcelona (1995). Los proce-dimientos e instrumentos para cada fasede evaluación son presentados en otros ar-tículos del número 315 de esta Revista (Ro-dríguez, 1998). Por lo tanto, tras una brevecontextualización nos centraremos en elanálisis de las condiciones previas, del de-sarrollo del proceso y de los resultados dela experiencia de la evaluación externa.

CONTEXTO

Una de las características del modelode evaluación institucional del Plan Nacio-nal de Evaluación de la Calidad de las Uni-versidades (y de sus antecedentes como elPrograma Experimental de la Evaluaciónde la Calidad del Sistema Universitario —Consejo de Universidades, 1993) es lacombinación de la autoevaluación con laevaluación externa por pares. El gráfico Isintetiza las fases del proceso de evalua-ción adoptado por el Plan: La autoevalua-ción es un proceso interno que lleva a

(*) Universidad Autónoma de Madrid.

Revista de Educación, núm. 316 (1998), pp. 319-328

cabo la propia institución (la Titulación,para el caso de los procesos académicos).Es una reflexión participativa y en profun-didad sobre la situación, los procesos detrabajo y los resultados de la enseñanza yde las áreas relacionadas de investigacióny gestión de la Titulación en referencia asus objetivos. El contenido de esta refle-xión fue estructurado por los datos reque-ridos y las cuestiones planteadas por laGuía de Autoevaluación desarrollada porel Consejo de Universidades (1996).

La autoevaluación es complementadapor una evaluación externa por expertosindependientes con conocimiento del áreaevaluada. La evaluación externa se basaesencialmente en tres tipos de evidencias:el informe de autoevaluación, la informa-ción adicional recogida en las audiencias ylas observaciones in situ realizadas duranteuna visita a la Titulación. En ambos proce-sos podemos distinguir fases de recogidade información, de análisis, interpretacióny valoración de esa información y, final-mente, de elaboración de un informe don-de se substancian las valoraciones ypropuestas de mejora. El ciclo completocubre adecuadamente los dos objetivosfundamentales de la evaluación institucio-nal: facilitar la mejora de la Titulación yrendir cuentas ante la comunidad del ade-cuado uso de los recursos asignados alcumplimiento de los fines previstos.

3 19

Información

Valoración

GRÁFICO IEsquema general de la Evaluación Institucional

INTERNA — AUTOEVALUACIÓN

Valoración

RENDICIÓN DE CUENTASMEJORA

Informe

EXTERNA — EVALUACIÓN POR PARES

La revisión por pares independientes(peer-review) es el procedimiento más tra-dicional para la evaluación de institucionesuniversitarias. Este procedimiento ha sidoextensamente utilizado en la evaluación,tanto para la acreditación como para lamejora, de unidades académicas (progra-mas de enseñanza e investigación, serviciosacadémicos) en los países anglosajones(House, 1993; Kells, 1992; de Miguel,Mora & Rodríguez, 1991).

La evaluación externa se ha generali-zado en los sistemas de evaluación institu-cional de universidades implantados enEuropa desde el comienzo de los ochenta(Alemania, Dinamarca, España, Finlandia,Francia, Holanda, Suecia, Reino Unido).Estos sistemas se han orientado fundamen-talmente a la mejora y centrado en proce-sos de autoevaluación. Los procesos de

autoevaluación están sujetos a distintossesgos de percepción y valoración por losimplicados en la unidad evaluada. Estossesgos son resultado natural tanto de lastendencias autocomplacientes a mantener laautoestima (individual y colectiva) y a evitarconflictos internos como del intento de pre-sentarse positivamente ante terceros.

Por lo tanto, la evaluación externacumple varias funciones fundamentales enlos diseños de evaluación centrados en elanálisis por las propias unidades evalua-das: en primer lugar, puede compensar lossesgos subjetivos en el análisis al contras-tarlo independientemente. En segundo lu-gar, la evaluación externa puede servirpara prevenir ese sesgo reforzando la auto-crítica —cuando los implicados en la uni-dad evaluada limitan su autocomplacenciaante la expectativa de un contraste por pa-

320

res expertos—. En tercer lugar, además decontrastar el informe de autoevaluación(valorando la información recogida, su in-terpretación y las valoraciones del comitéde la Titulación), la información de la eva-luación externa se propone señalar las ca-rencias en la información, las conclusionesy las propuestas del informe interno.

Finalmente, la evaluación externa pue-de enriquecer la visión interna aportandouna perspectiva experta diferente. Esta vi-sión también puede aportar una imagenmás integral de la unidad evaluada com-pensando la frecuente hegemonía en laautoevaluación del discurso del profesora-do con la perspectiva de los demás colec-tivos implicados en la enseñanza, lainvestigación y los servicios de la unidadevaluada (estudiantes, graduados, empre-sarios y profesionales del área, personal deadministración y servicios). Estas contribu-ciones de la evaluación externa al equili-brio del proceso de evaluación laconvierten en un complemento indispen-sable para la garantía de la fiabilidad y lavalidez de la autoevaluación y para su cre-dibilidad, tanto ante agentes externoscomo ante la propia unidad evaluada.

OBJETIVOS DE LA EVALUACIÓNEXTERNA

Como objetivo general, la evaluaciónexterna se propuso (Consejo de Universi-dades, 1997, p. 5):

Formular juicios de valor sobre el diseño,la organización y el desarrollo de los pro-cesos y los resultados cle la enseñanza, lainvestigación y la gestión, en relación conlos objetivos propios de las unidades eva-luadas, con el fin de estimar su calidad yproponer acciones de mejora.

Este objetivo fue, asimismo, desglosa-do en los siguientes objetivos específicos:

• Establecer criterios para la evalua-ción de la calidad de la Titulación en ense-ñanza, investigación y gestión.

• Analizar el contenido del informeinterno en relación con los requisitos técni-cos de la Guía de Autoevaluación.

• Analizar el proceso realizado en laautoevaluación.

• Elaborar una opinión independientesobre los recursos disponibles, su organi-zación, el funcionamiento y los resultadosde la unidad evaluada.

• Cotejar el contenido del autoinfor-me con lo manifestado por los diferentesestamentos y lo observado en las visitas.

• Desde la perspectiva de los agentesexternos, proporcionar a los miembros dela Titulación un feed-back que promuevala reflexión sobre su realidad.

• Reflexionar y aportar propuestas demejora.

• Elaborar un informe claro, equili-brado y constructivo acerca de la calidadde la Titulación, de su gestión y del proce-so de autoevaluación seguido.

CONDICIONES PREVIAS

EL PROCESO Y LOS PRODUCTOS DE LA

AUTOEVALUACIÓN

La autoevaluación es el primer condi-cionante de la evaluación externa en tressentidos. Primero, el informe resultantede la autoevaluación es la principal fuen-te documental disponible para el desa-rrollo de la evaluación externa. Segundo,los aspectos técnicos y organizativos(como la organización del trabajo del co-mité, el grado de información e implica-ción del conjunto de la Titulación, lasdinámicas de consenso o conflicto) delproceso condicionan no sólo el clima detrabajo sino los mismos resultados delcomité de la Titulación. Finalmente, los re-sultados de este proceso están fuertementeinfluidos por los valores y las actitudes re-lacionados con la evaluación y la mejoraexistentes en la Titulación.

321

EL comrrÉ DE EVALUACIÓN EXTERNA

Un segundo conclicionante para el de-sarrollo de la evaluación externa es lacomposición y la dinámica de trabajo delComité de evaluación externa. La organiza-ción de estos comités fue uno de los prin-cipales problemas logísticos afrontadospor el Plan, dada la práctica ausencia detradición y experiencia previa en el tema.

En este sentido, debemos destacar elacierto en la composición adoptada por elPlan Nacional para estos comités. La combi-nación de expertos académicos reconocidosen el área de la Titulación evaluada con ex-pertos del campo profesional y expertos enevaluación ha sido particularmente exitosaen la mayoría de los casos. A este éxito con-tribuyó, sin duda, la adecuada selección deexpertos, tanto por su competencia académi-ca y profesional como por su disposición ha-cia la tarea propuesta.

LA FORMACIÓN DE LOS EVALUAIMRESEXIT.RNOS

Ante la carencia de experiencia previaque ya hemos apuntado, un factor adicionalque contribuyó al desempeño exitoso de losevaluadores externos ha sido el seminario deformación organizado por el Plan Nacional. Elseminario proporcionó eficazmente los cono-cimientos y habilidades básicas requeridas ytambién fue efectiva para el refuerzo de valo-res y actitudes coherentes con el espíritu y losobjetivos de la evaluación externa. La jornadade formación sirvió, asimismo, para un primercontacto informal entre los participantes en elproceso. Este contacto preliminar facilitó la di-námica de trabajo (Id Comité de expertos ex-ternos desde el mismo comienzo de la visita ala Titulación.

ORIENTACIÓN DEL TRABAJO DE LOS EXPERTOS

Al margen de la disposición inicial delos expertos, las orientaciones actituclinalesson fundamentales para el desempeñoapropiado en el papel de evaluador exter-

no. El discurso y la actuación de los Comitésde Evaluación Externa debían hacer partíci-pe a la institución de una cultura donde laevaluación externa viene a ayudar a la pro-pia institución a discernir su realidad y lasposibles acciones de mejora, a servir de es-pejo para que la institución pueda clarificarsu situación y las acciones estratégicas a em-prender. Por lo tanto, por una parte, el grupode expertos externos debía intentar que susactuaciones reforzasen la confianza y laapertura de la Titulación a la reflexión auto-crítica. Por otra parte, se debía intentar evitarque las actuaciones del Comité Externo pu-diesen ser percibidas como fiscalización deindividuos concretos, grupos o del conjuntode la unidad evaluada.

Para lograr estos fines durante la visita,era necesario primar una postura de escuchaatenta a los portavoces de los distintos colec-tivos entrevistados. Esta actitud se contrapo-ne a una postura valorativa más preocupadapor manifestar la opinión subjetiva, aunqueautoritaria, de los expertos externos (el lugarapropiado para estas valoraciones es el In-forme posterior fundado en el conjunto delas evidencias recogidas en el proceso).

En esta línea, las interacciones del gru-po de expertos externos con los miembrosde la Titulación debían seguir una pautade diálogo en la cual todos los puntos devista se reconocen como parciales y comple-mentarios. Esta pauta es coherente, además,con el hecho de que el contraste de las opi-niones y valoraciones vertidas en la autoeva-'L'ación requiere su verificación mediante unconsenso intersubjetivo entre los diferentesactores implicados en los procesos de ense-ñanza, investigación y servicios de la Titu-lación. En todo caso, se debía evitar laconfrontación y la crítica durante la visita,manteniendo estricta neutralidad y confi-dencialidad respecto a la institución y susmiembros en todas las entrevistas.

Asimismo, tanto la visita como el infor-me de la Comisión de Expertos Externos de-ben procurar un reflejo equilibrado de losaspectos de calidad y de las debilidades de

322

las unidades evaluadas. El mismo equilibriodebía procurarse entre el reconocimiento dela calidad y la crítica constructiva mediante lapropuesta de mejoras factibles. Finalmente,tanto las sesiones de trabajo como el Informede Evaluación Externa debían guiarse porpautas de consenso y negociación. Es funcióndel coordinador de la Comisión el facilitar elmayor consenso posible entre los diversospuntos de vista de los componentes del grupoy el reflejo de la diversidad en el informe final.

PROCESO DE EVALUACIÓN EXTERNA

TAREAS PREVIAS A LA VISITA

Esta fase ha requerido, primero, elanálisis de los documentos desarrolladospor el Consejo de Universidades paraguiar los procesos de autoevaluación(Protocolo y Guía de evaluación) y deevaluación externa (Guía para Evalua-do res Externos). Posteriormente, los ex-pertos externos han debido abordar elanálisis del proceso y de los resultadosde la autoevaluación según se reflejan enel Informe de la Titulación y la informa-ción complementaria facilitada por la ins-titución evaluada. El Informe es laprincipal fuente de información para el Co-mité de Evaluación Externa. La tabla I pre-senta un esquema de los principalesaspectos a considerar en el análisis del pro-ceso y del informe de la autoevaluación.

TAREAS DURANTE LA VISITA

El núcleo de la visita está constituidopor las audiencias con los distintos colecti-vos implicados en la Titulación y la obser-vación de las instalaciones y serviciosdisponibles. La Guía para Evaluadores Ex-ternos del Consejo de Universidades (1997,pp. 10-12) incluye una lista exhaustiva delas cuestiones fundamentales que podíanabordarse en la visita con cada fuente deinformación. La tabla II presenta la agendade trabajo propuesta.

Debemos destacar en este contexto laimportancia de la sesión interna preparato-ria al inicio de la visita, pues en ella se sue-le establecer la organización del trabajo delComité. El mejor punto de partida es elacuerdo de la misión y las normas de tra-bajo del Comité de Evaluación Externa porparte de sus integrantes. Estas normas handebido referirse, tanto a la división internade las tareas y responsabilidades durantela visita y en la elaboración posterior delInforme Externo, como a las interaccionescon los representantes de la institución vi-sitada (Comité interno, dirección, audien-cias). La experiencia ha demostrado que laconsolidación del Comité como equipo detrabajo —que comparte responsabilidades yse enriquece cooperativamente de lasaportaciones especializadas, las experien-cias y los perspectivas diversas de sus inte-grantes— contribuye tanto a la eficienciacomo a la calidad del trabajo del Comité.Asimismo, una definición lo más clara po-sible de la división de tareas (por ej., el re-parto de responsabilidades entre losmiembros del Comité en cuanto a la coor-dinación de las sesiones y la elaboraciónde los sumarios correspondientes) ha con-tribuido a la eficacia en la recogida de evi-dencias durante la visita y facilitado laelaboración e integración posterior delos diferentes puntos de vista en el Informe—que queda bajo la responsabilidad delpresidente del Comité—.

Esta sesión ha permitido el intercam-bio de las primeras impresiones sobre elfuncionamiento de la Titulación, basadasen la lectura del Informe y la informacióncomplementaria aportada. Esta puesta encomún permite formular las primeras hipó-tesis de trabajo, señalando los puntos fuer-tes y las carencias del Informe deAutoevaluación. Así, es posible definir lostemas claves y prioritarios para abordar enlas audiencias y señalar las carencias infor-mativas del Informe de autoevaluación,acordando (si procede) las demandas deinformación complementaria.

323

TABLA I

Análisis del autoinforme — Aspectos y Criterios

a. Proceso• Decisión de participación• Organización del Comité:

- Criterios para su composición- Representatitidad- División de tareas y responsabilidades

• Proceso de evaluación:

- Recogida de información- Elaboración del informe

• Participación de la Mutación

- Difusión del proceso y las productos- Consulta- Legitimación

• valores y actitudes (con respecto a etaluación y mejora)

b. Contenido• ASPECLOS GENERALES:

• Valor Descriptivo y Valor Analítico• Integración entre Funciones;' Áreas• Coherencia interna: Lagunas y Contradicciorws• Equilibrio entre

- Reconocimiento de la Calidad- Identificación de Mejoras (Autocrítica)

• Orientación constructiva.- Pasado- Presente- Futuro

• Consenso• ASPEC !OS ESPECÍFICOS

• Definición de objetivas• Información:

- Disponibilidad de la información requerida en la Guía de Autoevaluación.- Cobertura y Aprotrchamiento de la información disponible

• Análisis: Distinción entre datos y opiniones- Valoración de las opiniones:

- Existencia de evidencia- Existencia de consenso

• Síntesis: Identificación y justificación de DAFO's• Propuestas de mejora:

- Coherencia con el análisis- Resolver debilidades- Aprovechar fortalezas- Precisión de niveles de responsabilidad- Orientación proactiva- Priorización- Planes de actuación- Seguimiento

• Valoración general• Contribución del proceso

324

TABLA IIAgenda de la visista externa a las titulaciones

Día Hora Actividad/sesión

16.00 Sesión preparatoria del Comité Externo de Evaluación

21.00 Encuentro (o) cena del Comité Externo con los responsables y elComité de Evaluación de la Titulación

2' 9.00-10.45 Sesión con el Comité de Evaluación de la Titulación

11.00-12.15 Sesión con las responsables académicos de la Titulación

14.30 Comida

16.30-18.00 Visita a instalaciones docentes y de servicios

18.15-19.15 Audiencia abierta a la Comunidad Universitaria

20.00 Sesión interna del Comité Esterno de Evaluación(resumen del día y preparación siguientes sesiones)

3' 9.30-11.30 Sesión con Personal Administrativo y de Servicios

12.00-13D0 Sesión con estudiantes (primer ciclo)

13.15-14.15 Sesión con estudiantes (segundo ciclo)

14.30

16.00-17.00

17.30-18.30

20.00

4* 11.00

13.00

Comida

Sesión con graduados

Tiempo previsto para audiencias adicionales requeridas por elComité Externo de Evaluación

Sesión interna del Comité Externo de Evaluación: puesta en común,distribución de tareas, calendario de elaboración del Informe Externo

Reunión resumen con el Comité de Evaluación de la Titulación paraexponer las primeras impresiones de la evaluación externa

Despedida del Comité Externo de Evaluación

NOTA:

A juicio del Comité Externo de Evaluación, las sesiones del cuarto día pueden traslacrarsé al finaldel tercer día.

325

Desde el punto de vista clel enriqueci-miento y del contraste del Informe de au-toevaluación durante la visita, cabendestacarse las contribuciones de las sesio-nes con estudiantes y graduados, de la se-sión abierta a la comunidad universitaria yde la visita a las instalaciones docentes (in-cluyendo clases que se estuvieran impar-tiendo) y de servicios. En todas éstas sepresentan oportunidades para la observa-ción informal de las dinámicas y el climade trabajo y de las relaciones entre los dis-tintos colectivos de la Titulación.

Las sesiones de resumen han constitui-do un último elemento que no debe des-cuidarse al finalizar las visitas. La sesióninterna prefigura en gran medida el conte-nido del Informe Externo y es fundamentalpara acordar la organización del Comité ensu elaboración. Finalmente, la sesión defeed back al Comité de la titulación sueleinfluir tanto en las expectativas, como enla actitud receptiva del Comité de Titula-ción hacia las propuestas de los expertosexternos.

TAREAS POSTERIORES A LA VISITA

La principal tarea posterior es la elabo-ración del Informe de Evaluación Externa.Este informe debe presentar una perspecti-va independiente sobre el funcionamientode la Titulación en todos sus ámbitos. Eneste sentido, el principal objetivo es la for-mulación de juicios de valor basados enevidencia contrastable. Además de presen-tar una visión integradora y sintética de laenseñanza, la investigación y los serviciosen la Titulación, el informe debería dirigirla atención hacia los aspectos de informa-ción o de valoración no contemplados enel Informe de autoevaluación y aportar laevidencia complementaria obtenida por elComité Externo.

El equilibrio valorativo y el enfoqueconstructivo son dos claros indicadores de

excelencia del Informe Externo. Dos di-mensiones hemos visto como esencialesen el equilibrio valorativo: La primera es elequilibrio al presentar los aspectos de cali-dad y los puntos débiles en el funciona-miento de la Titulación. El enfoqueconstructivo es la proyección de este equi-librio hacia el futuro, al positivar los aspec-tos débiles de la Titulación, señalandoposibilidades viables de mejora, precisan-do la responsabilidad de los distintos nive-les institucionales para el logro de loscambios y destacando las estrategiasproactivas de la propia Titulación en esecontexto (el enfoque constructivo se pue-de contraponer a la tendencia a incidir ex-clusivamente en los problemas de laTitulación). Las expectativas de fiscaliza-ción y crítica destructiva existentes en laTitulación pueden llevar, paradójicamente,a que los Informes Externos equilibradosy constructivos en este sentido sean per-cibidos como complacientes por la propiaTitulación.

Esta última posibilidad alude, precisa-mente, a una segunda dimensión, más su-til, del equilibrio en el Informe. Estadimensión se relaciona con la inde-pendencia real del Comité externo en susanálisis. La identificación de los expertosexternos con la situación o con las funcio-nes de responsabilidad en la Titulación(muy probable, porque los expertos de re-conocido prestigio suelen haber asumidoresponsabilidades institucionales similares)puede llevar a adoptar implícitamente laperspectiva presentada por el Comité y elInforme de la Titulación. Este peligro, pue-de cuestionar la utilidad del proceso de eva-luación externa, pero puede ser atenuado entanto se incremente la población de expertospreparados para participar en el proceso. Elaseguramiento de esta independencia en laevaluación externa de las universidades apo-ya la conveniencia de evitar el localismo yorganizar la logística de estos procesos enámbitos lo más amplios posibles.

326

CONCLUSIONES

La experiencia de evaluación externapor pares ha demostrado su utilidad comocomplemento de la autoevaluación en elcontexto del Plan Nacional de Evaluaciónde la Calidad de las Universidades. Estecomponente del Plan ha gozado de la mayoraceptación por parte de las instituciones par-ticipantes y es, sin duda, indispensable parala legitimación de la autoevaluación previaante el conjunto de la comunidad universi-taria. Esta comprensión no siempre se haextendido a los procesos de autoevalua-ción, frecuentemente cuestionados por elgran esfuerzo interno que demandan y porsu riesgo de subjetividad y de sesgo auto-complaciente en los análisis.

Esta realidad puede sugerir la conve-niencia de diseñar una evaluación institu-cional basada exclusivamente en procesosde evaluación externa. Esta conclusión es,a nuestro entender, equívoca en dos senti-dos: en primer lugar, la evaluación externarequiere de cualquier modo de un informeprevio sobre la situación de la unidad eva-luada. La validez y la legitimidad de esteinforme aconseja la participación de la uni-dad evaluada en su elaboración. En segun-do lugar, la probabilidad de que laspropuestas de mejora se hagan viables de-pende del compromiso de la unidad con laevaluación y la calidad de su funciona-miento (en especial, en el sistema universi-tario colegiado y funcionarial definido porla LRU). En este contexto, un proceso par-ticipativo de reflexión como la autoevalua-ción puede reforzar ese necesariocompromiso con las actuaciones para lamejora.

Por lo tanto, las ventajas y economíade esta posible modificación del diseñodel Plan Nacional de Evaluación de la Ca-lidad de las Universidades son discutibles.Cualquiera que sea el diseño de evalua-ción adoptado, la disposición de la unidadevaluada a invertir esfuerzo en la mejora esla cuestión fundamental para el compromi-

so de la institución con la evaluación ypara la eficacia de este ejercicio en térmi-nos de promoción de la mejora. En estesentido, el proceso de autoevaluaciónplantea de forma diáfana el dilema de laasunción de responsabilidad de la unidadevaluada con respecto a su propio funcio-namiento y destino. La centralidad a laevaluación externa puede facilitar las ten-dencias a desplazar esa responsabilidadhacia agentes externos, tanto en el Comitéde Evaluación Externa (facilitando el cues-tionamiento del Informe Externo encaso de resultados críticos para losafectados) como en otras instancias dela institución (las promotoras del proce-so de evaluación).

Posiblemente, esta modificación en eldiseño de la evaluación institucional de lasuniversidades tampoco solucione la cues-tión básica: La resistencia a la evaluaciónpara la mejora pasaría de justificarse en elesfuerzo interno requerido y en los sesgosde la autoevaluación a justificarse en el ca-rácter fiscalizador de una evaluación externamenos participativa. A nuestro entender,para debilitar este círculo perverso quizássea más efectivo actuar sobre las percep-ciones y opiniones de las unidades evalua-das con respecto a la necesidad de laevaluación y su utilidad para la mejora dela eficacia y la eficiencia del funcionamien-to en todos los ámbitos.

Las actuaciones en ese sentido podríanbasarse en señales institucionales más cla-ras sobre la utilidad de la evaluación y suimpacto en el futuro de las unidades eva-luadas. Primero, difundiendo y reforzandouna nueva cultura de la calidad que valorela necesidad de la implicación colectiva eindividual para el alcance de las metas dela universidad y para la mejora de la efi-ciencia y destaque los beneficios derivadosde esa implicación. En segundo lugar, de-sarrollando mecanismos internos de pro-moción, reconocimiento e incentivo deesos esfuerzos individuales y colectivos.Finalmente, vinculando autonomía con

327

responsabilidad y rendición de cuentas en to-dos los niveles de actuación del sistema uni-versitario mediante la evaluación institucional.

BIBLIOGRAFÍA

CONSEJO DE UNIVERSIDADES: Programa expe-rimental de evaluación de la calidaddel sistema universitario, Madrid, Se-cretaría General del Consejo de Uni-versidades, 1993.

— Programa experimental de evaluaciónde la calidad del sistema universitario- Documento n Q 13: Informe final, Ma-drid, Secretaría General del Consejo deUniversidades, 1994.Programa de Evaluación Institucionalde/a Calidad de las Universidades, Ma-drid, Secretaría General del Consejo deUniversidades, 1995.

— Protocolo de Evaluación del Plan Nacio-nal de Evaluación de la Calidad de lasUniversidades, Madrid, Secretaría Gene-ral del Consejo de Universidades, 1996.

— Guía de los Evaluadores Externos, Ma-drid, Secretaría General del Consejo deUniversidades, mayo 1997.

HOUSE, E. R.: Professional Evaluation: So-cial and political consequences, New-bury Park (Ca), SAGE, 1993.

KELLS, H. R.: «The second irony: Thesystem of institutional evaluation ofhigher eduaction in the United States»,en M. KOGAN (Ed.): Evaluating bigbereducation, London, Jessica Kingsley(Higher Education Policy Series 6),1989, pp. 95-104.

KELLS, H. R.: Self-regulation in bigher edu-cation: A multi-national perspective incollaborative systems of quality assu-rance and control, London & Philadelphia,Jessica Kingsley (Higher Education Po-licy Series 15), 1992.

DE MIGUEL, M.; MORA, J.-G.; RODRÍGUEZ, S.(Eds.): La evaluación de las institucio-nes universitarias, Madrid, Consejo deUniversidades, 1991.

RODRÍGUEZ, S.: «El proceso de evaluacióninstitucional», en Revista de Educación,núm. 315 (1998), pp. 45-65.

UNIVERSITAT DE BARCELONA: Programa deEvaluación de la Calidad de la Ense-ñanza Superior, Barcelona, Universitatde Barcelona, 1995.

328