eLA EVALUACIÓN DE LA UNIVERSIDAD DE ESPAÑA

JOSÉ MARÍA DE LUXÁN MELÉNDEZ (')

La segunda mitad del siglo XX es unperíodo de profundos cambios sociales,económicos y políticos que, se ha repeti-do, puede identificarse por el tránsito delEstado Liberal al Estado Social. Tras launiversalización de los derechos civiles ypolíticos, el Estado de Bienestar persiguegarantizar los derechos sociales de losciudadanos, mientras que en términoseconómicos supone la externalización delos costes sociales.

Las políticas públicas no pueden exigira los individuos «ser justos y benéficos.como propugnaba en 1812 el programagaditano; por el contrario, son los poderespúblicos, impone la Constitución en 1978,los que están obligados a «promover lascondiciones para que la libertad y la igual-dad de individuo y de los grupos en que seintegra sean reales y efectivas. y, aun más,

requiere que remuevan «los obstáculos queimpidan o dificulten su plenitud..

En un contexto de explosión y luegode crisis del Estado de bienestar, las políti-cas universitarias, agotado el impulso ex-pansivo, huérfanas de un paradigmatotalizador, están envueltas en un ampliodebate' sobre las funciones y objetivos dela enseñanza superior, que recoge unapreocupación en la que confluyen orienta-ciones políticas diversas y ámbitos científi-cos' plurales.

El Documento de Política para el Cam-bio y el Desarrollo en la Educación Supe-rior de la UNESCO, el Informe sobre lafinanciación de la universidad del Conse-jo de Universidades de España, el acuerdode la Unión Europea sobre J4 Sociedad delConocimiento y El análisis del panoramaeducativo de la OCDE son algunos ejem-

(') Vicesecretario de Estudios del Consejo de Universidades.(1) En los últimos años se ha multiplicado en España las publicaciones y foros de debate sobre el futuro

de la universidad. Por mi parte también he contribuido con la edición de Política y Reforma Universitaria. Bar-celona, CEDECS, 1998.

(2) Puede verse Rothblatt, S. y Wittrock (compiladores) la Universidad europea y americana desde 1800.Las tres transformaciones de la Universidad. Barcelona, Pomares, 1996 o el Volumen XXII, n. 1, 1997 de Enselg-nement Supéreur en Európe del CEPES sobre Enseignement es recherche: quel equilibre pour les universités duvingt et uniéme siécle y en general puede consultarse la revista Gestion de l'Enseignement Supérieur que dirigi-da por el profesor Kogan publica la OCDE.

(3) Junto a ellos vid. también:Unión Europea IRDAC; la insuficiencia de las cualificaciones en Europa. Comunidad Europea, 1991.Unión Europea; MemonIndum sobre la Enseñanza Superior en la COMIlnidad Etat:Pea. Comunidad Europea, 1991.Unión Europea; Crecimiento, competitividad yempleo Libró blanco de la Comisión. Comunidad Europea, 1991.

Revista de Educación, núm. 315 (1998), pp. 11-28 11

plos relevantes de la amplitud de estacuestión que puede encuadrarse en un de-bate más amplio sobre el desarrollo econó-mico y la función del Estado social.

El papel del Estado pero, sobre todo,la orientación de la acción de los poderespúblicos, justifica una controversia que, enel dominio político, todavía oscila en unterreno recurrente 4 sobre el tamaño delsector público o en una confrontación, ami modo de ver imposible entre la socie-dad y el Estado. En el campo de las cien-cias sociales puede inscribirse en el ámbitodel análisis 5 de las políticas públicas.

Racionalismo y empirismo todavía en-marcan los límites de las distintas opciones;unas veces se reclama una visión global, ca-paz de integrar todos los problemas en elgrial de la calidad. Y otras se percibe en ladiversidad, en la pluralidad de soluciones ad

hoc, la respuesta a una demanda complejaque requiere instituciones educativas capa-ces de adaptarse de forma dinámica a nece-sidades y expectativas cambiantes.

El programa de acción que la Constitu-ción puso en marcha tiene un balance 6 sindudad especialmente positivo, Gomá y Su-

birats subrayan »que los veinte arios trans-curridos desde las primeras elecciones de-mocráticas en España han transformado elpaís de forma sustancial. Se ha doblado elgasto público en relación con el PIB. LasComunidades autónomas han pasado deexistir a controlar más de una cuarta partede ese gasto público 1...] El ingreso de Es-paña en la CEE 1...1 han acabado con siglosde aislamiento y han situado al país en elimparable proceso de globalización.»

Se trata de tres aspectos centrales delprograma constitucional cuyo éxito ha su-puesto una profunda transformación delos objetivos y de la organización del Es-tado. La repercusión en las funciones yen la estructura de las administracionespúblicas es si cabe aún mayor. Elementosque configuran otras tantas políticas pú-blicas a las que necesariamente y paracomprender la profunda reforma adminis-trativa que inicia la Constitución, hay queañadir las consecuencias que la consolida-ción del régimen representativo y la garantíade los derechos civiles y políticos tienentambién en la actuación de las administra-ciones públicas.

Unión Europea; Por una Europa del Conocimiento. Bruselas 12.11.1997 COM (97) 563 final.Consejo de Universidades; Informe sobre la Financiación de la Universidad en Universidades, n. VI, MEC,

1995.UNESCO; Documento de Política para el Cambio y el Dearrollo en la Educación Superior. UNESCO, 1995.OCDE; Centro para la Investigación e innovación en la enseñanza. Análisis del Panorama Educativo 1997.

OCDE, 1997.

(4) Por señalar un último ejemplo, la revista Temas dedica en su número de marzo de 1998 un amplioespacio a discutir «¿Cuál es el papel del Estado en las nuevas sociedades sometidas a procesos de globalizacióneconómica, descentralización política y autoorganización social?«.

(5) Sobre todo desde la década de 1970, primero en los Estados Unidos y luego en Europa, se desarrollaen el campo de la Ciencia Política un enfoque metodológico que con el rótulo «políticas públicas« centra suspreocupaciones en el estudio de la formulación de las decisiones, en los procesos y en la evaluación del im-pacto de las políticas públicas, marginando los problemas clásicos de orden institucional.

En España es más reciente, en su origen están los trabajos de MIGUEL BELTRÁN: «El "Policy Analysis" comoinstrumento de valoración de la acción política« en Revista de Estudios Políticos, n. 56, abril-junio 1987. Subirats,Joan: Análisis de políticas públicas y eficacia de la Administración. Instituto Nacional de Administración Pública.Madrid, 1989, o el número monográfico sobre Políticas Públicas y organización administrativa de Documenta-ción Administrativa, n. 224-225, octubre 1990-marzo 1991.

(6) En relación con la situación actual del Estado Social de España vid, los recientes trabajos de R. Gomit,y J. SUISIRATS; Políticas públicas en España. Ariel, 1998 y S. MUÑOZ MACIIAIX4 J. L. GARCIA DELGADO y L. GONZÁLEZ

SERA; Las estructuras del Bienestar. Madrid, CIvitas, 1997.

12

LA POLÍTICA UNIVERSITARIA

La Universidad española contemporá-nea, que nace con las reformas ilustradas delúltimo tercio del XVIII 7, acabara por importarlas pautas del modelo napoleónico, para con-figurar un servicio público, jerárquicamenteintegrado en la organización central del Es-tado, como periferia de la administracióneducativa, en la que los profesores se reclu-tan con carácter de funcionarios públicos.

Desde el punto de vista organizativo lacuestión de la libertad de cátedra, que do-mina buena parte del escenario de la uni-versidad tradicional s , podría explicarse porlas contradicciones internas de un modeloburocrático que se pretende, hoy diríamos,maquinal, frente a la propia lógica de la ac-tividad científico docente que reclama con-figurarse como burocracia profesional 9.

Las reformas administrativas que im-pulsa la Constitución de 1978 '° modificanigualmente los mecanismos de regulación

interna del sistema universitario y trans-forman la lógica de los intercambios en-tre las instituciones universitarias y laadministración educativa, convertida en unapluralidad territorial de administracionesautónomas.

Desde el punto de vista organizativo elmodelo universitario español " desarrolla-do tras la Constitución se caracteriza porlas siguientes notas:

• Por vez primera coexisten universi-dades privadas 12 y públicas.

• La autonomía universitaria, eje cen-tral del programa constitucional, seconcibe no sólo como un instrumen-to de personificación de la organiza-ción universitaria, desprendida de loslazos jerárquicos que la vinculaban ala administración educativa, si notambién como un proceso de deci-siones colegiado, en el que partici-pa el conjunto de la comunidaduniversitaria.

(7) Sobre las transformaciones de la universidad del antiguo régimen vid. ANToNio ÁLVAREZ Dr. MORALES: La¡lustración y la Reforma de la Universidad en la España del siglo XVII!. Madrid, Instituto Nacional de Adminis-

tración Pública, 1988.

(8) En la evolución del sistema universitario contemporáneo suelen señalarse dos grandes etapas: la Univer-sidad tracicional, de elite, a la que asisten menos del 5 % de la cohorte de edad, que domina el escenario univer-

sitario hasta finales de los años cincuenta, en España hasta mediada la década de los sesenta y la Unitersidad demasas, caracterizada por la expansión de la matrícula hasta integrar un 23 % del grupo de edad.

Etapas a la que habría que incorporar una tercera, en la que, una vez que la enseñanza primaria y secun-

daria, se consideran un derecho civil, la mayor parte de la población en edad escolar, de finales de los noventa,

estará en condiciones de matricularse en la Universidad.

(9) HENRV MINTZBERG: La estructuración de las organizaciones. Barcelona, Ariel, 5• a reimpresión, 1995.

(10) En el terreno normativo el programa constitucional se concreta en las siguientes: Ley Orgánica11/1983, de 25 de agosto, de Reforma Universitaria (BOE n. 209, de 1 de septiembre). Ley . 5/1985, de 21 demarzo, del Consejo Social de Universidades (BOE n. 73, de 26 de marzo). Ley 13/1986, de 14 de abril, de Fo-

mento y coordinación general de la investigación científica y técnica (BOE n. 93, de 18 de abril). El artículo 26

de la Declaración Universal de los Derechos Humanos de 10 de diciembre de 1948 (firmado por España, en

pleno proceso constituyente, el 24 de noviembre de 1977). Y el Acuerdo de 3 de enero de 1979 entre el Estado

Español y la Santa Sede sobre Enseñanza y Asuntos Culturales, ranificado el 4 de diciembre de 1979 (BOE n.300, de 15 de diciembre de 1979). Para una visión detallada de los antecedentes, objetivos y resultados de lareforma universitaria vid. L. SÁNCHEZ FERRER: Políticas de reforma universitaria en España. 1983-1993. InstitutoJuan March de Estudios e Investigaciones, Madrid, 1996.

(11) J. M. LUXAN: -El Modelo Universitario Español . en Luxan, J. M. (editor): Política y Reforma Universi-taria, Barcelona, CEDECS, 1998.

(12) La ruptura del monopolio público, altera la naturaleza del sistema, aunque, aparentemente, se cons-

tituyan dos subsistemas perfectamente diferenciados que tienen escasos, pero importantes puntos de conexión.

13

• La administración educativa se sitúafuera del sistema universitario, yaunque adopta un papel de me-diador externo, sin embargo, inter-viene decisivamente en la prácticatotalidad de los procesos internos yen los nexos de interdependenciade la Universidad con el ambientesocioeconómico '3.

• Las pautas organizativas y los resul-tados de la enseñanza aparecenfuertemente condicionadas por lasdificultades de absorber, en un breveplazo, un considerable incrementode los alumnos y de los recursos 14humanos y financieros a disposicióndel sistema universitario.

• La incorporación de la lógica de lacompetencia para asignar recursos enel ámbito de la investigación 15 y tam-bién en el de la enseñanza de estudiosno oficiales, supone un quinto aspectoque ha modificado sustancialmente laorganización universitaria 16.

En buena medida, la patrimonializa-ción corporativa de la universidad tradicio-nal se verá sustituida o racionalizada porotra de carácter económico, en la que lo

significativo no es sólo la posición, a travésde la referencia a los cuerpos de funciona-rios, como un espacio profesional y social-mente estructurado, si no también el papelque juegan los profesores investigadores,medido corno la capacidad para obtener ygestionar los recursos de la institución(proyectos de investigación, contratos deasesoría técnica o enseñanzas no oficiales).

Si la libertad de cátedra representabael núcleo del conflicto universitario en elmodelo organizativo de la universidad tradi-cional, ahora es la libertad de la institución o,si se quiere, los controles sobre la institucióny no sobre el profesor. Éstos controles aso-ciados a una lógica curricular propia de launiversidad de élite son los factores que ex-presan las dificultades de un sistema cerradoque no parece contar con instrumentos deregulación interna, adecuados a una orga-nización colegial que requiere atender unamultiplicidad de demandas complejas, pro-pias de un modelo universitario de masas.

A partir de los años cincuenta dentrodel cuadro de las políticas públicas desa-rrolladas por el estado social tras la segun-da guerra mundial, el paradigma deexcelencia, la interacción humboliana en-tre ciencia y enseñanza, que se vincula la

(13) Desde la creación de una universidad, pública o privada, que requiere la intervención de la repre-

sentación política, en última instancia decisiva, a través de una Ley de los Parlamentos autónomos, hasta la fi-nanciación directa de las instituciones, pasando por la configuración de los programas de enseñanza o lasretribuciones de los profesores y la selección de los estudiantes, son aspectos sobre-reglamentados, a través deuna complicada trama, de un juego de pesos y contrapesos, en el que participan una pléyade de agentes insti-

tucionales y actores sociales o económicos, que acaban por bloquear los mecanismos de regulación del sistema.

(14) Durante los últimos 20 años, un crecimiento sostenido del número de alumnos, profesores, presu-

puestos o Instalaciones, como media entorno al 5 % interanual, en un contexto de transformación institucional,

configuran muchos de los problemas a los que hoy se enfrenta la universidad.

(15) Para una visión al alcance de los cambios de la política científica vid. Sanz Menéndez, L.: Estado,ciencía y tecnología en España: 1939-1997. Madrid, Alianza, 1997.

(16) El cambio de orientación de la política científica, no se refiere sólo al considerable incremento de la

inversión pública, si no sobre todo a un nuevo modelo de asignación de recursos que concentra los recursos

en la Administración del sistema científico-tecnológico, para asignarlos utilizando una racionalidad de mercadobasada en la excelencia de los proyectos evaluados por una agencia pública de reconocido prestigio, y no através del plan, mediante una lógica de competencia por el presupuesto expresada en las necesidades de la

institución o asociada a la capacidad de presión de sus directivos. En esta misma dirección opera la moviliza-ción de los recursos de la universidad para actuar como agente directo en el proceso de producción de bienes

y servicios.

14

universidad de élite, se altera significativa-mente. En España este hecho se desarrolla,no sin contradicciones, en los años sesenta—y sobre todo, a partir del impulso querepresenta el programa constitucional—.

En el marco de la política que impulsala Constitución, al propugnar un Estado so-cial y democrático de Derecho, se refuerzaun modelo de universidad de masas a par-tir de 1978. En él se reconoce a todos elderecho a la educación, al tiempo que ga-rantiza la libertad de enseñanza, de cátedray de producción científica, y obliga a lospoderes públicos a promover la ciencia yla investigación científica y técnica en be-neficio del interés general.

Inicialmente al calificar de masas la uni-versidad, se hace referencia a la profundatransformación que supone, en un periodorelativamente corto, de una o dos genera-ciones, el incremento exponencial del nú-mero de alumnos. La expansión de lamatrícula es de tal magnitud que a menudoimpide resaltar otros elementos, como laproducción científica, que ha crecido deforma igualmente relevante.

Y en un segundo momento, al identifi-car el modelo con la expresión de masas,se pretende subrayar un cambio cualitativooperado en la misión de la universidad. Aella se incorporan nuevas tareas que, talvez, acabaran por modificar tanto la confi-guración de la institución como sus rela-ciones con el sistema educativo, con elsistema de ciencia y tecnología y, de formamás amplia, con los sistemas socioeconó-mico y político.

A las instituciones educativas y en parti-cular a la Universidad se le demanda un pa-pel de regulación social. Se espera que susaulas actúen como punto de referencia en laestratificación social, que sustituyan, o al me-nos modulen los factores tradicionales de es-tratificación (la herencia, el género, el lugarde nacimiento, etc.). Los distintos agentesque actúan sobre el sistema educativo de-mandan operar con el criterio de mérito ycapacidad corno principio regulador del pa-

pel y de la posición que el individuo pue-de desempeñar en la sociedad.

De forma paralela, el modelo de launiversidad de masas interpreta un papeleconómico que integra un segundo grupode insumos que se expresan desde el ám-bito del sistema económico. Esta universi-dad de masas requiere no sólo multiplicarel segmento de población profesionalmen-te cualificada para hacer frente a las exi-gencias del desarrollo económico, si notambién que la actividad universitaria seoriente directamente a satisfacer las necesi-dades de formación, asesoría y desarrollotecnológico del sistema producción de bie-nes y servicios.

Esta profunda transformación de lasfunciones características de la universidaden la segunda mitad del siglo XX es conse-cuencia directa del desarrollo de las políti-cas de bienestar que, sin embargo, y comoconsecuencia de su éxito, parecen condu-cir a una profunda crisis que pudiera ago-tar la viabilidad del paradigma deexcelencia como motor del modelo de launiversidad de masas.

¿Es posible sostener un modelo en elque todas las funciones que se reclamandel sistema educativo se concentren en untipo único de institución, caracterizada poruna estructura interna rígida? Y al mismotiempo ¿es el poder político, mediante téc-nicas de intervención, el mejor instrumen-to para asegurar la calidad del sistema yregular las relaciones entre la universidad yla sociedad?

Ningún sistema puede aceptar y trans-formar en productos un número y una di-versidad ilimitada de demandas. Unescenario de sobrecarga en el terreno de lasdemandas es una fuente de tensión que po-dría hacer inviable su continuidad. Igual-mente una acelerada disminución de losapoyos que recibiera el sistema conlleva-rían una profunda crisis.

Las posibilidades de superar los pro-blemas de crecimiento del sistema univer-sitario aparecen encorsetadas por un

15

tratamiento uniformador, que concibe porigual las características de todas las institu-ciones universitarias. Se tratan de la mismamanera demandas y apoyos distintos, quese procesan en un sistema complejo, com-puesto por organizaciones que pese a con-tar con un perfil diferenciado y, en buenamedida, contradictorio, reciben desde elsistema político un mensaje sustancialmen-te idéntico.

Si se ampliara la distancia entre las de-mandas y los productos que elabora launiversidad española su situación podríacaracterizarse en términos de crisis deobjetivos y no de crisis financiera o deorganización. Este diagnóstico supondríasubrayar el papel nuclear de los progra-mas de enseñanza en el flujo de intercam-bios entre la Universidad y la Sociedad yresaltar, al tiempo, que los títulos académi-cos tienen una posición central en la orga-nización universitaria como nudo decomunicaciones de los procesos del inte-rior del sistema.

Directamente asociados, con el catálogo ycon la estructura interna de la oferta académi-ca, pueden señalarse otras dos cuestionesque completan la agenda de la política uni-versitaria; la selectividad, a la que se vincu-lan los momentos de transito en el interiorde la Universidad; y la organización universi-taria, que se conecta con la financiación.

Se trata de tres aspectos, los programascíe enseñanza, la selectividad y la financiación,que permiten subrayar el margen de actuacióndel sistema político como agente privilegiadoen la regulación de los mecanismos internosdel sistema y de las relaciones entre la univer-sidad, el sistema socioeconómico y los siste-mas educativo y científico técnico.

Simplificando la política universitariacuenta básicamente con dos tipos de op-ciones, puede optar entre bloquear el siste-ma o abrir la universidad, y entre ambas,desde luego, caben soluciones equilibra-das que hagan posible una concertaciónde todos los actores implicados en la polí-tica universitaria.

BLOQUEAR EL SISTEMA

Puede aceptarse como inevitable unaestrategia de cierre, orientada a bloquear elsistema, que privilegie las demandas deaquellos grupos que, desde el interior odesde el exterior de la Universidad, recla-man blindar la organización actual me-diante pautas propias de un modelo deracionalidad burocrática. Este modelo de-bería primar la intervención de las admi-nistraciones públicas y las decisionescorporativas, frente a relación directa de launiversidad con la sociedad.

ABRIR LA UNIVERSIDAD

Una segunda estrategia para adecuarla configuración de la enseñanza universi-taria a la complejidad y multiplicidad de de-mandas que recibe el sistema universitario,requiere incorporar fórmulas, ya ensayadascon éxito en el ámbito de la investigación,que permitan contar con mecanismos deregulación del sistema a partir de modelosde racionalidad de mercado. Se trata deabrir la universidad a pautas de conductano burocráticas en las que se determinenlos objetivos de la institución por su capa-cidad real de conectar con la sociedad. A laautonomía universitaria habría que incor-porar las decisiones básicas sobre sus pro-ductos (nombre, estructura y alcance delos títulos universitarios), sobre sus recur-sos (humanos y materiales) y desde luego,también sobre sus clientes (selección deestudiantes, precio, etc.). Soluciones querequieren volver a configurar el papel delpoder público, como garantía de la igual-dad y de la expresión de los intereses y ne-cesidades del conjunto de la sociedad.

El eje del debate no puede situarse en lascontradicciones que se manifiestan entre la ra-cionalidad de la corporación académica y lasposiciones de las administraciones educativas.Muy al contrario la clave está en resolver ade-cuadamente el continuo universidad sociedad.

16

LA EVALUACIÓN DE LA UNIVERSIDAD

La evaluación de las políticas públicas,entre ellas la evaluación de la universidad,se sitúa en el núcleo central del debate so-bre el papel del Estado, y desde luego tam-bién en la controversia sobre la orientaciónde la universidad.

Suele señalarse que en materia de eva-luación, las ciencias sociales oscilan entredos actitudes: La primera, a mi juicio lamenos interesante, se orienta a estudiar elpapel de los actores sociales y políticos, queen su caso, asumen una actividad de eva-luación. La segunda, totalmente distinta dela anterior, pretende elaborar los concep-tos y los métodos que permitan describir,explicar y valorar los objetivos, los proce-sos y el impacto de las políticas públicas.

La evaluación de las políticas publicasestá relativamente poco extendida. Son es-casas las agencias públicas especializadas,y abundan las instituciones de control, queintentan modificar sus pautas de compor-tamiento y extender su campo de actua-ción al ámbito de la evaluación. Pero comoseñalan Meny y Thoenig .no es fácil estatransición de un oficio —el de inspector— aotro —el de evaluador—• 17.

Evaluar 18 una politica pública es, sobretodo, apreciar los efectos atribuibles a la ac-ción de los poderes públicos (en nuestro casoa la actividad de las instituciones de enseñan-za superior), lo cual exige analizar los objeti-vos, la implementación y los resultados.

Si, en términos generales, en el campode las ciencias sociales la evaluación es re-lativamente reciente, no puede ocultarseque en el terreno de la educación, se tratade una preocupación que viene de lejos yque está detrás de las corrientes de refor-

ma e innovación pedagógica. Estas co-rrientes de reforma impregnan las políticaseducativas ligadas a la universalización delos niveles primario y secundario, y quemás recientemente se extienden, en Euro-pa todavía con balbuceos, a la enseñanzasuperior.

Evaluar no es una puesta al día de lastécnicas de control. Detrás de la evalua-ción no se esconde la antigua inspección,tampoco las insuficiencias financieras dela crisis fiscal de Estado, en la expresiónfeliz de O' Connor 19 ni una imposible lis-ta en la que se ordenara por su calidad lasinstituciones de enseñanza superior. Aun-que, a veces, justo es reconocerlo, así loparezca.

Como resalta Mintzberg al analizar lascaracterísticas de la burocracia profesional—de la que la universidad es un repre-sentante arquetípico—, los ajenos a la comu-nidad académica (clientes, administradoresno académicos, o la sociedad en su conjuntoy sus representantes) ven los problemas dela universidad como consecuencia de unafalta de control externo del profesor y desu profesión. De modo que pretenden lomás obvio: intentar controlar el trabajoacadémicó recurriendo a mecanismos deinspección. Concretamente, intentanaplicar técnicas de supervisión directa, denormalización de procesos de trabajo o denormalización de productos.

La supervisión directa suele implicarun inspector, cuya función es vigilar a losprofesionales, olvidando, que más allá dela negligencia (un profesor que rara vezasista a clase), no es posible que alguienexterno a la universidad controle activida-des, como son las clases, de ejecucióncompleja y resultados vagos.

(17) I. MENT; J. C. THOENIG: Las políticas públicas. Barcelona, Ariel, 1992.

(18) Sobre las técnicas de control en la gestión pública casi con carácter monográfico ver el n. 5-6 de ene-ro-agosto de 1996 de Gestión y Análisis de Políticas Públicas, en especial la contribución de Miguel Beltrán.

(19) J. O'CoNtvott: La crisis fiscal del Estado. Península, 2. edición, Barcelona, 1994.

17

»Las otras formas de normalización(continúa Mintzberg) sirven a menudo úni-camente para obstaculizar y desanimar alos profesionales en vez de proporcionarun control sobre su trabajo... Los procesosde trabajo complejos no pueden ser forma-lizados mediante reglas y los productos im-precisos no pueden (tampoco) formalizarsemediante sistemas (convencionales) deplanificación y control» 20•

En definitiva, los controles de este tipono contribuyen a mejorar la calidad de launiversidad; al contrario, seguramente laempeoran.

La cuestión relevante no es cómo esta-blecer controles, sino cómo desde la racio-nalidad del trabajo universitario, establecermecanismos que permitan aprovechar lasoportunidades de incrementar la calidadde la universidad.

A menudo la cuestión del nacimientode las políticas públicas, señalan Meny yThoenig 2 ', se explica acudiendo a unmodo de interpretar los procesos socialesque conduce a soluciones poco satisfacto-rias. En este caso se pretende analizar lascausas, las condiciones que han hecho po-sible en el sistema universitario español ar-ticular una política de evaluación de lacalidad.

UNA DESCRIPCIÓN LIANA

En primer lugar, cabe contentarse conuna descripción llana en la que se recuer-de que, a finales de los ochenta, casi inme-diatamente después de su creación, el

Consejo de Universidades inició una líneade trabajo para diseñar y poner en marchamecanismos de evaluación. Se pretendíaincorporar estándares de calidad basadosen requerimientos de recursos humanos ymateriales; pero sus resultados fueronpoco satisfactorios, cuando no imposibles,de forma que a partir de 1990, y con el ob-jetivo favorecer la incorporación de medi-das concretas para mejorar la calidaduniversitaria, el Consejo optó por impulsarla elaboración cle pautas de evaluación ba-sadas en una concepción análoga a losmodelos cle evaluación experimentadoscon éxito, primero en los EEUU y luego enalgunos países europeos (Dinamarca;Francia; Países Bajos y Reino Unido).

El Consejo de Universidades, que reú-ne en un único foro a las universidades y alas administraciones educativas, impulsóen 1990 un debate cuyo primer , resultadofue la publicación por Mario de Miguel,José Ginés Mora y Sebastián Rodríguez dellibro La evaluación de las institucionesuniversitarias, que permitió reunir la opi-nión de un conjunto de especialistas deevaluación, muchos de los cuales están de-trás del Modelo Europeo de Evaluación.

Este debate se concretó en El ProgramaExperimental de Evaluación de la Calidad dela Univenidad 22 , desarrollado en España en-tre 1992 y 1994, y conectó inmediatamentedespués con el Prgyecto Piloto de la UniónEuropea. Este proceso ensayo error tiene yatina continuidad institucional, de carácter re-gular, sistemático, en el Plan Nacional deEvaluación de la Calidad que, ,a propuestadel Consejo de Universidades 2Y , aprobó elGobierno en diciembre de 1995.

(20) HENRY MIN*17JBERG; op. cit.(21) I. MENY; J. C. THOENIG; op. cit., pp. 109 y SS.

(22) El Programa, a propuesta del Secretario General del Consejo, Miguel Ángel Quintanilla, se inició por

acuerdo del Consejo de Universidades de septiembre de 1992. El informe final del Programa (Documento n. 13)elaborado por la Secretada General del Consejo de Universidades fue discutido en el Seminiario que sobre Evalua-

ción de las Universidades se celebró en septiembre de 1994 en la Universidad Internacional Menéndez Pelayo.

(23) A iniciativa del Consejo de Universidades (Miguel Ángel Quintanilla es el redactor principal del texto

que el Secretario del Consejo, F. Michavila, presentó en el Pleno del 25 de septiembre de 1995: .Programa de

18

En la tabla se recogen los principales hi-tos de este camino. Una solución de estetipo, aunque nos dé información, por si mis-ma no es suficiente para interpretar la puestaen marcha de la política de evaluación.

DESLUMBRARSE POR LA DECISIÓN

Cabe también deslumbrase por la deci-sión, resaltando en primer término el papel delos principales actores, de tal forma que se su-braye el impulso que realizan un grupo deprofesores universitarios o el peso, sin dudasignificativo, de los sucesivos Secretarios Ge-nerales del Consejo de Universidades, prime-ro en el diseño del Plan Nacional (MiguelÁngel Quintanilla) y luego en la gestión de laevaluación (Francisco Michavila, Juan Roca yRafael Anes). O bien reflejar los argumentospuestos en escena: transparencia, rendiciónde cuentas, mejora de la calidad.

Tampoco esta línea argumental parecesuficiente, desconoce entre otros aspectosque la decisión (finalmente el Consejo deMinistros) es en buena parte una reacciónante las circunstancias que envuelven elproblema y al mismo tiempo olvidaría quetodos los actores del sistema no percibenla cuestión de la misma forma.

UNA EXPLICACIÓN MECANICISTA

Una tercera tentación conduciría auna explicación macrocontextual mecani-cista, que justificara la aparición de la polí-tica de evaluación en función por ejemplode las necesidades del desarrollo económi-co, o de los intereses de los distintos sectoresde la comunidad universitaria. Solucionesque permiten comprenderlo todo sin nece-sidad de explicar nada.

RECONSTRUIR EL PROCESO

Es posible que a mucha gente le pa-rezca baladí reconstruir el proceso a travésdel cual una cuestión pasa a transformarseen un problema político, o dicho en otrostérminos y para el caso que nos ocupa ¿porqué y como la evaluación se incorpora ala agenda pública para transformarse enuna política concreta? Sin embargo, se tra-ta de una cuestión central, dado que conpalabras de Subirats »los problemas noestán allí fuera. No existen los problemasobjetivos».

En otra ocasión 24 he resaltado queuna de las diferencias más significativas

Evaluación Institucional de la Calidad de las Universidades-) y a propuesta del Ministro de Educación, el Go-

bierno acordó mediante Real Decreto de 1 de diciembre de 1995 establecer el Plan Nacional de Evaluación de

la Calidad de las Universidades (Real Decreto 1947/1995, de 1 de diciembre, por el que se establece el Plan na-

cional de la Calidad de las Universidades —BOE núm. 294 de 9 de diciembre de 1995—), que se ejecutará a través

de convocatorias anuales.

La primera convocatoria, a propuesta del Consejo de Universidades (A iniciativa del Secretario General del

Consejo, Francisco Michavila, por acuerdo del Pleno del Consejo de Universidades de 14 de diciembre de 1995),

se realizó por el Ministro de Educación mediante Orden de 21 de febrero de 1996 (BOE núm. 51 de 28 de fe-

brero de 1996) y a propuesta del Secretario General del Consejo de Universidades, oído el Comité Técnico del

plan, se resolvió por Orden de la Ministra de Educación y Cultura de 30 de octubre de 1996 (BOE núm. 270 de8 de noviembre de 1996).

La gestión del proceso de evaluación externa tuvo un impulso relevante en la gestión del Secretario Ge-

neral del Consejo, Juan Roca. Transcurrido un año desde la concesión de la financiación para la realización de

los proyectos de evaluación, a propuesta de su Secretario General Rafael Anes, el Pleno del Consejo de Univer-

sidades, en su sesión celebrada en Madrid el 18 de diciembre de 1997, adoptó el 1." INFORME SOBRE EL PLAN

NACIONAL DE EVALUACIÓN DE LA CALIDAD DE LAS UNIVERSIDADES.

(24) J. M. LUXAN: -El Plan Nacional de Evaluación-. Intervención en la Conferencia Final del Proyecto Pi-loto Europeo de evaluación de la enseñanza superior. Las Palmas, 1995.

1 9

TABLACronología de ¡apolítica de evaluación

SISTEMA POLÍTICO SISTEMA UNIVERSITARIO

Actividades Consejo deUniversidades

Actividades UniónEuropea

1978-1985 ConstituciónLey de Reforma UniversitariaCreación del Consejo deUniversidades

1986-1989 Estudios previos orientadosa definir un estándar.

1990-1991 Debate sobre el alcance dela evaluación (estudios,seminiarios, publicaciones)orientados a mejorar la calidad

1992-1993 Programa Experimental deEvaluación

1994-1995

Plan Nacional de Evaluación

Valoración del ProgramaExperimental (Seminario enla Universidad Internacionalde Menéndez Pelayo).Acuerdo del Consejo deUniversidades por el quepropone un Plan deEvaluación.Coordinación del ProyectoPiloto Europeo

Proyecto PilotoEuropeo

Conferencia final delProyecto Europeo

1996-1997 1•2 Convocatoria del PlanNacional

1•2 Convocatoria de ComunidadesAutónomas

Coordinación del Plan deevaluaciónLer Informe EvaluaciónPropuesta 2• a Convocatoria

Propuesta derecomendación dela Comisión ... degarantía de lacalidad enla enseñanzasuperior

1998 Dictamen delConsejoEconómico y SocialModelo Europeo deEvaluación

del modelo español de evaluación se sitúaen el origen cle la política de evaluación.Frente a los sistemas de evaluación euro-peos, que nacen en el campo de la admi-

nistración educativa, muchas veces aso-ciados a las dificultades financieras, queen la década de los ochenta ponen en cri-sis la expansión de la política de bienestar,

20

o como réplica a la autonomía universita-ria. En España el proceso parece surgir enla dirección contraria, en un impulso deabajo arriba, en el que papel protagonistalo interpreta el sistema universitario que re-clama de la administración educativa lapuesta en marcha de mecanismos de eva-luación.

Esta explicación, no deja de ser ingenuay supondría que en el modelo español lasexpectativas ascienden conforme a pautasrepresentativas, mientras que en los mode-los europeos se dibuja un camino descend-ente. Solución que por sugerente queparezca es desde luego poco realista.

Por el contrario, si se tiene en cuentaque rara vez puede singularizarse clara-mente el comienzo de una política pública,se subrayaría la conexión de sucesivas po-líticas públicas en un proceso no lineal enel que interactúan una multiplicidad de ac-tores sociales que impiden concebir su re-corrido como una secuencia causal.

EL PROGRAMA EXPERIMENTAL

El objetivo principal del Programa Ex-perimental de Evaluación 25 era desarrollary poner a prueba una metodología de eva-luación de la calidad de la universidad, ins-pirada en las experiencias internacionales,que permitiera desarrollar un modelo deevaluación regular.

Se optó por combinar un proceso deautoevaluación y de evaluación externamediante expertos, para evaluar de formaintegrada los programas de enseñanza, lainvestigación y los servicios y organizaciónde la universidad.

El programa se estructuró en tres nive-les de ensayo, que ampliaban sucesiva-mente la escala e incorporaban una mayorcomplejidad organizativa y metodológica.

En el primer nivel se inscribieron 17 uni-versidades; su objetivo era construir un siste-ma de evaluación global referido a la totalidadde la institución universitaria, basado princi-palmente en la explotación de datos cuantita-tivos en el ámbito de la ENSEÑANZA, LAINVESTIGACIÓN y LA ORGANIZACIÓN.

En un segundo nivel, participaron seisde las 17 universidades; la unidad de aná-lisis se circunscribía, en el ámbito de la en-señanza, al programa de estudios (seevaluaron 18 titulaciones de 11 disciplinasdistintas); en el ámbito de la investigación,a los departamentos universitarios y áreasde conocimiento mas implicadas en la do-cencia de las 18 titulaciones (se evaluaron31 áreas); mientras quqel árnh¡to de la or-ganización, se refería a toda la instituciónpero centrada en el análisis del proceso detoma de decisiones.

El tercer nivel, en el que participarontres de las seis universidades del nivel II, sediseñó de forma que el proceso de autoeva-luación pudiera completarse con elementosde juicio de expertos externos, así corno contécnicas cualitativas de grupos de discusión yentrevistas semiestructuradas con diferentescomponentes de la comunidad universitaria,incluidos los recién graduados.

La estructura organizativa, de caráctercolegial, contaba con un Comité de Segui-miento, responsable del programa, forma-do por los Rectores de las universidadesparticipantes y el Secretario ;General delConsejo de Universidades.

Un Comité Técnico, formado por ex-pertos en evaluación y auxiliado por losservicios del Consejo de Universidades,responsable de la coordinación del progra-ma, de la elaboración de la Guía y de losProtocolos de evaluación, de la redacciónde un informe sobre cada unidad evaluadaa partir de los informes de autoevaluacióny del informe final del Proyecto.

(25) J. M. LuxÁN: -Programa experimental de evaluación de la calidad del sistema universitario- en Gestióny Análisis de Políticas Públicas, n. 3, mayo-agosto, 1995.

21

Y en cada universidad, un Comité deEvaluación, presidido por el Rector e inte-grado por técnicos y académicos de la uni-versidad, responsable del proceso deautoevaluación.

El nivel de cumplimiento de objetivos ytareas previstas en el programa se estimó, alfinal del mismo, en un 80 %. El déficit afectóprincipalmente a las evaluaciones de nivel IIIen el ámbito de la investigación y la organi-zación, por no haberse podido completar laetapa de evaluación externa.

La financiación del programa se com-partió entre las universidades y el Consejo deUniversidades, que atendió los gastos decoordinación y en general los derivados dela actuación del Comité Técnico.

En el seminario de discusión de los resul-tados, que se celebró en la Universidad Inter-nacional Menéndez Pelayo en septiembre de1994, en el que participaron numerosos res-ponsables de las universidades españolas,miembros de los Comités de Evaluación y ex-pertos nacionales e internacionales de evalua-ción, se estimó que el programa experimentalhabía cumplido sus objetivos y permitía ini-ciar un proceso de evaluación regular.

En términos generales, la metodolo-gía ensayada fue valorada satisfactoria-mente por los Comités de Evaluación delas universidades participantes y por elgrupo de expertos internacionales a losque se les pidió una revisión de los proce-dimientos y de los resultados obtenidos.

El programa se desarrollo conforme alas siguientes pautas:

• El proceso de evaluación contó conel acuerdo básico de la comunidaduniversitaria, expresado formal-mente en el pleno del Consejo deUniversidades de septiembre de1992, que por unanimidad aprobóiniciar el Programa.

• La participación en la evaluaciónfue voluntaria.

• La realización de la evaluación fue res-ponsabilidad de cada institución y no

tuvo un carácter gubernamental; laevaluación estaba dirigida de formacolegial por los participantes, nopor una agencia gubernamental.

• La evaluación se orientó a la institu-ción, no al control del trabajo de laspersonas; Se centró en todas las lí-neas de actividad de la universidad,utilizando al tiempo una perspecti-va disciplinar y global.

• La evaluación no ha sido compara-tiva; y no se ha elaborado clasifica-ción alguna.

• El método de evaluación combinóautoevaluación, evaluación externay un informe público; sin embargo,en el desarrollo del programa expe-rimental se puso el acento funda-mentalmente en la autoevaluación.

• La guía y los protocolos de evalua-ción se concibieron de forma teóri-camente flexible y sencilla paraadaptarse al contexto de cada insti-tución. Sin embargo, pese a sucesi-vas simplificaciones, resultaronexcesivamente prolijos, complejos ya veces rígidos, lo cual obligó a con-centrar demasiados esfuerzos en larecopilación de datos en perjuiciodel análisis y de la elaboración depropuestas de mejora de la calidad,objetivo último del programa deevaluación.

• La evaluación integró la docencia,la investigación y la organizaciónde la universidad, atendiendo, portanto, no sólo al núcleo de opera-ciones (programas docentes y lí-neas de investigación), sinotambién a la tecnoestructura de laorganización, por pequeña que seaen las burocracias profesionales(unidades de planificación, de in-novación, de formación etc.), a lasunidades de apoyo (gestión econó-mica, de personal, o servicios aca-démicos y asistenciales) y, desdeluego, a la estructura de dirección y

22

al sistema de flujos e intercambiosentre los diferentes elementos quecomponen la institución.

EL MODELO EUROPEO DE EVALUACIÓN

Coincidiendo con la conclusión del pro-grama experimental, la Unión Europea pusoen marcha un Proyecto Piloto para la Evalua-ción de la Calidad de la Enseñanza Supe-rior que ha permitido que la Comisión delas Comunidades Europeas desarrolle unModelo Europeo para la Evaluación de laCalidad 26.

Se trata un mecanismo común, de unverdadero Modelo Europeo para evaluar lacalidad de la enseñanza superior, que in-corpora los siguientes elementos:

• El sistema de evaluación requiereasegurar la Autonomía e inde-pendencia de las autoridades encar-gadas de la gestión, coordinación ydesarrollo de la evaluación y de lagarantía de la calidad 27, con respec-to tanto de la administración educati-va como de las universidades.

• El proceso de evaluación debe per-mitir la Adecuación entre los proce-dimientos de evaluación y el perfilde los centros 28.

• En el método de evaluación debenconfluir elementos Internos y exter-nos 29 , y participar todas las partes in-teresadas 3°.

• Publicación de los informes deevaluación 3'.

(26) En mayo de 1997 la Comisión de las Comunidades Europeas presentó al Consejo de la Unión Euroe-

pa una Propuesta de recomendación relativa a la cooperación europea en materia de garantía de la calidad enla enseñanza superior recoge las conclusiones de la conferencia final del proyecto piloto europeo celebrada

bajo la presidencia española en Las Palmas en diciembre de 1996. Dicha propuesta fue vista por el ParlamentoEuropeo en primera lectura el 18 de noviembre de 1997, y como consecuencia la Comisión ha realizado una

modfiicación de la propuesta de recomendación 12 de febrero de 1998. COM (97) 707 final].

(27) •Fst-is autoridades deberán disponer de autonomía e independencia a efectos de ptuLedimiento y de meto-

dología, tanto en relación con los poderes políticos como respecto a los propios centros de enseña= superior..

(28) .Todo procedimiento de evaluación y de garantía de calidad deberá incluir preguntas sobre el con-

cepto que los centros tienen de sí mismos, por ejemplo, en lo que se refiere a la definición de su misión, tanto

en el conjunto del centro como en los departamentos o en las distintas materias, con el fin de dar respuestas

diversificadas desde el punto de vista de la educación y de formación a las distintas demandas del mercado de

trabajo y de la sociedad en general..

(29) Todo proceso de evaluación y de garantía de la calidad debe reunir un elemento interno de autore-

flexión y un elemento externo basado en la opinión de expertos externos».

(30) »El elemento interno debería hacer participar a todos los interlocutores competentes del centro en el

proceso de reflexión interno en particular, el personal docente y los administradores responsables de la orien-tación académica y profesional, así como los estudiantes.

El elemento externo debe basarse en un proceso cooperativo de consulta y de consejo entre expertos in-

dependientes externos e interlocutores que pertenezcan al centro en cuestión.

Los antiguos alumnos, los interlocutores sociales interesados deben estar representados en los grupos de exper-

tos para que se tengan en cuenta los criterios sociales y profesionales pertinentes en el procedimiento de evaluación.

Sería necesario fomentar la participación de expertos extranjeros de otro Estado miembro en las evalua-

ciones confiadas a los expertos de otras instituciones de enseñanza superior, que podrían contribuir a la eva-luación dando cuenta de las experiencias de otros países, comparando los procesos observados con las normas

vigentes en el extranjero y favoreciendo la comprensión cultural.»

(31) »Los informes de evaluación de la calidad deben publicarse en una forma adaptada a cada Estado

miembro y constituir un material de referencia satisfactorio para los socios y para la información de los ciuda-danos en general».

23

La administración educativa españolaencargó al Consejo de Universidades 32

coordinar la participación de las institucio-nes españolas en el proyecto europeo 33,

por un doble motivo:De una parte, se podría contrastar la

aplicabilidad de los procedimientos ensaya-dos en el programa experimental; compro-bar, como así ha sido, que la metodología ylas dificultades del proyecto europeo hansido básicamente idénticas a las del Progra-ma Español, si bien la evaluación se hacentrado en la enseñanza y sólo incluye te-mas de investigación y gestión universita-ria directamente relacionadas con losprogramas de estudio.

Y de otra, para adaptar a la situaciónespañola a la guía y el cuestionario de eva-luación europeo, se ha partido de la expe-riencia previa española, lo que permitíacubrir algunos de los déficits del programaexperimental y sobre todo reducir las debi-lidades que hemos señalado en la evalua-ción española.

En España, los objetivos genera-les del proyecto europeo se cubrieronplenamente:

• Se intensificó la sensibilidad sobrela necesidad de la evaluación dela calidad en la enseñanza supe-rior.

• Efectivamente, el Plan Nacional deEvaluación pretende integrarse enuna dimensión europea de evalua-ción de la calidad.

• El proyecto europeo mejoró el pro-ceso español de evaluación de lacalidad.

No todo son puntos fuertes. Tambiénpueden señalarse algunas debilidades:

• El alcance disciplinar puede diluirla globalidad de las instituciones deenseñanza superior.

• Al igual que en el Programa desan-o-liado en España, el carácter experi-mental del proyecto europeo le obligóa limitarse, fundamentalmente, a re-sultados de orden metodológico.

EL PLAN NACIONAL DE EVALUACIÓN

A partir de los resultados del Programaexperimental y de la participación españo-la en el Proyecto Europeo, el Decreto queaprueba el Plan Nacional de Evaluación dela Calidad de las Universidades señala lossiguientes objetivos:

— Promover la evaluación institucionalde la calidad de las universidades.

(32) El Comité Español del Proyecto Europeo estuvo constituido por representantes de la administración

educativa, de la comunidad académica, de organizaciones profesionales, por expertos en evaluación y por pro-

fesionales de reconocido prestigio de las ramas que se han evaluado, y utilizó como infraestructura los servicios

técnicos del Consejo de Universidades.

El grupo encargado de la evaluación externa, estuvo compuesto por expertos-, tanto de evaluación como

de cada rama científico-docente, y utilizó como infraestructura igualmente los servicios del Consejo de Univer-

sidades.

(33) Han participado cuatro universidades. En dos de ellas se evaluaron titulaciones de biblioteconomía

y docuemntación: la Universidad Carlos III de Madrid, de reciente creación y la Universidad de Granada, de

larga tradición.

Y en las otras dos universidades, titulaciones de ingeniería. La Universidad Politécnica de Cataluña, espe-

cializada en estudios de carácter técnico, y la Universidad del País Vasco, de orientación generalista; ambas ins-

tituciones se desenvuelven en un ambiente bilingüe y se crearon hace poco más de 25 años, en el primer

momento de expansión del sistema universitario.

Todas ellas de carácter público, dependen de los gobiernos autónomos de su Comunidad, y, excepto una, -

todas participaron en el programa experimental.

24

— Elaborar metodologías de evalua-ción integradas en la práctica vigen-te en la Unión Europea.

— Proporcionar información objetivaque pueda servir de base para laadopción de decisiones.

«El Plan persigue, persigue promoverla evaluación cle las universidades, paraque adopten acciones concretas orientadasa mejorar su calidad; y proporcionar infor-mación, sobre la calidad de las universida-des, a la sociedad y a las administracionespúblicas» 34.

El método de evaluación coincide ple-namente con el Modelo Europeo de Evalua-ción, formulado en las recomendaciones dela Comisión de las Comunidades Europeas.•Las experiencias del Programa experimen-tal del Consejo de Universidades (1992-1994) y del Proyecto Piloto de la Unión Eu-ropea (1994-1995) han permitido (continuael informe) adoptar un modelo de evalua-ción equivalente al empleado en los paísescon más experiencia».

•Los métodos de evaluación de la cali-dad, (señala la Comisión Europea) son reglasde procedimiento, pero no de contenido.Esto significa que definen el procedimientode evaluación de la calidad (quiénes partici-pan en la misma, en qué condiciones, los as-pectos que serán examinados, etc.)., pero noestablecen los criterios que determinan lacalidad de un centro universitario. De estaforma y de acuerdo con las recomendacio-nes europeas, el empleo de un método co-mún no implica elaborar una clasificaciónjerárquica ya que no permite establecerevaluaciones comparativas.

El plan, con una duración de cincoaños, se concreta anualmente en convocato-rias de proyectos de evaluación, en las quevoluntariamente" pueden participar las Uni-versidades Españolas públicas y Privadas.

El proceso de evaluación se desarrollaconforme a los siguientes elementos:

• Los proyectos de evaluación, presen-tados por las universidades, siguenuna metodología de autoevaluación,evaluación externa mediante revi-sión por pares y concluyen en uninforme público.

• En el marco de cada convocatorialos proyectos de cada universidaddefinen el alcance disciplinar o glo-bal de su evaluación. En todo casola unidad mínima de evaluación esel programa docente tanto para losámbitos de enseñanza, investiga-ción y organización.

• El Consejo de universidades propor-ciona una metodología común y se-lecciona a los evaluaclores externos.

• Las Administraciones educativas fi-nancian específicamente la ejecuciónde los proyectos cle evaluación, se-leccionados en una convocatoriapública por el Consejo de Universi-dades, en función de su viabilidad ycalidad.

• Se elaboran dos tipos de informes,uno referido a la universidad evalua-da y otro anual referido al conjuntodel sistema universitario español.

El informe cle autoevaluación y deevaluación externa de cada universidad in-cluye los siguientes contenidos:

(34) Consejo de Universidades. Informe sobre las resultados de la primera convocatoria del Plan Nacionalde Evaluación de calidad de las Universidades. MEC, 1998.

(35) -El Plan no establece previamente qué universidades, ni qué titulaciones o departamentos deben eva-

luarse en cada una de las convocatroias; opta por que sean éstas las que determinen su alcance al solicitar una sub-

vención, para un proyecto concreto. la evaluación se realiza conforme a las prescripciones establecidas en la Guía

de evaluación, que se configura como un método común, y no como un cuestionario, para una revisión general delas características del sistema universitario-. Consejo de Universidades. Informe sobre los resultados de la prime-ra convocatoria del Plan Nacional de Evaluación de la calidad de las Unitrnidades. MEC, 1998.

25

• Una descripción de las unidadesobjeto de evaluación, y de su con-texto institucional y social.

• Información objetiva sobre los objeti-vos y metas institucionales de la uni-dad evaluada, en relación con ladocencia, la investigación y la gestión.

• Información objetiva sobre los re-cursos, estructura, prácticas y resul-tados obtenidos por las unidadesevaluadas.

• Información sobre la percepciónque la comunidad universitaria tie-ne de la calidad alcanzada por lasunidades evaluadas.

• Un juicio ponderado del Comité res-ponsable de la elaboración del infor-me sobre los puntos débiles y fuertesque se detectan en la evaluación po-niendo en relación los resultados ob-tenidos por las unidades evaluadascon las metas y objetivos propuestosy propuestas de actuación para mejo-rar la calidad y solucionar los proble-mas detectados.

La realización de un proyecto de eva-luación tendrá consecuencias inmediataspara la universidad, en la medida en que leayuda a tomar conciencia de sus posibilida-des, de sus oportunidades de competencia yle permite diseñar planes internos de actua-ción para mejorar su calidad y prestigio.

La difusión de los resultados servirátambién para incrementar el conocimientopor el entorno social de cada universidadsobre los niveles de calidad alcanzadospor esta y de los esfuerzos que realiza paramejorar sus prestaciones y su servicio a launiversidad.

Y las administraciones educativas po-drán utilizar los resultados de la evaluaciónpara diseñar sus planes de actuación enmateria de desarrollo y financiación delsistema universitario.

En la primera convocatoria del PlanNacional de Evaluación de la Calidad hanparticipado 46 universidades públicas y

privadas y de acuerdo con el Informe delConsejo se han cubierto el 95 % de las ac-ciones previstas.

El Pleno del Consejo de Universidadesreunido en diciembre de 1997 valoró positi-vamente el desarrollo del proceso de evalua-ción, si bien consideró que »es susceptible demejorar en posteriores convocatorias». Ajuicio del informe »La debilidad más sig-nificativa ha sido la inadecuación de losdatos disponibles, que ha propiciado dese-quilibrios importantes en la distribucióndel tiempo de las fases del proceso. Enocasiones, la búsqueda de la información,necesaria para el desarrollo de la evaluación,ha consumido gran parte del tiempo que de-bería haberse dedicado a la valoración».

Para el Consejo de Universidades »La si-tuación de la Universidad puede sintetizar-se resaltando sus puntos fuertes ysubrayando sus aspectos débiles. Entre losprimeros: el incremento de la calidad y lacantidad de producción científica o la ca-pacidad para atender una demanda de ense-ñanza creciente, cada vez más diversificada.Y entre los segundos: la indefinición deobjetivos o la continuidad de métodos di-dácticos tradicionales. A los que se sumandificultades estructurales, producto de loscambios organizativos y ventajas derivadasde la diversidad y flexibilidad curricular».

CONCLUSIONES

El Plan Nacional de Evaluación de laCalidad de la Universidades es un instru-mento adecuado que permite valorar e in-corporar propuestas concretas paramejorar la calidad de las titulaciones. y ser-vicios universitarios.

El método de evaluación empleadocorresponde fielmente al Modelo Europeode Evaluación diseñado por la Comisiónde las Comunidades Europeas.

La evaluación de la calidad es una he-rramienta clave de las políticas universita-rias orientadas a desarrollar mecanismos

26

transparentes que sitúen la especializacióny la competitivid.ad en el primer plano delas preocupaciones de la Universidad.

El proceso de evaluación tiene una do-ble vertiente:

• En relación con el exterior del siste-ma universitario su papel principales asegurar que los «clientes . conoz-can la calidad de la oferta de pro-gramas de enseñanza.

• En el interior de la institución uni-versitaria es un instrumento quepermite observar puntos fuertes ydébiles, e impulsar estrategias deacción para conseguir mejoras con-cretas en la calidad de los procesosde enseñanza o de investigación.

Evaluar no es una puesta al día de lastécnicas de control Detrás de la evaluaciónno pueden esconderse la antigua inspec-ción, propia de un modelo de burocraciainaquinal, tampoco insuficiencias finan-cieras ni, por su puesto, una imposible listaen la que se ordenaran las instituciones deenseñanza superior.

La cuestión relevante no es como esta-blecer controles, sino cómo desde la racio-nalidad de trabajo universitario, establecermecanismos que permitan aprovechar lasventajas competitivas de cada institución yde cada programa para incrementar la cali-dad de la Universidad.

DE LA HOMOLOGACIÓN A LA ACREDITACIÓN

Actualmente el principal mecanismode garantía de calidad a disposición delsistema universitario se basa en una lógicaburocrática cle racionalidad maquinal queemplea el binomio autorización homolo-gación. El primero, para la autorizaciónprevia de la administración para la puestaen marcha de las enseñanzas. El segundo,para convalidar los planes de estudios.

Se supone que si se cumplen las con-diciones previstas por el ordenamiento,

que si se cuenta con los recursos y con unplan docente adaptado a las prescripcionesnormativas, necesariamente los resultadosserán de calidad. En la práctica no es fácilcontar con normas suficientemente detalla-das y al mismo tiempo flexibles que permi-tan contrastar la adecuación de losrecursos y del plan, más allá de una com-probación formal.

Sustituir el proceso de homologación-autorización por otro de acreditación,equivale a la transformación progresiva delos mecanismos formales de intervenciónprevia, que ponen a salvo la responsabili-dad del gestor, por instrumentos de audito-ria, que ponen en cuestión la calidad de lagestión.

DE LA AUTOEVALUACIÓN A LA REVISIÓN

El Plan Nacional de Evaluación de laCalidad de las Universidades incorporamecanismos de autoevaluación y evalua-ción externa coherentes con la lógica orga-nizativa del modelo universitario actual. Laexperiencia del Programa Experimental,del Proyecto Piloto Europeo y de la prime-ra convocatorias anuales del Plan Nacionalconfluyen en la dificultad de valorar, deemitir juicios de valor, sobre la calidad deun proceso que no cuenta con objetivosexpresos para contrastar que efectivamen-te se han cumplido.

Desarrollar un instrumento de revisiónde programas exige que las institucionesuniversitarias cuenten con mecanismos in-ternos de valoración de la calidad. En estesentido el impulso del Consejo de Univer-sidades para poner en marcha procesos devaloración interna permite pensar que pu-diera abordarse un sistema de revisión pe-riódica, a través de una agencia públicaindependiente, conectada con las fórmulasde acreditación.

Si hace unos años, la orientación de laenseñanza superior se dirigía a dar res-

27

puesta a una demanda cada vez mayor deescolarización. Hoy, el reto de la políticauniversitaria, en un contexto de universa-lización de la escolarización postsecunda-da, pasa por el incremento de la calidadcomo vía para asegurar la adecuación deloutput del sistema de enseñanza superiora las demandas que le requiere el sistemasocial en su conjunto. Este proceso de re-alimentación requiere contar con mecanis-mos transparentes de evaluación de lacalidad.

Las políticas universitarias o, en gene-ral, las políticas públicas del Estado Socialy Democrático de Derecho, para atender conéxito una variedad de demandas compleja eincrementar los apoyos que el sistema recibede la sociedad, están obligadas a garantizar lacalidad de sus productos. Por eso, necesitancontar con procedimientos de evaluación, notanto como rendimiento de cuentas, sinocomo un instrumento privilegiado que permi-te asegurar la coherencia entre las demandasy las respuestas del sistema.

28