eEN POS DE LA CALIDAD: NOTAS SOBRE UNA NUEVA FRONTERA

PARA EL SISTEMA UNIVERSITARIO ESPAÑOL

MIGUEL Á. QUINTANILLA

El día en que tomé posesión del cargode Secretario General del Consejo de Uni-versidades (14 de noviembre de 1991), elVicesecretario me informó de la conve-niencia de asistir a la clausura de un Semi-nario Internacional sobre la Evaluación delas universidades. Este seminario se estabacelebrando entonces en Almagro y lo orga-nizaba el propio Consejo con la colabora-ción de la Universidad de Castilla laMancha. Así que me presenté en Almagroy presidí la clausura del seminario en cues-tión. Fue mi primer contacto con un grupode expertos nacionales e internacionales alos que debemos en gran parte la introduc-ción en España de las ideas y la metodolo-gía de la evaluación institucional '. Desdeentonces, la puesta en marcha de un siste-ma de evaluación de la calidad de las uni-versidades constituyó uno de los objetivosprioritarios de mi gestión al frente de la Se-cretaría General. La historia de este proyec-to se ha expuesto ya en varias ocasiones,así que no repetiré aquí datos ya amplia-mente difundidos 2 . Sólo diré que éste hasido uno de los proyectos en los que se haproducido, hasta muy recientemente, unamayor continuidad y efectividad en la co-laboración de todos los agentes del sistema

universitario español, incluidas las Admi-nistraciones Central y Autonómicas. Bastedecir, en apoyo de esta afirmación, que lospasos previos (edición de libros, organiza-ción de seminarios, reunión de Almagro)se dieron antes de que yo llegara a la Se-cretaría General del Consejo de Universi-dades. Los últimos se han ciado después devarios cambios al frente de esta institución,incluso al frente del Gobierno de la Na-ción, y cuando ya se habían transferido lascompetencias en política universitaria a to-das las Comunidades Autónomas.

Durante los años siguientes a Almagro,ya bajo mi responsabilidad, se puso enmarcha el Plan Experimental de Evalua-ción (1992-94) y se inició la colaboracióndel Consejo en el Proyecto Piloto Europeo(1995). Tras mi dimisión en mayo de 1995,pude asistir a la presentación de las con-clusiones finales de este proyecto en lasPalmas, coincidiendo con el final de la Pre-sidencia Española de la Comisión Europea.Mi sucesor al frente de la Secretaría Gene-ral, Francisco Michavila, se propuso desdeel primer día culminar la puesta en marchadel Plan Nacional de Evaluación de la Ca-lidad de las Universidades y me pidió queyo mismo redactara el documento que ser-

(I) Universidad de Salamanca. Miembro del Comité Técnico del Plan Nacional de Evaluación de la Cali-dad de las Universidades.

(1) Una referencia obligada es la obra de: DE MIGUEL, hioRA y RODRIGUEZ (eds.) (1991).(2) Ver entre otros RODRIGUEZ (1998).

Revista de Educación, núm. 315 (1998), pp. 85-95

85

viría para articular el acuerdo del Consejo.Fue un honor y tina satisfacción que deboagradecerle, aunque también debo recono-cer que, en aquel momento, empezando,como estaba, a disfrutar de las mieles de lavida académica, después de una buena can-tidad de años bregando en el Parlamento yen la Administración, no fue un encargo fácilde cumplir ". Fue el mismo Michavila quien,con admirable tesón, logró articular el acuer-do del Consejo, redactar el Decreto de crea-ción del Plan y llevar cabo, en muy pocosmeses, todas las iniciativas necesarias para re-solver la primera convocatoria del mismo 4.

Desde entonces el proceso ha continuadopor su propia inercia, contando siempre conel consenso de todos los actores implicadosen la política universitaria española, a pesarde que, tras la dimisión de Michavila, en unbreve espacio de tiempo se han sucedidodos equipos diferentes al frente de esta polí-tica 5 . El año 1997 concluyó, sin embargo, sinque el Gobierno hiciera pública la nuevaconvocatoria del Plan, prevista para 1997-98,a pesar de que ya ha sido aprobada por elPleno del Consejo y de que sigue en vigor elDecreto que obliga a su convocatoria '.

Pues bien, dejando a un lado las vici-situdes posteriores, por las que ha pasadoeste ambicioso proyecto que se gestó enAlmagro, me propongo en lo que sigue ex-poner algunas reflexiones personales so-

bre las ideas y experiencias que han servidopara concebir, organizar y alentar el procesode implantación de la evaluación de la cali-dad de las universidades en España.

Centraré mi exposición en tres puntos:1) Las transformaciones del sistema univer-sitario que sirven de marco a la evaluacióninstitucional. 2) El concepto de calidad enla evaluación de las universidades. 3) Lametodología de evaluación institucional.

DE LA LRU A LA UNIVERSIDAD DE MASAS

El conjunto de transformaciones quese han operado en el sistema universitarioespañol durante los últimos 15 años sepuede resumir en una sola expresión: enestos años se ha consolidado el cambio deuna universidad tradicional a una universi-dad de masas 6• Se trata de un procesoque, como en el resto de los países occi-dentales, se inició en los años sesenta,pero que en España se ha producido ' concierto retraso y se ha concluido en los 90.Algunos de los rasgos con los que pode-mos caracterizar el modelo universitario dela universidad de masas son los siguientes:

• Una amplia capa de la población(en torno al 20 % de la cohorte deedad correspondiente) accede a losestudios universitarios.

(*) NOTA DEL AUTOR: Durante la Convención de las pruebas de este artículo el BOE n. º 101 de 28 de

abril de 1998 ha publicado la Orden de 20 de abril de 1998 de convocatoria para el año 1998 del Plan Nacional

de Educación de Evaluación de la Calidad de las Universidades.

(3) De hecho, debo reconocer aquí, como descargo de conciencia, que si no hubiera sido por la insisten-

cia de mi buen amigo Francisco Michavila y la labor que, por encargo suyo, ejerció mi otro buen amigo, José

María Luxán, Vicesecretario de Estudios del Consejo, seguramente no hubiera cumplido el encargo en tiempoútil. Terminé de redactar el mencionado documento en mi propia casa de Salamanca, bajo la estricta vigilancia

de José María Luxán que se vino una tarde desde Madrid con una serie de ideas para incorporar al texto y con

un mandato expreso de Michavila: no volver a Madrid sin el texto definitivo.

(4) Miainvii.A y CALVO (1998) ofrece amplia información sobre las principales problemas, actuaciones y

proyectos de la política universitaria de esta etapa.

(5) Con frecuencia, la .inercia. de la Administración suele tener nombre y apellidos. En este amo es de

justicia señalar que la presencia de José María Luxán y Nuria Gamma en la Vicesecretaría de Estudios del Con-

sejo ha sido decisiva para garantizar la ejecución del PNECU hasta el momento.

(6) QUINTANILLA (1998).

86

• Se incorporan a la Universidad unagran variedad de estudios, tantoacadémicos como profesionales,que anteriormente no existían o notenían carácter universitario.

• La Universidad es una instituciónabierta a su entorno social, con enel que mantiene intensas relacionesde prestación de servicios, ligadosno sólo a la enseñanza formal sinotambién a la investigación, la for-mación continuada, la colaboracióncon las empresas, etc.

La universidad de masas se contrapo-ne tanto a la universidad elitista como a laque podríamos llamar universidad de «fun-cionarios». Desde luego, «elitista . y .funcio-narial, no son sinónimos, pero a efectos decaracterización de la universidad tradicio-nal en España, se pueden considerarcoextensivos. En la actualidad no conside-raríamos modelo de universidad elitista auna universidad pública centroeuropea omediterránea, sino más bien a algunas mi-noritarias instituciones académicas privadasde Estados Unidos o a algunas prestigiosasuniversidades tradicionales británicas. Perola universidad «funcionarial» tradicional cen-troeuropea y la universidad elitista angloa-mericana tienen algo en común: forman casiexclusivamente a grupos muy reducidos deciudadanos, de los que se nutren los altoscuerpos de la administración pública, delas profesiones públicamente regladas yprotegidas y de las grandes empresas, unconglomerado de grupos sociales, porcierto, que a veces resulta difícil diferen-ciar. Frente a este modelo, la universidadde masas forma a amplias capas de la po-blación, en todo tipo de competencias pro-fesionales y académicas y sus egresadosejercen muy diferentes funciones profesio-nales, tanto en el sector público como, de

forma mayoritaria, en el privado. Además,en una sociedad con un sistema universitarioque responde al modelo de la universidad demasas, la correspondencia tradicional entretitulaciones académicas y posiciones en elmercado de trabajo se debilita, dando lu-gar a fenómenos de desempleo y subem-pleo de titulados superiores, y de aparentesobrecapacitación de una buena parte dela fuerza laboral del país 7.

Estas transformaciones se producencon cierta rapidez, lo que genera desajus-tes en el sistema universitario, tanto desdeel punto de vista organizativo como finan-ciero. Pero sobre todo nos interesa aquí re-saltar las consecuencias que estos cambiostienen para la determinación de los crite-rios de calidad en la Enseñanza Superior.Por el momento, señalemos una primeranota característica: en la universidad tradi-cional la calidad es un supuesto, no unproblema; sólo en la universidad de masasse plantea la calidad como un problemaespecífico.

CALIDAD Y EVALUACIÓN EN LAS EM-PRESAS Y EN LA UNIVERSIDAD

El movimiento de la calidad en la ges-tión de las organizaciones tiene unos orí-genes bien conocidos en las técnicas degestión empresarial y ha dado lugar a unaingente y valiosa literatura, e incluso atodo un sector de actividad de agencias yconsultores que prestan a las empresas ser-vicios de auditoría, asesoramiento, evalua-ción y acreditación o certificación decalidad. La expresión más significativa deeste amplio «movimiento de la calidad , esla llamada Gestión de la Calidad Total (To-tal Quality Management). Estas y otras téc-nicas de gestión bien conocidas están muyrelacionadas histórica y conceptualmente

(7) SAN SEGUNDO (1998) y NIORA (1998) son referencias imprescindibles para demostrar que, a pesar detodo, invertir en educación superior es rentable y que la Universidad, en expresión de Mora, es «una fábrica deocupados» no de parados.

87

con las técnicas de control de calidad de laproducción en los procesos industriales(Peña y Prat, 1986).

La gestión de la calidad total tiene suorigen en las ideas de Demming 8 , quepropone un cambio considerable en la fi-losofía del «control de calidad«. La idea bá-sica es muy simple: en vez de controlar aposteriori los defectos de la producción ycorregir el proceso cuando éste se desvíade los límites de tolerancia admitidos, pon-gamos el énfasis en cada paso del procesopara reducir las posibilidades de error.Pero llevar a la práctica esta idea sencillarequiere todo un cambio de perspectiva enla gestión empresarial en la que se han idoimplantando principios nuevos como laorientación al cliente, la mejora continua,la visión sistémica de la calidad de la pro-ducción, etc.

El éxito de las técnicas de gestión decalidad total se debe a factores diversos ycomplejos, que tienen que ver con las ca-racterísticas de la economía actual y conlas transformaciones tecnológicas que haexperimentado el sistema de producciónen la segunda mitad del siglo XX. Uno delos factores de ese éxito, sin embargo, esalgo que todos los expertos reconocen yque, por desgracia, no es tan fácil de for-malizar: se trata del cambio cle «cultura« or-ganizativa o de actitud que la GCTrequiere. Las técnicas de control estadísticode la calidad de una línea de producciónson independientes de la mentalidad delos trabajadores que intervienen en el pro-ceso o de los controladores que realizanlos muestreos y las mediciones. En cambiolas técnicas de gestión de la calidad totalno se pueden llevar a cabo sin una impli-cación personal de los agentes involucra-dos en ellas. Esta es una de las razones dela dificultad de su implantación (y de la fa-

cilidad con la que estas técnicas puede de-generar en rutinas sin valor), pero tambiénde su éxito, y de esa apariencia de «movi-miento ideológico» que ofrece la idea deCalidad Total, cuando es expuesta por susapóstoles más entusiastas.

Las técnicas de gestión de la calidadpueden extrapolarse con cierta facilidaddesde la empresa industrial a cualquiertipo de organización de servicios, tanto pú-blica como privada. En la práctica, sin em-bargo, cuando se inician programas degestión de calidad en los organismos pú-blicos aparecen problemas específicos,tanto de carácter conceptual como meto-dológicos, que no siempre se resuelven fá-cilmente. En el caso de las universidadesestos problemas están bastante bien locali-zados 9 . Entre los problemas conceptualesseñalaré dos: las dificultades para transferirel concepto de calidad empresarial a launiversidad y las dificultades para identifi-car claramente al «cliente» del servicio de laenseñanza superior. Los problemas de di-seño metoclológico tienen que ver con lanecesidad de articular diferentes dimensio-nes y niveles en la evaluación de la cali-dad de las universidades y de encajar lametodología de la evaluación de la cali-dad con otras prácticas usuales en la culturaacadémica.

CALIDAD Y EXCELENCIA ACADÉMICA

El concepto de calidad es uno de esosque todo el mundo entiende aunque nadiesabe definirlo. En el contexto de la Gcr, lanoción de calidad tiene dos dimensionesfundamentales: la calidad del producto y lacalidad del proceso de producción. La cali-dad del producto depende, por una parte,

(8) DEMINO (1986). Una presentación ágil y entusiasta del inovimiento de la Calidad Total en Drummond(1995) y un manual técnico y riguroso: RAO et al. (19%).

(9) PrNA (1997). Más información en el monográfico de Boletín de Esitidios Económicos, Vol. LII, n. 161(agosto, 1997).

88

de las especificaciones definidas a travésdel diseño y, por otra, del nivel de cumpli-miento efectivo de esas especificaciones,que a su vez depende del proceso de pro-ducción. El resultado final es el conjuntode características que definen el productoconcreto que se entrega al mercado y queson responsables del nivel de satisfacciónque alcanza el cliente.

Hay diferencias notables entre el enfo-que de la calidad total y el enfoque tradi-cional del control de calidad. El objetivode que todos los productos que se ponenen el mercado respondan a las especifica-ciones del diseño, dentro de unos márge-nes cle tolerancia preestablecidos, sepuede conseguir utilizando técnicas decontrol para eliminar los productos defec-tuosos. Pero el objetivo de la gestión de lacalidad es, por una parte, anticiparse a laaparición de defectos reorganizando losprocesos de manera que se pueda reducirel número de defectos que se producen y,por otra parte, aumentar la calidad de dise-ño teniendo siempre a la vista la máximade la satisfacción del cliente. Es el objetivode mejora continua, como alternativo alcontrol de fallos.

A partir de estas ideas se pueden con-cretar algunas condiciones o principios bá-sicos de la calidad que seleccionamosteniendo en cuenta su posible significaciónen relación con la calidad de las universi-dades:

• Diseño y especificación precisa de lascaracterísticas del producto. Unacondición previa para la calidad esdeterminar claramente cuáles son losobjetivos que se desea alcanzar 1°.

• Incorporación al diseño de atribu-tos satisfactorios para el cliente. Hayque proponerse objetivos intrínse-

camente valiosos, capaces de satis-facer a los destinatarios de nuestraactividad.

• Ajuste del producto final a las especi-ficaciones previstas: no se puedendefraudar las expectativas del cliente.

• Estabilidad de las características delproducto: la calidad no puedeser casual y efímera, sino robustay duradera.

• Hay que definir claramente los pro-cesos a seguir para la producción ola prestación de un servicio. La con-dición imprescindible para evitarerrores es definir claramente lo quese debe hacer.

• Eficiencia en la producción: reducirlos desperdicios innecesarios y evi-tar las pérdidas de tiempo. Hacerlas cosas bien.

• Aprovechar las oportunidades demejora.

• En el caso de los servicios: cuidar larelación personal y directa con elcliente.

Uno de los obstáculos para aplicar es-tos principios de gestión a las universida-des, proviene de las dificultades queexisten para poner en relación el conceptode calidad empresarial que subyace a elloscon la percepción de la excelencia acadé-mica que predomina en la universidad.

Para empezar en las teorías de la ges-tión de la calidad, el concepto de calidades siempre relativo a la satisfacción delcliente. En el caso de los organismos queprestan servicios públicos no es difíciladaptar esta definición desde el punto devista de la satisfacción de usuarios, etc. Porejemplo, la calidad de la prestación de unservicio de salud en un hospital sí está di-rectamente relacionada con la satisfacción

(10) Como información de contraste, diremos que uno de los déficits más frecuentemente advertidos en

los informes de evaluación de las universidades que han participado en el Plan Nacional consiste en que noexisten definiciones precisas de los objetivos de las titulaciones evaluadas ni de la estrategia que deben seguirlos departamentos ni de la misión que asume la universidad.

89

el «cliente», es decir, del paciente o usuariodel servicio: si entra enfermo y sale curadoestará más satisfecho que si entra enfermoy no se cura. En general, los atributos de lasalud y la enfermedad en la mayoría de loscasos están perfectamente definidos tantode forma técnica objetiva, como con rela-ción al nivel de satisfacción del usuario.Una situación similar aunque algo máscomplicada se produce en los nivelespreuniversitarios de enseñanza: el conjuntocle saberes y habilidades que los alumnostienen que adquirir y que los profesoresdeben transmitir están definidos previa-mente y se puede evaluar con cierta preci-sión el grado de ajuste entre los objetivospretendidos y los resultados alcanzados.Salvando todas las distancias que se supo-ne existen entre unos procesos y otros, po-dríamos decir que los alumnos en elsistema educativo no universitario se pue-den considerar como «materia prima» quehay que transformar, mientras que los padresson los verdaderos clientes de la institucióneducativa. En el caso de la universidad elproblema es más complejo ". Para empe-zar, la mayoría de los profesores universi-tarios (y en todo caso la totalidad de lasinstituciones universitarias) se consideran así mismos una autoridad definitiva e inape-lable en cada una de las especialidadescientíficas y académicas 12 . De manera queno existe un criterio de calidad externo eindependiente del que la propia institución(o el conjunto del sistema universitario ode sus profesores) define. Esto seguramen-te explica, aunque no justifica, algunos he-chos bastante comunes en muchos cursosuniversitarios: no se usan libros de texto, aveces ni siquiera se especifica de antema-no el programa de las asignaturas, en todo

caso es frecuente que no se cumpla todo elprograma y que cuando varios profesoresimparten la misma asignatura, rara vezcoincidan en sus contenidos y no digamosya en sus enfoques, lo que hace difícil-mente comparable el nivel de «calidad» decada una de las diferentes prestaciones delo que en teoría debería ser un mismo ser-vicio. Pero lo peor no es esto: lo peor esque todos estos evidentes rasgos de faltade calidad, en la universidad no se suelenpercibir como tales, sino más bien al con-trario, como componentes esenciales de laexcelencia académica: no es que la ense-ñanza de tal o cual materia por tal o cualprofesor esté mal diseñada y mal implemen-tada, es que lo que él hace es por definiciónel canon de excelencia precisamente en esamateria que se supone que él domina en elmáximo nivel de competencia esperable.

La noción de cliente resulta tambiénbastante difícil de incorporar a la culturauniversitaria. No se trata sólo de que el tér-mino tiene connotaciones mercantiles quelas tradiciones universitarias no son propen-sas a reconocer, sino que incluso desde unpunto de vista puramente conceptual, resul-ta bastante difícil identificar los roles decliente y proveedor de servicios en el senode la universidad. Por ejemplo, en la uni-versidad está muy extendida la idea de queel estudiante es una parte de la institucióny, desde ese punto cle vista, resulta ilógicoconsiderarle como un usuario o cliente ex-terno. Por otra parte, existe bastante confu-sión respecto al papel y la importancia quetienen las diferentes demandas socialesque se dirigen a la universidad: las admi-nistraciones públicas, las empresas, las fa-milias, etc. Finalmente se puede considerarque el proceso de enseñanza y aprendizaje

(11) En el trabajo de ÁLVAREZ y RODRIGUEZ (1997) se hace una detallada exposición de las diferentes posi-

ciones sobre la consideración de los estudiantes como -clientes- de la universidad.

(12) Y en cierto modo lo son. Colectivamente, la última instancia de apelación en el campo científico es

la propia comunidad científica internacional; e individualmente, en el seno de cada institución resulta general-

mente difícil discutir el criterio del especialista local en un área científica sin echar mano del juicio de sus pro-

pios pares de dentro o de fuera de la institución. Ver AlnuntÁs (19%).

90

que se lleva a cabo en la universidad es unproceso interactivo, en el que el usuarioaparente (el estudiante) es en realidad co-productor del servicio (Álvarez y Rodrí-guez, 1997).

Todos estos problemas para identificarlos parámetros básicos de la gestión de lacalidad en las universidades tienen que vercon una percepción de la universidad, tan-to interna como externa, propia de la uni-versidad tradicional, pero que no secorresponde con el modelo actual de launiversidad de masas. En efecto, en el mo-delo ideal de la universidad tradicional lacalidad de la enseñanza se daba por su-puesta: la universidad es la excelencia pordefinición en el plano académico y cientí-fico. La satisfacción del cliente no depen-día, en esencia, ni del diseño del servicio aque accedía, ni del nivel efectivo de cali-dad alcanzado en su prestación, ni de lacalidad del proceso de enseñanza. La satis-facción quedaba garantizada por el meroacceso a esa prestación. Es un fenómenobien conocido, y que no tiene nada de ex-traño: para muchas personas, el mero he-cho de entrar en un club altamenteselectivo es un motivo de satisfacción mu-cho mayor que el que proporciona la sumade los servicios efectivos que se obtienenen él. La universidad tradicional se com-portaba socialmente como un club muy se-lecto: entraban pocos en él y los que lohacían, si realizaban el esfuerzo que se es-peraba de ellos y lograban permanecer eltiempo suficiente para obtener la gradua-ción, tenían reservados los puestos directi-vos de la Administración y de la sociedad.Ante esta perspectiva la calidad efectiva delo que allí dentro les ofrecieran no teníamucha importancia. Lo que la universidadofrecía era, por definición, la excelenciaacadémica. En este contexto no tendríaningún sentido considerar al estudiantecomo un usuario o cliente de la instituciónuniversitaria, aunque sí tendrá cierta im-portancia vigilar que la institución cumplacon las expectativas que sobre ella tienen

sus verdaderos «clientes.: las autoridadespúblicas que la financian, las corporacio-nes profesionales o funcionariales que vana recibir a los graduados universitarios yque esperan de ellos ciertos niveles de for-mación y ciertas pautas de comportamien-to, etc. Todo esto es compatible con unaorganización interna de carácter colegial,basada en la autonomía de la institución,en la participación democrática o la concer-tación corporativa y en una cierta relación depaternalismo «suave. de los profesores ha-cia los estudiantes.

Pero en la universidad de masas todaslas bases de este escenario se vienen aba-jo. En primer lugar, el acceso a la universi-dad por sí mismo no es un valor seguro niuna garantía de satisfacción. Aunque el tí-tulo universitario sigue teniendo gran pres-tigio social y elevada rentabilidadeconómica (San Segundo, 1998 y Mora,1998), ha perdido el valor garantizado queantes tenía. Ser universitario ahora no essuficiente; además, hay que estudiar en uncentro de prestigio, una carrera con bue-nas salidas profesionales y conseguir unbuen expediente académico: el nivel desatisfacción del estudiante va a dependercada vez más de cada uno de estos facto-res que del hecho de que tenga o no un tí-tulo universitario. Son síntomas de estoscambios en la percepción de la calidad dela universidad: el dramatismo, en gran par-te exagerado, de las calificaciones de laspruebas de selectividad (ver Tiana, 1998 yLatiesa, 1989); el debate sobre el nivel desatisfacción de las primeras opciones decarrera que eligen los estudiantes; la cre-ciente preocupación por la movilidad estu-diantil; los programas de intercambiointernacionales, etc.

Lo mismo ocurre con el papel del es-tudiante como cliente de la institución. Escierto que el servicio que presta la Univer-sidad al estudiante tiene algunas caracterís-ticas especiales. Pero puesto que la calidadhomogénea no está ya garantizada, el estu-diante se comporta cada vez más ante la

91

institución como el usuario de un serviciocuyo nivel de satisfacción va a dependerde parámetros equivalentes a los de cual-quier otro servicio: el diseño del producto,el nivel de cumplimiento de las especifica-ciones, la forma de su prestación, etc.

En este contexto las técnicas de ges-tión de la calidad aplicadas a las universi-dades tienen pleno sentido. Se trata deadoptar una perspectiva activa en la perse-cución de objetivos de calidad en lo querespecta a la prestación del servicio porparte cle le universidad, con la mismaorientación que se puede adoptar en cual-quier otra actividad empresarial. Los están-dares de la universidad tradicional no sonviables en el nuevo contexto. Así que, siqueremos evitar la degradación de la cali-dad universitaria, sólo hay una salida:adoptar iniciativas explícitas de gestión dela calidad que nos permitan conseguir coninteligencia y una gestión adecuada lo quela inercia del sistema ya no nos puede ga-rantizar. Una de estas técnicas es la evalua-ción institucional puesta en marcha por elPlan Nacional.

CALIDAD Y EVALUACIÓNINSTITUCIONAL

Una condición necesaria para que seaviable la introducción sistemas de gestión dela calidad en las universidades es que se ge-nere una nueva cultura académica capaz deasumir la necesidad de esta búsqueda activade la calidad. Y el paso fundamental en estadirección consiste en lograr que la comuni-dad académica perciba la conveniencia yla necesidad de evaluar el rendimiento dela propia institución como tal.

En cierto modo esta metodología esun híbrido de las técnicas de gestión de lacalidad y de las prácticas de evaluaciónacadémica. Y por ello mismo se tienen queenfrentar a críticas y dificultades que pro-vienen de ambos frentes: el gerencial y elacadémico.

Desde el punto de vista de la gestiónde la calidad las universidades puedenconsiderarse —ya lo hemos visto— como or-ganizaciones complejas cuya gestión debeguiarse por principios d eficiencia y cali-dad equivalentes a los que se pueden apli-car a cualquier otra empresa de servicios.Es posible que la enseñanza universitaria yla investigación tengan algunas peculiari-dades, como las que hemos señalado, peroen todo caso lo importante para conseguirmejorar la calidad reside en técnicas degestión y de organización que se puedenaplicar lo mismo a la producción de cono-cimientos o a procesos de aprendizaje quea cualquier otra prestación de servicios.

Desde el punto de vista delas,tradicio-nes académicas de evaluación, la dificultadestá en otra parte. La comunidad académi-ca está muy acostumbrada a los procesosde evaluación, pero se trata siempre deevaluación de individuos, bien sea de losestudiantes por sus profesores, bien de losprofesores investigadores por sus pares obien, incluso, de los profesores por susalumnos. Lo que resulta difícil de percibir esla posibilidad y el interés de una evaluaciónde la institución, del sistema como tal, he-cha con participación de todos los agen-tes y referida no sólo a los aspectosgenerales de la gestión universitaria, sino alos procesos específicos de la enseñanza yla investigación.

De manera que la situación podría de-finirse como un dilema: o bien enfocamosla evaluación institucional hacia la gestióngeneral de la universidad como una orga-nización compleja a la que se pueden apli-car criterios de calidad total similares a losde cualquier empresa u organismo de pres-tación de servicios de interés público, o bienenfocamos la evaluación hacia los procesosde enseñanza e investigación universitaria,pero entonces la metodología debe seradaptada a la evaluación o control del com-portamiento de los individuos (profesorese investigadores) y no de la institucióncomo tal.

92

La existencia de este dilema explica laproliferación de enfoques y metodologíasde evaluación en la universidad. Todasellas podrían ordenarse en un continuo: alprincipio podríamos situar la aplicación detécnicas de control y de gestión de la cali-dad sobre los servicios no académicos ysobre la gestión administrativa de la uni-versidad (más próximo al modelo de laCRE 1995 o de la EFQM 1997); al final deeste continuo se situaría la aplicación detécnicas evaluadoras del profesorado me-diante encuestas de satisfacción realizadasa los alumnos. En el medio de ambos ex-tremos está la metodología de evaluacióninstitucional del PNECU, con sus propiasambigüedades y vacilaciones.

En efecto, en el propio diseño de lametodología de la evaluación institucionalexisten indicios que nos permiten pensarque el conflicto de estos dos enfoquescontrapuestos no está completamente re-suelto y que solo la experiencia de su apli-cación en la primera fase del Plan nos hapermitido descubrir. He aquí algunos deesos «indicios»:

• Aunque el objetivo de la evaluaciónes la institución, la unidad básica deevaluación que se elige es en reali-dad un proceso (una titulación).

• La unidad de evaluación de la inves-tigación sí es institucional (el Depar-tamento) pero en la Guía se definecon ambigüedad y de forma subordi-nada a la evaluación cíe las titulacio-nes. De hecho algunas universidadeshan limitado esta parte de la evalua-ción a la actividad investigadora delos profesores involucrados en la co-rrespondiente titulación.

• El protocolo de evaluación de lagestión y los servicios es doble yfluctúa entre la incorporación delmodelo de la EFQ1,1, que sería más

apropiado para la evaluación de lagestión de servicios generales y unametodología más orientada a laevaluación participativa de las acti-vidades del Personal de Administra-ción y Servicios involucrado en elfuncionamiento de una titulación.

• Por último, aunque la metodologíade evaluación es básicamente cuali-tativa, se utilizan indicadores cuan-titativos, pero se renuncia a diseñarun modelo o sistema de compara-ción que podría servir como refer-encia objetiva para la evaluación delas instituciones.

En mi opinión es deseable y previsibleque estas ambigüedades se vayan desha-ciendo en un futuro inmediato. Para facilitarel proceso de depuración metodológica,puede ser útil tener en cuenta las siguien-tes consideraciones:

• El objetivo de la evaluación es lamejora de la calidad global de launivelsidad. Ésta se compone delos siguientes elementos 13:

— Un plan integrado de calidad apli-cado a todos los niveles de la gestiónuniversitaria y a todos los serviciosque presta, asumiendo con todaslas consecuencias el enfoque de lasatisfacción de los clientes de losservidos universitarios (en especialde los estudiantes y de las institucio-nes sociales que demandan servi-dos de la universidad).

— Un sistema de evaluación de la ca-lidad de la enseñanza y la investi-gación basado en una metodologíamixta de evaluación interna, indica-dores objetivos y auditoría externa.

• La calidad de la universidad es elresultado de agregar los niveles de

(13) APODACJI y Giuto (1997).

93

calidad alcanzados en cada uno delos servicios que presta.

• Es preciso avanzar en la definición demodelos de calidad institucional quepermitan comparar los niveles alcan-zados por las distintas instituciones.

• Es preciso avanzar en un sistema dehomologación o acreditación deservicios de calidad de las universi-dades que sirva de estímulo para in-troducir enfoques de mejora de lacalidad en la gestión universitaria yfacilitar la emulación competitivaentre las instituciones (Luxan,1998).

Estos principios están implícitos en losdocumentos que han servido par definir elPlan Nacional, pero es preciso desarrollar-los más ampliamente en futuras revisionesde su metodología, de forma paulatina,pero decidida. El resultado final será sinduda que las universidades españolas po-drán disponer de una metodología cle ges-tión que les ayudará a dar respuestasadecuadas a los retos de la calidad y la ex-celencia que tiene que afrontar un sistemauniversitario moderno y abierto a toda lasociedad, como es el actual. Quizá, poruna vez, la Universidad Española va al mis-mo paso, sino por delante que el resto deEuropa: las iniciativas más recientes cle laComisión y del Parlamento Europeo estánproponiendo el desarrollo de un programade evaluación de la calidad de las universi-dades europeas con la misma metodologíay orientación que estamos aplicando aquí.

BIBLIOGRAFÍA

ÁLVAREZ, M. y RODRÍGUEZ, S.: »La calidad to-tal en la Universidad: ¿podemos hablarde clientes?», Boletín de Estudios Eco-nómicos, Vol. VII, n. 161, pp. 333-352.

APODACA, P. y GRAO, J.: .1-lerra mientas degestión para el cambio y la mejora ins-titucional en la Enseñanza Superior».

En: APODACA, P. y LOBATO, C. (eds.)(1997): Calidad en la Universidad:Orientación y Evaluación. Barcelona,Laerttes, pp. 194-205, 1997.

DEMMING, E. W.: Out of the crisis. Cambrid-ge MA, MIT, 1986.

DRUMMONG, E.: Qué es hoy la calidad total:el movimiento de la calidad. Bilbao,Editorial Deusto, 1995.

European Foundation for Quality Manage-ment (EFQM): Autoevaluación 1997.Directrices para el Sector Público. Ma-drid, Club Gestión de Calidad, 1996.

LATIESA, M.: «Demanda de educación supe-rior: evaluaciones y condicionamien-tos de los estudiantes en la elección decarrera». En: Revista Española de Inves-tigaciones Sociológicas, n. 46, pp. 101-139, 1989.

LUXÁN, J. M.: »El modelo universitario espa-ñol». En: LuxÁN, J. M. (ed.): Política yreforma universitaria. Barcelona, Ce-

. „ .decs Editorial, 1998.MÁLTRÁs, B.: Los indicadores bibliomét ricos

en el estudio de la ciencia. Fundamen-tos conceptuales y aplicación en políti-ca científica. Salamanca, Universidad,Facultad de Filosofía, Departamentode Filosofía, Lógica y Filosofía de laCiencia. (Tesis doctoral), 1996.

MICIIAVILA, E y CALVO, B.: La Universidad hoypropuestas para una política universita-ria, Madrid, Síntesis, 1988.

DE MIGUEL, M.; MORA, J. G. y RODRÍGUEZ, S.(eds.): La evaluación de las institucionesuniversitarias. Madrid, Consejo de Uni-versickieles, Secretaría General, 1991.

MORA, J. G.: «Universidad y trabajo». En: LU-XAN, J. M. de (ed.): Política y reformauniversitaria. Barcelona, Cedecs Edi-torial, 1998.

PEÑA, D.: «La mejora de la calidad en laeducación: reflexiones y experiencias».En: Boletín de Estudios Económicos,Vol. VII, n. 161, pp. 207-226, 1997.

PEÑA, D. y PRAT, A.: Cómo mejorar la ca-lidad. Madrid, Manuales del IMPI,1986.

94

QUINTANILLA, M. A.: «Nuevas ideas para launiversidad». En LUXÁN, J. M. (ed.): Po-lítica y reforma universitaria. Barcelo-na, Cedecs Editorial, 1998.

RAO, A. et al.: Total Quality Management.New York, John Wiley & sons, 1996.

RODRÍGUEZ, S.: »La evaluación institucionalen España: análisis y planteamientosfuturos». En LUXÁN, J. M. de (ed.): Polí-tica y reforma universitaria. Barcelo-na, Cedecs Editorial, 1998.

SAN SEGUNDO, M. J.: »Universidad y econo-mía: ¿son rentables los estudios supe-

riores en España?». En LUXÁN, J. M.(ed.): Política y reforma universitaria.Barcelona, Cedecs Editorial, 1998.

TIANA, A.: «La demanda de estudios univer-sitarios y el acceso a la universidad».En LUXÁN, J. M. (ed.): Política y refor-ma universitaria. Barcelona, CedecsEditorial, 1998.

VUGHT, F.v. y WESTERHEIJDEN, D.: The CREInstitutional Quality Evaluation Pro-gramme: Background, Goals and Pro-cedures. Génova, CRE. (Informe),1995.

95