CUADERNO DE PLANEACIÓN UNIVERSITARIA

3ª. Época –Año 6, Núm. 1, Mayo 1992

LA CALIDAD DE LAS INSTITUCIONES DE EDUCACIÓN SUPERIOR.

SU EVALUACIÓN Y SU PROMOCIÓN

Felipe Martínez Rizo

UNIVERSIDAD NACIONAL AUTONOMA DE MÉXICO

Dirección General de Planeación, Evaluación y Proyectos Académicos

Primera edición, 1992

ISSN 0188-445 X

1

ÍNDICE

PRESENTACIÓN

PROLOGO

PRIMERA PARTE ESTADO DE LA CUESTIÓN

1.- Planteamiento del tema

2.-Antecedentes históricos

3.-Tipos de evaluación según la metodología utilizada

4.-Tipos de evaluación según quien la realiza

5.- Los propósitos de la evaluación

Referencias

SEGUNDA PARTE. BIBLIOGRAFIA COMENTADA

1.- Introducción

2.- Presentación General

3.- Presentación sistemática

TERCERA PARTE. HIPOTESIS Y SUGERENCIAS PARA LA EVALUACIÓN DE LA CALIDAD DE LAS IES EN MÉXICO

1.-Un primer acercamiento impresionista

2.-Hacia una evaluación más precisa

Referencias

CONCLUSIONES

2

PRESENTACIÓN

La evaluación constituye un campo de investigación y de conocimientos de los fenómenos educativos, representa por tanto un proceso de importancia fundamental para el desarrollo de las funciones de la educación superior. La trascendencia de su ejercicio estriba en el sustento que proporciona, tanto para la comprensión de las acciones educativas por parte de los diversos sectores en que participa, como para la toma de decisiones informada, oportuna y orientada al mejoramiento de la educación. En un contexto nacional y mundial de cambios vertiginosos de la vida social, económica y política, así como de un desarrollo sin precedentes de la ciencia, la cultura y la tecnología, resulta imprescindible, en el ámbito de la educación superior en México, la aplicación de la evaluación como una herramienta que, permanente y sistemáticamente, permita identificar las características del desarrollo de las funciones educativas, conocer los problemas que éstas enfrentan, estimar con criterios apropiados los resultados que se alcanzan y proveer de información para fundamentar la opción de medidas que contribuyan a optimizar dicho desarrollo. En este sentido, la evaluación cobra importancia significativa en la vida de las instituciones de educación superior. La obra que se presenta brinda un panorama de diferentes conceptualizaciones que se han generado en torno a la evaluación de la educación superior -conceptualizaciones que han sido enriquecidas con la amplia experiencia del autor en este campo-, así como información valiosa relativa al desarrollo histórico de este fenómeno y a los tipos de evaluación existentes; sus fines, metodologías, aplicaciones, alcances y usuarios, amén de otras características que se deben tomar en consideración cuando se aplica un proceso evaluativo. Asimismo, se incluye una guía muy amplia que permite profundizar en el tema a aquellos vinculados o interesados por el proceso evaluativo. El documento que se expone es el resultado de una encomiable labor de búsqueda revisión y compilación de conocimientos que, en materia de evaluación, están orientados a apoyar teórica y metodológicamente el trabajo en la materia. El doctor Martínez Rizo es originario de Aguascalientes. Realizó sus estudios de sociología en la Universidad Católica Lovaina. Desde 1974 se desempeña como profesor-investigador del Departamento de Educación del Centro de Artes y Humanidades de la Universidad Autónoma de Aguascalientes. Ha ocupado los cargos de director general de Planeación, director general de Asuntos Académicos y decano del Centro de Artes y Humanidades en la propia universidad. Es autor de numerosos artículos de revistas nacionales e internacionales y de varios libros entre los que destacan: La planeación universitaria, Los primeros quince años de la UAA, Diagnóstico educativo de Aguascalientes, Metodología para el diseño y revisión de carreras y El oficio del investigador educativo. Actualmente coordina el

3

Programa Interinstitucional de Investigaciones sobre la Educación Superior y es miembro del Sistema Nacional de Investigadores. La Dirección General de Planeación, Evaluación y Proyectos Académicos, de la Universidad Nacional Autónoma de México, pública la presente obra con la seguridad de contribuir con ello a la difusión de la cultura evaluativa y responder así a las necesidades de información actualizada que sobre el tema se demandan hoy en día.

Act. Rocío Llarena de Thierry

4

PROLOGO El tema de la evaluación y promoción de la calidad de las universidades y demás instituciones de educación superior (IES), se ha puesto de moda y en México desde finales de 1989, con la creación de la Comisión Nacional para la Evaluación de la Educación Superior (CONAEVA). Después del esfuerzo generalizado de evaluación institucional realizado por las universidades públicas en 1990, y con el segundo esfuerzo en el mismo sentido que se emprende o al escribir estas líneas, el tema sigue vigente. Como podrá verse en este trabajo, el interés por el tema dista mucho de ser exclusivo de nuestro país; por el contrario, es sin duda, uno de los de mayor actualidad en el terreno de la educación superior a nivel internacional, Con antecedentes desde de principios de este siglo, la cuestión adquirió renovado interés en los Estados Unidos desde inicios de los años 70 y, en la década pasada, se extendió por Europa. Actualmente no hay país desarrollado de varios países latinoamericanos, de las nuevas democracias de Europa Oriental y ciertas naciones africanas y asiáticas. Mi interés personal por el tema se remonta a 1976, apoyado por la importancia que la Universidad Autónoma de Aguascalientes ha concedido desde su fundación a la planeación, lo que necesariamente incluyen de una u otra forma, la evaluación institucional. Durante 1978-1989 fue reunido un importante volumen de bibliografía especializada. Se me propuso escribir un trabajo sobre el estado de esta cuestión, cuya importancia veía, sin imaginar la actualidad que estaba a punto de alcanzar en nuestro país. A partir de febrero de 1990, aprovechando el apoyo que me ofreció la UAA bajo la forma de un periodo sabático, redacté una primera versión que fue presentada en un seminario que impartí al respecto en la Universidad Iberoamericana. A sus directivos, y en particular a Carlos Muñoz Izquierdo, agradezco su apoyo y sus aportaciones. De mayo a septiembre, siempre con el apoyo de la UAA, pude asistir a dos reuniones internacionales sobre el tema y visitar diversas instituciones en Francia, el Reino Unido, Bélgica y España. Con los elementos reunidos durante 1990 he preparado esta nueva versión del texto, que ahora ofrezco a la consideración de los lectores interesados. Además de expresar mi reconocimiento a las autoridades de la UAA por su generoso apoyo, agradezco muy especialmente a mi esposa, con quien el período sabático me ha permitido convivir en forma diferente a la habitual, y cuyo estímulo, junto con el de mis hijos, ha sido decisivo en este tiempo.

5

Espero que estas páginas sirvan para enriquecer el debate sobre la evaluación de las universidades –que a veces parece entrampado entre un entusiasmo sospechoso de deseos de control burocrático y un rechazo igualmente sospechoso de conciencia intranquila— de manera que sé aproveche la experiencia ajena y nos ahorremos algunos errores potencialmente muy costosos.

Felipe Martínez Rizo Universidad Autónoma de Aguascalientes

Abril de 1991

6

PRIMERA PARTE. ESTADO DE LA CUESTIÓN

1. Planteamiento del tema. 2. Antecedentes históricos. 3. Tipos de evaluación según la metodología utilizada. 4. Tipos de evaluación según quien la realiza. 5. Los propósitos de la evaluación.

Referencias

7

PLANTEAMIENTO DEL TEMA 1.1 Consideraciones introductorias

La cuestión de la calidad de las instituciones de educación superior ha sido un tema recurrente dentro de las más elevadas instituciones implicadas en particular la Secretaria de Educación Pública (SEP) y la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES) desde hace por lo menos 20 años. Así lo demuestran los diversos trabajaos de planeación emprendidos o impulsados desde fines de los años 60 y especialmente el Plan Nacional de Educación Superior en los años 70. Actualmente, en el marco del Programa para la Modernización Educativa la preocupación por la calidad parece continuar y precisarse. El programa establece con toda claridad dos de sus acciones principales:

Establecer una pauta nacional de criterios de excelencia en el ejercicio académico, e

Impulsar un proceso nacional de evaluación del sistema de educación superior que determine sus niveles actuales de rendimiento, productividad, eficiencia y calidad. Dicho proceso será técnicamente conducido por una Comisión Nacional de Evaluación de la Educación Superior (CONPES). Esta comisión actuará con el consenso de las instituciones y contará con los apoyos adecuados para la misión que se le encomiende. La comisión habrá de basar su actuación en un conjunto de directrices que contemplen la participación institucional, en función de normas claramente establecidas en cada caso... (Programa 1989 p. 141).

Dentro de los objetivos correspondientes, se establece que la Comisión Nacional mencionada debería instalarse en 1989, lo que se cumplió en octubre de dicho año, al constituirse formalmente la CONAEVA, bajo la presidencia del Secretario de Educación Pública, e integrada por ocho miembros, de los cuales cuatro son altos funcionarios de la SEP y la Secretaría de Programación y Presupuesto (SPP); los otros cuatro representan a las instituciones de educación superior: el Secretario General Ejecutivo de la ANUlES y tres rectores de universidades importantes. Durante los primeros meses de 1990, el Grupo Técnico formado para dar apoyo a la Comisión comenzó a trabajar, preparando la metodología que se aplicaría en los procesos de evaluación. Los lineamientos metodológicos se fueron afinando y, finalmente, una versión definitiva fue aprobada por la CONAEVA el 4 de septiembre de 1990, previa consulta a las lES en la IX Reunión Extraordinaria de la ANUlES, en julio del mismo año.

8

A partir de entonces, las instituciones realizaron una primera evaluación aplicando dichos lineamientos y presentaron programas especiales de mejoramiento para los cuales se asignaron recursos de un fondo especial.

Durante febrero y marzo de 1991 tuvieron lugar reuniones regionales en las que los analistas de la SEP y la ANUlES aportaron sugerencias a las instituciones, con base en el estudio de sus primeras evaluaciones y programas derivados. Se dieron también orientaciones para la segunda evaluación, cuya entrega estuvo prevista para julio de 1991.

Por lo anterior, pareciera que la vieja preocupación del sistema de educación superior de México -que no había pasado del terreno teórico- está siendo llevada a la práctica por vez primera. Esto es de gran importancia, y deberá hacerse de la mejor manera, para lo que es necesario tener claras ciertas nociones básicas.

1.2. Precisiones conceptuales y terminológicas La noción de calidad, en general, y su aplicación al campo educativo, no son sencillas o evidentes por sí mismas. Por el contrario, se trata de nociones sobre las que cada persona parece tener un punto de vista diferente y, en algunos casos, se sostiene que no hay manera de unificar las opiniones al respecto.

Esta confusión tampoco es exclusiva de nuestro país. En un texto reciente, precisamente sobre la calidad de los programas en educación superior, los autores transcriben la siguiente cita:

Calidad…todos sabemos lo que es, pero nadie sabe lo que es. Pero ésto es una contradicción. Hay cosas que son mejores que otras. O sea que tienen más calidad. Pero cuando tratamos de decir en qué consiste la calidad aparte de las cosas que la tienen, se nos esfuma. No nos queda nada de qué hablar. Pero... si no podemos decir en qué consiste la calidad, ¿cómo podemos saber siquiera si existe? Si nadie sabe lo que es, entonces, para cualquier efecto práctico, no existe. Pero resulta que, para todos los efectos prácticos, la calidad sí existe. Si no, ¿en qué se basan las calificaciones? ¿Por qué la gente está dispuesta a pagar verdaderas fortunas por una cosa mientras echa otras al cesto de la basura? Evidentemente hay algunas cosas que son mejores que otras; pero... ¿en qué consiste su "mejoricidad"? Y así podemos seguir y seguir, haciendo girar nuestras ruedas mentales o, más bien, haciéndolas patinar porque no encuentran terreno firme para ejercer tracción y avanzar... ¿Qué demonios es la calidad? ¿En qué consiste? (Pirsig, 1974, en Conrad y Blackburn, 1985).

Los mismos autores continúan comparando el concepto de calidad con otros estrechamente relacionados, como son el de excelencia, logro de objetivos, eficiencia y eficacia, etcétera.

9

INSUMOS PRODUCTOS

Para precisar nuestro concepto de calidad conviene antes esclarecer las nociones de eficiencia y eficacia, frecuentemente confundidas o repetidas simplemente como sinónimos redundantes. Para ésto nos será de utilidad emplear las nociones básicas del análisis de sistemas: un SISTEMA consiste centralmente en ciertos PROCESOS alimentados por ciertos INSUMOS, dando como resultado ciertos PRODUCTOS, dentro de un contexto o ENTORNO en el que es posible identificar ciertas NECESIDADES, así como también determinados recursos. Para visualizar estas ideas podemos representarlas gráficamente como sigue:

ENTORNO:

SISTEMA SOCIAL

NECESIDADES Y RECURSOS

SISTEMA EDUCATIVO

PROCESOS

LA EFICACIA DEL SISTEMA no es otra cosa que la relación que se puede establecer entre sus productos y las necesidades del entorno. En otras palabras es la UTILIDAD de los productos con respecto a las necesidades de la sociedad en que está inmersa la institución.

Ahora bien, para analizar tal EFICACIA debe tenerse en cuenta que la educación puede ser vista como INVERSION (en la medida que forma personal especializado para desempeñar determinadas funciones profesionales) o como SERVICIO (en la medida en que proporciona a sus egresados una formación general que se añade al bagaje mínimo que da la educación básica).

Esta distinción es muy importante, pues da luz para entender el problema de la medida en que es conveniente ampliar el acceso a un nivel educativo dado; si se considera a la educación como servicio, se justifica el intento de dar acceso a ella al mayor número posible de personas y como inversión se justifica plenamente establecer números máximos de ingresos.

Desarrollaremos un poco esta idea para que pueda entenderse mejor: no todos los contenidos posibles de la educación son del mismo tipo, ni tienen el miso valor o sentido para la vida de los individuos.

10

Así por ejemplo, para la realización de cada ser humano, no es necesario saber diseñar una presa, reparar una maquina, conducir una locomotora, fertilizar un sembrado, ejecutar un trasplante de corazón, traducir el griego, aplicar un test, interpretar a Heidegger o componer una sinfonía. Estos son ejemplos de conocimientos o habilidades especializadas que es conveniente que ALGUNAS personas manejen para beneficio de todos, pero que no es posible ni conveniente ni deseable que todo el mundo llegue a dominar. Son ejemplos de contenidos educativos que no son ―buenos en sí‖ que no son FINES sino MEDIOS, bienes en la medida que conducen a otro superior. En cambio, sí parece DESEABLE-aunque no sea sencillo y constituya mas bien una especie de utopía de referencia, de meta que nunca se alcanzará plenamente, pero hacia la que se tiende permanentemente- que para su pleno desarrollo, CADA ser humano sepa entender la naturaleza y el mundo en que vive, cuidar los recursos naturales, conservar la salud, desarrollar armoniosamente su cuerpo, elegir opciones inteligente y libremente, amar a sus semejantes, comprometerse con ellos, convivir civilizadamente con quienes tengan otros puntos de vista, respetar los derechos ajenos y hacer respetar los propios, buscar la verdad, gozar la belleza, amar el bien, enfrentar la muerte…

Estos son ejemplos de FINES, de capacidades deseables en sí mimas para toda persona. Aunque la distinción no es tajante, la educación básica –como veremos más adelante- se enfoca fundamentalmente a contenidos educativos relacionados con estos FINES, mientras que la educación terminal se orienta más bien a lo que hemos llamado MEDIOS, a las habilidades especializadas. Por su parte, la eficiencia del sistema se define como la relación entre los productos del mismo y los insumos que fueron necesarios para generarlos. En otras palabras, es el COSTO de los productos. Para visualizar mejor estas relaciones, nos será útil el siguiente esquema:

NECESIDADES DEL

ENTORNO INSUMOS DEL SISTEMA

EDUCATIVO

PRODUCTOS DEL

SISTEMA

EDUCATIVO

EFICIENCIA

EFICACIA

11

Como puede verse, en las definiciones de eficacia y eficiencia intervienen las nociones de insumos, productos y necesidades, pero no la noción de proceso, que es el elemento central del sistema. Teóricamente no sería necesario analizar los procesos para evaluar un sistema, actuando en principio como si se tratara de una ―caja negra‖. Pero en la práctica sí resulta conveniente revisar los procesos por dos razones: por una parte, no es fácil evaluar objetivamente y con exactitud insumos, productos y necesidades; por otra, el análisis de procesos da claridad a los actores del sistema en cuanto a las posibles formas de mejorar los resultados cambiando determinadas maneras de actuar. A partir de lo anterior se entenderá la noción de calidad educativa que proponemos y que engloba relevancia, eficacia, equidad y eficiencia. Relevancia: Los objetivos y contenidos educativos deberán ser evaluados en función de su aportación para la vida de los educandos. En otras palabras, es claro que no cualquier objetivo es igualmente importante o igualmente digno de ser perseguido. La relevancia es, pues, el grado en que unos objetivos educativos son importantes para la vida de los individuos que se supone deberán alcanzarlos. Por supuesto que dicha importancia no puede reducirse a lo que concierne a la supervivencia física (salud, nutrición, vivienda…) sino que tiene que incluir también lo relativo al bienestar integral, a la cultura y al goce de todos los bienes ―espirituales‖, a la congruencia del universo simbólico de las personas, etcétera. Eficacia: Suponiendo que los objetivos y contenidos sean relevantes la educación será será tanto más eficaz a sus alumnos que alcancen un dominio adecuado de ellos. Es fácil ver cómo esta noción engloba las de cobertura educacional (acceso y permanencia) y nivel de aprendizaje (según el logro de objetivos); asimismo, estas muy relacionada con la siguiente. Equidad Se trata de la característica del sistema educativo consistente en atender diferencialmente a sus alumnos, ofreciéndoles los elementos necesarios según sus características individuales y las de su entorno social, para dar a todos las máximas oportunidades de alcanzar las metas de aprendizaje relevante que correspondan; se opone a cualquier tipo de discriminación por acción o por omisión y supone un enfoque compensatorio dando más al que necesite más.

Eficiencia Es otra dimensión de la calidad educativa. Se refiere a la relación entre los resultados obtenidos por la educación y los insumos requeridos para ello; si dos sistemas logran los mismos resultados , cuantitativa y cualitativamente, será de mejor calidad aquel que lo consiga en una forma más económica, o sea usando menos recursos.

12

Una educación de calidad tendrá que ser, según este concepto, aquella que establezca objetivos socialmente relevantes; logre que éstos sean alcanzados adecuadamente por una elevada proporción de los educandos, ayudándoles diferencialmente para ello y cumpla con lo anterior de la manera más económica posible. (Cfr. Martínez Rizo F. et al. 1982 y Latapí P., Ulloa M., Martínez Rizo F., Muñoz Izquierdo C. y Schmelkes S., 1989).

Si regresamos un momento al esquema del que partimos para precisar nuestro concepto de calidad, nos será fácil ver el por qué de las interminables discusiones cuestiones que se dan a su derredor.

En efecto: para la determinación de la calidad no basta con conocer en detalle –y esto ni siquiera es fácil, sino todo lo contrario- los insumos y los productos de un sistema o, inclusive, todos los procesos que comprende. Se requiere, esencialmente, conocer cuáles son las NECESIDADES del ENTORNO del SISTEMA que pretenden satisfacer, por lo menos en parte, sus productos. El concepto de necesidad, a su vez, es un concepto relacional, que nos remite a la distancia que separa dos realidades muy distintas: la ACTUAL, que ES el momento presente, y la FUTURA DESEADA, que se considera como DEBERIA SER. Y si identificar con precisión las características de la situación actual no es sencillo, ponerse de acuerdo en cuanto a la deseable puede ser todavía más difícil, puesto que supone estar de acuerdo en toda una serie de cuestiones de carácter filosófico o, si se prefiere ideológico, sobre la naturaleza humana, la sociedad, el bien y el mal, la felicidad, la realización personal, el desarrollo integral, etcétera. En el caso de una institución de educación superior, la dificultad para ponerse de acuerdo en cuanto a qué es calidad no radica, pues, en el aspecto FORMAL de la definición, que puede aclararse como lo hemos hecho en las páginas anteriores, o en alguna otra forma semejante; el problema está en el CONTENIDO que queramos dar en concreto al concepto. Todo el mundo aceptará sin dificultad que una institución de educación superior ofrecerá una educación de calidad sólo si responde a las necesidades de la sociedad en que se .encuentra inmersa; pero en el momento de precisar cuáles son esas necesidades resurgirá el problema.

Esto no quiere decir que no pueda abordar significativamente la cuestión. A fin de cuentas, sucede lo mismo con todos los asuntos importantes de la vida y, como en otros casos, habrá que proceder sobre la base de definiciones provisionales establecidas por "consensos de trabajo" que nos permitan avanzar, pero que siempre permanezcan sujetas a revisión y perfeccionamiento.

13

Lo que sí quiere decir todo ésto, es que la evaluación de la calidad de la educación superior NO es ni puede ser una cuestión meramente técnica, sino que en el fondo del asunto siempre habrá elementos de inevitable carácter ético y político. Requerir y utilizar con habilidad técnica definiciones operacionales, indicadores precisos y cuantificaciones manejables será necesario y muy útil, siempre y cuando no se pierdan de vista las cuestiones de fondo, se tome conciencia de la realidad de los consensos operativos que se utilicen, y se esté dispuesto a revisar y replantear -con la radicalidad que proceda- cualquier punto cuando haya razones para hacerlo. Para concluir este apartado, haremos algunas observaciones sobre la terminología que se utiliza en inglés, comenzando por la oposición entre las palabras evaluation y assessment. Hay opiniones contradictorias al respecto: Barak (1987) considera que assessment se refiere a una evaluación en sentido amplio, que incluye estudiantes, programas e instituciones y se relaciona con la tendencia de ―student outcomes‖, Chopin (1985), en cambio considera que assessment se refiere a individuos y evaluation a programas. En la literatura encontrada se encontró más base para la opinión de Barak pero, como no hay todavía un uso normalizado, habrá que tener siempre en cuenta el contexto de una expresión para precisar su sentido. Otro sinónimo que se encuentra a veces es appraisal.

Si recurrimos a los diccionarios y a la etimología, nos encontraremos con que los términos ingleses evaluation y assessment tienen su equivalente en castellano con los términos evaluación y valuación o, mejor aún, evaluación y avaluó.

Un avaluó es la acción de asignar un valor monetario, en tanto que una evaluación es la acción de evaluar algo sin esa referencia económica.

Por ello, el uso del término assessment, en lugar de evaluation –de unos 15 años a la fecha- está ligado al tema de la accountability, o sea la obligación por parte de una persona o institución, de rendir cuanta del buen uso del presupuesto manejado; esto no solo en el sentido de que no haya desviaciones o fraudes, sino también en el sentido de que los resultados obtenidos valgan la pena y representen un valor económico aceptable, en comparación con el de los insumos empleados para producirlos.

Así, cuando se habla de outcomes assessment en relación con una universidad y no simplemente de evaluation, se está planteando la exigencia de asignar un valor económico a los productos de sus actividades –docencia investigación y extensión- y de comprar dicho valor con el de los insumos, obteniendo así conclusiones en términos de rentabilidad. Sin embargo, dado que los ―productos‖ universitarios (profesionistas, científicos, posgraduados, etc.) tienen dimensiones muy complejas para ser reducidas a un guarismo precedido de un signo de pesos, el sentido mas fuerte del termino assessment se suaviza rápidamente.

14

La atención del contexto que ya referimos, es pues obligada ya que a pesar de la etimología, los usos de los términos no suelen ser unívocos.

Por lo que se refiere a la distinción entre eficacia y eficiencia, en inglés hay los términos paralelos effectiveness y efficiency; éstos suelen confundirse, pero su sentido preciso es el mismo que ya hemos aclarado en las páginas anteriores. (Cfr. por ejemplo Cowan, 1985).

1.3 Acotamiento del tema Dada la amplitud del terreno y lo confuso de las fronteras que separan el tema de campos vecinos, convendrá establecer con claridad de qué NO nos ocuparemos. Aunque tengan algo que ver, no abordaremos en esta revisión las diversas formas en que se puede evaluar, en una institución de educación superior, el aprendizaje que hayan alcanzado los alumnos en un curso determinado; los diversos tipos de exámenes o pruebas; los tipos de ―reactivos‖, y la evaluación por norma (curva) o por criterio. Tampoco nos ocupará lo relativo a la construcción y aplicación de instrumentos para evaluar o tratar de medir determinadas habilidades o características del alumno como, por ejemplo, test de inteligencia o escalas de actitudes. Por supuesto que algunos instrumentos de este tipo podrán utilizarse en procesos de evaluación institucional, pero en este trabajo no trataremos de la abundante –y bastante conocida- literatura relativa al asunto. Aunque hablamos de evaluación institucional, y las IES además de la docencia tienen-según la división clásica-la función de investigación y extensión, difusión o servicio; en nuestro trabajo, sin embargo, nos ocuparemos de acercamientos de carácter general a la cuestión de la calidad institucional y a la evaluación de la función docencia, en particular. La evaluación de la investigación es, por si misma, un terreno diferente sobre el que también hay bastante escrito pero no nos ocuparemos de ello en especial; tampoco de la evaluación de la extensión, sobre la que no hay tanta producción como sobre los campos anteriores. Solo tangencialmente (se darán unas cuantas referencias básicas) se tocaran los campos relacionados con la enseñanza y el aprendizaje en educación superior, la evaluación y formación de profesores, la evaluación del currículo, los estudios sobre retención y deserción de estudiantes, y sobre las metodologías aplicadas en los trabajos de evaluación en general. En cambio, lo que SI se tratara en esta investigación, es el campo de la evaluación INSTITUCIONAL de la calidad de la enseñanza en las instituciones de educación

15

superior; este tema es suficientemente amplio como para justificar este trabajo. Así esperamos que el lector pueda apreciarlo después de conocerlo. Cuando decimos evaluación INSTITUCIONAL, podemos referirnos a distintos tamaños, o niveles, desde la ―unidad básica‖, la unidad más pequeña con manejo administrativo propio, como puede ser por ejemplo, un departamento o una escuela (Cfr. Premfors R. 1989), hasta enormes sistemas de instituciones de dimensión estatal o nacional.

Por otra parte, aunque la formación de maestros de educación básica pertenece en muchos países al nivel de educación superior, tiene peculiaridades importantes que han hecho que institucionalmente se maneje en forma muy independiente, y ha generado un cuerpo de literatura propio que tampoco pretendemos cubrir.

La evaluación que tratamos a continuación, por supuesto, podrá y deberá comprender evaluaciones de estudiantes y profesores, de otros actores o elementos de la institución, pero sin interesamos en su carácter individual, sino como partes del todo, en la medida en que aportan información para la evaluación del conjunto.

2. ANTECEDENTES HISTÓRICOS 2.1 Introducción El prestar especial atención al sistema universitario norteamericano en esta revisión de literatura sobre la evaluación de la calidad de las instituciones de educación superior (lES), no obedece a un capricho o a una moda, sino a su importancia objetiva reflejada directamente en el volumen de la literatura que genera, y que se explica claramente si atendemos a la historia.

16

Nadie pone en duda la importancia histórica de las universidades de Europa, continente donde surgió la educación superior occidental hace ya cerca de 1000 años. La influencia de las universidades inglesas primero y de las alemanas después sobre las instituciones norteamericanas, así como la de la Universidad de Salamanca y el modelo napoleónico en México y América Latina son cuestiones suficientemente conocidas como para que puedan ponerse en tela de juicio. Pero en este trabajo no nos fijamos especialmente en el pasado, que aquí consideramos sólo como telón de fondo, sino en el presente. Y como esperamos mostrar enseguida, el peso cuantitativo y cualitativo de las lES norteamericanas es indiscutible. Veamos algunos datos. De un total de alrededor de 220 países-territorios administrativamente autónomos que se pueden identificar actualmente en el mundo, más de la cuarta parte, o sea unos 60, son tan pequeños que no cuentan con instituciones de educación superior propias. Un número casi igual, o sea otros 57, tienen una sola institución, o varias muy chicas, con un total de alumnos que no llega en cada caso a 5,000. De los 103 restantes 20 tienen de 5,000 a 25,000 alumnos; 13 de 25,000 a 50,000; 16 de 50,000 a 100,000; 22 de 100,000 a 250,000; 15 de 250,000 a 500,000; 6 de 500,000 a 1'000,000 y otros 11, incluyendo México, tienen más de 1'000,000 de estudiantes. La relación de los 30 sistemas nacionales de educación superior mas grandes del mundo puede verse en el siguiente cuadro.

LOS SISTEMAS DE EDUCACIÒN SUPERIOR MÀS GRANDES (Matrícula en miles de alumnos)

1. Estados Unidos 12'164 16. Argentina 678

2. URSS 2'763 17. Filipinas 564

3. Japón 2'597 18. Tailandia 500

4. China 1'703 19. Pakistán 499

5. India 1'517 20. Turquía 449

6. Brasil 1'368 21. Venezuela 444

7. Alemania Occidental 1'336 22. Bangladesh 437

8. Corea del Sur 1'332 23. Alemania Oriental 434

9. Italia 1'184 24. Taiwán 429

10. Francia 1'164 25. Colombia 402

11. México 1'073 26. Perú 394

12. Egipto 874 27. Australia 391

13. Indonesia 806 28. Yugoslavia 359

14. Canadá 796 29. Inglaterra 346

15. España 692 30. Holanda 308 Fuente: Británica Book of the year 1988 Los datos corresponden en general a 1985. Naturalmente hay que relativizarlos por los diferentes criterios que se utilizar para distinguir la educación media terminal y la superior. Especialmente dudosos son los casos de la India Filipinas y Tailandia. Es fácil apreciar que la nueva Alemania después de la reunificación alcanza el cuarto lugar, después de Japón y antes que China.

17

El siguiente cuadro ofrece una panorámica más amplia sobre la situación mundial.

MATRÍCULA DE EDUCACIÒN SUPERIOR EN LAS GRANDES ZONAS MUNDIALES (en miles)

AMERICA 18’626

Estados Unidos 12’164

Canada 796

México 1’073

Centroamerica 287

Caribe 516

Brasil 1’367

Resto de Sudamérica 2’423

EUROPA 10’656

Alemania 1’336

Italia 1’184

Francia 1’164

Resto de Europa Occidental 2’620

URRS 2’763

Resto de Europa Oriental 1’589

ASIA 12’428

Japón 2’597

China 1’703

India 1’517

Corea del Sur 1’332

Resto de Lejano Oriente 3’544

Medio Oriente 1’735

AFRICA 1’768

Norte del Sahara 1’219

Sur del Sahara 549

OCEANIA 433

TOTAL MUNDIAL 43’911

FUENTE: Británica Book of the year 1988.

Como puede verse, el sistema de educación superior de los Estados Unidos es tan grande como el de toda Asia o toda Europa; es dos veces más grande que el de todos los demás países de América juntos, y es muchas veces mayor que los de África y Oceanía. Los sistemas de los estados más desarrollados de la Unión Americana como California, Nueva York o Texas son mayores por si solos que los de la inmensa mayoría de los países del mundo, incluyendo los más grandes. Si lo anterior añadimos la enorme autonomía, variedad y flexibilidad del sistema educativo norteamericano, así como la gran capacidad de iniciativa y dinamismo, y la abundancia de recurso que caracterizan a no pocas de sus mas de 3,000 IES, aceptaremos la razón por la que se le ha prestado especial atención en esta reseña.

18

Por otra parte, el menor dinamismo de la educación superior europea en el último siglo se entiende fácilmente si consideramos que la situación económica, política y social del continente se ha visto afectada, en forma incomparablemente mayor que los Estados Unidos, por los grandes conflictos y crisis internacionales como la Guerra Franco Prusiana y la Comuna de París en 1870; la expansiona colonial de fines del siglo XIX y principios del XX que con la redistribución del mundo exigían una Alemania y una Italia unificadas; la Primera Guerra Mundial y los radicales cambios que produjo en el mapa europeo; la Revolución Rusa y las revoluciones fallidas en Europa central; la inflación galopante de los años 20 y el ascenso al poder del Mussolini, la crisis de 1929 y la subida de Hitler en 1933 y, finalmente la Segunda Guerra Mundial.

Por esto no es sino hasta la segunda mitad de nuestro siglo cuado la educación europea se pone en movimiento alcanzando una gran fuerza al acercarse a la unificación de 1992. Pero lo hace volviendo los lo ojos hacia el aventajado discípulo del nuevo continente, que se adelanto casi un siglo en el intento por transformar un pequeño y viejo sistema universitario elitista y tradicional, en otro masivo, moderno y orientado al desarrollo económico y la investigación científica y tecnológica.

Por supuesto que, al mirar desde un país del tercer mundo hacia Estados Unidos y Europa, no queremos decir que haya que imitar sin mas sus experiencias. Cada país tiene que encontrar su propio camino y el estudio de los demás es solo un punto de referencia que hay que aprovechar inteligente y críticamente.

2.2 Los Estados Unidos

Es a partir de la guerra de secesión (1861-1865) que se comienza a producir el desarrollo del sistema universitario moderno en los Estados Unidos. Los primeros grados de PhD fueron otorgados por Yale en 1861.

Las IES que existían entonces eran pocas (aproximadamente 30), pequeñas y tradicionales. En 1862, en plena guerra, se aprueba la famosa ley que daba a cada senador la facultad de disponer de 30,000 acres (16,000hectareas aprox.) para dotar nuevas IES en su estado. Es de esta forma como empieza a surgir un novedoso sistema de IES jóvenes (los Land Grant Colleges), estrechamente vinculadas a sus respectivas comunidades y orientadas a las disciplinas agropecuarias y otras productivas, con un enfoque que trataba de dar acceso al mayor numero de jóvenes posible.

A finales del siglo, y como producto de las grandes fortunas que se habían formado rápidamente en los años anteriores, tuvieron lugar las fundaciones de nuevas IES privadas que desafiaban el prestigio de las instituciones del tiempo de la Colonia. Harvard (1636), Yale (1701), Princeton (1746) y Columbia (1754), se vieron desafiadas hacia 1900 por Chicago, Standford y John Hopkins. Es en este contexto que surgen los primeros intentos sistemáticos para evaluar la calidad de las IES.

19

En efecto, durante los siglos de la Colonia y el primero de independencia, ni el gobierno colonial ni los estados de la Unión habían utilizado las facultades que tenían por ley para planificar, desarrollar y evaluar IES, con la excepción --hasta cierto punto— de Nueva York (Cfr.Kells en Kogan 1989, p. 97).

Al aumentar el número de IES y su diversificación se sintió la necesidad de algún mecanismo de evaluación que permitiera al público –clientela de las IES— tener una idea de la calidad que podía esperar de una institución determinada.

En forma congruente con la tradición liberal norteamericana, surgieron los primeros esfuerzos cooperativos institucionales para establecer mecanismos de lo que se llamo acreditación, que primero fueron de tipo especializado para carreras de medicina (evaluadas por primera vez en 1907 por el Consejo de Educación Médica establecido en 1904 por la American Medical Association) y luego de tipo más general, para acreditar instituciones completas, siendo la evaluación más antigua la realizada en 1913 por la North Central Association of Colleges and Secondary Schools, utilizando una lista de estándares establecidos en 1909 (Cfr, Young et al. 1983).

De la misma época data la clasificación más antigua de IES, basada en la afiliación institucional de científicos destacados, hecha por James Mc Keen Cattell en 1910 (Cfr. Webster, 1985).

En otra línea de acciones de la misma época pero muy relacionada con nuestro tema, está la creación de instituciones de dimensión nacional dedicadas a la elaboración y aplicación de pruebas de conocimientos para el acceso a determinados niveles educativos; en 1900 se fundó el College Entrance Examination Board (Cfr. Young et al. 1983).

Después de la Primera Guerra Mundial y hasta la gran depresión, durante la década de 1919 a 1929, el sistema norteamericano de educación superior tuvo una fuerte expansión. Al terminar ese periodo y en un contexto de escasez económica, a principios de los años 30 se tuvo la necesidad de contar con mecanismos de evaluación mas profundos; se consideraba que la acreditación se había vuelto un trámite demasiado sencillo de cumplir para cualquier institución que respetara ciertos estándares mínimos y que no permitía distinguir lo bueno de lo apenas regular (Cfr. Resnik y Goulden, 1987).

Es entonces cuando comienzaron a realizarse investigaciones sobre el impacto de la educación ofrecida por los colleges, para ver en que medida el paso por la

universidad realmente producía cambios en los estudiantes (Cfr. Dahlgren 1985).

Después de la Segunda Guerra Mundial, y hasta finales de los años 60, el sistema norteamericano tuvo nuevamente una gran expansión y al terminar este período y sobrevenir una época de escasez de recursos, la preocupación por la calidad de la educación y su evaluación se manifiestó de nuevo. (Resnik y Goulden 1987)

20

La palabra clave de este nuevo momento es accountability y trajo consigo como elemento novedoso, una intervención efectiva –ahora sí- de los ejecutivos estatales en la evaluación de la educación superior, con repercusiones directas sobre el financiamiento (performance funding) y centrando la atención más que en clasificaciones basas en el prestigio (reputational rankings), que seguían utilizándose, en medias objetivas de resultados (student outcomes assessment, performance indicators). Paralelamente se desarrollaron los mecanismos de autoevaluación y planeación de las propias instituciones (self-studies, Planning & Institucional Research Offices) y se hicieron más exigentes los procedimientos de acreditación de las agencias especializadas. La proliferación de éstas propició la creación del Council on Postsecondary Accreditation, (COPA) que unificó los criterios de seis organizaciones regionales de carácter general y un centenar de agencias concentradas en una disciplina o profesión.

Por supuesto que las tendencias de búsqueda de la calidad organizacional en las empresas ante el desafío japonés no son ajenas a las preocupaciones que mencionamos en el campo educativo. Veamos algunas fechas de este último período:

1957: La Fundación Carnegie concede apoyos económicos a Berkeley y Michigan para el establecimiento de grandes centros de investigación para el estudio de educación superior (Cfr. Peterson-Mets 1987, p.6).

1963: Primera legislación sobre accountability en educación, todavía bastante vaga, en el estado de Pennsylvania (Cfr. Browder, 1985).

1964: El gobierno norteamericano adopta el sistema de presupuesto por el programa (PPBS).

1965: Se crea la Association for Institucional Research (AIR).

1966: Se establece la Society for College & University Planning (SCUP).

1979: Carnegie Comission on the Future of Higher Education.

1971: Legislaciones más precisas sobre accountability como la de Colorado. (Browder, 1985)

1973: Termina su labor (que produjo 125 libros) la Carnegie Comission on Higher Education.

1973: 23 Estados tienen legislación sobre accountability.

1973: Inicios de evaluación de resultados con enfoque actual en instituciones pioneras como el Alverno College y la Northeast Missouri State University (Cfr. Banta 1987).

1974-1980: Carnegie Council on Policy Studies for Higher Education.

21

1981: Inicio del programa de Tenesse para vincular el financiamiento público de la educación superior a la evaluación de resultados.

1982: Más de 40 estados tienen legislación sobre accountability. (Cfr. Browder, 1985)

1982: A Nation at Risk. El primero de una serie de grandes reportes sobre la calidad; los resultados medios a nivel nacional en los exámenes estandarizados que se aplican al final de la High School bajan regularmente desde 1964 hasta 1982 (Cfr. Garbeer, 1982).

1984: Primer reporte sobre la calidad de la educación superior derivado de A Nation at Risk, realizado por el grupo de estudios sobre las Condittions of Excellence in Higher Education.

1984: La Southern Association of College and Schools incluye la exigencia de tener algún sistema de Student Outcomes Assessment como parte de los requisitos para obtener la acreditación. Las otras cinco agencias acreditadoras regionales la siguen.

1985: La American Association for Higher Education establece un subgrupo, el Assessment Forum, como mecanismo permanente de comunicación en torno al tema.

1986: Primera Conferencia Anual sobre Assessment in Higher Education organizada por el Assessment Forum mencionado; estas conferencias se han seguido realizando con el ritmo anual que se estableció desde el principio; la sexta se anunció para junio de 1991.

1987: Once estados han aprobado iniciativas para exigir que las IES tengan programas de Student Outcomes Assessment; unos de manera muy general como Virginia, otros de forma muy estricta como Florida.

1989: Siete de cada diez IES tienen algún programa de Student Outcomes Assessment.

2.3 Europa

De los países del viejo continente, la experiencia mas importante en cuanto al tema que nos ocupa es, sin duda, la de Inglaterra. En el Reino Unido las prestigiadas universidades antiguas no estaban sujetas a ningún tipo de control estatal. Por el contrario, eran ellas las que supervisaban a otras instituciones de menor rango. Oxford y la Universidad de Londres, en particular, cumplían esa función con respecto a las IES de las naciones que pertenecían al Commonwealth.

El University Grants Committee (UGC) jugaba un papel importante en la distribución de los subsidios, pero no tenía funciones realmente evaluadoras.

22

Atendiendo a las recomendaciones del Reporte Robbins de 1963, para hacer frente al desarrollo del sistema de educación superior con un mayor control, y con la creación de algunas interesantes universidades ―nuevas‖ como la de Essex, en los años 60 el gobierno británico decidió impulsar el surgimiento de IES públicas no autónomas, sujetas a la supervisión del Estado. Para ello creó en 1964 el Council for National Academic Awards (CNAA), estableciendo así un sistema ―binario‖ de IES públicas (autónomas y no autónomas) parecido a la situación que existe en Mèxico. (Cfr. Barnett, 1987).

En 1976 el Primer Ministro laborista James Callaghan retomó, en un discurso pronunciado en el Ruskin College de Oxford, el tema de accountability que ya estaba de moda en los Estados Unidos (Cfr. Neave 1985). Ese mismo año se creó la Assessment of Performance Unit para las instituciones de Inglaterra y Gales.

A partir de 1981, se reforzó la tendencia hacia la evaluación. La crisis económica y la política del gobierno de la Sra. Tatcher hicieron que ese año el UGC aplicara recortes presupuestales que, en promedio, representaron el 17% de los ―fondos recurrentes‖ de cada universidad, y se anunció que los recortes continuarían en los años siguientes. En 1985, cuando las universidades creían que ya no era posible reducir más sus presupuestos, el Informe Jarrat recomendó una serie de medidas para mejorar la eficiencia de las IES.

Las propuestas de listados con indicadores de resultados (Performance Indicador, o PI) formuladas en 1986 y 1987 por el Comité de Rectores de las Universidades (Committee of Vice-Chancellors and Principals) representan precisamente un esfuerzo por racionalizar las decisiones relativas a las asignaciones presupuestales que hasta entonces, tanto en tiempos de abundancia como de reducciones, se tomaban con base en criterios mal definidos y no explicitados.

En este conjunto de reformas, el University Grants Committee fue sustituido por el Universities Funding Council, en un cambio que no fue simplemente de nombre, sino también de concepción en la forma de asignar el financiamiento claramente vinculado a la evaluación de resultados. En lo que se refiera a las IES privadas, se creó un organismo acreditador, el British Accreditation Council y, como complemento de carácter cualitativo al enfoque de indicadores de resultados, el Comité de Rectores (CVCP) constituyó en 1989 una ―Unidad de Auditoria Académica‖ (Academic Audit Unit), que se encarga de revisar los procedimientos que las propias universidades establecen para elevar la calidad (Cfr. Pollit, 1990 y Young, 1990).

Muy diferente, ya que se desarrolla en un contexto casi diametralmente opuesto, e igualmente interesante, es la experiencia francesa. En este país, donde las instituciones de educación superior no eran autónomas sino que desde las reformas napoleónicas dependían del Estado –tanto para la designación de autoridades como para el establecimiento de carreras, la aprobación de planes de estudio y el nombramiento de los profesores— la cuestión de la evaluación externa parecía no tener lugar. Sin embargo, por razones obvias de carácter técnico, los catedráticos gozaban de una gran independencia y tenían una autoridad casi absoluta sobre programas, alumnos y ayudantes.

23

Pero las transformaciones del sistema francés de educación superior, desencadenadas por la crisis de mayo de 1968, y desarrolladas con dificultad durante las dos décadas siguientes, concedieron una amplia autonomía a las universidades y, paralelamente, desarrollaron mecanismos de supervisión cuya culminación constituyó en la creación del Comité National d'Evaluation, por medio de un decreto, en febrero de 1985.

Tal vez el rasgo mas importante de este Comité sea el no depender del Ministerio de Educación; su Presidente –un destacado académico, -reporta directamente al Presidente de la República, lo que quiere decir –en expresión del Secretario Ejecutivo del Comité, André Staropoli- que lo hace "ante la opinión pública".

De esta manera el Comité goza de una gran independencia, tanto respecto a las instituciones, como en relación al gobierno; y no hay riesgo de que sea visto como juez y parte. Sin duda esto explica, en buena medida, la gran aceptación que el Comité ha tenido entre las universidades. Esto puede apreciarse mediante el siguiente dato: aunque tiene facultades legales para evaluar a las instituciones que crea conveniente, el Comité hasta ahora sólo ha evaluado a aquellas que se lo han solicitado expresamente, y tiene una larga lista de espera, por ser mayor el número de solicitudes que el de los casos que puede atender.

El Comité está integrado por un Presidente y 15 miembros -todos académicos- quienes deben dedicar un tiempo significativo a esta tarea. Cuenta con el apoyo de un Secretariado Ejecutivo de unas 25 personas. Las evaluaciones involucran un número mucho mayor de personas (unas 150 al año) por poco tiempo, para visitar las instituciones. Los grupos visitantes son nombrados por el Comité y deben incluir obligatoriamente un mínimo de extranjeros y de representantes de los sectores industriales y económicos en general.

El mecanismo es el siguiente: el Comité solicita a la institución que va a ser evaluada una autoevaluación, que debe cubrir una serie de puntos; expresamente se evita hablar de indicadores y, sobre todo, de parámetros estandarizados. La autoevaluación se entrega al grupo de expertos externos antes de su visita, que casi siempre dura dos o tres días para el conjunto del grupo, con visitas previas por parte de personas del Secretariado Ejecutivo como preparación.

El grupo de expertos visitantes redacta un informe provisional, que es analizado por el Comité en pleno; éste puede solicitar que se amplíen los aspectos que crea convenientes. Después se prepara el informe definitivo, que debe ser aprobado por el Comité, para luego pasar al rector de la institución evaluada, quien puede redactar las observaciones o comentarios que desee.

Posteriormente, tanto el informe como los comentarios son publicados y pasan obligatoriamente al dominio público. No existe una vinculación directa con el financiamiento. Con base en los reportes de instituciones particulares, el Comité elabora un informe anual sobre el sistema nacional de educación superior. (Cfr. Staropoli, 1988).

El caso holandés es otro de los más dinámicos e interesantes de Europa.

24

Hasta 1985, las universidades holandesas eran controladas directamente por el Ministerio de Educación, y no gozaban de autonomía. Las nuevas tendencias económicas y la preocupación por la calidad, se tradujeron simultáneamente en la concesión de un alto grado de autonomía a las instituciones, y en la implantación de un sistema de evaluación, con vinculación del financiamiento a los resultados.

Lo más sobresaliente de la experiencia holandesa es el alto grado de participación de las universidades en el establecimiento del sistema de evaluación, en una delicada pero fecunda dialéctica con el Estado (Cfr. Maassen y Van Vught, 1988, y Dockrell, 1990). Vale la pena señalar la estrecha comunicación que ha habido entre estudiosos holandeses, ingleses y americanos en los últimos años. Esta colaboración se ha ido ampliando a los demás países y se traduce en encuentros internacionales frecuentes.

España ha iniciado recientemente esfuerzos en el campo de la evaluación de sus universidades, que también habían sido tradicionalmente controladas por un sistema central y en los últimos años han recibido considerable autonomía. Primero se solicitó a un grupo de expertos internacionales una evaluación del conjunto, y a partir de entonces se está trabajando en la concepción de un sistema propio (Cfr. ICED, 1987, y Varios, 1990).

Alemania, Dinamarca, y los países escandinavos también cuentan con sistemas de evaluación para sus lES. Las universidades suecas tienen desde hace tiempo mecanismos de acreditación análogos a los norteamericanos." En Dinamarca se están utilizando las ideas de la "administración de la calidad total" en las lES.

Las universidades alemanas parecen más reacias a incorporar evaluaciones externas, pero en cambio cuentan con excelentes informaciones estadísticas que permiten el uso de indicadores, aunque en este país el panorama es ahora mucho más complicado. Se han tenido que integrar las universidades orientales, con su tradición de control gubernamental y las occidentales, muy autónomas desde hace tiempo.

En Polonia y otros países de Europa Oriental también se están desarrollando trabajos en el mismo sentido que nos ocupa (Cfr. Cerych, 1990).

2.4. Otros países del mundo

Es clara la relación que existe entre el nivel de desarrollo económico de un país, considerado globalmente, y el de su sistema de educación en general, y superior en particular. A su vez, son los sistemas más fuertes los que han desarrollado mecanismos de evaluación institucional.

No resulta entonces sorprendente que, desde el fin de la Segunda Guerra Mundial, con la evidente influencia norteamericana, se estableciera en Japón, en 1947, la Japanese University Accrediting Association, Otro tanto sucedió en Filipinas, en 1957, con la Philipine Accrediting Association of Schools, Colleges and Universities.

25

Siguiendo al Reino Unido, la India estableció su University Grant Commission, y Australia el Australian Council on Awards in Advanced Education, en 1971 (Cfr. Knowles y Viola, 1985). Hasta hace poco, Hong Kong dependió, para la evaluación de sus lES, de las universidades del Reino Unido, pero en 1990 creó su propio organismo acreditador, el Hong Kong Council for Academic Accreditation (HKCAA, 1990).

Por lo que se refiere a los países menos desarrollados, es claro que no existe nada comparable con lo que se ha mencionado hasta ahora, aunque la preocupación no está ausente. En mayo de 1990, la UNESCO presentó los resultados de una investigación que trató de documentar sistemas de evaluación de lES en todo el mundo, con información sobre los sistemas de Colombia, Jordania, Malasia y Nigeria, además de Holanda (Cfr. Dockrell, 1990).

2.5. América Latina

La situación de los países de, nuestro subcontinente es peculiar, porque en ellos se combina la herencia hispánica, con la influencia napoleónica y la tradición de autonomía y autogestión derivada del movimiento de Córdoba.

El único país con una experiencia larga en el campo que nos ocupa es Colombia, que desde 1968 cuenta con el Instituto Colombiano de Fomento a la Educación Superior (ICFES) que, además de otras muchas actividades, ha desempeñado el papel de agencia acreditadora (Cfr. Urego y Ospina, 1990).

Venezuela también cuenta con una oficina 'de planeación y evaluación, que interviene en la autorización del funcionamiento de universidades privadas.

En Brasil hay importantes diferencias de un estado a otro, que reconoce la nueva Constitución Federal -aprobada en octubre de 1988- al hacer recaer la competencia para el manejo de los sistemas educativos en los estados y los municipios.

Algunas instituciones, como la Universidad Federal de Santa Catalina, cuentan con trabajos importantes en el terreno de la evaluación institucional, pero no se puede hablar de un sistema nacional.

La reforma que ha conocido la educación superior chilena desde principios de la década pasada, ha dado lugar al surgimiento de un variado conjunto de instituciones -tanto públicas como privadas- asentadas a nivel regional, en lugar de las pocas instituciones de dimensión nacional que había antes. Esta dinámica ha traído consigo una preocupación creciente por la calidad y su evaluación.

Con el apoyo de la OEA, un organismo chileno, el Centro Interuniversitario de Desarrollo (ClNDA), encabeza desde hace varios años un trabajo conjunto que agrupa a varias instituciones de muchos países latinoamericanos, alrededor del tema de la calidad de la docencia a nivel superior. En 1990 se celebró un Seminario Internacional sobre Sistemas de Acreditación y Evaluación Institucional en América Latina, y se prevé otro (Cfr. Avances, 1990).

26

2.6. De nuestro país mencionaremos brevemente:

Los trabajos de autoestudio y planeación realizados en el ITESM desde 1967 y en la UAG poco después;

Los autoestudios asesorados por Don Pablo Latapí en cuatro instituciones, dos públicas y dos privadas, (1969-70);

La planeación de la UAA y sus sistemas de diagnóstico y planeación permanente (1973-1990);

El impulso dado por la SEP para la realización de autoestudios en las universidades públicas (1974);

El trabajo del Sistema Nacional de Planeación Permanente de Educación Superior a nivel nacional, regional, estatal e institucional (1979);

Y finalmente, después de varios intentos y recomendaciones de la ANUlES, el establecimiento de la Comisión Nacional de Evaluación de la Educación Superior (noviembre de 1989) con las secuelas mencionadas.

2.7. Trabajos internacionales

No puede terminarse este apartado sin mencionar trabajos que no se refieren a un país en particular, sino que tienen una dimensión internacional. En primer lugar, el Instituto Internacional de Planeación de la Educación (IIPE) creado en 1963 por la UNESCO en París. Aunque sus investigaciones se han referido principalmente a otros niveles educativos, también promovió estudios sobre la planeación de la educación superior, en especial temas de economía de la educación, educación y empleo, productividad de la mano de obra en función de la educación, etc., que son acercamientos a la evaluación de la educación superior o de cualquier nivel.

En segundo lugar el Center for Educational Research and Innovation de la Organización para la Cooperación y el Desarrollo Económico (CERI de la OCDE) que tiene un programa expresamente dedicado a las cuestiones de administración de instituciones de educación superior (Institucional Management in Higher Education, IMHE), en el marco del cual se han realizado numerosos trabajos sobre el tema de la evaluación institucional. De este programa se deriva la publicación de una importante revista International Journal for Institutional Management in Higher Education que, desde 1990, ha cambiado su nombre por el de Higher Education Management. La OCDE agrupa los 24 países más industrializados con economía de mercado, incluyendo casi toda Europa Occidental (también Turquía), Estados Unidos, Canadá, Japón, Australia y Nueva Zelanda. Dada la variedad de este conjunto, resulta interesante saber que estos países hayan decidido establecer un sistema común de indicadores de calidad para sus sistemas educativos, incluyendo el nivel superior. El diseño de este sistema ha sido terminado y su implantación esta comenzando (Cfr. Walberg, 1990).

27

3. TIPOS DE EVALUACIÓN SEGÚN LA METODOLOGÍA UTILIZADA

3.1 Introducción

Como se verá más adelante, en la mayoría de los casos, los sistemas que se utilizan realmente para evaluar la calidad de las IES combinan diversos procedimientos y acercamientos metodológicos complementarios. Sin embargo, en esta revisión de literatura trataremos de presentar los diversos procedimientos evaluativos por separado, de acuerdo con sus características metodológicas, para que se comprendan mejor las características de cada uno.

Cada procedimiento tiene, inevitablemente, alcances y limitaciones; no hay ninguno perfecto. Conociendo las características singulares, los responsables de realizar un proceso evaluativo particular podrán utilizar la combinación que mejor se ajuste a las circunstancias especificas de cada caso. Distinguiremos, por una parte, lo que llamamos un acercamiento macro (que trataremos someramente) en contraposición a acercamientos micro, propiamente institucionales, que ahora nos interesan fundamentalmente. Dentro de estos acercamientos micro distinguiremos los de tipo subjetivo y los de tipo objetivo, con algunas variantes dentro de cada uno de estos grupos. Luego veremos algunas formas de combinar diversas metodologías. Como en la segunda parte de este trabajo se ofrecerá una abundante bibliografía, organizada según un esquema análogo al de ésta que estamos comenzando, en este apartado daremos pocas referencias bibliográficas ya que las mismas se encontrarán después.

3.2 Estudios tipo “macro”

Con esta expresión nos referimos precisamente a todo un conjunto de trabajos en el campo de la economía de la educación que tratan de evaluar la aportación de las instituciones educativas en términos económicos.

Como es sabido, la economía de la educación se desarrolló sobre todo a partir de los años 50 de nuestro siglo. Después de la Segunda Guerra Mundial surgió en todo el mundo una preocupación sin precedentes por el llamado desarrollo económico. Los esfuerzos por reconstruir los destrozados países europeos y el Japón, por una parte, y por otra los países miembros de la URSS y sus satélites en Europa Oriental –que trataban de demostrar que el sistema socialista era superior al capitalismo- y los países del desde entonces bautizado tercer mundo, que en muchos casos apenas accedían a la independencia, coincidían en tratar de incrementar los volúmenes de su producción en todas las áreas, para acceder a niveles superiores de bienestar.

Los economistas estudiaron estos procesos y, además de tratar de definir su secuencia (v.gr. las etapas de Rostow), trataron de explicar los factores que los producían. La proporción de los incrementos de productividad que las inversiones en maquinaria y los adelantos tecnológicos no explicaban fue atribuida a la mayor capacitación o educación de la mano de obra.

28

Surgieron así los estudios de los enfoques conocidos con las expresiones capital humano y requerimientos de mano de obra, que se utilizaron ampliamente –y, con muchas modificaciones, se siguen utilizando— para tratar de precisar el número de personas que teóricamente se necesitaría preparar hasta cierto nivel, para poder lograr un volumen de producción determinado, dentro de un horizonte temporal dado.

Las críticas que se han hecho a estos enfoques desde la primera mitad de los años 60, y la experiencia misma, han mostrado sus limitaciones, que hoy resultan evidentes. Pero esta situación no impide que, dentro de ciertos márgenes amplios de error, y con muchas reservas, este tipo de estudios tenga cierta utilidad a nivel macroeconómico.

Por lo demás, la economía de la educación ha avanzado al refinar sus técnicas y al disminuir sus pretensiones, para tratar de evaluar el rédito económico que representa la preparación adicional que reciben los estudiantes de un nivel educativo determinado. Suponiendo el conocimiento anterior, hay que compararlo con el costo que representa su formación para así llegar al análisis de tipo costo-beneficio de la educación (Cfr. Psacharopulos, 1988 y Woodhall en Husén-Postlethwaite, 1985). Recientemente se ha intentado estimar el valor diferencial que representa no solo el egresar de un nivel educativo dado, sino que la educación recibida haya sido de mayor o menor calidad, capacitando diferencialmente a los egresados.

Como puede verse, esto ha desembocado directamente en la cuestión de la calidad educativa y su evaluación.

Sin embargo parece claro que en el campo de la economía de la educación solamente se ha realizado un acercamiento muy global al tema –por ello el calificativo de ―macro‖- sin llegar a la evaluación final de la calidad de una institución particular. Por eso no profundizaremos más en este punto.

3.3 Estudios “micro” de tipo “subjetivo”

Como es fácil comprender, la dificultad para definir con precisión en qué consiste la calidad de una IES encaminó a que los primeros esfuerzos por evaluarla consistieran en acercamientos muy subjetivos: la calidad es lo que las personas conocedoras del asunto crean que es. O, si se prefiere, una IES de calidad es aquella que los conocedores coinciden en señalar como tal. Por ello, como vimos en el apartado anterior, el primer acercamiento a nuestro tema fue el de los reputational rankings, las clasificaciones de instituciones basadas en su prestigio.

Después del trabajo pionero, antes mencionado, de James McKeen Cattell en 1910, la relación de clasificaciones es larga. Siguiendo al principal estudioso de estas cuestiones, David Webster, mencionaremos –sin pretensiones exhaustivas y limitándonos a las clasificaciones de instituciones globales, sin incluir las más numerosas clasificaciones especializadas de departamentos o áreas particulares –los siguientes trabajos (Cfr.Webster 1983).

29

La segunda clasificación, hecha por Hughes en 1925, basándose por primera vez expresamente en las opiniones de un grupo de expertos;

Otra más por Hughes, también basada en expertos, aunque con un sistema de clasificación diferente, en 1934;

Keniston, en 1959;

Carther, 1966;

The College Rater, 1967

Rose y Anderson, 1970;

Blau y Margulis 1973-75

Ladd y Lipset, 1979

Jones, Lindzey, Coggeshall et al., 1982.

Con este último trabajo publicado en cinco volúmenes, se llega, según Webster, a la máxima sofisticación en este tipo de estudios.

No hay que creer que simplemente se trata de la elaboración de una lista de expertos y otra de instituciones, para posteriormente, pedirles a los primeros que clasifiquen a las segundas. El procedimiento es mucho mas complicado y busca asegurar la máxima objetividad en los juicios –inevitablemente subjetivos- que constituyen su elemento medular.

Por una parte, las características de los jueces se definen con mucho cuidado. Hay que observar que, dados los abundantes mecanismos de comunicación con que cuenta la comunidad académica de un país como Estados Unidos –congresos revistas, etcétera— a diferencia del nuestro, se puede esperar que los académicos de regiones muy distantes se conozcan entre si y conozcan la producción académica respectiva.

A cada juez se le hace llegar no sólo la lista de las instituciones a evaluar, sino también una relación de los miembros del personal académico de sus diversas áreas. Naturalmente, no se considera que cada juez sea competente para opinar sobre cualquier cosa, sino únicamente sobre las áreas de su especialidad. De acuerdo con esto, se proporciona una lista y se pide a los jueces que evalúen a determinadas instituciones en cuanto a la calidad de su personal académico. Los jueces seleccionados no tienen que opinar sobre todas las instituciones únicamente sobre aquellas de las que consideren tener un conocimiento razonable de su profesorado. Los estudios comparan además, los resultados de las evaluaciones subjetivas de los jueces con clasificaciones basadas en datos ―objetivos‖, como el número de volúmenes en la biblioteca, las publicaciones científicas de los profesores, etcétera. En general ambos tipos de clasificación muestran alto grado de correlación.

30

Hay que observar, por otra parte, que las clasificaciones de este tipo son abundantes en cuanto a los niveles de posgrado (maestría y doctorado), mientras que hay pocas en cuanto al nivel de pregrado, es decir el bachelor, que generalmente se considera equivalente a nuestras licenciaturas aunque tiene un enfoque más general, menos profesionalizante.

Un trabajo reciente, de muy buena calidad, enfocado especialmente a este nivel, fue el del Instituto de Investigaciones sobre Educación Superior (HERI) de la Universidad de California, bajo la dirección de Astin y Solomon (1981).

A pesar del calificativo subjetivo que se aplica a estos trabajos, se reconoce que, si se hacen bien, pueden alcanzar un aceptable gado de objetividad, aunque no pueden ser finos en cuanto a la capacidad de discriminar entre instituciones de un nivel semejante, sobre todo en la parte inferior de la distribución. Esto es clave si consideramos que en los Estados Unidos hay más de 3,000 IES y que solo un centenar de ellas pueden tomarse en cuenta como grandes instituciones de investigación.

Por supuesto que también puede haber trabajos que parecen tener más bien propósitos publicitarios y comerciales y por lo tanto son de mala calidad. Tal parece ser el caso de los trabajos de Jack Gourman, que es presentado en las contraportadas de sus publicaciones –ocho de 1967 a 1983- como ―la principal autoridad internacional en evaluación de IES‖, y que pretendidamente clasifica no solo a muchos centenares de programas de unas 1,500 IES norteamericanas, sino que también pretende calificar unas 700 universidades de todo el mundo; estas instituciones son tan difícilmente comparables como pueden ser las inglesas, las francesa, las soviéticas y las de países del tercer mundo.

Sin nunca dar razón de su metodología –ni siquiera al ser entrevistado expresamente para ello- Gourman ofrece puntuaciones con diferencia de centésimas de punto (¿Cómo llegar a decir que, digamos la Soborna tienen una calidad de 4.73, Oxford 4.72 o la Universidad Lomonosov 4.71?); además con la inverosímil circunstancia de que se repite generalmente un patrón según el cual varias decenas de instituciones se ordenan rigurosamente a la distancia de una centésima, sin ningún empate ni hueco, y con la sorprendente casualidad de que las mas altamente clasificadas incluyen el Alma Mater del autor. (Webster, 1985).

Una crítica metodológica que se aplica a estos trabajos, aun a los más serios, es la que se refiere al llamado efecto de halo: el hecho de que una institución tenga buena reputación –entre otras cosas por haber sido bien clasificada en trabajos anteriores— en general o en algún área especifica, hace que muchas personas, incluyendo también a los expertos, tiendan a tener un alto concepto de todos los aspectos, independientemente de que cuenten con elementos objetivos para fundamentar su opinión.

Todavía dentro del rubro de los acercamientos subjetivos, aunque muy diferentes de los trabajos mencionados hasta ahora, tenernos a las encuestas de opinión, ya

31

no entre expertos, sino entre usurarios o actores de la educación superior: estudiantes, profesores, exalumnos, empleadores, contribuyentes, etcétera.

Nuevamente lo subjetivo del procedimiento es claro: se trata de conocer cuál es la opinión, digamos de los estudiantes, sobre la calidad de determinados servicios de su institución o la opinión de un grupo de empleadores sobre la calidad de los egresados de una o varias instituciones en determinadas áreas; estas encuestas se realizan sabiendo que tales opiniones pueden no corresponder a la realidad; pero también reconociendo que tienen un valor por s i mismas : si la mayoría de los alumnos piensa que la cafetería de la institución es muy mala, esto constituye un problema real aunque tal opinión sea falsa:

Este tipo de encuestas de opinión suele formar parte de los ―autoestudios‖ tradicionalmente utilizados como medios de evaluación en muchas IES, mismos que se mencionarán mas tarde: Por esto, y por que la metodología de esos trabajos no tiene nada de particular, sino que es la metodología clásica de las encuestas de opinión, no se abundará en el tema ni se indicara bibliografía especializada.

3.4. Estudios "micro" de tipo objetivo

Con este apartado –como se verá por la abundancia de la bibliografía respectiva— llegamos al corazón de nuestro trabajo. Se trata, efectivamente, de los diversos esfuerzos por evaluar la calidad de las IES de una manera más objetiva, que no se base simplemente en opiniones. Para tratar de poner orden en la variedad de acercamientos al tema, utilizaremos el esquema de análisis de sistemas, centrando la atención en los insumos, los productos y los procesos de las IES.

ESTUDIOS SOBRE INSUMOS

Desde un punto de vista histórico y práctico, a partir de que comenzaron las clasificaciones de prestigio, se utilizó también un enfoque que trataba de ser objetivo para evaluar a las IES, basándose en los insumos del sistema. Fue lo que se conoció como enfoque a partir de los recursos de las instituciones.

El supuesto implícito en que se fundamentan estos trabajos es el de que si una Institución tiene más y mejores recursos (profesores, salarios, libros, laboratorios, etc.) será mejor la calidad de la educación que ofrezca.

Un insumo o recurso al que se presta especial atención es el de los alumnos: dado que en los Estados Unidos se ha generalizado desde hace mucho tiempo la aplicación de pruebas estandarizadas para el ingreso a la educación universitaria, cualquier institución puede determinar fácilmente qué tan buenos son los estudiantes que solicitan ingresar a ella y los que de hecho ingresan, en comparación con los que ingresan a otras, o con el conjunto de egresados de la educación media superior. Por supuesto que es de esperarse que si una institución recluta mejores estudiantes sus egresados también sean mejores.

32

Al hablar de las clasificaciones basadas en el prestigio de las IES, dijimos que se encontraban correlaciones elevadas con clasificaciones basadas en sus recursos. Como señala Astin (en Halpern, 1987 p. 89-90), hay una especie de círculo vicioso detrás de la relación entre estos dos enfoques: las instituciones de mayores recursos adquieren mayor prestigio y las instituciones de mayor prestigio atraen mayores recursos, los mejores alumnos, los más brillantes académicos y, por supuesto, más recursos económicos de los mismos alumnos así como del Estado y de fundaciones particulares. Al contar con más recursos económicos se pueden pagar mejores salaries y tener mejores instalaciones, con lo que se atraen mejores profesores y mejores alumnos, y así sucesivamente.

Con el creciente interés en la evaluación de las IES a partir de los años 60, y con el surgimiento de enfoques más avanzados, a los que nos referimos a continuación, se buscaron indicadores objetivos, ya no solo de insumos (o recursos) sino también de productos e incluso de procesos. Por ello, en la bibliografía, en lugar de un apartado dedicado específicamente a los indicadores de recursos, tenemos uno dedicado en general a los sistemas de indicadores.

ESTUDIOS SOBRE PRODUCTOS

Los nuevos enfoques que acabamos de referir centraron la atención en los resultados o productos de las IES (outcomes). Como escribe Diane Halpern:

En lugar de tratar de documentar la excelencia por medio de variables poco relacionadas con el aprendizaje, como la reputación en el campo de la investigación, o tratar de inferir que hay calidad fijándonos en encuestas de opinión, el numero de volúmenes en la biblioteca o las tasas de retención, podemos evaluar la calidad educativa más directamente analizando cuánto aprenden de hecho los alumnos y cómo lo logran.(1987, p. 56)

Los antecedentes de estos trabajos se remontan a finales de la década de los 20 cuando -después de otro periodo de expansión acelerada en la educación norteamericana— se sintió la necesidad de conocer mejor cuál era realmente el impacto de la educación universitaria sobre sus estudiantes. Los estudios sobre el impact of college on students no se limitaban a los aspectos cognoscitivos -cuanto aprenden los estudiantes en determinados aspectos- sino que daban importancia a lo afectivo: cómo cambiaban las actitudes y valores de los egresados de las IES (colleges & universities) en comparación con los que no habían llegado a ese nivel educativo (Cfr. Resnick y Goulden 1987, Feldman y Newcomb 1969, Pace 1979). Al encontrarse diferencias significativas (v. gr. mayor liberalismo de los egresados de universidad) se trataba de ver en qué medida estas se debían a las clases, o a la convivencia en las residencias estudiantiles, etcétera.

Muchas veces estos trabajos fueron realizados en oficinas que surgieron en las IES durante los años 20 y 30 para hacer investigaciones de carácter aplicado, con el propósito de elevar la calidad. Por ese carácter aplicado, y por las limitaciones propias de la época, los trabajos más antiguos sobre el impacto del college tuvieron fallas metodológicas y técnicas importantes, que no permiten sacar de

33

ellos conclusiones solidas. Tratando de superar estas fallas, la investigación sobre el impacto fue haciéndose más sofisticada técnicamente, adoptando una orientación más básica, en lugar de la aplicada que la caracterizó en sus inicios; inclusive muchas de las oficinas ad hoc que habían surgido desaparecieron.

El resurgimiento del interés por estas cuestiones -nuevamente como resultado de otro periodo de expansión acelerada después de la Segunda Guerra Mundial- utilizó una nueva terminología (student outcomes assessment), pero volvió el carácter aplicado y se desarrollo en las oficinas de planeación e investigación institucional (institutional research) (Cfr. Jacobs 1957, Pascarella 1985, y sobre todo Ewell en Smart vol. IV, 1988).

Los trabajos actuales sobre resultados surgen desde principios de los años 60 con el trabajo de Alexander Astin y, a nivel institucional, a principios de los 70, aunque no se deben ignorar otros antecedentes inmediatos, como los trabajos seminales de Benjamín Blomm (quien en su trabajo sobre los objetivos educacionales derivó expresamente las consecuencias en cuanto a la evaluación de los resultados de la educación universitaria, Cfr. 1960) y de Paul Dressel (que contemplaba esta dimensión desde el inicio del desarrollo de la Institutional Research, Cfr. 1972).

En general se reconoce que las IES pioneras fueron Northeast Missouri State University (NMSU) en Kirksville y Alverno College de Milwaukee (Cfr. Krweger y Heisserer en Halpern, 1987 p. 45-56). La primera adoptó un enfoque cuantitativo, mientras que el segundo se oriento cualitativamente desde un principio.

En ambos casos la visión del asunto no era estática, sino que se adoptaba un punto de vista dinámico: ¿cómo van cambiando los estudiantes a lo largo de los años de universidad?; ¿qué tan duraderos son esos cambios?

En NMSU esto significó el desarrollo del enfoque llamado –con un término económico— de valor agregado: no basta con saber qué tanto sabe un egresado después de pasar por la universidad, o cuáles son sus actitudes (puesto que todos los enfoques mantienen la distinción entre aspectos cognoscitivos y otros como actitudinales y valorales, y tratan de alguna manera de cubrirlos todos); además, es necesario saber cuánto sabía y cuáles eran sus actitudes al entrar, para poder determinar cuánto cambió en ese lapso e intentar, todavía mas a fondo, establecer en qué medida el cambio lo produjo la universidad; en otras palabras, cuanto VALOR (cognoscitivo u otro) AGREGÓ la universidad a sus estudiantes.

Uno de los principales promotores de este enfoque, Alexander Astin, propuso posteriormente, utilizar otra expresión equivalente pero sin las connotaciones economicistas de la anterior: "desarrollo del talento" (talent development, Cfr. Astin en Halpern, 1987).

Desde un punto de vista metodológico, las preferencias se dividen inclinándose, en algunos casos, a la utilización de instrumentos estandarizados para evaluar, tanto conocimientos y habilidades cognoscitivas más complejas, como actitudes y comportamientos efectivos; en otros casos, se prefiere utilizar instrumentos

34

diseñados localmente. La primera opción tiene las ventajas de la mayor comparabilidad, pero resulta menos flexible y menos adaptable para la evaluación de objetivos curriculares particulares en los que tenga interés una institución. Las ventajas y desventajas de la segunda opción, lógicamente, son correlativas.

Ewell (en Ewell, 1985, y en Halpern, 1987) presenta la visión de una amplia gama de instrumentos, tanto estandarizados como diseñados a nivel institucional, para la investigación sobre resultados. Sin pretensiones de exhaustividad, mencionaremos algunos.

A nivel nacional sobresalen los instrumentos siguientes:

COMP (College Outcomes Measuren Project) del American College Testing Program, de Towa.

Varios del Educational Testing Service de Princeton, New Jersey, como el CLEP (College Level Examination Program); el PPST (Pre-ProfessionalSkills Test); el TGE (Test of General Education); el NTE (National Teachers Examination); y el GRE (Graduate Record Examination).

En cuanto a instrumentos tipo encuesta sobresalen los de la UCLA, tanto del CIRP mencionado de Astin, como el CSEQ (College Student Experiences Questionaire) de Pace y el Evaluation Survey Service del American College Testing.

El National Center for Higher Education Management Systems (NCHEMS) de Boulder, Colorado, tiene un excelente College Board Student Outcomes Information Service.

A nivel estatal se han desarrollado importantes instrumentos en Florida (College Level Academic Skills Test, CLAST); en New Jersey (Basic Skills Test);y en Georgia (Regents Examination). En cuanto a instrumentos diseñados a nivel institucional destacan los de las Universidades de Tennessee (a cuya experiencia se hará referencia más adelante), los del Kean College de New Jersey, la James Madison University de Virginia, y la State University of New York en Plattsburgh.

En la misma Universidad de Tennessee, en Knoxville, se estableció en1986 un Centre de Recursos para este tipo de trabajos (Assessment Resource Center).

Un punto especialmente delicado en cuanto a estos enfoques -desde una perspectiva metodológica- es el de la durabilidad de los efectos a largo plazo. La complejidad de esta cuestión y la relativa juventud de las investigaciones de este tipo, explican el que no se cuente con muchos trabajos sobre esto en particular; sin embargo, se puede ver la bibliografía para algunas referencias.

El acercamiento cualitativo a esta cuestión fue iniciado, también desde principios de los años 70, por el Alverno College, en donde se ha desarrollado una rica experiencia de evaluación individualizada, utilizando entrevistas e instrumentos diseñados localmente.

Hace casi 10 años, Alexander Astin (1982) observó que las evaluaciones de tipo cuantitativo sobre resultados de la educación (student outcomes assessment-value added), -que en sí mismas son muy interesantes y validas- son también

35

complejas, largas y costosas, ya que es difícil que una institución tenga la perseverancia necesaria para realizarlas bien durante un periodo considerable. Por ello Astin señala la conveniencia de utilizar habitualmente un enfoque más sencillo, que tenga cierta afinidad con el enfoque cualitativo, y que este centrado en procesos; a esto nos referiremos más adelante.

Otro tipo de trabajo que se ha desarrollado en forma independiente, pero que evidentemente está muy relacionado con el que acabamos de presentar, es el que se conoce con el nombre de "investigación sobre ex-alumnos" (alumni research). Como es lógico, si se trata de evaluar los efectos de la educación sobre los estudiantes, no solo al momento de graduarse o egresar, sino cierto tiempo-poco o mucho- después, hay que estudiar a los ex-alumnos. Por ello este tipo de trabajos resulta complementario al anterior (Cfr. Melchiori, 1988).

El creciente interés del Estado por controlar de alguna manera la calidad de las IES, como respuesta a la preocupación por la calidad y a las presiones de diversos grupos de contribuyentes (Cfr. lo mencionado antes sobre accountability), ha hecho que surjan interesantes esfuerzos por vincular de alguna forma el otorgamiento de fondos públicos a las IES, a la evaluación de sus resultados (performance funding). La experiencia pionera en este campo, es la del estado de Tennessee y la Universidad de Tennessee en Knoxville.

Desde 1975-76 la Comisión para Educación Superior de dicho estado (Tennessee Higher Education Commission, THEC) comenzó a analizar la factibilidad de que una parte del financiamiento público para la educación superior se asignara con base en criterios de desempeño, en lugar de mediante las habituales formulas basadas en la matrícula (Cfr. Banta, en Banta, 1988, p. 81).

Durante 1976 y 77 se hicieron algunos estudios piloto, y en 1979 se establecieron los primeros criterios de desempeño, con base en los cuales se asigno financiamiento suplementario de un 2% del presupuesto ordinario para docencia y actividades generales.

En 1983 la THEC, junto con un grupo de representantes de las instituciones involucradas, precisó e hizo más estrictos los criterios y lanzó un programa de cinco anos de performance funding, incrementando en ese año la proporción del presupuesto asignado con base en el desempeño del 2 al 5.

En 1986, la THEC aprobó que el programa continuara por otro periodo de cinco anos al terminar el plazo anterior 83-88; es decir, amplió la duración del programa para el quinquenio 89-93, incluyendo, tanto a las universidades regionales, como a los institutes tecnológicos del Estado, los Colleges comunitarios de dos anos y las instituciones de investigación. En 1987 se revisaron nuevamente los criterios para el nuevo quinquenio (Cfr. Banta en Banta, 1988, p. 81-86).

Aunque joven, la experiencia de Tennessee ya ha dejado importantes lecciones y se está siguiendo su ejemplo en un número cada vez mayor de estados.

La implementación de programas de evaluación de resultados, no puede más que tener importantes repercusiones que afecten a todos los grupos humanos involucrados: si los estudiantes se pueden sentir beneficiados con la elevación del

36

nivel académico, también se pueden sentir amenazados, especialmente si el programa se usa para propósitos de selección, como sucede con el programa del estado de Florida, que ha sido cuestionado por los grupos hispánicos que lo consideran discriminatorio.

Los profesores y administradores de la universidad, pueden recibir los beneficios de fondos adicionales por un buen desempeño, pero pueden también sentir amenazada la autonomía académica. Por esto el diseño y el contenido de los programas, así como la forma de introducirlos, tienen que analizarse cuidadosamente para que los efectos no resulten contraproducentes.

ESTUDIOS DE PROCESOS

Teóricamente, es posible hacer una evaluación muy completa de un sistema conociendo sus insumos y sus productos (así como las necesidades de su entorno), sin necesidad de tener que escudriñar los procesos que constituyen el centro del sistema. Por ello no es raro encontrar acercamientos del tipo "caja negra", que no consideran los procesos.

Sin embargo -y como vimos arriba, según la opinión de Alexander Astin- en el caso de la educación superior, como sucede frecuentemente con los sistemas complejos, evaluar comprensivamente sus insumos y, sobre todo sus productos, es prácticamente imposible. Por ello tiene mucho sentido el estudio de los procesos, pues la relación entre procesos y productos es directa, a diferencia de la relación entre insumos y productos que siempre esta mediada por los procesos. Si no es evidente que a más recursos mejores resultados, si parece muy lógico que a mejores procesos mejores resultados.

Dado que la didáctica y la tecnologia educativa no se han desarrollado al grado en que haya métodos de enseñanza y aprendizaje radicalmente superiores o, si se prefiere, dado que aun no se ha inventado la manera de aprender sin estudiar, parece claro que a mayor tiempo efectivo de clases y de estudio personal se obtienen mejores resultados del aprendizaje.

Los trabajos sobre procesos en las IES, menos desarrollados que los relativos a insumos y productos, tienen sus antecedentes en el campo relativo a la administración de empresas. Como cualquier organización importante, una universidad tiene una estructura legal y una administrativa dispuestas en un organigrama; en ella se toman decisiones, se ejerce la autoridad y se delega, se planea, se ejecuta y se controla.

Como es sabido, la administración de empresas evoluciono después de la Segunda Guerra, a partir de.los planteamientos clásicos de la primera mitad del siglo; se introdujeron elementos de la psicología humanista y de la dinámica de grupos, así como de la sociología y la antropología para el estudio de los aspectos políticos (la participación, los conflictos, etc.) y culturales de toda organización.

Recientemente, durante los 80, se extendieron en Estados Unidos los enfoques de la administración orientada en función de la calidad, a partir de la experiencia japonesa que, a su vez, los había desarrollado a partir de la influencia norteamericana en los años 50.

37

Las universidades no podían quedar al margen de esta "revolución administrativa" (Cfr. Keller 1983).

Dentro de este campo de estudios, la veta que ha aportado trabajos en el campo de la educación superior, es la de estudios sobre la efectividad organizacional (organizational effectiveness, Cfr. Cameron, 1987 y Chafee, en Smart,1989).

Otra de las formas tradicionales de control de los procesos es la auditoría administrativa. La aplicación de técnicas de control de procesos en las IES –y no sólo los procesos administrativos, como los sistemas de contabilidad, el pago de nominas, etc., que son iguales a las de cualquier organización, sino también los procesos estrictamente académicos como la fijación de objetivos educacionales, la elaboración de planes y programas de estudio, la evaluación de los aprendizajes, etcétera— puede llamarse por analogía, auditoria académica o educativa. Si bien los procedimientos evaluativos propuestos por Astin (1982), a los que ya nos referimos, son exactamente de ese tipo, sin embargo él no usa esa expresión; ésta, en cambio, si es utilizada por Miller (en Jedamus Peterson et al., 1980).

Como se dijo al hablar del Reino Unido, el Comité de Rectores de las universidades de este país (CVCP) creó recientemente una Unidad de Auditoría Académica. Los enfoques de administración de calidad total están usándose en un número creciente de IES, con su atención característica a los procesos y a su evaluación (Cfr. Spanbauer, 1987). También están relacionados, de alguna manera con este apartado, trabajos sobre los efectos del ambiente universitario, o del college, en el aprendizaje (Cfr. Pascarella, 1985).

3.5 La integración de sistemas de indicadores

Como se dijo al comenzar el apartado anterior -relativo a los estudios de tipo "objetivo"- desde etapas muy tempranas en la historia de la evaluación de la calidad de las IES se utilizaron indicadores de recursos o insumos, considerando que su mayor o menor abundancia estaría relacionada con la mayor o menor calidad de los productos.

Los avances que han situado al estudio de la calidad en el terreno de los productos, también se han plasmado en sistemas de indicadores que pretenden ser mas completes y reflejar mejor la calidad de las IES. Se había por ello de indicadores de resultados, o Performance Indicators, subtema que constituye un centro de debate en la literatura internacional reciente (Cfr. Beyer y Smipper, 1974, y Cave et al., 1988).

Como también el estudio de los procesos puede dar lugar -y de hecho ha dado- al establecimiento de indicadores, hemos abierto este apartado especial que no se refiere en particular a ninguno de los componentes del sistema que representa una IES (insumos, procesos y productos), sino que en principio se refiere a los tres.

Lo que caracteriza este tipo de acercamiento -y que será a la vez su fuerza y su debilidad- es el intento de llegar a plasmar una apreciación sobre un aspecto de la realidad de una institución en una cifra; es el intento por llegar a un nivel cuantitativo, que permita una comparación clara con otra realidad que, a su vez, sea evaluada con el mismo procedimiento.

38

El carácter inevitablemente burdo de los indicadores en sus primeras etapas, aunado a un manejo poco flexible y, tal vez, a ciertas manipulaciones con trasfondo político, hace que resulten explicables y justificadas muchas críticas que este enfoque ha suscitado. Las críticas por su parte, han tendido a ser excesivas, como sucede con la polémica más amplia sobre los enfoques cuantitativos y cualitativos en las ciencias del hombre. Esta polémica ha agitado a los investigadores desde los años 70 y, en este mismo contexto, se ha inscrito la discusión sobre los indicadores.

Al respecto puede decirse que, evidentemente, la riqueza y complejidad de una universidad -como la de cualquier institución grande- nunca podrá ser agotada por ningún tipo de estudio, ni estructurado de tipo cuantitativo, ni otro; por tanto siempre será deseable utilizar varios acercamientos que se complementen.

También parece excesivo rechazar totalmente los sistemas de indicadores o los acercamientos cuantitativos en general. Bien diseñados y manejados con criterio son insustituibles para que los tomadores de decisiones tengan puntos de referencia claros con respecto a algunos puntos básicos de las IES.

Es cierto que cada caso es distinto de todos los demás, único; pero también es cierto que se pueden y se deben hacer determinadas abstracciones y comparaciones entre elementos convenientemente aislados.

Es cierto que el detalle del funcionamiento de una IES solo puede ser apreciado cabalmente mediante acercamientos finos; pero también es verdad que no es probable que se de un funcionamiento adecuado si no existen ciertos elementos básicos que son relativamente fáciles de detectar: Así por ejemplo los procesos de enseñanza-aprendizaje que tienen lugar en un salón son complejísimos; pero si los profesores y/o los alumnos no se presentan ningún proceso podrá tener lugar. El porcentaje de asistencia de profesores y/o alumnos es un indicador muy sencillo de obtener técnicamente hablando y su importancia no puede negarse.

El resultado del debate parece ser, afortunadamente, sistemas de indicadores menos burdos y mejores criterios para utilizarlos.

3.6 La combinación de los enfoques

Dado que, como hemos dicho, ningún acercamiento es perfecto, si no que todos tienen pros y contras, se observa una creciente coincidencia en cuanto a la utilización de combinaciones variadas en los acercamientos metodológicos:

Así vemos que se utilizan instrumentos estandarizados de alcance nacional junto con otros diseñados localmente; en ambos casos tratando de evaluar productos; pero se combinan con acercamientos cualitativos, orientados tanto a los productos como a los procesos, y conjuntos de indicadores para los tres elementos del sistema.

39

4. TIPOS DE EVALUACIÓN SEGÚN QUIEN LA REALIZA

Los lectores que nos hayan seguido hasta aquí, y que tengan algún conocimiento del tema, se sorprenderán de no ver incluidos en el apartado anterior puntos clásicos en la evaluación de las IES, como son los autoestudios y los procedimientos de acreditación.

La razón es que estos modelos no constituyen un enfoque metodológico en sí mismos sino que son, precisamente, combinaciones concretas de técnicas particulares que se usan en un caso dado. Por ello consideramos necesario abrir el presente apartado. Trataremos de ver los tipos de modelos de evaluación de la calidad de las IES según el agente que realiza u organiza la evaluación. Con ese fin, mencionaremos tres puntos, para los tres "agentes" lógicos: la institución misma, una agrupación de IES o agencia acreditadora y el Estado.

4.1. Autoevaluación por la propia institución

Desde principios de siglo se desarrollaron procedimientos de autoevaluación, llamados self-studies en las IES, en relación con los procedimientos de acreditación que veremos en el siguiente punto.

La creciente importancia de la planeación y la evaluación institucionales para las IES, en la época de expansión de la posguerra y de la revolución administrativa que la siguió, hizo que en las instituciones se establecieran oficinas especializadas, que fueron usualmente conocidas con las expresiones de planning o de institucional research. Como vimos en la introducción histórica, ya para 1965 estos trabajos habían adquirido tal importancia que se constituyó a nivel nacional la Association for Institutional Research.

Los desarrollos de los 70 y los 80 que ya vimos (student outcomes, value added, performance funding, alumni research, organizational effectiveness, educational auditing, etc.) surgieron muchas veces de tales oficinas, o bien se incorporaron rápidamente a sus responsabilidades.

Por ello reiteramos que no se puede considerar a los autoestudios o a la investigación institucional como otras técnicas en el mismo nivel de las que hemos mencionado. Si en 1960 un autoestudio hubiera comprendido típicamente encuestas de opinión entre alumnos, profesores y directivos, a fines de los 80 incluiría, sin duda, varios elementos de los enfoques más recientes que hemos presentado. Lo mismo se diga de la investigación institucional.

4.2 Evaluación por agencias acreditadoras

En la introducción histórica nos referimos al surgimiento, a principios del siglo, de agencias de acreditación para las IES (tanto especializada como institucional) y al aumento de su número y hasta la fecha.

Hasta los años 70 los criterios y estándares utilizados por las agencias para decidir sobre la acreditación eran bastante bajos, constituyendo una especie de mínimos, los requisitos indispensables para que no se considerara que una IES determinada constituía un fraude para la clientela potencial.

40

Esto no dejaba de servir de algo, pero evidentemente no era muy útil para efectos de la decisión sobre la calidad de las instituciones, ya que se acreditaba por igual a las realmente excelentes y a las francamente mediocres.

Con el desarrollo de la preocupación por la calidad y de los diversos enfoques para evaluarla, elementos a los que ya nos hemos referido, las agencias acreditadoras se vieron en la necesidad de redefinir sus criterios, so pena de volverse obsoletos. Siguiendo el liderazgo de la Southern Association of Colleges and Schools, como ya se mencionó, a partir de 1984 las seis agencias acreditadoras modificaron sus criterios.

En la actualidad un proceso completo de evaluación para la acreditación tiene lugar cada diez años, con una revisión menor intermedia a los cinco, e incluye los siguientes elementos:

Definición o redefinición de estándares y elementos de evaluación requeridos;

Procesos de autoevaluación en relación con ellos;

Visita de equipos especializados para evaluación externa;

Decisión.

Desde 1984 uno de los elementos de evaluación que siempre se requiere es algún tipo de programa de student outcomes assessment.

Como puede verse, la acreditación tampoco es una metodología específica.

En la bibliografía, y en las referencias especificas sobre acreditación, se encontraran obras sobre las llamadas department reviews que no son mas que una especie de procesos de acreditación especializados, a veces realizados por iniciativa de la propia institución y otras por exigencia de agrupaciones profesionales o especializadas por disciplina.

4.3 Evaluación por estado

Como se ha podido ver, incluso en un país de tradición tan liberal como Estados Unidos la exigencia de accountability ha traído consigo la intervención estatal en la calidad de las IES.

De esta forma se va pasando de una manera de asignar recurso públicos basada acríticamente en los antecedentes históricos, con presupuestos que simplemente se incrementaban cada año en un porcentaje dado (incremental budgeting), a una un poco menos arbitraria, pero aún no vinculada a la calidad, sino al número de alumnos ponderado diversamente según determinados criterios (formula budgeting), al ya mencionado performance budgeting, ligado expresamente con indicadores de calidad, especialmente de tipo resultados.

Esta ultima forma de presupuesto se relaciona lógicamente, con la ―revolución administrativa‖, la administración por objetivos (Management by objectives, MBO), el presupuesto base cero (Zero Base Budgeting ZBBS), el presupuesto por programas (Planning Programing Budgeting PPBS) etc. (Cfr. Ahumada, 1990).

41

Naturalmente, en los países con mayor tradición de intervención del Estado su participación en estas cuestiones ha sido mucho más lógica.

Sin embargo, probablemente pueda decirse que a partir de situaciones diferentes –según las tradiciones nacionales respectivas- parece que la tendencia en todas partes es una evaluación integral que incluye autoevaluación, algún tipo de evaluación por los pares, ya algún tipo de evaluación por el Estado.

En Estados Unidos la del Estado ha sido la última en desarrollarse, mientras que en el Reino Unido, a partir de la evaluación estatal del CNAA, se está desarrollando la autoevaluación en el sector público no autónomo.

La iniciativa francesa del Comité National d'Evaluation, a partir de un Estado centralista e instituciones tradicionalmente no autónomas, incorpora de alguna manera la evaluación por pares y va paralela al desarrollo de una mayor autonomía académica a nivel institucional. Algo semejante y aun más claro, mencionamos en relación con el sistema holandés.

Parecería que, desde distintos puntos de partida, los diferentes sistemas se dirigen hacia un punto de convergencia: conjuntos de instituciones maduras, dotadas de autonomía, que aceptan sin dificultad la responsabilidad de autoevaluarse y someterse a evaluaciones externas para verificar la calidad de su funcionamiento, como único fundamento aceptable para que se siga depositando en ellas la confianza de la autonomía y se le siga asignando fondos públicos. O, si se prefiere, Estados que abandonan la pretensión de gobernar complejas instituciones académicas, aceptando que los integrantes de estas son –en principio- los más adecuados para ello, pero que no renuncian a su responsabilidad de pedir cuentas y de velar por el buen uso de dinero público.

42

5. LOS PROPOSITOS DE LA EVALUACIÓN

Para terminar este tema consideraremos los diferentes propósitos que puedan orientar los sistemas de evaluación de la calidad de las IES, propósitos que ya se han podido entrever a lo largo de los puntos anteriores, pero que es conveniente sistematizar, ya que la prevalencia de uno u otro confiere un sentido muy diferente a la evaluación de que se trate. Distinguiremos tres propósitos: evaluar para clasificar, para asignar recursos o para mejorar.

5.1 Evaluación para clasificar

El propósito de una evaluación puede ser simplemente hacer una clasificación (ranking) de las IES según su calidad, apreciada por el procedimiento que sea, dejando que la clientela de las IES o el Estado saquen sus consecuencias. Si la clasificación se hace con base en los insumos o recursos de la institución, este enfoque tiene consecuencias negativas, como observa Astin (en Halpern, 1987, p. 89-108).Dado que las clasificaciones son juegos de suma cero en los que alguien tiene que perder (bajar en la clasificación) para que otro gane (suba), y dado los recursos en que se basa la clasificación (profesores, alumnos, dinero…) son finitos y escasos se produce una competencia por recursos en que unos cuantos resultan favorecidos (generalmente los que ya lo eran), mientras la mayoría pierde.

5.2 Evaluación para asignar recursos o acreditar

A pesar de las protestas de los más celosos defensores de una autonomía académica entendida en forma excesivamente amplia, no resulta difícil hacer aceptar un observador desapasionado que hay justificación para una evaluación por parte de los poderes públicos, para que los recursos provenientes de los impuestos puedan ser asignados en forma racional.

Es evidente que no cualquier sistema de evaluación será adecuado, y que habrá que tener mucho cuidado al establecer criterios y definir procedimientos, pero el principio parece claro. Sin embargo, en forma semejante a lo que pasa con los sistemas de acreditación, este enfoque de evaluación tiende a centrar la atención en el cumplimiento de requisitos mínimos, por debajo de los cuales una institución no se hace merecedora de determinados subsidios (o de la acreditación, en su caso). Por encima de esos mínimos este enfoque no suele ser estimulante.

5.3 Evaluación para mejorar

Si el impulso para evaluar no proviene en primer lugar de fuera, sino que es fruto de una voluntad institucional de mejorar y de buscar la excelencia, entonces la evaluación tiene todas las perspectivas de resultar positiva.

Por una parte, no importa el aspecto competitivo; a la institución no le interesa estar mejor que las demás instituciones, son estar bien en si misma. No necesita tratar de quitarles a otras IES algunos profesores destacados para subir el ranking, sino que le preocupa como mejorar a todos sus propios profesores, alumnos, etc.

Por otra parte, en este enfoque no interesa simplemente cumplir mínimos para recibir una aprobación externa, sino buscar máximos, tratar de mejorar siempre en la dirección de esa utopía de referencia que es la excelencia.

43

REFERENCIAS

AHUMADA M. M., ―An Analysis of State Formula Budgeting in HE‖, in J.C. Smart ed., Higher Education: Handbook of Theory and Research, Vol. VI, New York, Agathon Press, 1990, p. 467-497.

ASTIN A.W., ―Assessment, Value-Added, and Educational Excellence‖, in Halpern D.F. ed., New Directions for Higher Education, 1987, No, 59, p. 89-107.

BANTA T.W. ―Assessment as an Instrument of State Funding Policy‖, in Banta T.W. ed., New Direction for Institutional Research, 1988, No. 59, p. 81-94.

BANTA T.W. y MOFFETT M.S., ―Performance Funding in Tennessee: Stimulus for Program Improvement‖, in Halpern D.F. ed., New Directions for Higher Education, 1987, No. 59, p. 35-43.

BARAK R.J., Program Planning, Development and Evaluation‖, in Peterson M.W. & Mets L.A. ed., Key Resources on H.E. Governance, Manag & Leadership, San Francisco, Jossey Bass 1987.

BARNETT R.A. ―Institutions of H.E.: purposes and performance indicators‖, Oxford Review of Education, Vol. 14 (1988), No. 1 p. 97-112.

BEYER J.M. y SNIPPER R., Objective vs subjective indicators of quality, Sociology of Education, 1974 p. 541-557.

BLOOM B.S. y WEBSTER H., ―The Outcomes of College‖, Review of Educational Research, Vol. 30 (1960), p. 321-333.

BROWDER L.H., "Accountability in Education", in Husen T. &Postlethwaite T.S.N. eds., International Encyclopedia of Education, Oxford-New York, Pergamon Press, 1985, Vol. 1, p. 29-31.

CAMERON K.S., "Improving Academic Quality and Effectiveness", in Peterson M.W. y Mets LA. eds., Key Resources on H.E. Governance, Management and Leadership, San Francisco, Jossey Bass, 1987, p. 322-346.

CAVE M. et al., The Use of Performance Indicators in H.E. a Critical Analysis of Developing Practice, London, Jessica Kingsley, 1988.

CERYCH L., "Renewal of Central European H.E.: Issues and Challenges", European Journal of Education, Vol. 25 (1990), No. 4, p. 351-359.

CHAFFEE E.E., "Strategy and Effectiveness in Systems of Higher Education", in Smart J.C. ed., Higher Education: Handbook of Theory &Research Vol. 5, New York, Agathon Press, 1989, p. 1-30.

CHOPIN B.H., "Evaluation, Assessment and Measurement", in Husen T. & Postlethwaite T.S.N. eds., Int. Enc. of Education, op. cit., 1985, 3, p.1747-1748.

CINDA, Avances, Dic. 1990, No. 10, p. 3 y 17-23.

44

CONRAD C.F. y BLACKBURN F., "Program Quality in H.E. A Review and Critique of Literature and Research", in Smart J.C. ed., H.E. Handbook of Th. & Res., op. cit., Vol. 1,1985, p. 283-308.

COWAN, J., "Effectiveness and Efficiency in H.E.", Higher Education, Vol. 14 (1985), No. 3, p. 235-239.

DAHLGREN L.O., "H.E.: Impact on Students", in Husen T. y Postlethwaite T.S.N., op. cit., 1985, 4, p. 2223-2226.

DOCKRELL W.B., coord., "Evaluation Procedures used to Measure the Efficiency of H.E. Systems and Institutions", New Papers on H.E. Studies and Research (UNESCO), No. 1,1990.

DOCKRELL W.B., "Evaluation Procedures...: The Netherlands", in Dockrell W.B. coord., New Papers on H.E. Studies and Research, No. 1,1990, p.117-145.

DRESSEL P.L. et al; Institutional Research in the University. A Handbook, San Francisco, Jossey Bass, 1972.

EWELL P.T. ed., Assessing Educational Outcomes, New Directions for Institutional Research, 1985, No. 47.

EWELL P.T., "Outomes Assessment and Academic Improvement: In Search of usable Knowledge", in Smart J.C. ed., H.E. Handbook of Th. & Res., op. cit.. Vol. IV, 1988, p. 53-108.

FELDMAN K.A. y NEWCOMB P.M., The Impact of College on Students, San Francisco, Jossey Bass, 1969.

GARBER A., The Rise and Fall of National Test Scores, New York, Academic Press, 1982.

HALPERN D.F. ed., Student Outcomes Assessment: What Institutions Stand to Gain, New Directions for Higher Education, 1987, No. 59.

Hong Kong Council for Academic Accreditation. Handbook, Hong Kong, HKCAA, 1990.

ICED, La reforma universitaria española. Evaluación e informe, Madrid, Consejo de Universidades, 1987.

JACOB Ph. E., Changing Values in College: An Exploratory Study of the Impact of College Teaching, New York, Harper & Row, 1957.

KELLER G., Academic Strategy: The Management Revolution in American Higher Education, Baltimore, John Hopkins Univ. Press, 1983.

KELLS H.R., "The Second Irony: The System of Institutional Evaluation of H.E. in the USA", in Kogan M. ed.. Evaluating Higher Education, London, Jessica Kingsley, 1989, p. 95-104.

KNOWLES A.S. y VIOLA J.W., "Academic Standards and Accreditation: International", in Knowles A.S. ed. International Encyclopedia of Higher Education, San Francisco, Jossey Bass, 1978, Vol. 2, p. 32-39.

45

KRUEGER D.F. y HEISSERER M.L., "Assessment and Involvement: Investments to Enhance Learning", in Halpern D.F. ed., New Directions for Higher Education, 1987, No. 59, p. 45-56.

LATAPI P., ULLOA M., MARTINEZ RIZO F, MUNOZ IZQUIERDO C. y SCHMELKES S., Propuesta de Reforma de la Educación, México, CEE, Mimeo, 1989.

MAASSEN P.A.M. y VAN VUGHT F.A., "An Intriguing Janus-head: the two faces of the new governmental strategy for H.E. in the Netherlands", European Journal of Education, Vol. 23 (1988), No. 1-2, p. 65-76.

MARTINEZ RIZO F. et al. La planeación universitaria. Una metodología para universidades mexicanas, México, UNAM, 1982.

MELCHIORI G.S. ed., Alumni Research: Methods and Applications, New Directions for Inst. Research, 1988, No. 60.

MILLER R.I., "Appraising Institutional Performance", in Jedamus P. & Peterson M.W. et al.. Improving Academic Management. A Handbook of Planning and Institutional Research, San Francisco, Jossey Bass, 1980, p. 406-432.

NEAVE G., "Accountability in Education", in T. Husen T. & Postlethwaite T.S.N., op. cit., 1985, Vol. 1, p. 19-29.

PACE C.R., Measuring Outcomes of College: 50 Years of Findings and Recommendations for the Future, San Francisco, Jossey Bass, 1979.

PASCARELLA E.T., "College Environmental Influences on Learning and Cognitive Development: A critical Review and Synthesis", in Smart J.C. ed., H.E.: Handbook of Th. & Res., Vol. 1, 1985, p. 1-61.

PETERSON M.W. y METS LA. eds.. Key Resourses on H.E. Governance, Management and Leadership, San Francisco, Jossey Bass, 1987.

POLLIT CH., "Measuring University Performance: Never Mind the Quality, Never Mind the Width?", Higher Education Quarterly, Vol. 44 (1990), No. 1, p. 60-81.

PREMFORS, R., "Evaluating Basic Units: Seven Fundamental Questions", in Kogan M. ed. Evaluating H.E., op. cit. p. 148-153.

RESNICK D.P. y GOULDEN M., "Assessment, Curriculum and Expansion: A Historical Perspective",, in Halpern D.F. ed., New Dir. for H.E., 1987, No. 59, p. 77-88.

SEYMOUR D., "Beyond Assessment: Managing Quality in Higher Education", Assessment Update, Vol. 3 (1991), No. 1, p. 1-2.

SPANBAUER S.J., Quality First in Education-Why Not?, Appleton, Wisconsin, Fox Valley Tech. College, 1987.

STAROPOLI, A., "Dix-huit mois d'experience du Comite National d' Evaluation en France", Enseignement Superieur en Europe, Vol. 12 (1988), No. 4, p. 15-24.

46

UREGO L.E. y OSPINA C.A., "The Colombian Case", in Dockrell W.B. ed., Evaluation Procedures... op. cit. 1990, p. 15-38.

VARIOS, Hacia una clasificación de las universidades según criterios de calidad, Madrid Ministerio de Educación y Ciencia, Consejo de Universidades, Fundación Universidad Empresa, 1990.

WALBERG H. J., "OECD Indicators of Educational Productivity", Educational Researcher, Vol. 19 (1990), No. 5, p. 30-33.

WEBSTER D.S., "America's Higher-Ranked Graduate Schools 1925-1982", Change, May-June 1983, p. 13-24.

WEBSTER D.S., "How not to rank Universities", Higher Education, Vol. 14 (1985), No. 1, p. 101-109.

YOUNG D., 'The Academic Audit Unit", en Goedegebuure L.CJ., Maassen P.A.M. y Westerheijden D.F. eds., Peer Review and Performance Indicators, Utrecht, Uitgeverij Lemma, 1990, p. 71-79.

YOUNG K.E. et al., Understanding Accreditation. Contemporary Perspectives on Issues and Practices in Evaluating Educational Quality, San Francisco, Jossey Bass, 1983.

47

SEGUNDA PARTE. BIBLIOGRAFÍA COMENTADA

1.- Introducción

2.- Presentación general

3.- Presentación sistemática

48

1. INTRODUCCIÓN

La bibliografía que se presenta a continuación esta organizada temáticamente, según los diferentes aspectos de la cuestión general que nos ocupa, es decir la evaluación de la calidad de la education superior y los diversos acercamientos que se han desarrollado para abordarla. Dichos aspectos y acercamientos han sido presentados en la primera parte de este trabajo.

Sin embargo también parece conveniente sistematizar la bibliografía según el tipo de obra en la que están contenidos los trabajos citados. Esta agrupación facilita la localización de los textos y permite simplificar considerablemente la forma de las referencias. Por esta razón comenzamos con una visión gruesa de la bibliografía agrupándola de esta manera. Posteriormente se presenta la bibliografía completa y en detalle, agrupada temáticamente, pero sin repetir datos bibliográficos generales de obras y eventos que ya hayan sido mencionados en la presentación general.

2. PRESENTACIÓN GENERAL

La bibliografía que contiene diversos materiales de interés para nuestro tema puede ser clasificada, en cuanto a su tipo, de la siguiente manera:

Obras de referencia: enciclopedias, manuales, anuarios, source books etc.;

Libros especializados (o capítulos de ellos);

Folletos y publicaciones de circulación, restringida;

Artículos de revistas especializadas;

Trabajos presentados en eventos académicos.

2.1. Obras de referencia

Tres enciclopedias integran en primer lugar este apartado. Primero, la más importante obra de referencia que hay en la actualidad sobre la education, en todos sus aspectos.

HUSEN T. y POSTLETHWAITE T.S.N. eds., The International Encyclopedia of Education, Oxford, Pergamon, 1985.10 vols.

Esta obra será citada mediante la expresión HUSEN-POSTLETHWAITE 1985, seguida por el número del volumen y las páginas del mismo en que aparezca el texto de que se trate. Hay que observar que la editorial Pergamon ha publicado una serie de volúmenes derivados de esta magna obra, con los artículos que se refieren a una temática particular; además ha comenzado la publicación de volúmenes complementarios. Estos nuevos volúmenes son, en parte, coincidentes y en parte diferentes de la obra básica. Mencionaremos únicamente dos:

49

HUSEN T. y POSTLETHWAITE T.S.N. eds., The International Encyclopedia of Education, Supplementary vol. 1, Oxford-New York, Pergamon Press, 1989.

DUNKIN M.J. ed., The International Encyclopedia of Teaching and Teacher Education, New York - Oxford, Pergamon Press, 1987.

Enseguida tenemos otra obra monumental, un poco más antigua pero referida específicamente a la education superior:

KNOWLESS ASSA ed., International Encyclopedia of Higher Education, San Francisco, Jossey Bass, 1978 -10 vols.

La citaremos así: KNOWLESS 1978, enseguida el numero del volumen y la página.

Acaba de aparecer ALTBACH, PH. G. ed., International Higher Education. An Encyclopedia, New York, Garland Pub!. 1990, 2 vols., misma que no pudo utilizarse en este trabajo.

En cuarto lugar, mencionaremos la edición mas reciente de la obra de referencia que publica con intervalos de una década, aproximadamente, la American Educational Research Association:

MITZEL HAROLD E. ed., Encyclopedia of Educational Research 5th ed., New York-London, FreePress-Collier MacMillan, 1982, 4 vols.

Las citas serán análogas a las anteriores: MITZEL, 1982 volumen y páginas.

Por lo que se refiere a manuales la AERA promovió, también con intervalos de aproximadamente diez años, la publicación de los Handbook of Research on Teaching. Aunque solo el tercero tiene material directamente relevante para nuestro tema, ofrecemos las referencias de los tres por ser obras de consulta general muy importante

GAGE N.L. ed., Handbook of Research on Teaching, Chicago, Rand Mc. Nally College Publ. Co. 1963.

TRAVERS ROBERT M.W. ed., 2d. Handbook of Research on Teaching, Chicago, Rand McNally College Publ. Co., 1973

WITTROCH MELVIN ed., 3d. Handbook of Research on Teaching, New York, Mc Millan, 1986.

Otros manuales, sobre el campo de la llamada "investigación institucional", son importantes para nuestro tema:

DRESSEL PAUL L. et al., Institutional Research in the University. A Handbook, San Francisco, Jossey Bass, 1972.

50

MILLER RICHARD I. The Assessment of College Performance. A Handbook of Techniques and Measures for Institutional Self Evaluation, San Francisco, Jossey Bass, 1972.

JEDAMUS PAUL, PETERSON M.W. et al., Improving Academic Management. A Handbook of Planning and Institutional Research, San Francisco, Jossey Bass, 1980.

Por lo que se refiere a anuarios, a partir de 1985 la editorial Agathon Press comenzó la publicación de una importante serie dedicada especialmente a la educación superior:

SMART JOHN C. ed., Higher Education: Handbook of Theory and Research, New York Agathon Press, Vol. 11985 - Vol. II 1986 - Vol. Ill 1987- Vol. IV 1988 - Vol. V 1989 - Vol. VI 1990.

En cuanto a otras obras de referencia, y muy especialmente en relación con la education universitaria, hay que mencionar dos obras clásicas sobre las instituciones postsecundarias norteamericanas:

SANFORD, NEVITT ed. The American College. A Psychological and Social Interpretation of the Higher Education, New York, Wiley 1966 (1st. ed 1962).

CHICKERING, ARTHUR W. ed. The Modern American College, San Francisco, Jossey Bass, 1981.

La editorial Jossey Bass, sin duda la más importante en los Estados Unidos y a nivel mundial por lo que a literatura sobre education superior se refiere, ha publicado estas otras obras de referencia relevantes para la cuestión de la calidad de la education superior

PETERSON, M.W. y METS, L.A. eds., Key Resources on Higher-Education Governance Management and Leadership, San Francisco, Jossey Bass, 1987.

MENGES, ROBERT J., Key Resources on Teaching, Learning, Curriculum and Faculty Development, San Francisco, Jossey Bass, 1988.

Todavía dentro del apartado que estamos dedicando a las obras de referencia, mencionaremos varios números de las series New Directions for Higher Education and New Directions for Institutional Research.

Estos textos pueden considerarse también como revistas, pero su carácter monográfico los hace muy especiales. De hecho la editorial Jossey Bass los presenta como source books y les asigna números identificadores correspondientes tanto a libros, como a revistas (ISBN e ISSN).

51

WARREN J.R. ed., "Meeting the New Demand for Standards", New Directions for Higher Education 1983, No. 43.

HALPERN D.F. ed., "Student Outcomes Assessment: What Institutions Stand to Gain", New Directions for Higher Education, No. 59, 1987

PAZANDAK CAROL H. ed., "Improving Undergraduate Education in Large Universities", New Directions for Higher Education, No. 66, summer 1989.

GRAY PETER J. ed., "Achieving Assessment Goals Using Evaluation Techniques", New Directions for Higher Education, No. 67, 1989.

BOWEN H.R. ed., "Evaluating Institutions for Accountability", New Directions for Institutional Research, No. 1, 1974.

MILLER RICHARD I., "Institutional Assessment for Self-Improvement" New Directions for Institutional Research, No. 29,1981

KUTINS S.E. & MARTORANA S.V. eds., Qualitative Methods for Institutional Research, New Directions for Institutional Research, No. 34, 1982.

EWELL PETER T., "Assessing Educational Outcomes", New Direction for Institutional Research, No. 47, September 1985

-MELCHIORI GERLINDA S. ed., "Alumni Research; Methods and Applications", New Directions for Institutional Research, No. 60, 1988.

2.2. Libros especializados

Dada la naturaleza de este apartado, no haremos ninguna subdivisión ni comentario especial.

2.3. Folletos y publicaciones de circulación restringida

En este apartado incluiremos las tesis doctorales, los reportes de comisiones ad hoc y los documentos publicados en forma más sencilla que la de un libro comercial por asociaciones o instituciones de investigación que se especialicen en el campo de la education superior y, eventualmente, en cuestiones relacionadas con la evaluación de la calidad en particular.

2.4. Artículos de revistas especializadas

Sin contar las publicaciones periódicas, que fueron mencionadas en el apartado de las obras de referencia (los source-books New Directions...), la revisión bibliográfica incluyó -como es lógico- una parte dedicada a cubrir las principales revistas que abarcan el campo de la education superior, y algunas del campo educativo en general que incluyen frecuentemente trabajos sobre calidad educativa y sobre educación superior.

52

Específicamente, sobre el tema de la evaluación hay una revista titulada Asessment and Evaluation in Higher Education, de la Escuela de Educación de la Universidad de Bath, pero centra más la atención en la evaluación del aprendizaje de los alumnos.

En cambio tenemos otro título sobre la evaluación en el sentido que nos interesa específicamente, es decir, el de la calidad institucional de las universidades y otras instituciones de educación superior: Assessment Update Newsletter.

Apenas en su segundo año de publicación, lo que refleja la importancia del actual interés por estos temas, es una publicación trimestral de la casa Jossey Bass, que tiene como editora a la Dra. Trudy W. Banta.

Jossey Bass Inc. Publishers, 350 Sansome Street, San Francisco CA, 94104-9825.

En cuanto a educación superior en general, se podría considerar que hay un núcleo básico de títulos de revistas, que serían las 16 siguientes:

ASHE-ERIC, Higher Education Reports. Serie de 8 números monográficos al año, publicada desde 1983 por la Association for the Study of Higher Education (ASHE) y la section del ERIC sobre education superior (ERIC Clearinghouse in Higher education). The George Washington University, One Dupont Circle, Suite 630, Washington D.C. 20036.

Antes de 1983, había una serie análoga publicada por la AAHE y el ERIC, titulada Research Reports.

Change: The Magazine of Higher Learning. Órgano bimensual de la American Association for Higher Education, publicado por Heldref Publ., de Washington. AAHE, One Dupont Circle N.W., Suite 600, Washington D.C.20036.

College Teaching (Antes Improving College and University Teaching).

European Journal of Education, órgano del Instituto de Educación de la Fundación Europea de la Cultura, es publicado trimestralmente por Carfax Publ. Co. de Inglaterra. European Institute of Education and Social Policy, Université de Paris IX - Dauphine, Place du Marechal de Lattre de Tassigny, 75116, París.

Higher Education, publicada bimestralmente por Kluwer Academic Publ., de Dordrecht Holanda (antes de Elsevier).

Higher Education Policy, órgano académico trimestral de la Asociación International de Universidades, publicado por Kogan Page de Londres. AIU-IAU, Unesco House, 1, Rue Miollis, 75732 París.

Higher Education Quarterly, de la Universidad de Warwich.

53

Higher Education Research and Development, del Center for Learning and Teaching de la University of Technology, de Sydney, Australia.

Higher Education Review, publicada por Tyrrell Burgess, Associates Ltd., 34 Sandilands, Croydon CROSBD England.

International Journal of Institutional Management in Higher Education, del CERI de la OCDE., Programme IMHE, 2 Rue André Pascal, 75775 París.

Journal of Higher Education, de la Universidad Estatal de Ohio y la American Association for Higher Education (AAHE), AAHE, One Dupont Circle N.W., Suite 600, Washington D.C. 20036.

Planning for Higher Education, publicada tres veces al año por la Society for College and University Planning (SCUP), SCUP, School of Education Building, University of Michigan, Ann Arbor, MI 48109-1259.

Research in Higher Education, de la Association for Institutional Research (AIR), publicado ocho veces al año por Agathon Press., AIR, 314 Stone Building, Florida State University, Tallahassea, Fla. 32306.

Research into Higher Education, de la Society for Research into Higher Education, Univ. of Surrey Guilford, Inglaterra.

Review of Higher Education, publicación que aparece tres veces al año, editada por la Association for the Study of Higher Education (ASHE), de Washington, ASHE, One Dupont Circle N.W., Suite 630, Washington D.C. 20036

Studies in Higher Education, del Imperial College de Londres.

De carácter más general, relacionadas con la extensa problemática educativa, y ocasionalmente con artículos de interés para nuestro tema pueden mencionarse muchas otras revistas, como las siguientes:

American Educational Research Journal

Educational Documentation and Information

Education Record

Educational Research

Harvard Educational Research

Oxford Review of Education

Review of Educational Research

Review of Research in Education

54

Sociology of Education

Teaching Sociology

Como es sabido, la cantidad de publicaciones científicas en México y América Latina no puede compararse con los países desarrollados.

A pesar de eso, se pueden identificar algunos títulos de publicaciones periódicas de la región que son importantes para nosotros aunque contienen pocos trabajos derivados de investigaciones empíricas, predominando los ensayos y las traducciones. Veamos una decena más de títulos:

Boletín de Pedagogía Universitaria, PUC, Santiago de Chile (Hasta 1988).

Docencia-Postsecundaria de la Universidad Autónoma de Guadalajara.

Educación Superior, de la OEA.

Perfiles Educativos, del CISE de la UNAM.

Planiuc de la Universidad de Carabobo, Venezuela.

Revista de la Educación Superior de la ANUIES.

Revista Latinoamericana de Estudios Educativos, del CEE.

Universidades, de la UDUAL.

Universidad Futura, de la UAM-Azcapotzalco.

Universitas 2000 de Venezuela.

En las listas anteriores no incluimos revistas secundarias o fuentes bibliográficas, tan importantes para la investigación, como las siguientes a nivel internacional.

- Boletín Internacional de Bibliografía sobre Educación

- Content Pages in Education

- Current Index to Journals in Education

- Education Index

- Higher Education Abstracts

- Resúmenes Analíticos en Educación (REDUC)

Y en nuestro país

- Boletín Bibliográfico de la ANUIES

- IRESIE del CEUTES – UNAM

55

2.5. Trabajos presentados en eventos académicos

Como se mencionó en la introducción de este escrito, en los últimos años han proliferado los eventos sobre el tema de la calidad de la educación superior.

Un número significativo de las referencias que contiene nuestra bibliografía está formado, precisamente, por trabajos presentados en tales eventos. Para simplificar las referencias correspondientes, se enumeran a continuación los eventos comprendidos y se precisa la manera de citar los trabajos presentados en ellos.

2a. Conferencia Nacional sobre Evaluación en Educación Superior (2nd. National Conference on Assessment in Higher Education), celebrada en Denver, Colorado, del 14 al 17 de junio de 1987. Se citará NCA-HE 1987.

28o. Foro Anual de la Association for Institutional Research (AIR), celebrado en Phoenix, Arizona, del 15 al 18 de mayo de 1988. Se citará AIR 1988.

29o. Foro Anual de la AIR, celebrado en Baltimore, Ma., del 30 de abril al 3 de mayo de 1989, teniendo como tema general La educación superior y el futuro: iniciativas para la investigación institucional. Se citará AIR1989.

30o. Foro Anual de la AIR, celebrado en Louisville, Kentucky, del 13 al 16 de mayo de 1990, con el tema general de La investigación institucional: llegando a la edad madura. Se citará como AIR 1990.

31o. Foro Anual de la AIR, a celebrarse en San Francisco, Cal., del 26 al 29 de mayo de 1991. Se citará como AIR 1991.

11o. Foro Anual, European Association for Institutional Research (EAIR), Trier, Alemania, 27-30 de agosto, 1989. El tema fue: La excelencia en la education superior europea en la década de los 90". Se citará EAIR 1989.

12o. Foro Anual de la EAIR, Lyon, Francia, 9-12 de septiembre, 1990; tema: La calidad y la comunicación para mejorarla. Se citará como EAIR 1990.

1a. Conferencia International sobre evaluación de la calidad en educación superior (International Conference on Assessing Quality in Higher Education ICAQHE), celebrada en Cambridge Inglaterra, en julio de 1989. Se citará como ICAQHE 1989.

2a. Conferencia International sobre la evaluación de la calidad en la education superior (International Conference on Assessing Quality in Higher Education, ICAQHE), celebrada en St. Andrews, Escocia, del 24 al 27 de julio de 1990. Se citara como ICAQHE 1990.

5o. Seminario Internacional sobre Pedagogía Universitaria, del Centro Interuniversitario de Desarrollo (CINDA) realizado en Valparaíso, Chile, del

56

9 al 11 de octubre de 1989, sobre el tema "Calidad de la Docencia Superior en América Latina". Se citara como CINDA 1989.

3. PRESENTACIÓN SISTEMÁTICA

En las páginas siguientes presentaremos la bibliografía sobre nuestro tema ordenada sistemáticamente, siguiendo de cerca el esquema utilizado en el estado de la cuestión que se presento en la parte anterior.

3.1. El contexto histórico

Comenzaremos, pues, ofreciendo algunas referencias clave para situar históricamente nuestro tema en el contexto de la preocupación por la calidad de la educación superior desde la década de los años 60.

Por lo que se refiere a los Estados Unidos, comenzamos con una amplísima bibliografía que cubre el periodo anterior a 1970.

DRESSEL, P.L. y PRATT, S.B. The World of Higher Education: An Annotated Guide to the Major Literature, San Francisco, Jossey Bass, 1972.

Luego damos dos referencias clave para la década de los 70, que nos permiten introducirnos a los trabajos patrocinados por la Fundación Carnegie, de 67 a 73 a través de la Carnegie Comisión y de 74 a 80 del Carnegie Council.

Carnegie Commission on Higher Education, Priorities for Action: Final Report of the Carnegie Commission on Higher Education, New York, Mc Graw Hill, 1973.

Carnegie Council on Policy Studies in Higher Education, Three Thousand Futures, San Francisco, Jossey Bass, 1980.

Ya en los 80, los principales reportes de grupos especiales de trabajo, comenzando con el famoso A Nation at Risk, que se refería a la educación en general, y siguiendo con los relativos específicamente a la educación superior.

A Nation at Risk: Imperatives for Educational Reform, Washington, National Commission on Excellence in Education, 1983.

National Commission on Higher Education Issues, To Strengthen Quality in Higher Education: Summary Recommendations of the National Commission on H.E. Issues, Washington, American Council on Education, november 1982.

Integrity in the College Curriculum: A Report to the Academic Community, Washington, Ass of American Colleges, 1985.

Study Group on the Conditions of Excellence in Higher Education, Involvement in Learning: Realizing the Potencial of American Higher Education, Washington, National Institute of Ed., 1984.

Otros trabajos importantes sobre el tema son:

57

BOWEN HOWARD R., The state of the nation and the agenda for Higher Education, San Francisco, Jossey Bass, 1982.

GARBER A., The rise and fall of national test scores. New York, Academic Press, 1982.

MARCUS L.R. LEONE A.O. & GOLDBERG E.D. The Path to Excellence. Quality Higher Education ASHEERIC Higher Education Reports No. 83-1, Washington, Ass. For the Study of Higher Education, 1983.

MORGAB A.W. y MITCHELL B.L., ―"The Quest for Excellence. Underlying Policy Issues", in Smart J.C. ed., Higher Education. Handbook of research, New York, Agathon Press, Vol. 1, 1985, p. 309-348.

LYNTON E.A. & ELMAN S.E., New Priorities for the University, San Francisco Jossey Bass, 1987.

El surgimiento del interés por el tema en los países europeos se ha traducido, entre otras cosas, como el interés por conocer las experiencias norteamericanas. Esta situación ha derivado textos como los dos siguientes, del tipo estado del arte:

LYNTON E.A. et ELMAN S.E., L’evaluation institutionelle dans I’ enseignement superieur american, Mission aux Etats-Unis (30 avril-ll mai 1987), Comite National d’ Evaluation, París, aout 1987. Mimeo, 25 p. + XI anexos.

MARTIN M., On the practice of evaluation in european countries and the USA, Bruselas, European Center for Strategic Management of Universities, 1989. Mimeo, 23p.

Por último una reciente perspectiva hacia el futuro:

MARCHESE TH. J., Assessment Next Five Years, Special Supplement, AIR Nesletter, Fall-Winter 1990-1991.

Por lo que se refiere al Reino Unido e Irlanda del Norte, que por comodidad designamos frecuentemente como Inglaterra, citaremos en principio, un número especial de una importante revista especializada, publicado para conmemorar los 25 años del famoso Reporte Robbins, mismo que marcó el rumbo de la education superior inglesa desde principios de los años 60; por consiguiente, nos permite ubicarnos adecuadamente en el momento en que surgen las preocupaciones por la evaluación de las IES:

PHILLIPS D. ed., "Special Issue: The Legacy of Robbins", Oxford Review of Education Vol. 14 (1988) No, 1.

Además de varios textos que se citaran en los apartados relativos a los indicadores de resultados y a la evaluación de procesos, mencionaremos el Informe Jarrat:

CVCP, Report of the Steering Committee for Efficiency Studies in Universities, London, CVCP, 1985.

58

Sobre el tema de la accountability:

PERRY P., "Accountability and Inspection in Higher Education", Higher Education Quarterly Vol. 41 (1987) No. 4, p. 344-353.

Sobre la aplicación de enfoques administrativos utilizados en las empresas, según los modernos enfoques de la calidad:

SIZER J., "In Search of Excellence. Performance Assessment in the UK.", Higher Education Quarterly Vol. 42 (1988) No. 2, p. 152-161.

Y dos trabajos más, derivados de los esfuerzos ingleses por sacar lecciones de la experiencia americana:

MOODIE G.C., "The Debates about Higher Education Quality in Britain and the USA", Studies in Higher Education Vol. 13 (1988) No. 1, p. 5-14.

POLLIT CH., "Measuring University Performance: Never Mind the Quality, Never Mind the Width?", Higher Education Quarterly Vol. 44 (1990) No. 1, p. 60-81.

Por último, sobre el subsistema de IES inglesas de carácter tecnológico, no autónomas, y sus propios sistemas de evaluación:

FRAZER M., "Accountability on Academic Standards: the CNAA's News Strategy", ICAQHE, 1989.

BRENNAN J., "Maintaining Comparability of Standards in Mass Higher Education: The CNAA Experience in the United Kingdom", EAIR, 1989.

Por lo que se refiere a la experiencia francesa, muy bien documentada, mencionaremos en primer lugar varios trabajos, mediante los cuales el Secretario Ejecutivo del Comité National d’ Evaluation ha ido presentando las diversas investigaciones realizadas por el organismo:

STAROPOLI, A., "Le Comité National de evaluation: an Innovation in French Higher Education", International Journal of Institutional Management in H.E. Vol. 10 (1986) No. 2 p. 157-161.

STAROPOLI, A., "Le Comité National de evaluation des Universités, preliminary results of a french experiment", European Journal of Education Vol. 22 (1987) No. 2 p. 123-133.

STAROPOLI, A., "Dix-huit mois du Comite National d'Evaluation en France", Enseignement Superieur en Europe Vol. 12 (1988) No. 4 p. 15-24.

La metodología utilizada por el Comité fue publicada sintéticamente en el Boletín del organismo:

STAROPOLI A., Methodologie d’evaluation, Bulletin du CNE N° 6 mai 1988.

El primer informe anual presentado al Presidente de la Republica -y a la opinión pública- por Laurent Schwartz, primer presidente del CNE es:

59

CNE, "Où va I' Université", Rapport du Comite National d'Evaluation, Paris, Gallimard, 1987.

Como muestra de los informes de evaluación de instituciones particulares que, como se ha dicho ya, se publican siempre acompañados de los comentarios de los respectivos Rectores, mencionemos por ejemplo:

CNE, L'Université Claude Bérnard. Lyon I, Paris, CNE, 1988.

CNE, L'Université Lumière. Lyon 2, Paris, CNE, 1989.

Por último, una visión de conjunto del sistema de evaluación francés por un observador externo:

MALAN TH., L’evaluation des universités en France, Paris, Institute International de Planification de l'Education, mars 1989. Mecano, 10 p.

La experiencia holandesa cuenta con abundante documentación, poco accesible, en la lengua del país. Afortunadamente hay también buenos textos en ingles, como los siguientes:

DRENTH P., "Dossiere: Quality in Higher Education. Evaluation and Promotion". CRE Information, 1986 No. 74, p. 57-69.

MAASSEN P.A.M. & VAN VUGHT F.A, "An Intriguing Janus-Head: the two faces of the new governmental strategy for H.E. in the Netherlands", European Journal of Education Vol. 23 (1988) No. 1-2, p. 65-76.

DOCKRELL W.B., "The Netherlands", in Dockrell W.B. ed., Evaluation Procedures used to Measure the Efficiency of H.E. Systems and Institutions New Papers on Higher Education Studies and Research, (UNESCO) No.1,1990, p.117-145.

En una obra reciente que compara los sistemas ingles y holandés de evaluación de la calidad de las IES encontramos, lógicamente, varios trabajos de interés sobre los Países Bajos. La obra es:

GOEDEGEBUURE L.C.J., MAASSEN P.A.M. y WESTERHEIJDEN D.F. eds., Peer Review and Performance Indicators. Quality Assessment in British and Dutch Higher Education, Utrecht, Uitgeverij Lemma, 1990.

Y los capítulos relativos al sistema holandés son:

PAARDEKOOPER C.M.M. & SPEE A.A.J., A Government Perspective on Quality Assessment in Dutch H.E., p. 47-57;

GRESTERS D.W. & KALWIJK J.P.TH., The role of the Inspectorate of H.E., p. 59-70;

VROEIJENSTIJN T.I. & ACHERMAN H., Control Oriented vs. Improvement Oriented Quality Assessment, p. 81-101.

RULLMANN P.M.M., A non-University Perspective on Quality Assessment in the Netherlands, p. 113-122;

60

WESTERHEIJDEN D.F., Peers, Performance and Power. Quality Assessment in the Netherlands, p. 183-207.

La Asociación de Universidades de Holanda (Vereniging van Samen werkende Nederlandse Universiteiten, VSNU) publicó recientemente una guía que es útil para conocer la metodología de evaluación:

WESTERHEIJDEN D.F., Guide to External Quality Assessment, VSNU, 1989, Mimeo, 45 p. .

De España tenemos en primer lugar el informe final del grupo de expertos internacionales que evaluó al sistema español de educación superior en conjunto:

ICED, La reforma universitaria española. Evaluación e informe, Madrid, Consejo de Universidades, 1987.

En octubre de 1989, la Fundación Universidad-Empresa, con el patrocinio de la Secretaría de Estado de Universidades e Investigación, organizó un seminario que refleja la creciente importancia del tema de evaluación de IES; se presentaron las experiencias de Estados Unidos y Francia, así como opiniones de funcionarios, académicos y hombres de empresa españoles. Los trabajos se recogen en:

VARIOS, Hacia una clasificación de las Universidades según criterios de calidad, Madrid, Ministerio de Education y Ciencia, Consejo de Universidades, Fundación Universidad-Empresa, 1990.

Las referencias siguientes presentan experiencias de otros países europeos:

BAUER M., "Evaluation in Swedish H.E.: recent trends and the outlines of a model", European Journal of Education Vol. 23 (1988) No. 1-2, p. 25-36.

CERYCH, L., "Renewal of Central European H.E.: issues and challenges", European Journal of Education, Vol. 25 (1990) No. 4 p. 351-359.

La importancia concedida al tema a nivel continental puede apreciarse por el hecho de que la Conferencia de Rectores Europeos (Conference Permanente des Recteurs, Presidents et Vice-chanceliers des Universités Européennes, CRE) haya decidido dedicar su 30ª Conferencia semestral a La búsqueda de la excelencia. La reunión fue en Copenhague en abril de 1986 y los trabajos presentados aparecen en el N° 74 de la revista de la Conferencia de Rectores. CRE Information, 1986.

Otros textos con puntos de vista de conjunto sobre la situación europea son:

TAYLOR W., Universities under scrutiny, Paris, OCDE, 1987.

NEAVE G., "On the cultivation of Quality, Efficiency and Enterprise: an overview of recent trends in Higher Education in Western Europe, 1986-1988", European Journal of Education Vol. 23 (1988) No. 1-2, p. 7-23.

FRACKMANN E., Towards excellence in european higher education in the 90s, EAIR 1989.

Por lo que se refiere a países de Asia y África, tenemos tres estudios de caso en la obra ya citada:

61

DOCKRELL W.B. ed., Evaluation Procedures used to measure the Efficiency of H.E. Systems and Institutions, New Papers on Higher Education Studies and Research (UNESCO), No. 1, 1990.

Los trabajos particulares son:

ABU ZEINEH F.K, "The case of Jordan", p. 39-70;

MADYA R.S., "Malaysia", p. 91-115;

OJERINDE A., "A case study of Nigeria", p. 71-90.

Pasando al subcontinente latinoamericano, comenzaremos con las referencias del trabajo coordinado por el Centro Interuniversitario de Desarrollo (CINDA), con sede en Santiago de Chile que es, al parecer, el único esfuerzo a nivel latinoamericano hasta la fecha. Desde 1980 comenzaron algunos trabajos que, en 1982, dieron lugar al Programa Latinoamericano de Cooperación en Pedagogía Universitaria, que ha organizado numerosas reuniones con participación de IES de casi todos los países latinoamericanos. Los resultados de estos trabajos se han plasmado en varias obras.

VARIOS, Pedagogía Universitaria en América Latina. Antecedentes y Perspectivas, Santiago de Chile, CINDA, 1984.

VARIOS, Pedagogía Universitaria en América Latina 2a. Parte: Evaluación y Proyecciones, Santiago de Chile, CINDA, 1986.

VARIOS, Pedagogía Universitaria en América Latina 3a. Parte. Conceptualización de la función docente y mejoramiento de la Educación Superior, Santiago de Chile, CINDA, 1988.

VARIOS, Calidad de la docencia Universitaria en América Latina y el Caribe. Políticas, Gestión y Recursos. Estudio de casos, Santiago de Chile, CINDA, 1990.

Por lo que se refiere a trabajos relativas a los sistemas de education superior de países en particular, como se dijo ya en la parte anterior, la producción latinoamericana no es abundante, y la ausencia de mecanismos de comunicación o difusión adecuados tiene como consecuencia el que no se conozcan experiencias valiosas que, sin duda, se están desarrollando en la región.

Ofrecemos a continuación las referencias localizadas, organizadas en forma cronológica y por país.

De Chile tenemos:

ZUNIGA M.L., "Necesidades e implicaciones de los programas de evaluation de la education superior", Boletín de Pedagogía Universitaria Vol. 19 (1985), p.11-18.

MARTELLI V.M. y VOLZ H.P., "Lineamientos conceptuales y metodológicos para el mejoramiento de la calidad de la education Universitaria", Boletín de Pedagogía Universitaria Vol. 20 (1986), p. 9-30.

62

Indicadores de eficiencia y eficacia de la docencia e investigación en las Universidades chilenas, Santiago, CPU, 1988.

Marco histórico institucional para el desarrollo de estándares de calidad en la Universidad del Norte, en CINDA, 1989.

MARTELLI V.M. y VOLZ H.P., Calidad de la docencia en la Universidad de Playa Ancha de Ciencias de la Educación, en CINDA, 1989.

SOTO CARRASCO M.H., El desarrollo de la calidad de la educación superior en la cuarta región, en CINDA, 1989.

RAMIREZ GATICA S. y TORO DE LA FUENTE C., "La evaluación de la calidad de la education Universitaria: bosquejo de un modelo integral", Estudios Sociales 1990, No. 65, p. 37-43.

De Venezuela:

ESCOTET MIGUEL A. "Criterios de evaluación institucional en education superior", Universitas 2000 (1976) p. 5-11.

ACOSTA A., "La autoevaluación universitaria. Un proceso de participación", Planiuc Año 1 (1982) No. 2, p. 73-75.

ESTABA B. E. "Separata de la Evaluación Institucional en la Universidad Central de Venezuela. Enfoque Metodológico", Planiuc Año 2 (enero-junio 1983) No. 3, p. 35-56.

LANDA J., "Bases para una estrategia de evaluación institucional", Planiuc Año 3 (enero-junio 1984) No. 5 p. 67-92.

VILLALOBOS R. NEVRO., "La evaluación institucional: una proposición metodológica", Planiuc Año 3 (enero-junio 1984) No. 5 p. 133-140.

ESCOTET M.A.., Técnicas de evaluación institucional en la educación superior, Madrid, MEC, 1984.

VESSURI H., "La calidad de los posgrados nacionales: estándares internacionales, implicaciones sociales y responsabilidad de la comunidad científica", Planiuc Ano 3 (enero-junio 1984) No. 5 p. 147-160.

CONTASTI M., "Proposición para establecer índices para evaluar el rendimiento institucional de las Universidades", Planiuc Ano 3 (julio-diciembre 1984) No. 6 p. 71-86.

SALCEDO GALVIS, R., "Una evaluación del desempeño profesional de egresados de una institución de formación docente", Planiuc Ano 3 (julio-diciembre 1984) No. 6 p. 147-166.

BURGOS VIVAS F., "Modelo para la evaluación de las dependencias administrativas de la Universidad de Carabobo", Planiuc Ano 4 (julio-diciembre 1985) No. 8 p. 167-180.

63

BLANCO GINEAU V., "Evaluación institucional integral", Planiuc Ano 4 (julio-diciembre 1985) No. 8 p. 275-286.

Comisión de Evaluación Institucional, "La evaluación Institucional de las Universidades venezolanas: lineamientos y criterios" Planiuc Ano 4 (julio-diciembre 1985) No. 8 p. 287-344.

Es sabido que en Brasil y, sobre todo en Colombia, gracias al ICFES, hay trabajos interesantes de evaluación de las IES, pero solo pudimos conseguir estas referencias:

VALLE V.M., "La evaluación en las organizaciones universitarias", en VV, Lideranca e administracao na universidade, Florianópolis, OEA-UFSC 1986.

VARIOS, Desafíos da Administracao Universitaria., Florianópolis, UFSC 1989.

PAULO FINGER A. y CISNEROS MOREIRA E., Evaluación Académica en Instituciones Universitarias de América Latina. Análisis de algunas experiencias, Córdoba, OEA-UFSC, s/f. (1989).

V V, Curricula y Calidad de la Educación Superior en Colombia, Bogotá, ICFES - COLCIENCIAS, 1989.

VALLE VICTOR M., "La evaluación de las organizaciones universitarias ―Universidades p. 269-282.

VALLE VICTOR M., "Algunos criterios para evaluar programas de educación superior a nivel de posgrado" Universidades p. 283.

UREGO L.E. y OSPINA C.A,, "The Colombian Case", DockreU W.B. ed., Evaluation Procedures...New Papers on Higher Education. Studies and Research (UNESCO) 1990, No. 1, p. 15-38.

De las experiencias de nuestro país ofrecemos las siguientes referencias:

De la institución con trabajo más antiguo, el Tecnológico de Monterrey:

GOMEZ JUNCO H., Indicadores de calidad académica de una IES, ITESM, 1975,33 p.

Innovation educativa en el sistema ITESM, Monterrey ITESM, 1988.

De los autoestudios asesorados por el Dr. Latapí en 1969-70.

LATAPI P., "Cuatro autoestudios asesorados", Revista Latinoamericana de Estudios Educativos, Vol. XII (1982) No. 1 p. 43.

De los esfuerzos de la SEP por promover los autoestudios en las Universidades públicas hacia 1974, tenemos:

CASTREJON DIEZ et al., Manual de autoestudio para las instituciones de educación superior, México, SEP, 1974.

64

BLOCK A, "Guía para el diagnostico operacional en instituciones de enseñanza superior", en Rev. de la Ed. Superior, Vol. IV (1975) No. 4.

REYES M. E. et al., Universidades estatales. Prediagn6stico, México, SEP, 1975.

De la misma época:

GARCES O.C., Procedimiento para el autoestudio y la acreditación de la educación agrícola superior, México, AMEAS, 1976.

En 1979, tuvo lugar en Querétaro el Primer Seminario sobre Evaluación Institutional del subsistema de tecnológicos, organizado por el COSNET. Las ponencias presentadas en ese evento comprenden experiencias interesantes.

Para lo relativo a la experiencia de la U.A. de Aguascalientes, especialmente de 1976 en adelante, tenemos:

MARTINEZ RIZO F., et al., La planeación Universitaria. Una metodología para Universidades mexicanas, México, UNAM 1982.

MARTINEZ RIZO F., et al., Los primeros 15 anos. Innovación educativa y búsqueda de la calidad académica. El caso de la UAA, Aguascalientes, UAA, 1988.

De otras instituciones mexicanas que destacan en este sentido tenemos:

BOLAÑOS LOZANO E. "Normas y estándares de calidad académica en la education superior", en Memorias del Congreso Int. de Educación Superior Saltillo, México, septiembre de 1984, p. 195-221.

WHITE IBAÑEZ A., "Normas y estándares de calidad académica en la education superior", en Memorias del Congreso Int. de Educación Superior Saltillo, México, septiembre de 1984, p. 165-194.

EVIA ROSADO C., "Eficiencia eficacia y contradicciones en las IES", Revista de la Educación Superior (1985) No. 56 p. 41-55.

EVIA ROSADO C. et al., El desempeño de los profesionales egresados de la UAdY en el mercado laboral, Mérida, Yucatán. UAdY, 1989.

EVIA ROSADO C. et al., Sistema de indicadores para la planeación UAdYen el mercado laboral, Mérida, Yucatán. UAdY, 1990.

MUNOZ IZQUIERDO C. "Desarrollo de un modelo para evaluar la calidad de la education en México", Rev. Lat. de Estudios Educativos, Vol. XII (1982) p. 59-72.

BAROJAS J. y MALO S., "Criterios de calidad y evaluación del posgrado: experiencia de un grupo de trabajo", Rev. de la Educación Superior No. 42 (1982) p. 59-72.

TABORGA H. Evaluación institucional, México ANUIES, 1982 (doc. mecanografiado).

65

CONPES, Recomendaciones normativas para la educación superior en México, México, SEP-ANUIES, 1982.

SORIA O., La calidad en la educación superior. ¿La pera del olmo? Univ. Interamericana de Puerto Rico, febrero de 1985.

GARIBAY L., "Evaluación de la eficiencia interna y externa de la educación superior", Docencia Vol. 13 (enero-abril 1985) No. 1, p. 63-76.

CARRION CARRANZA C. "Una propuesta metodológica para la evaluación de instituciones de education superior. Revista de la Educación Superior No. 63 (1987) p. 75-103.

CARRION C. y FERNANDEZ A., "Experiencias en la autoevaluación institucional en México", Revista de la Educación Superior No. 69 (1989).

ARREDONDO G.M., "Evaluación y acreditación de los programas de postgrado", Revista de la Educación Superior No. 71 (1989) p. 53-68.

DE ALLENDE CARLOS MA., Calidad de la Educación. Bibliografía Comentada, ANUIES doc. mec. julio 1989.

DE ALLENDE C. MA., Consideraciones acerca de la calidad de la educación, México, ANUIES, 1990 (Doc. mec.)

Definitivamente el conjunto más importante de trabajos, con el que terminaremos este apartado sobre México, es el que han desarrollado la SEP y la ANUIES a lo largo de varios años, desde que la XXI Asamblea General de la ANUIES –que se reunió en Mexicali en noviembre de 1983- recibió las propuestas de sus instituciones miembro sobre el tema de la evaluación de la educación superior.

De allí se derivó el siguiente texto:

"Compendio de criterios y procedimientos generales para la evaluación del sistema de educación superior y la autoevaluación institucional propuestos en la XXI Asamblea General de la ANUIES", Revista de la Educación Superior No. 49 (1984) p. 25-78.

Como resultado de un acuerdo de la asamblea, un grupo interinstitucional elaboró otro documento:

La evaluación de la educación superior en México, México, ANUIES, 1984.

La VII Reunión Extraordinaria de la Asamblea General de la Asociación, celebrada el 27 de febrero de 1984, aprobó este documento y recomendó su utilización para las IES.

De 1984 a 1989 parece haber un compás de espera, pero a partir de la publicación del Programa de Modernización de la Educación –con la constitución de la Comisión Nacional de Evaluación de la Education Superior (CONAEVA) en noviembre de 1989— el tema vuelve a ser de gran actualidad.

Recogiendo muchas de las experiencias anteriores, se publicó la obra:

66

Manual de planeación de la educación superior, México, SEP-ANUIES, 1989.

Los documentos fundamentales del nuevo período, hasta la fecha, son:

Programa para la Modernización Educativa 1989-1994, México, Poder Ejecutivo Federal, 1989.

CONAEVA, Lineamientos generales y estrategia para evaluar la educación superior, México, SEP, 1990.

3.2. Aspectos generales

En este apartado, ofrecemos algunas referencias de carácter general sobre la evaluación de la calidad de la educación superior, en el contexto histórico ya mencionado, comenzando con dos textos sobre terminología:

CHOPIN B.H., "Evaluation, Assessment and Measurement", in Husen Postlethwaite 1985, 3; p. 1747-48

COWAN J., "Effectiveness and Efficiency in Higher Education", Higher Education Vol. 14 (1985) No. 3, p. 235-239.

ADELMAN C.P. ed., Assessment in American Higher Education: Issues and Contexts, Washington, US Government Printing Office, 1985.

MILLER R.I., "The U.S. Assessment Movement", ICAQHE, 1989, - DAVIES GK., Assessing Quality in Higher Education: A U.S. Government Printing Office, 1985.

DAVIES G.K., Assessing Quality in Higher Education, A U.S. Government Perspective‖ ICAQHE, 1989.

HOHARTH CHARLES P., Quality Control in Higher Education, Lanham, MD, Univ. Press of America, 1987.

PETERSON M.W. & METS L.A., "An Evolutionary Perspective on Academic Governance, Management and Leadership", in Peterson-Mets 1987, p. 1-20.

CONRAD C.F. & EAGAN D.F,, "Achieving Excellence: How will we know?, in Pazandak 1989 p. 51-64.

JOHNSON C., "Quality: The Measurable Aspect of Excellence", EAIR, 1989.

JAMORNMANN V., The Assessment of Higher Education Quality, EAIR, 1989.

JOOSTENS T. "Education, Quality and Evaluation", EAIR, 1989.

PRATT L., "Assessment as a Means to Excellence" EAIR, 1989.

GRAY PJ. & DIAMOND R.M., "Improving Higher Education: The Need for a Broad View of Assessment", in GRAY, 1989 p. 89-108.

67

DENNISON G.M. & BUNDA M.A., "Assessment and Academic Judgement in Higher Education", in GRAY 1989, p. 51-70.

ORY, J.C., "A Role for Assessment in Higher Education Decision Making", in GRAY 1989, p. 71-88.

Enseguida tenemos algunos estados del arte y artículos con discusiones de conjunto, además de las referencias generales a algunos Source books cuyos artículos particulares se irán citando en el lugar preciso que les corresponda temáticamente:

WEBSTER D.S., "Advantages and disadvantages of methods, of assessing quality", Change, 1981, 13, p. 20-24.

ASTIN A.W., "Why not try some new ways of measuring quality?" Educational Record Vol. 63 (1982) No. 2 AGE, p. 10-15.

CONRAD C. y BLACKBURN F. Program Quality Higher Education. Review & critique of literature & Research. Smart, J. ed. Higher Ed. Handbook of Theory and Research, Vol. I, New York, Agathon Press, 1985, p. 283-308.

MILLER R.I., "Evaluating institutional quality: some ways and some problems", International Journal of Institutional Management in Higher Education, p. 241-251, Vol. 10 (1986) No. 3.

PIKE G.R. An Annotated Bibliography and Program Description in Banta 1988, p. 99-106.

SELL G.R., "Making Assessment Work: A Synthesis and Future Directions", in GRAY 1989, p. 21-42.

KOGAN M. Evaluating Higher Education, London, Jessica Kingsley, 1989.

KOGAN M., "The Evaluation of Higher Education: An Introductory Note", in Kogan 1989, p. 11-25.

EWELL PETER T., Assessing Educational Outcomes, New Directions for Institutional Research, No. 47, September 1985.

HALPERN D.F., ed., "Student Outcomes Assessment: What Institution Techniques", New Directions for Higher Education, No. 67, 1989.

Dentro de este apartado de aspectos generales, ofrecemos algunas referencias sobre el tópico específico de la "accountability", comenzando con dos artículos de obras de referencia y luego varios textos más, en orden cronológico:

NEAVE G. Accountability in Education, Husen-Postlethwaite 1985 1: 19-29.

BROWNDER L.H., "Accountability Legislation", in Husen-Postlethwaite 1985, 1: p. 29-31.

HARTNETT R.T., Evaluation, Accountability and a Consideration of the Problems of Assessing College Impacts, Princeton N.J., ETS, 1971, 27.

68

Accountability and Academy: A Report of the National Task Force on the Accountability of Higher Education to the State, Denver, Education Commission of the States, 1979.

EWELL P.T., Assessment, Accountability and Improvement: Managing the contradiction, Washington, AAHE, 1987.

BERDAHL R.O., "State Involvement in Higher Education", in Peterson-Mets 1987, p. 40-64.

ELTON L., "Accountability in Higher Education: The danger of unintended consequences", Higher Education, Vol. 17 (1988) No. 4, p. 377-390.

3.3. Temáticas no contempladas directamente

Como se explicó en el estado de la cuestión, hay varias temáticas claramente relacionadas con nuestra preocupación central, pero que no podremos cubrir dada su amplitud; nos limitaremos a dar algunas referencias clave para búsquedas independientes, estableciendo la relaci6n con nuestro tema central.

En cuanto a la investigación sobre enseñanza y aprendizaje en educación superior, las dos obras de referencia más actuales son:

DUNKIN M.J. ed., The International Encyclopedia of Teaching and Teacher Education New York - Oxford, Pergamon Press, 1987.

MENGES ROBERT J. & MATHIS B.C., Key resources on teaching, learning curriculum and faculty development, San Francisco, Jossey Bass, 1988.

Otras obras de referencia contienen aspectos muy interesantes, que ofrecen excelentes panorámicas de sus respectivos momentos. Por ejemplo:

MCKEACHIE W.J., "Research on teaching at the College and University Level", in GAGE, 1963, p. 1118-1172.

DRESSEL PAUL L. & MARCUS D., On teaching and learning in college, San Francisco, Jossey Bass, 1982.

TRENT J.W. y COHEN A.M., "Research on Teaching in Higher Education", en TRAVERS, 1973, p. 997-1071.

DUNKIN MJ., "Research on Teaching in Higher Education", en WITTROCK 1986, p. 754-777.

Los source books de Jossey Bass New Directions for Teaching and Learning, y la revista College Teaching (antes Improving College and University Teaching) son, naturalmente, claves para el subtema.

Desde hace 15 años, se celebra anualmente una Conferencia International sobre el tema Improving University Teaching. Es organizada por el University College de la Universidad de Maryland (University. Boulevard at Adelphi Road College Park MD 2L742-1600). La 16a. Conferencia tuvo lugar del 3 al 6 de julio de 1990 en Yogyakarta, Indonesia.

69

Algunos otros materiales básicos para este subtema, producidos por un centro de investigaciones creado apenas en 1986 (National Center for Research to Improve Postsecondary Teaching and Learning, NCRIPTAL, y no fácilmente localizables, por haber desaparecido el centro, son los siguientes:

GREEN PJ. & STARK J., Approaches to Research on the Improvement of Postsecondary Teaching and Learning. A Working Paper, Ann Arbor, NCRIPTAL, 1986.

VOGEL C.D. & STARK J.S., Postsecondary Teaching and Learning Issues in Search of Researchers. A Working Paper, Ann Arbor, NCRIPTAL, 1986.

MCKEACHIE WJ. et al., Teaching and Learning in the College Classroom. A Review of the Research Literature, Ann Arbor, NCRIPTAL, 1986. & Supplement November 1987.

Un tema particular que se relaciona con nuestra temática más amplia, es el de la evaluación del profesorado de las instituciones de education superior, su formación como docente y su actualización en general. Ofrecemos unas cuantas referencias clave de la amplia literatura (Faculty evaluation and development). El "Grupo de Interés Especial" (SIG), sobre este tema de la American Educational Research Association, publica desde hace mas de 10 años un Boletín semestral titulado Instructional Evaluation; otras referencias clave sobre la evaluación de profesores son:

MILLER R. I., Evaluating Faculty Performance, San Francisco, Jossey Bass, 1972.

MILLER R.I., Developing Programs for Faculty Evaluation. A Source for Higher Education, San Francisco, Jossey Bass, 1974.

CENTRA J.A., Determining Faculty Effectiveness. Assessing Teaching, Research and Service for Personnel Decisions and Improvement, San Francisco, Jossey Bass, 1979.

MILLNAM J. ed., Handbook of Teacher Evaluation, Beverly Hills, Cal. Sage 1981.

SELDIN P. Changing practices in faculty evaluation, San Francisco, Jossey Bass, 1984.

MILLER R.L, "A Ten Year Perspective on Faculty Evaluation", in Kogan, 1989, p. 141-147. (IJIMHE, vol. 10 (1986) No. 2.

MILLER R.I., Evaluating Faculty for promotion and tenure, San Francisco, Jossey Bass, 1987.

BLACKBURN R.T. & PITNEY J.A., Performance Appraisal for Faculty: Implications for Higher Education, Ann Arbor, NCRIPTAL, 1988.

CENTRA JOHN, "Faculty evaluation and development" in Smart J. C. Higher Education Handbook of Theory and Research Vol. V (1989).

70

ORY J.C., "Changes in Teaching Evaluation in H.E.", Instructional Evaluation, Vol. 11 (1991) No. 2, p. 1-9.

Sobre la formación de profesores nos remitimos a:

PADILLA GONZALEZ L.E, y MARTINEZ RIZO F, "La formación de profesores en education superior. Un marco de referencia conceptual", Reportes de Investigación de la UAA. Serie Inv. Educativa. No. 15, enero de 1989.

Dos revisiones de literatura muy interesante son las siguientes:

NELSEN W.C. & SIEGEL M.E. eds., Effective Approaches to Faculty Development, Washington, AAC, 1980.

BLACKBURN R.T. et al., Faculty as a Key Resource. A Review of the Research Literature, Ann Arbor, NCRIPTAL, 1986.

Un excelente trabajo que pone énfasis en la relación entre la formación de profesores y el mejoramiento de la calidad de la education Universitaria es:

EBBLE KENNTH E., Improving undergraduate education through faculty development, San Francisco, Jossey Bass, 1986.

Una veta paralela muy rica, la constituyen los numerosos trabajos sobre el binomio retención-deserción en la education superior. En una obra colectiva recién publicada por la ANUIES pueden encontrarse, entre otros trabajos, dos bibliografías comentadas. Una de Carlos M. de Allende y José Gómez sobre literatura en español y otra de Felipe Martínez Rizo sobre literatura internacional. La referencia es:

VARIOS, Trayectoria escolar en la educación superior, México, ANUIES, 1989.

De la vastísima literatura sobre curriculum, que se refiere a la evaluación curricular en el nivel de la education superior, que esta claramente relacionada con nuestro tema, damos unas cuantas referencias a guisa de orientación:

MAYHEW LEWIS B., Changing the curriculum, San Francisco, Jossey Bass, 1975.

CHICHERING A.W. et al., Developing She College Curriculum. A Handbook for Faculty and Administration, Washington, CIC, 1977

BRUCE FRANCIS J., "Curriculum and Instruction", in Knowles 1978, 3: p. 184-197.

LEVINE A., Handbook in Undergraduate Curriculum, San Francisco, Jossey Bass, 1978.

SANDERS J.R., "Curriculum Evaluation", in Husen-Postlethwaite 1985, 2: p. 1185-1188.

71

ALKIN M.C. "Curriculum Evaluation Models", in Husen-Postlethwaite 1985,2: p. 1189-1190.

RESNICK D.P. & GOULDEN M., "Assessment, Curriculum and Expansion: A Historical Perspective", in Halpern, 1987, p. 77-88.

Y, por supuesto, la literatura sobre evaluación en general que se ha desarrollado tanto durante los últimos 20 años, con obras de referencia y revistas propias, no puede menos que tener mucho que enseñar a quienes se interesan por una variante muy particular, como es la evaluación de la calidad en la education superior. Como expresa el siguiente artículo, hay que desmitificar la actividad que se designa con la palabra menos conocida assessment, viendo que mucho de lo que denota ya ha sido cubierto por quienes se dedican al campo mas familiarmente designado como evaluation.

GROSS DA VIS B., "Demystifying Assessment: Learning from the Field of Evaluation", in GRAY 1989, p. 5-20.

También como orientación introductoria damos algunas referencias básicas:

DRESSEL P. et al., Evaluation in Higher Education, Boston, Houghton Mifflin Co., 1961.

BORICH GARY D. ed. Evaluation Education Programs and Products, Englewood Cliffs N.J, Educational Techology Publications, 1974.

Handbook of Academic Evaluation, San Francisco, Jossey Bass, 1976.

DRESSEL P.L., "Evaluation", in Knowles 1978, 4: p. 1480-1493.

TALMAGE H, "Evaluation of Programs", in Mitzel 1982, 2: p. 592-611.

CRONBACH LEE J. & SHAPIRO, K. Designing Evaluations of Educational and Social Programs, San Francisco, Jossey Bass, 1983.

SHAKER P "The metaphorical journey of evaluation theory", International Journal of Qualitative Studies in Education Vol. 3 (1990) No. 4, p. 355-363.

3.4 Economía de la Educación

Como este campo también ha sido tratado sólo en forma muy somera, nos limitamos básicamente a los trabajos de la International Encyclopedia of Education siguientes:

WOODHALL M., "Economics of Education", in Husen-Postlethwaite 1985, 3: p. 1546-1553.

BEHRMAN J.R. & TANBMAN P., "Economics and Career Impacts of Education Assessment by Means of Kin Studies", to Husen-Postlethwaite 1985, 3: p. 1517-1524.

FALLON P.R., "Labour Quality and Education", in Husen-Postlethwaite 1985,5: p. 2867-2872.

72

FOSTER P., "Economics Development and Education", in Husen-Postlethwaite, 1985,3: p. 1528-L536.

HICKS N.L., "Economic Growth: Contribution of Education", in Husen-Postlethwaite, 1985,3: p. 1536-1543.

PSACHAROPOULOS G., "Social Demand Approach", in Husen-Postlethwaite, 1985,8: 4620-4622.

SOLMON L.C., "Quality of Education, Economics of, in Husen-Postlethwaite, 1985,7: p. 4160-4167.

VERRY D.W., "University Internal Efficiency", in Husen-Postlethwaite 1985.9: p. 5387-5393.

WOODHALL M., "Cost effectiveness Analysis in Education" Husen' Postlethwaite, 1985, 2: p. 1044-1046.

Pergamon Press ha publicado una obra de referencia derivada de la Enciclopedia, únicamente con los artículos relativos a la economía de la educación incluyendo, evidentemente, todos los anteriores. La referencia completa es:

PSACHAROPOULOS G. ed. Economics of Education: Research and Studies, Oxford-New York, Pergamon Press, 1988.

Otras referencias:

BOWEN H.R., The Costs of Higher Education: How Much do Colleges and Universities Spend per Student and How Much Should They Spend, San Francisco, Jossey Bass, 1980.

LINDSAY A.W., "Institutional performance in Higher Education. The efficiency dimension" Review of Education Research Vol. 52 (1982) No 22, p. 175-199.

LESLIE L.L. & BRINKMAN P.T., "Rates of return to higher education: and intensive examination", in Smart J. C. ed., Higher Education: Handbook of Theory and Research, Vol. II, New York, Agathon Press, 1986, p. 207-234.

CAMERON BARRY J., Higher Education Efficiency Measurement using Data Envelopment Analysis (DEA).

3.5. Clasificaciones de prestigio y similares (reputational rankings)

En primer lugar, los trabajos del principal estudioso del tema que nos ofrecen un panorama histórico muy complete:

WEBSTER D.S., The Origins and Early History of Academic Quality Rankings of American Colleges, Universities, and Individual Department 1888-1925, Tesis doctoral no publicada, Los Angeles, UCLA, 1981.

WEBSTER D.S., "James McKeen Cattell and the Invention of Academic Quality Rankings, 1903-1910", Review of Higher Education Vol. 8 (1985), p. 107-122.

73

WEBSTER D.S., "America's Higher-Ranked Graduate Schools 1925-1982", Change may-June 1983, p. 13-24.

WEBSTER D.S., Academic quality rankings of american colleges and universities, Springfield 111, Charles C. Thomas Publ., 1986.

Luego, dos de los trabajos recientes más importantes, el primero sobre programas de posgrado y el segundo de pregrado:

JONES L.V., LINDZEY G. y COGGESHALL P.E. eds., An Assessment of Research-Doctorate Programs in the United States, Washington, National Academy Press, 1982, Vol. 5.

SOLMON L.C. & ASTIN A.W., "The Quality of Undergraduate Education" Part one Change September, 1981 p. 23-28, Part two Change october, 1981, p. 14-19.

Enseguida uno de los trabajos poco serios, seguido por una crítica de D. Webster:

GOURMAN J., The Gourman Report. A Rating of Undergraduate Programs in American and International Universities. Los Angeles, National Education Standards, 1980.

WEBSTER D.S., "How not to rank Universities". Higher Education Vol. 14 (1985) No. 1, p. 101-109.

Una muestra de las numerosas clasificaciones periodísticas, constituye:

America's Best Colleges. US News& World Report. 1991.

Otros trabajos sobre el tema son:

MUNSON C.E. & NELSON P., ―Measuring the quality of Professional Schools UCLA", Educator, 1977, 19 p. 41-52.

ADAMS A.V. & KRISLOV J., "Evaluating the quality of American universities: A new approach", Research in Higher Education Vol.8 (1978) No. 2, p. 97-109.

Un par de discusiones metodológicas;

LAWRENCE J.K. & GREEN K.C., "A question of Quality: The Higher Education Ratings Game", AAHE-ERIC Research Report No. 5, 1980.

FAIRWEATHER JAMES S, "Reputational quality of academic programs: the institutional halo", Research in Higher Education, 1988, No. 4, p. 345-355.

Y un par de trabajos fuera de los Estados Unidos;

JOHNES J. & TAYLOR J., "Degree quality": An investigation into differences between UK universities", Higher Education, Vol. 16 (1987), 5 p. 581-602.

74

MAR MOLINERO C. "A Multidimensional scaling analysis of the 1986 rankings of universities in the UK", Higher Education Review, Vol. 21 (1989) No. 2, p. 7-25.

3.6. Investigación de resultados (student outcomes research)

IMPACTO DEL COLLEGE

En lo que será el principal apartado de la bibliografía, comenzamos con los trabajos clásicos sobre el impacto del college sobre los estudiantes y, dentro de estos, con dos síntesis de la investigación correspondiente que, en ambos casos cubren desde los años 20.

FELDMAN K.A. & NEWCOMB P.M., The Impact of College on Students, San Francisco, Jossey Bass, 1969.

PACE, C.R., Measuring Outcomes of College: 50 Years of Findings and Recommendations for the Future, San Francisco, Jossey Bass, 1979.

Después, dos colecciones -también clásicas- de trabajos sustantivos que nos ofrecen una excelente visión del estado de la investigación a principios de los 60 y de los 80, respectivamente:

SANFORD NEVITT ed., The American College. A Psychological and Social Interpretation of the Higher Education, New York, Wiley 1966 (1st. ed 1962).

CHIKERING ARTHUR W. ed., The Modem American College, San Francisco, Jossey Bass, 1981.

Otro estado del arte, específicamente sobre el impacto en el campo cognitivo, es:

PASCARELLA, E.T. "College Environmental Influences in Learning and Cognitive Development: A Critical Review and Synthesis", in SMART J.C. ed., Higher Education: Handbook of Theory and Research, Vol. 1, New York, Agathon Press, 1985, p. 1-61.

Los efectos de la educación universitaria sobre los estudiantes no se limitan, evidentemente, a los aspectos cognoscitivos, sino que incluyen también -con o sin intención- aspectos afectivos, actitudinales y valorales.

Las referencias anteriormente presentadas cubren también estos aspectos, pero junto con los cognoscitivos; en cambio, las dos siguientes se refieren específicamente a lo no cognoscitivo. La primera es una revisión que cubre desde los años 30 y, según los criterios actuales, incluye muchos trabajos poco rigurosos. La segunda es la revisión más actualizada que se pudo encontrar.

JACOB PH. E,, Changing Values in College: An Exploratory Study of the Impact of College Teaching, New York, Harper & Row, 1957.

NUCI L. & PASCARELLA E.T., "The. influence of College on Moral Development", in SMART J.C. ed., Higher Education: Handbook of Society and Research, Vol. 3, New York, Agathon Press, 1987, p. 271-326.

Obras referencias en orden cronológico son:

75

HEATH D.H., Growing Up in College: Liberal Education and Maturity, San Francisco, Jossey Bass, 1968.

SANFORD N., Where Colleges Fail: A Study of the Student as a Person, San Francisco, Jossey Bass, 1968.

SOLMON, L.C. & TAUBMAN P.J. ed., Does College Matter? Some Evidence of the Impacts of Higher Education, New York, Academic Press, 1973.

DAVIS J.R., Going to College: The Study of Students and Student Experience, Boulder, Co., We.stview Press, 1977.

PARKER C.A. & SCHMIDT J.A., "Effects of College Experience", in Mitzel 1982, 2: p. 535-543.

PACE C.R., Measuring the Quality of College Student Experiences, Los Angeles, Higher Education Research Institute, (UCLA), 1984.

BOYER ERNEST L. College. The Undergraduate Experience in America, New York, Harper & Row, 1987.

PASCARELLA E. & TERENZINI P.T. Twenty Years of Research on College Students: Lessons for Future Research AIR, 1990.

OUTCOMES RESEARCH

Llegando a la bibliografía que se sitúa ya expresamente dentro de la línea la outcomes research comenzamos con tres textos muy tempranos.

"The Outcomes of College", Review of Educational Research, Vol. 30 (1960), p.321-333.

Outputs of H.E. Their identification, Measurement and Evaluation, Boulder, Co., Western Interstate Commission for H.E., 1970.

SAUPE J.L. & DRESSEL P.L., "Evaluating Outcomes of Instruction", en Dressel et al. 1972, p. 151-172.

Como trabajos pioneros del campo, habría también que mencionar los trabajos de Alexander Astin y las experiencias de la Northeast Missouri State University y el Alverno College, que comenzaron en ambos casos a principios de los años 70. Sin embargo, preferimos presentar las referencias correspondientes en el lugar que temáticamente resulte más adecuado: las de la NMSU, en el rubro de los trabajos con enfoque de valor agregado (value added), al igual que las de Astin; y las del Alverno College en el rubro de los trabajos de tipo cualitativo.

Pasamos pues a presentar algunas visiones de conjunto y textos recientes:

LENNING O.T., Previous Attempts to Structure Educational Outcomesm and Outcome-Related Concepts: Acompilation and Review of the Literature, Boulder CO, NCHEMS, 1977.

76

Student Learning Outcomes TaskForce, Outcomes: Curriculum Embedded Performance, Washington, Council of Independent College, 1980.

KUH D., Indexes of Quality in the Undergraduate Experience AAHEERIC Research Report No. 4, 1981.

PACE R.C., "Perspectives and Problems in Student Outcomes Research", in Ewell 1985, p. 7-18.

HALPERN D.F., "Student Outcomes Assessment: Introduction and Overview", in Halpern, 1987, p. 5-8.

ETS, Assessing the Outcomes of Higher Education. Proceedings of the 1986 ETS Invitational Conference, Princeton N.J, 1987.

College Student Outcomes ASHE-ERIC Higher Education Reports, 87. p.7.

BANTA T.W, & FISHER H.S., "An International Perspective on Assessing Baccalaureate Program Outcomes" in Proceedings of the Jst. International Conference on Assessing Quality in Higher Education, 1987.

EWELL PETER T., "Outcomes Assessment and Academic Improvement: In search of usable Knowledge", in Smart J. C. ed., Higher Education: Handbook of Theory and Research, New York, Agathon Press, Vol. IV, 1988, p. 53-108.

BIRCH D.W. & JOHNSON F.C., Quality Control Assurance in Post- Secondary Education: An Outcomes Approach, AIR 1988.

HOGAN, R. Academic Outcomes Assessment: Analysis of the Pilot ETS Academic Profile, AIR 1989.

COUSINEAU, J. G. Measuring Academic Outcomes and Identifying what influences them, AIR 1989.

CAREY, A. W. Qualitative Assessment of Educational Outcomes: A Cooperative Approach, AIR 1880.

VALUE ADDED

En lo que se refiere al enfoque de valor agregado, tenemos las referencias a los trabajos de Astin:

ASTIN A.W., "The methodology of research on college impact", Sociology of Education, Vol. 43 (1970) p. 223-254 and 437-450.

ASTIN A. W., Four critical years, San Francisco, Jossey Bass, 1977.

ASTIN A. W., Achieving educational excellence, San Francisco, Jossey Bass, 1985.

ASTIN A.W. et al., The American Freshman: Twenty Years Trends, Los Angeles, UCLA-CIRP, 1987.

Y las referencias a la experiencia de la NMSU, que son:

77

MCCLAIN CH. J. & KRUEGER D.W., "Using Outcomes Assessment: A Case Study in Institutional Change", in Ewell 1985, p. 34-46.

KRUEGER D.W. & HEISSERER M.L., "Assessment and Involvement: Investments to Enhance Learning", in Halpern, 1987, p. 45-56.

MCCLAIN CH. J. et al., "Northeast Missouri: State University's Value Added Assessment Program: A model for Educational Accountability", in Kogan 1989, p. 33.42 (IJIMHE Vol. 10 (1986), No. 3.

BANER M., "A Commentary on the Northeast Missouri and Tennessee Evaluation Models", in Kogan 1989, p. 53-56 (IJIMHE Vol. 10 (1986), No. 3.

Otras referencias de este enfoque;

WHITLA D., Value Added: Measuring the Outcomes of Undergraduate Education, Cambridge, Harvard Univ. 1987.

PASCARELLA E.T., "Are value-added analysis valuable", in Assessing the Outcomes of Higher Education, ETS, 1987.

ASTIN A.W., "Assessment, Value-Added, and Educational Excellence", in Halpern, 1987, p. 89-107.

HANSON G.R., "Critical Issues in the Assessment of Value in Education", Banta 1988, p. 53-68.

BAIRD L., Value Added as an Approach to Assessing Quality AIR, 1989.

ESTUDIOS CUALITATIVOS

En cuanto al enfoque cualitativo, las referencias relativas a la experiencia del Alverno College son:

ALVERNO COLLEGE FACULTY, Assessment to Alverno College, Milwaukee, Alverno Publ., 1979.

MENTKOWSKI M. & DOHERTY A., "Abilities that last a Lifetime: Outcomes of the Alverno Experience", AAHE Bulletin, 1984, 36(6) p. 5-6, and p. 11-14.

MENTKOWSKI M. & DOHERTY A., Careering after College: Establishing the Validity of Abilities Learned in College for Later Careering and Performance, Milwaukee, Alverno Prod., 1984.

MENTKOWSKI M. & LOACKER G., "Assessing and validating the Outcomes of College", in Ewell 1985, p. 47-64.

PERFORMANCE FUNDING

En cuanto a la utilización de los trabajos de evaluación de resultados para fundamentar la asignación de recursos públicos a las IES, y a la experiencia pionera en este campo del estado de Tennessee tenemos:

BOGUE E.G. y BROWN W., "Performance incentives for state colleges", Harvard Business Review November-December 1982, p. 123-128.

78

BOGUE G., "Allocation of Public Funds on Instructional Performance; Quality Indicators", in Kogan 1989, p. 26-32 (IJIMHE Vol. 6 (1982) No.l).

BANTA T.W., "Use of Outcomes Information at the University of Tennessee, Knoxville", in Ewell 1985, p. 19-32.

BANTA T.W. Performance Funding in Higher Education: A Critical Analysis of Tennessee's Experiencie, Boulder CO, NCHEMS, 1986.

BANTA T.W. et al., "Assessment of Institutional Effectiveness at the University of Tennessee, Knoxville", in Kogan, 1989, p. 43-52. IJIMHE Vol. 10 (1986) No. 3.

Tennessee Higher Education Commission, Performance Funding Standards for Public Colleges and Universities, Nashville, THEC, 1987.

BANTA T.W. & MOFFETT M.S., "Performance Funding in Tennessee: Stimulus for Program Improvement", in Halpern, 1987, p. 35-43.

BANTA T.W., "Assessment as an Instrument of State Funding Policy" in Banta 1988, p. 81-94.

OTRAS EXPERIENCIAS

Referencias de experiencias institucionales menos destacadas, pero importantes:

ENDO J. & BITTNER T., "Developing and Using a Longitudinal Student Outcomes Data File: The University of Colorado Experience", in Ewell 1985, p. 65-80.

ALEJANDRE CIERESZKO A., "Mandated Testing in Florida: A Faculty Perspective", in Halpern, 1987 p. 67-73.

CURRY W. & HAGER E., "Assessing General Education: Trenton State College", in Halpern 1987, p. 57-65.

KERSCHNER L., "Outcomes Assessment in the California Master Plan", in Halpern, 1987 p. 29-31.

VANDAMENT W.E., "A State University Perspective on Student Outcomes Assessment", in Halpern p. 1987.

GRIFFITH S.R., "Using the Results of a State-Mandated Student Outcomes Assessment Test to Reevaluate Curriculum and Polices. A Case Study", AIR, 1988.

MORANTE E.A. & LYNCH R.E., "Assessing the Quality of Higher Education in New Jersey", ICAQHE 1989.

LUMSDEN DONALD L., "Assessing Learning Outcomes in the major Kean College's model", AIR, 1989.

THORNDIKE, R., "A Statewide Study of Standardize! Assessment Instruments: an example of cooperative inquiry in the Washington State H.E. System", AIR, 1989.

79

MAHEUX A., "Evaluation of the Quality of the Outputs in a University" (Canada) AIR, 1989.

ALUMNI RESEARCH

Sobre los estudios de exalumnos o egresados, tenemos en primer lugar unode los source book ya mencionados,

MELCHIORI G. S. ed., "Alumni Research; Methods and Applications" New Directions for Institutional Research No. 60, 1988.

Especialmente en los artículos siguientes:

MELCHIORI G.S., "Alumni Research: An Introduction", in Melchiori G.S. 1989, p. 5-12.

MODEN G.O. & WILLIFORD A.M. "Applying Alumni Research to Decision Making", in Meichiori G.S. 1988, p. 67-76.

DUNN J.A., "The Future Agenda for Alumni Research", in Melchiori G.S. 1988, p. 77-88.

Otros trabajos sobre el tema son los siguientes:

WISE S.L., HENGSTLER D.D. & BRASKAMP L.A., "Alumni Rating as on Indicator of Departamental Quality", Journal of Ed. Psychology Vol. 73 (1981) p. 71-77.

CASE, Surveying Your Alumni, Washington, Council for the Aduance- Ment and Support of Education, 1983.

STEVENSON M., WALLERI R.D. & JAPELY S.M., "Designing Follow Up Studies of Graduates and Former Students", in Ewell 1985, p. 81-92.

PETTIT, J. "Academic Outcomes Assessment using Alumni Surveys", AIR, 1989.

MODEN, G. O. "Using Alumni Outcomes Research in Academic Planning", AIR, 1989.

IMPLANTACIÓN

Sobre las delicadas cuestiones que plantea en una institución la implantación de un programa de evaluación de resultados, tenemos nuevamente un source book completo y luego varios textos particulares:

BANTA TRUDY W. ed., "Implementing Outcomes Assessment: Promise and Perils", New Directions for Institutional Research No. 59, Otoño 1988.

EWELL P.T., "Some Implications for Practice", in Ewell 1985, p. 111-120.

HALPERN D.F., "Recommendations and caveats", in Halpern, 1987 p. 109-111.

EWELL P.T., "Implementing Assessment: Some Organizational Issues", in Banta 1988, p. 15-28.

80

MILLER R. I., "Using Change Strategies to Implement Assessment Programs", in Banta 1988, p. 5-14.

POJE DJ. & DOLL J.R., "Avoiding Pitfalls in Administering an Outcomes Assessment Program", ICAQHE,, 1989,

PRESENTACION SISTEMATICA 103

SIZER J "Institutional Performance Assessment Under Conditions of Changing Needs", in Kogan, 1989, p. 105-116. (IJIMHE, Vol. 6 (1982) No.l.

ROMNEY L C et al., "Assessing Institutional Performance: The Importance of Being Careful", in Kogan, 1989, p. 84-94 (UIMHE Vol. 3 (1979) No.1.

METODOLOGÍA

No pocos de los textos ya mencionados tratan también de cuestiones metodológicas, pero hay algunos que centran su atención en estas, o presentan y discuten instrumentos, técnicas particulares, etcétera. Damos a continuación algunas referencias.

Evidentemente, la vastísima literatura sobre metodología de investigación en las ciencias del hombre, en education y en evaluación, puede contener muchos elementos valiosos para nuestro tema.

MICEK S.S. et al., Outcome Measures and Procedures Manual Field Review Edition. Technical Report 70. Boulder Co., NCHEMS, 1975.

KUHNS S.E. & MARTORANA S-V. eds., Qualitative Methods for Institutional Research. New Directions for Institutional Research No. 34, 1982.

GAFF J., "Application of Qualitative Research Methods to Understanding and Strengthening Educational Practice", Kuhns-Martorana 1982 p. 89-98.

LEVINE A., "Qualitative Research in Academic Decision Making" in Kuhns & Martorona 1982, p. 73-80.

EWELL P.T., Student Outcomes Questionnaires: An Implementation Handbook, Boulder Co., NCHEMS, 1983.

EWELL P.T., "Establishing a Campus-Based Assessment Program", in Halpern 1987 p. 9-24.

WARREN J., "Cognitive Measures in Assessing Learning", in Banta 1988, p. 29-40.

LENNING O.T., "Use of Noncognitive Measures in Assessment", in Banta, 1988, p. 41-52.

TALBOT R.W. & BORDAGE G., "A Preliminary Assessment of a New Method of Course Evaluation Based on Directed Small Group Discussions", in Kogan 1989, p. 63-73. (IJIMHE Vol. 10 (986) No. 2.

81

MCGUIRE MICHAEL D., "Use of Transcript Analysis to Explore Curricular Practica and Student Outcomes", AIR, 1989.

NICHOLS, J. O., YOST,MICHAEL &HYDE,K,'R., Institutional Effectiveness and Outcomes Assessment. Implementation on Campus: A Practicians Handbook, University of Mississippi, 1989.

HANSON G.R., The Assessment of Student Outcomes: A Review and Critique of Assessment Instruments, Austin, University of Texas, 1989.

Outcome Handbook, Morrow Ga., Clayton State College, 1990.

DARY E.T., Assessing Student Learning and Development, San Francisco, Jossey Bass, 1991.

Sobre el punto específico de la permanencia a largo plazo de los resultados educativos, se han desarrollado algunos trabajos, a los que abordan las siguientes referencias:

HARNQUIST K., "Enduring Effects of Schooling. A Neglected Area in Educational Research", Educational Research (1977) No. 6, p. 5-11.

POWELL J.P., "The Residues of Learning: Autobiographical Accounts by Graduates of the Impact of Higher Education", Higher Education Vol. 14 (1985) No. 2, p. 127-148.

DAHLGREN L.O. "Higher Education: Impact on Students", in Husen-Postlethwaite 1985, 4; p. 2223-2226.

LINN R.L., "Change Assessment in Students: in Husen-Postlethwaite 1985, 2: p.666-671.

3.7. Estudios de procesos.

En cuanto a los trabajos sobre la efectividad organizacional tenemos:

CAMERON K.S., "Measuring Organizational Effectiveness in Institutions of Higher Education", Administrative Science Quarterly Vol. 23 (1978) p. 604-632.

CAMERON K.S., "The Enigma of Organizational Effectiveness", in New Directions for Program Evaluation 1981 No. 11, p. 1-13.

CAMERON K.S., "Improving Academic Quality and Effectiveness", in Peterson-Mets 1987, p. 322-346.

CHAFFEE E.E., "Organizational Concepts Underlying Governance and Administration", in Peterson-Mets 1987, p. 21-39.

LYSONS A. & RYDER P., "An Empirical Test of Cameron's Dimensions of Effectivenes: Implications for Australian Tertiary Institutions". Higher Education, Vol. 17 (1988) No. 3, p. 323-332.

82

CHAFFEE E. E., "Strategy and Effectiveness in Systems of Higher Education", in Smart J. C. ed., Higher Education: Handbook of Theory and Research Vol. V 1989, New York, Agathon Press, p. 1-30.

BARNARD, M. K., "Development and Implementation of an Organizational Climate Survey: A Measure of Institutional Effectiveness", AIR, 1990.

Otras referencias sobre este apartado:

HARCLEROAD F.F., Educational Auditing and Accountability, Washington, Council on Postsecondary Accreditation, 1976.

HARCLEROAD F.F. & DICKEY F.G., Educational Auditing and Voluntary Institutional Accrediting, Washington, AAHE-ERIC, Higher Education Research Report No. 1, 1975.

ASTIN A.W., "Why Not Try Some New Ways of Measuring Quality". Educational Record, 1982, p.10-15.

KELLER G., Academic Strategy: The Management Revolution in American Higher Education, Baltimore, John Hopkins Univ. Press, 1983.

GILLEY J.W. et al. Searching for Academic Excellence: Twenty Colleges & Universities on the Move and Their Leaders, New York, MacMillan, 1986.

BIRNBAUM R. How Colleges Work, San Francisco, Jossey Bass, 1988.

El sistema del estado de Wisconsin, Fox Valley Technical College es, probablemente, el mejor ejemplo de la utilización sistemática de los conceptos de calidad total en el terreno de la educación superior. Se trata de una experiencia importante por su duración -comenzó en 1985, después de un estudio de un año- y por tratarse no de un college aislado, sino de un sistema estatal de considerable tamaño. A esta experiencia se refieren:

SPANBAUER S.J., Quality First in Education... Why Not? Using Quality and Productivity Methods to Improve Schools, Appleton, Wisconsin, Fox Valley Technical College, 1987.

SPANBAUER S.J., Quality First Process Model, Appleton Wisconsin, Fox Valley Technical College, 1988.

SPANBAUER S.J., Measuring and Costing Quality in Education, Appleton, Wisconsin, Fox Valley Technical College, 1989.

El texto de Daniel Seymour -del que se tomó el epígrafe con el que comenzamos esta obra- esta tornado de un artículo en el que su autor anticipa un libro que esta por aparecer, junto con otro de Alexander Astin, cuya importancia para nuestro tema ha podido apreciarse ya en las referencias bibliográficas que se han dado; ambos textos sirven para mostrarnos que el interés no termino con la década pasada:

SEYMOUR D., Causing Quality in Higher Education, New York, MacMillan, 1991.

83

ASTIN A.W., Assessment for Excellence: The Philosophy and Practice of Assessment and Evaluation in Higher Education, New York, MacMillan, 1991.

En lo que se refiere a otros países, ya hemos mencionado la creación de una Unidad de Auditoria Académica por parte del Comité de Rectores del Reino Unido. Otras referencias que muestran preocupaciones análogas en Europa son:

Managing Colleges Efficiently, London HMSO, 1987.

CUTHBERT R.E., "Quality and Management in H.E.", Studies in Higher Education Vol. 13 (1988) No. 1, p. 59-68.

LECOINTE M. et REBINGUET M., L'audit de I'etablissement scolaire, Paris, Les Editions d'Organisation, 1990.

Por último, de la literatura metodológica -y en especial de la orientada cualitativamente- se desprenden claras consecuencias en cuanto a la administración de IES, la toma de decisiones y otras cuestiones estrechamente vinculadas con la calidad. Las siguientes referencias tratan de esto.

DIPPELHOFER -STIEM B., "How to Measure University Environment? Methodological Implications and Some Empirical Findings". Higher Education Vol. 15 (1986) No. 5, p. 475-495.

ALFRED R.L., "Improving Institutional Decision Through Qualitative Research on Students", in Kuhns & Martorana 1982, p. 63-72.

TIERNEY M., "Applicability of Qualitative Methods in Management Decisions", in Kuhns & Martorana 1982, p. 81-88.

3.8. Sistemas de Indicadores (Performance Indicators)

En primer lugar, algunas referencias de carácter metodológico y general:

BEYER J.M. & SNIPPER R., "Objective Versus Subjective Indicators of Quality", Sociology of Education 1974, 47, p. 541-557.

RODRIGUEZ DIEGUEZ J.L., "Indicadores de Eficacia en la Enseñanza Universitaria", Patio de Escuelas, No. 1 (1978) p. 45.

BONKAM G.W., "Measuring Indicators of Quality, in Kunhs & Martorana 1982, p. 99-110.

BERK R.A. ed., Performance Assessment: Methods and Applications, Baltimore, John Hopkins Univ. Pres, 1986.

YORKE D.M., "Indicators of Institutional Achievements: Some Theoretical and Empirical considerations", Higher Education Vol. 16 (1987), 1, p. 3-20.

BALL R. & HALWACHI J., "Performance Indicators in Higher Education", Higher Education Vol. 16 (1987) No. 4, p. 393-406.

84

BARNETT R.A., "Institution of Higher Education: Purposes and Performance Indicators", Oxford Review of Education Vol. 14 (1988) No. 1, p. 97-112.

CAVE M. et al.. The Use of Performance Indicators in Higher Education A Critical Analysis of Developing Practice, London, Jessica Kinslay, 1988.

HORNBOSTEL S. "Time Duration of Studies. Methodological Problems of Constructing a Performance Indicator", EAIR, 1989.

THOMAS A., "Answering the "How" in Design of Quality Assessment Programs: Use of the Standards", EAIR, 1989.

RULE L., "A Criterion Based Approach to Quality Assurance in Higher Education", EAIR, 1989.

JOHNSON, F. C. "International Quality Standards in Colleges", AIR, 1989.

ELTON L., "Criteria of Excellence in Teaching and Learning, and Their Appraisal", EAIR, 1989.

Después, una serie de trabajos basados en experiencias concretas, especialmente del Reino Unido, pero también de Estados Unidos, Canada, Alemania, Holanda y España.

Committee of Vice Chancellors and Principals, Academic Standards in Universities, London CVCP, 1986.

MOODRE G. ed.. Standards and Criteria in Higher Education, Nelson Guildford, Surrey, SRHE y NFER, 1986.

CVCP, Performance Indicators in Universities: a First Statement by a Joint CVCP/UGC Working Group, London, CVCP, 1986, Mimeo, lip.

CVCP, Performance Indicators in Universities. A Second Statement by the Joint CVCP/UGC Working Group, London, CVCP, 1987, Mimeo, 64 p.

PAGE E. Management Statistics and Performance Indicators in British Universities, EAIR, 1989.

BALL, R. Measuring Performance in British Universities, The Use of Performance Indicators, AIR, 1989.

YORKE D.M., Judging Institutional Effectiveness: an Evaluation of Data from 4 Institutions in British Public Sector of Higher Education, EAIR, 1989.

KELLS H., Information Systems Needed by Universities and Polytechnics in Self-Regulations or Quality Control Processes, EAIR, 1989.

HEVERLY M. A. Using Key Indicators to Guide Curriculum Review at a Community College, AIR, 1989.

NADEAU G., Identification of Criteria and Indicators of Quality and Excellence in Canadian Universities: A Nation Wide Delphi Study, EAIR, 1989.

85

ABRAM KONRAD, Criteria of Quality for Program & Institutional Environment at the Postsecondary Level of Education, AIR, 1990.

FISH R. & DANIEL H., Research Performance Evaluations in the German University Sector, EAIR, 1989.

ACHERMANN H.., Performance Indicators in the Netherlands, EAIR, 1989.

MENDEZ A, The Use of Scientometric Indicators for Assessing University Performance, EAIR, 1989.

ALLSOP P., Developing Common Performance Indicators and Assessing Effectiveness and Quality in Public Sector H. E., 2d. ICAQHE, 1990.

DOCHY F, SEGERS M. & WIJNEN W., eds. Management Information and Performance Indicators in Higher Education: An International Issue, Van Gorcum & Co., 1990.

GOEDGEBUURE L.CJ, MAASSEN P.A.M. & WESTERHEIJDEN D.F. eds., Peer Review and Performance Indicators. Quality Assessment in British and Deutch Higher Education, Utrecht, Lemma Uitgeverij, 1990.

JOHNES J. & TAYLOR J., Performance Indicators in Higher Education, Buckingham, Open University Press-Society for Research in Higher Education, 1990.

Para cerrar este apartado y -en relación con los trabajos de la OCDE a nivel internacional- además del artículo ya citado de Walberg, mencionamos:

JOHNES J. & TAYLOR J., Performance Indicators in Higher Education, París, OCDE, 1988, 94 P.

JOHNES J. & TAYLOR J., International Handbook of Educational Indicators, OCDE, (en preparación).

3.9. Autoevaluación Institucional

Desde los planteamientos de los self-studies y la institutional research a principios de los años 60, hasta los 80.

DRESSEL P.L., "Institutional Self-Evaluation", in DRESSEL F.L. et al., Evaluation in Higher Education, Boston, Houghton Mifflin Co. 1961, cap. 13 p. 393-432.

DRESSEL P. L., et al., Institutional Research in the University. A Handbook, San Francisco, Jossey Bass, 1972.

DRESSEL P.L., "Nature of Institutional Research in Self-Study", in Dressel et al., 1972, p. 19-37.

SAUPE J.L., "Collecting and Utilizing Basic Data", in Dressel et al., 1972, p. 53-99.

Evaluation of Institutions of Poslsecondary Education: An Annotated List of Instruments, Washington, Council on Postsecondary Accreditation, 1975.

86

DRESSEL P.L., Handbook of Academic Evaluation, San Francisco, Jossey Bass, 1976.

BURNS N., Evaluation of Institutions of Postsecondary Education: Assessment in Terms of Outcomes Through Institutional Self Study, Washington, Council on Postsecondary Accreditation, 1978.

SHEEHAN B.S. & TORRENCE L.E., "Institutional Research", in Knowles 1978, 5: p. 2184-2193.

MILLER RICHARD I., The Assessment of College Performance a Handbook of Techniques and Measures for Institutional Self Evaluation, San Francisco, Jossey Bass, 1979.

JEDAMUS P., PETERSON M. W., et al., Improving Academic Management a Handbook of Planning and Institutional Research, San Francisco, Jossey Bass, 1980.

MILLER R.I., "Appraising Institutional Performance", en Jedamus Peterson et al., 1980, p. 406-432.

STUFFLEBEAM D.L., "Institutional Self Evaluation", in Husen-Postlethwaite, 1985, 5: p. 2534-38.

SCHMIDTLEIN F.A., "Higher Education: Institutional Research and Planning", in Husen-Postlethwaite 1985, 4: p. 226-228.

BERGQUIST W. H., Planning Effectively for Educational Quality, San Francisco, Jossey Bass, 1986.

KELLY N.H. & SHAW R.N., "Strategic Planning by Academic Institutions Following the Corporate Path?" Higher Education, Vol. 16 (1987) No. 3, p. 319-336.

KELLS H.R., Self Study Processes: A Guide for Postsecondary Institutions, Collier MacMillan, 1988.

KELLS H.R. & VAN VUGHT F.A. eds., Self-regulation, self-study and program review in Higher Education, Culemborg, Lemma, 1988.

La última referencia nos remite a la experiencia holandesa, que da particular importancia a la autoevaluación como punto de partida para la evaluación externa. Otras referencias en este sentido son:

VAN OS W., DRENTH PJ.D. & BERNAERT G.F., "AMOS: An Evaluation Model for Institutions of H. E.", Higher Education Vol. 16 (1987) No. 3, p. 243-256.

DRENTH PJ.D. et al., "Improvement of Education Through Internal Evaluation (AMOS)", in Kogan M. ed., Evaluating Higher Education, London, Jessica Kingsley,-1989, p. 57-62.

En cuanto a Suecia:

87

FURUMARK A.M., "Institutional Self-Evaluation in Sweden", in M. Kogan ed., Evaluating Higher Education, op. cit., p. 74-83.

Por último, algunos textos recientes sobre la "Investigación Institucional" (Institutional Research)

MUFFO J. A. & MC LAUGHLIN G.W. eds., A Primer on Institutional Research, Tallahassee, Fla., AIR, 1987.

GENTEMANN K.M. & ROGERS B.H., The Relationship of Institutional Research to the Assessment of Institutional Effectiveness, AIR 1988.

GENTEMANN K.M. y ROGERS B.H., Higher Education and the Future: Initiatives for Institutional Research General .Sessions & Presentations. 29o. Foro Anual de la AIR, correspondiente a 1989; Tallahassee, Fla.,AIR,1990.

SAUPE J.L., The Functions of Institutional Research, Tallahassee, Fla. AIR, 1990.

NICHOLS J.O., The Role of Institutional Research in Implementing Institutional Effectiveness or Outcomes Assessment, AIR Professional File No.37,1990.

ENDO J.J. ed., Institutional Research Coming of Age, General Sessions and Presentations. 30o. Foro Anual de la AIR, correspondiente a 1990; Tallahassee, Fla., AIR, 1990.

3.10. Evaluación por Agendas Acreditadoras

Sobre el pasado de los sistemas de acreditación y su situación actual en los Estados Unidos, mencionaremos:

SELDEN W.K., Accreditation: A Struggle over Standards in Higher Education, New York, Harper & Row, 1960.

PHILLIPS J.M. & VAN ANTWERP E.I., "Academic Standards and Accreditation: United States", in Knowles 1978, 2: p. 39-48.

KNOWLES A.S. & VIOLA J.W., "Academic Standards Accreditation: International", in Knowles, 1978, 2: p. 32-39.

Characteristics of Excellence in Higher Education and Standards for Middle States Accreditation, Philadelphia, Middle States Association of Colleges & Schools,-1978.

KIRKWOOD R., "Accreditation", in Mitzel 1982,1: p. 9-12.

YOUNG -K.E, CHAMBERS CH.M.,.KELLO H.R. et al.. Understanding Accreditation. Contemporary Perspectives on Issues and Practices in Evaluating Educational Quality, San Francisco, Jossey Bass, 1983.

HARRIS S.S., 1988-1989 Accredited Institutions of Postsecondary Education, Washington, American Council on Education, 1989.

88

COMMISION ON COLLEGES, Manual for Accreditation, Atlanta, Southern Association of Colleges & Schools, SACS, 1989.

COMMISSIONS ON COLLEGES, Criteria for Accreditation, Atlanta, SACS, 1989-1990.

Las siguientes referencias nos remiten, de una manera menos especifica, a la evaluación de instituciones y "programas" por lo que se ha llamado "pares"; o sea por colegas calificados no pertenecientes a cuerpos oficiales del Estado; se habla también en estos casos de "revisiones departamentales". En primer lugar, citaremos otros tres capítulos de la obra varias veces mencionada editada por M. Kogan, Evaluating Higher Education:

BALDERSTON F.," Academic Program Review and the Determination of University Priorities", p. 122-133.

BRENNAN J., "Peer Review and Partnership: Changing Patterns of Validation in the Public Sector of Higher Education in the United Kingdom", p. 134-140.

PREMFORS R., "Evaluating Basic Units: Seven Fundamental Questions", p.148-153.

Otros textos recientes al respecto son:

WILSON E.K., "Department Reviews for Product Improvement in H.E.", in Smart J.C. ed., Higher Education: Handbook of Theory and Research, New York, Agathon Press, Vol. Ill, 1987.

MARCHESE TH., "Assessment, Accreditation and Institutional Effectiveness. An Update", AIR, 1989.

ROGERS J.T., "Institutional Effectiveness and the Accreditation Process", ICAQHE, 1989.

PARRY D.W., "American Accreditation Procedures; Their Application in Britain", ACAQHE, 1989.

ELTON L.R.B., "Assessment and the External Examiner System" ICAQHE, 1989.

BARAK R.J. & BREIER B.E, Successful Program Review, San Francisco, Jossey Bass, 1990.

3.11. Evaluación por el Estado

Dado que este aspecto ha sido cubierto en algunos de los apartados anteriores, para evitar repeticiones innecesarias remitiremos al lector a los apartados. 3.6 (experiencias americanas de financiamiento con base en resultados, Tennessee Performance Funding), 3.1. (descripción de las experiencias inglesa, francesa y holandesa) y 3.8. (sistemas de indicadores).

89

TERCERA PARTE, HIPÓTESIS Y SUGERENCIAS PARA LA EVALUACIÓN DE LA CALIDAD DE LAS IES EN MÉXICO

1. Un primer acercamiento impresionista.

2. Hacia una evaluación más precisa.

90

1. UN PRIMER ACERCAMIENTO IMPRESIONISTA

La cuestión de evaluar la calidad de las instituciones mexicanas de educación superior es, ciertamente, compleja, pero no hay que exagerar la dificultad de la tarea para justificar el no emprenderla; los aspectos más gruesos de la cuestión son fácilmente detectables. Más aún: para alguien con suficiente familiaridad en el terreno, saltan a la vista.

Los problemas de conceptualización son reales y hay que procurar resolverlos mediante la utilización de un lenguaje claro y preciso y de marcos de referencia sólidos. Esto sin duda será largo y requerirá de investigaciones y discusiones amplias, al grado de que en algunos momentos se podrá estar tentado de concluir, de acuerdo con el texto ya mencionado de Pirsig, que si nadie sabe lo que es (la- calidad) entonces, para cualquier efecto, no existe (en Conrad y Blackburn, 1985).

Pero, como ese mismo autor señala: resulta que, para todos los efectos prácticos, la calidad si existe... ¿Por qué la gente está dispuesta a pagar verdaderas fortunas por unas cosas, mientras echa otras al cesto de la basura? Evidentemente hay algunas cosas que son mejores que otras... (en Conrad y Blackburn, 1985).

Un grupo mínimamente plural desde el punto de vista ideológico difícilmente llegara a un acuerdo pleno en cuanto a cómo deberá de ser exactamente una universidad; qué enfoques deberán tener sus curricula; cuales serán las políticas de admisión de alumnos más adecuadas; qué tipo de investigación deberá realizarse; cuál sería el perfil del profesor ideal, etcétera

Pero lo anterior no obsta para que el mismo grupo pueda coincidir plenamente en que una institución concreta, con unas cuantas carreras de alta demanda saturadas; sin profesores de tiempo, bibliotecas ni laboratorios; en la cual los profesores y los alumnos no asisten a las clases u otras actividades en una proporción elevada de las ocasiones en que deberán hacerlo, etcétera, no puede tener una alta calidad.

Si bien la abundancia de insumos no garantiza una elevada calidad de los productos, puede afirmarse que, por el contrario, una pobreza extrema de insumos se opone drásticamente a una buena calidad de los resultados.

Y si bien los procesos más finos que tienen lugar en una institución educativa no pueden evaluarse sin utilizar acercamientos cualitativos, que exigen una alta inversión en tiempo y personal especializado, también es cierto que algunos procesos básicos son muy fáciles de detectar. Baste el ejemplo de la asistencia de profesores y alumnos, que es lo más sencillo de evaluar aún cuantitativamente y constituye un requisito indispensable –aunque no suficiente— de la calidad.

Las más avanzadas concepciones educativas no podrán sostenerse sin esa base que es el trabajo regular e intenso de los involucrados, ya sea en las actividades tradicionales o en otras. Por ello, independientemente de lo avanzado o conservador de las teorías pedagógicas que sustenten un diseño curricular dado, no será temerario afirmar que una institución en la que profesores y/o alumnos faltan mucho a sus labores no puede ser de alta calidad.

91

Con base en estas convicciones, se presenta a continuación un brevísimo diagnóstico de la calidad global de las IES mexicanas, construido en forma impresionista. Aceptando que un cuadro así puede ser injusto con instituciones concretas, o con áreas particulares de instituciones grandes, creemos que en general no diferirá mucho de lo que se podrá obtener mediante un acercamiento más completo y riguroso, como el que propondremos más adelante. Esta imagen también podrá considerarse como una hipótesis de trabajo, que deberá ser corroborada o rechazada por un análisis más completo y que se opone a otros planteamientos igualmente breves e impresionistas como los siguientes:

El que opone las universidades privadas a las públicas, considerando a las primeras como "las buenas" (serias, no politizadas, eficientes, bien dotadas de recursos, con planta física limpia y amplia, alumnos estudiosos, profesorado cumplido, bibliotecas bien surtidas, etc.) y a las segundas como "las malas", con las características opuestas.

La visión contraria, que sataniza a las instituciones privadas (como enajenadas, elitistas, al servicio de la voraz empresa privada, sin conciencia social, etc.), mientras enaltece a las IES públicas.

El planteamiento que opone a los subsistemas universitario y tecnológico en el seno de las instituciones públicas, considerando que las primeras, con la UNAM a la cabeza, son más ricas, con alumnado de nivel medio o alto, con carreras menos vinculadas a las necesidades sociales, etc., en tanto que IPN y tecnológicos serían instituciones con menos recursos, alumnado de extracción popular y más vinculadas a las necesidades.

El planteamiento que enfrenta la capital (grande, progresista, moderna y rica) con la provincia (pequeña, conservadora, anticuada y pobre).

Frente a los anteriores, nuestro diagnóstico, aunque también impresionista, es más matizado. En 1991 hay en México un total de 718 instituciones de educación superior, agrupadas como puede verse en el siguiente cuadro

CUADRO No. 3. EL SISTEMA MEXICANO DE IES

IES* ALUMNOS** TAMAÑO MEDIO

PÙBLICAS 383 945, 559 2,469

Universidades 40 715, 850 17,896

Tecnologicos 97 166, 508 1,717

Normales 225 55, 187 245

Otras 21 8,014 382

PRIVADAS 335 196,008 585

Universidades 61* 131, 169 2,150

Escuelas 154 56, 650 368

Normales 120 8, 189 68

TOTAL 718 1, 141, 567 1,590 *En universidades privadas, 30 de las 61 constituyen distintas unidades de sistemas multicampus ** En el renglón de alumnos de las escuelas normales, las cifras son aproximadas porque solo incluyen a los alumnos de los cursos ordinarios. FUENTE: Anuario Estadístico ANUIES, 1990.

92

La imagen de instituciones ricas que se tiene de las Instituciones de Educación Superior privadas sólo puede aplicarse a un pequeño número de ellas: tal vez a la mitad de las 61 instituciones clasificadas en el renglón de ―Universidades‖, incluyendo una docena de instituciones y unos 30 campus o planteles.

El resto, es decir, las 120 ―Escuelas normales‖, las 15 "Escuelas" y la otra mitad de las "Universidades", o sea unas 300 del total de 335 IES privadas, son instituciones minúsculas, con un panorama de carencias mucho más grave que el del promedio de las instituciones públicas. En no pocos casos puede detectarse un descarado propósito de lucro sin un mínimo de seriedad, lo que no se ve impedido por unos mecanismos de incorporación irracionales por parte de la Secretaría de Educación Pública.

En otros –tal vez sea el caso de muchas normales— no puede hablarse de fines de lucro, sino posiblemente de propósitos altruistas relacionados con cuestiones ideológicas, pero las carencias no son por eso menos reales.

Algunas instituciones pueden excepcionalmente mantener buenos niveles académicos, pese a no contar con profesorado de tiempo completo, mediante una alta motivación de los maestros, una cuidadosa selección de los alumnos, buenas bibliotecas y rigurosos mecanismos de exigencia y control --piénsese, por ejemplo, en la prestigiada Escuela Libre de Derecho—pero por lo general no sucede así.

Por ello creemos que se puede sostener que, entre las IES privadas, hay unas cuantas de excelente calidad (de 10 a 30, según se cuenten instituciones o planteles); otro grupo mayor, pero no muy grande, de instituciones regulares (tal vez otras 30), y una gran mayoría sumamente deficiente (seguramente más de 250 instituciones).

Por lo que se refiere a las IES públicas, es obvio que las 40 Universidades –que atienden a más del triple de alumnos que las demás IES publicas juntas, en numero de 343— cuentan con un volumen absoluto de recursos superior. Pero, para juzgar si tiene fundamento el estereotipo "Universidades ricas vs. tecnológicos pobres", hay que conocer no el volumen global de recursos, sino el presupuesto por alumno.

A falta de elementos para hacer esta comparación, utilizaremos como indicador aproximativo la proporción de profesores de tiempo, sobre el total del personal académico, y la relación de alumnos por profesor.

Sabiendo que el renglón de sueldos y prestaciones representa la parte del león de los presupuestos de las IES, llegando a ser más del 90% del total en épocas difíciles, y sabiendo que un profesor de tiempo cuesta mucho más que uno por horas, podremos estar de acuerdo en que el indicador tiene valor.

Para las siguientes comparaciones utilizamos los datos de 1989 y dejamos fuera de análisis un pequeño grupo del renglón para efectos comparativos, en cambio, incluimos los datos de las IES privadas.

93

CUADRO No. 4. COMPOSICIÓN DEL PERSONAL ACADÉMICO Y RELACIÓN ALUMNOS/PROFESORES EN LAS INSTITUCIONES DE EDUCACIÓN

SUPERIOR MEXICANAS 1989

PROFESORES

1 TC + MC

2 ASIGNATURA

3 TOTAL

4 ALUMNOS 4/1 4/3

ABS. % ABS % ABS %

UAEs 19,052 28.8 47,182 71.2 66,234 100 734,731 38.6 11.1

IFTs 10, 569 65.4 5,580 34.6 16, 149 100 152,517 14.4 9.4

Normales 3,475 39.6 5,288 60.4 8,763 100 56,124 16.1 6.4

PRIVADAS

Univ. + Esc. 4,203 20.3 16,505 79.7 20,708 100 171,245 40.7 8.3

Normales 742 22.1 2,620 77.9 3, 362 100 11,580 15.6 4.4

Siglas TC + MT = Tiempo completo + medio tiempo UAEs=Universidades Autónomas y o estatales ITFs= Instituciones Federales de Carácter Tecnológico FUENTE: Anuario Estadístico ANUIES, 1989.

Como es fácil ver, la idea de que las Universidades son los parientes ricos en la familia de las IES públicas no resiste la prueba de los datos.

Las Universidades tienen más alumnos por profesor en total, y mucho más por profesor de tiempo. Obviamente esto quiere decir –como puede también apreciarse en el cuadro anterior— que la proporción de profesores de tiempo sobre el total del personal académico es mucho menor en las Universidades que en las demás IES públicas.

Aun en las Normales, las proporciones analizadas resultan muy superiores a las de las Universidades, aunque en este caso hay que tener en cuenta la fuerte reducción del número de alumnos que siguió a la elevación al nivel de licenciatura de la formación normalista, en tanto que el profesorado de dichas instituciones no se redujo en la misma proporción. Nótese también que la proporción de profesores de tiempo en el conjunto de IES privadas es muy baja.

Yendo más allá de estos datos, y siguiendo con el diagnostico impresionista, nos atrevemos a decir que la calidad promedio de las IES públicas de tipo tecnológico, también deja mucho que desear, aunque las razones son muy diferentes a las que vimos con respecto a las IES privadas. En este caso se trata de instituciones prácticamente gratuitas, con un alumnado que, efectivamente, es de origen más popular, y cuyos presupuestos provienen íntegramente del subsidio federal.

Cuentan con bastantes profesores de tiempo y suelen tener costosos talleres, pero sus bibliotecas son muy pobres y los talleres no pueden operar con regularidad por falta de recursos para mantenimiento y gasto corriente; esta carencia se acentuó con la crisis económica de los 80. Con cierta frecuencia la dedicación efectiva de los profesores no corresponde a la nominal.

Por otra parte, el carácter federal de estas instituciones hace que todas las decisiones y la planeación -tanto académica como administrativa- se tomen o se realicen centralmente, de suerte que el profesorado local no tiene influencia en lo

94

que se refiere a planes y' programas de estudio. Esto trae consigo desinterés y falta de compromiso. Además, no es raro que existan conflictos políticos, laborales o estudiantiles. Por lo anterior, el nivel de calidad académica no puede ser muy alto; aunque tampoco es tan bajo como en las IES privadas más deficientes, que son francamente fraudulentas.

A diferencia de la relativa homogeneidad que puede encontrarse en el subsistema de tecnológicos, la realidad de las universidades públicas es muy heterogénea. Además, hay que tener en cuenta que algunas de estas son enormes y constituyen auténticos sistemas de unidades bastante grandes e independientes. Así, por ejempló, cada una de las Escuelas Nacionales de Estudios Profesionales de la UNAM, y varias de sus Facultades o Escuelas, son más grandes que muchas Universidades completas; otro tanto puede decirse de las tres unidades de la UAM, con 15,000 alumnos cada una, y de varias de las escuelas o campus de Universidades como la de Guadalajara, la Autónoma de Nuevo León, la Veracruzana, etcétera. Hay que tener en cuenta que en algunas ocasiones las cifras de matrícula están muy exageradas.

Las dimensiones de la UNAM hacen que consideremos pequeñas a instituciones que en realidad son importantes, según estándares internacionales. Para efectos de comparación mencionemos que, de las 3,256 IES registradas en los Estados Unidos en 1980, un total de 1,259 no llegan a los 1,000 alumnos cada una; 2,104 tienen menos de 2,500; 2,553 menos de 5,000; 2,920 menos de 10,000; y solamente 228 tienen de 10,000 a 20,000 estudiantes; 75 de 20,000 a 30,000; y solo 33 tienen más de 30,000 alumnos.

Provenientes casi en su totalidad de los subsidios estatales y federales, los recursos de las Universidades públicas son muy diferentes tanto en números absolutos, como en proporción a su número de estudiantes, aunque la alta proporción que representan en muchos casos los estudiantes de bachillerato, y la escasa confiabilidad de los datos de matrícula a que ya nos hemos referido, hacen muy difíciles las comparaciones.

Así, en este subsistema se encuentran, por una parte, escuelas e instituciones enteras con muy pocos profesores de tiempo, instalaciones muy deficientes y grandes grupos de alumnos que sobresaturan salones con mobiliario en mal estado, sin bibliotecas, y con graves anomalías administrativas, conflictos y suspensiones de labores frecuentes, etcétera, y por otra parte, escuelas o áreas bien dotadas de recursos, con excelentes proporciones alumnos/maestro: maestros de tiempo/maestros de asignatura; libros/alumnos, etc. Y –muchas veces con poca relación con la docencia— en algunas instituciones se encuentran excelentes institutos o áreas de investigación, de nivel internacional.

Debe subrayarse que en este análisis no se incluyen las dos instituciones de élite del país en lo que se refiere a la Investigación y la formación de posgrado en ciencias de la naturaleza y ciencias del hombre, respectivamente: el CINVESTAV y El Colegio de México.

95

En cuanto a la diferencia entre la ciudad de México y la provincia, es interesante ver que la "riqueza relativa" de las universidades públicas –nuevamente medida a través del indicador de la proporción de profesores de tiempo completo y medio tiempo sobre el total, y de la relación entre el número de alumnos y el de maestros- es muy diferente de lo que en un primer momento tiende a pensarse.

Así, podemos encontrar que, en lo que se refiere al nivel de licenciatura, la UNAM es una institución "pobre", aun en el contexto de las universidades públicas mexicanas. Evidentemente los recursos que la UNAM destina a la investigación –y al posgrado directamente vinculado a ella— en sus grandes institutos, son muy considerables y enormemente superiores a los de cualquier otra institución del país, por no hablar de las universidades de los estados. Pero, en relación con su alumnado, las licenciaturas de la UNAM no tienen una situación envidiable: la proporción de profesores de tiempo es inferior al promedio de las universidades públicas que, como vimos, es el más bajo de las IES públicas.

CUADRO No. 5. PERSONAL DOCENTE DE LA UNAM EN LICENCIATURA

T.C. M.T. TC + MT ASIGN. TOTAL

ABS. % ABS. % ABS. % ABS. % ABS. %

C.U. 1,579 10.1 406 2.6 1,985 12.7 13,682 87.3 15,667 100

ENEPs 427 8.7 109 2.2 536 10.9 4,382 89.1 4,918 100

TOTAL 2,006 9.7 515 2.5 2,521 12.2 18,604 87.8 20, 585 100

FUENTE: Anuario Estadístico ANUIES, 1989.

La proporción de alumnos por profesores en total no es mala, pero sí lo es, y bastante, la de alumnos por profesores de tiempo, en forma congruente con lo que acabamos de ver.

CUADRO No. 6. RELACIÓN ALUMNOS/PROFESORES EN LA UNAM

PROFESORES 4 ALUMNOS

4/1 4/3 1

T.C. + M.T. 2

ASIGN. 3

TOTAL

C.U. 1,985 13,682 15,667 89,728 45.2 5.7

ENEPs 536 4,382 4,918 44, 422 82.9 9.0

TOTAL 2,521 18, 064 20,585 134, 150 53.2 6.5

FUENTE: Anuario Estadístico ANUIES, 1989.

En cambio, la Universidad Autónoma Metropolitana tiene una elevadísima proporción de profesores de tiempo, aunque hay que señalar que, en este caso, los profesores son a la vez investigadores, ya que no hay dependencias especializadas -institutos- para la realización de la investigación. Para comparar adecuadamente a la UNAM y la UAM se tendrían que hacer complicadas combinaciones de datos relativos a la docencia y a la Investigación en ambas instituciones.

Además de la UAM hay solamente 10 universidades públicas más cuya proporción de profesores de tiempo es superior a la de profesores de asignatura, y esta privilegiada lista no corresponde con las "ideas recibidas" en cuanto a la que hemos llamado "riqueza relativa" de las IES.

96

CUADRO No.7 PERSONAL DOCENTE EN ALGUNAS UNIVERSIDADES

1

T.C. 2

M.T. 3

T.C. + M.T. 4.

ASIGN. 5

TOTAL 6

ALUMNOS 6/3 6/5

ABS. % AB. % ABS. % ABS. %

UAM 1,993 62.6 648 20.4 2,641 83.0 542 17.0 3,183 40.334 15.3 12.7

UANL 1,306 44.9 514 17.7 1,820 62.6 1,091 37.4 2,911 48,987 26.9 16.8

UAS 972 52.2 66 3.5 1,038 55.7 826 44.3 1,864 26,740 25.8 14.3

UAP 931 46.6 392 19.6 1,323 66.2 677 33.8 2,000 75,045 56.7 37.5

UACh 413 73.2 50 8.9 463 82.1 101 17.9 564 3,111 6.7 5.5

UAZ 385 46.6 154 18.6 539 65.2 288 34.8 827 8,023 14.9 9.7

UAAAN 371 74.6 21 4.3 392 78.9 105 21.1 497 3,227 8.2 6.5

UAT 343 53.8 149 23.4 492 77.2 146 22.8 638 7,931 16.1 12.4

UAG 323 57.6 38 6.8 361 64.4 200 35.6 561 16,547 45.8 29.5

UAN 197 64.0 32 10.4 229 74.4 79 25.6 308 4,853 21.2 15.8

UABCS 132 66.7 19 9.6 151 76.3 47 23.7 198 1,059 7.0 5.0

FUENTE: Anuario Estadístico ANUIES, 1989.

Dejando a un lado la pequeña Universidad Autónoma de Baja California Sur, con serios problemas por una fuerte reducción de la demanda en los últimos años, destacan los casos de las dos ―universidades agrarias" que son, sin duda, las IES públicas más caras del país –por depender de la SARH—sin que parezca haber un nivel de calidad correspondiente.

Ahora bien: si de la descripción queremos pasar a la explicación, y tratamos de entender a que podrán deberse las diferencias tan marcadas –desde el punto de vista de la calidad— que nos parece encontrar en los distintos tipos de IES del país, obviamente habrá que referirse a múltiples elementos explicativos, y no a uno solo.

En primer lugar, encontraremos toda una gama de factores externos al propio sistema educativo, que tienen considerable influencia en él. Por otra parte, el factor demográfico que, combinado con políticas de expansión, se tradujo en un acelerado crecimiento de la matrícula, sobre todo durante los 60 y los 70:

CUADRO No. 8. POBLACIÓN DEL PAÍS Y ESTUDIANTES DE NIVEL LICENCIATURA EN MÉXICO, 1950-1990

POBLACION 3 ESTUDIANTES

DE LICENCIATURA

3/2 1

TOTAL 2

20-24 AÑOS

1950 25’791,017 2’299,334 29,892 1.3

1960 34’923,129 2’947,072 76,269 2.59

1970 50’694,590 4’287,158 251,054 5.86

1980 67’896,966 6’148,589 838,025 13.63

1990 81’140,922 8’500,000* 1, 141, 567** 13.43

Estimaciones a partir de los datos provisionales de Censo. "Aproximado, incluyendo solo alumnos de cursos ordinarios de las Escuelas Normales. FUENTES: Censos, Anuarios ANUIES y otras.

97

Como puede verse, durante los años 80 apenas se mantuvo la proporción atendida del grupo de 20 a 24 años de edad que se había alcanzado, y eso a pesar del menor crecimiento de la población, con respecto a las proyecciones previas, que resultó según el último censo de población

Con todo, en comparación con el 1%, o poco más, de mediados de siglo, la proporción de cada cohorte que llega a la educación superior es impresionante, y en el caso de los estados más desarrollados -especialmente el Distrito Federal- alcanza cifras del orden de 25%, comparables a las de muchos países desarrollados.

Esto significa que, en lugar de que lleguen a las IES pocos alumnos muy seleccionados, ahora llega un número mucho mayor, que incluye bastantes de origen humilde, que no pueden contar con los apoyos económicos y culturales de que gozaban los alumnos tradicionales.

Es decir, para mantener los niveles de calidad anteriores, los recursos humanos y materiales puestos a la disposición de las IES deberían haberse incrementado más que proporcionalmente en comparaci6n con su matrícula. Ahora bien: si durante los años 70 los recursos materiales de la educación superior aumentaron mucho, ni siquiera en esa década puede asegurarse lo mismo de los recursos humanos, que no pueden adquirirse en el mercado como un mueble, sino que deben prepararse mediante largos procesos de formación; y durante la década de los 80, como es sabido, inclusive los recursos materiales disminuyeron significativamente.

Y todavía hay otros elementos externos que inciden en la calidad de las IES, como son las tensiones y conflictos políticos de una democracia muy imperfecta –para ser eufemístico-, las conocidas y graves consecuencias de falta de continuidad en el apoyo a la educación, los intentos de control y manipulación, el no respeto a la autonomía, el aprovechamiento de los espacios académicos para actividades políticas tanto a favor del régimen como de oposición, etcétera.

Por lo que se refiere a factores internos pueden mencionarse:

Elementos de carácter técnico-pedagógico, como la consistencia interna de planes y programas de estudio y su adecuación a las necesidades del entorno;

Elementos de carácter técnico-administrativo, que tienen que ver con el buen uso de los recursos, la eficiencia de los servicios de apoyo, etcétera.;

Elementos de carácter político interno, como los sistemas de gobierno, designación de autoridades, toma de decisiones, resolución de conflictos, participación y representatividad, etcétera.

Es frecuente poner el énfasis en los factores externos, cuya importancia es innegable, pero esto no debe servir de excusa para disimular deficiencias internas. De hecho, con recursos y obstáculos comparables, hay instituciones de muy diversa calidad, en función de su forma interna de aprovechar los recursos y de enfrentar las dificultades.

98

2. HACIA UNA EVALUACIÓN MÁS PRECISA

Las apreciaciones sobre la calidad de las instituciones mexicanas de educación superior contenidas en el apartado anterior son, como se ha dicho reiteradamente, una primera aproximación al tema, basada en experiencias personales, necesariamente incompletas.

Para poder ir más allá de tales "hipótesis de trabajo" es indispensable la utilización de procedimientos cuidadosos de evaluación institucional.

Como vimos con detalle en la primera parte de la obra, la década de los 90 está viendo precisamente la implantación en el país de sistemas de evaluación de las IES, llevando a la práctica, por vez primera a escala nacional, planteamientos teóricos muy anteriores, y siguiendo lo que parece una de las más claras "macrotendencias" en el mundo de la educación superior contemporánea.

En este apartado, y con fundamento precisamente en el estado del arte precedente, ofreceremos algunas sugerencias que permitan enriquecer los mecanismos de evaluación institucional que se están implantando.

En primer lugar, nos referiremos a algunos enfoques que, con base en la experiencia ajena, no parece deseable impulsar en nuestro país

2.1. Lo que no hay que hacer

Por una parte, ubicaremos en este grupo a las clasificaciones de Instituciones basadas en su prestigio, a partir de las opiniones de conocedores (reputational rankings).

La densidad de las redes de interacción (por contactos personales, cambios de trabajo, egresados, investigaciones conjuntas, publicaciones, congresos, etc.) que unen a las comunidades académicas de áreas específicas del conocimiento en un país como los Estados Unidos, hace que allí un acercamiento "subjetivo" de evaluación como éste tenga cierta confiabilidad, pero aun así, los riesgos de efectos de halo u otros sesgos, son muy reales.

En un país como el nuestro, sin esos mecanismos de comunicación, definitivamente no parece haber condiciones para que una clasificación así resulte mínimamente confiable. Por lo demás, y como señalan los críticos de estas clasificaciones, sus efectos resultan negativos, propiciando una competencia destructiva entre instituciones, y dando lugar a círculos viciosos de falta de prestigio por falta de recursos y viceversa. Si el propósito de la evaluación es el de contribuir al mejoramiento de la calidad institucional, los reputational rankings no ayudan. Y otro tanto puede decirse de clasificaciones basadas en una apreciación más objetiva de los insumos o recursos institucionales. Por ello también los incluimos en este apartado de lo que no hay que hacer.

El otro tipo de acercamiento que creemos conveniente evitar, aunque por razones muy diferentes, es el que en el estado del arte se designó con la expresión "estudios del valor agregado", en sentido educativo.

99

En principio, es deseable poder llegar a evaluar el nivel de entrada de los alumnos en su ingreso a las IES, así como su nivel de salida y, consiguientemente, llegar a detectar lo que añadió la institución, no sólo en cuanto a conocimientos, sino también en cuanto a capacidad de razonamiento, madurez intelectual, cultura general, actitudes, valores, etcétera.

Pero como ha mostrado uno de los principales impulsores de este tipo de trabajos, Alexander Astin, es tan complejo y prolongado lo que se requiere hacer con seriedad en este tipo de estudios, que no se pueden recomendar como el estándar al que deberán tender las IES. Y si esto es verdad en el sistema de educación superior más grande y rico del mundo, a fortiori lo será en México.

Tal vez en el futuro, y como un ambicioso proyecto de investigación, algunas IES lleguen a desarrollar un trabajo sobre el valor educativo agregado, pero pretender hacerlo ahora y, pretender hacerlo masivamente por mucho tiempo, suena ingenuo y estéril.

2.2. Lo que hay que reforzar

En segundo lugar, mencionaremos algunos tipos de evaluación institucional que se están desarrollando ya en México y que, en nuestra opinión, son adecuados en principio, y sugeriremos algunas formas de mejorar tales esfuerzos.

El ejercicio de evaluación realizado por las IES mexicanas durante 1990 consistió en una autoevaluación con base en una lista común de indicadores. Para 1991, se tiene previsto un segundo ejercicio semejante, con una lista de indicadores depurada; se contempla también el inicio de evaluaciones externas por pares, comenzando a evaluar las licenciaturas más importantes.

Estos elementos son adecuados, y pueden mejorar aprovechando la experiencia internacional.

Por lo que se refiere a los autoestudios, son esenciales especialmente tratándose de IES autónomas, ya que cualquier evaluación externa será inútil si la propia institución no asume dicha tarea. Pero también es claro que los autoestudios institucionales pueden ser mucho más completos y ricos de lo que parecen haber sido en muchos casos en 1990.

También es claro que una autoevaluación profunda no puede ni debe hacerse anualmente, sino con intervalos bastantes mayores. Deberán combinarse evaluaciones anuales más sencillas (probablemente limitándolas al análisis de indicadores básicos, cfr. infra) con evaluaciones más profundas en intervalos trienales, quinquenales, etcétera, ya sea de toda una institución, o de algunas de sus partes, programas, o aspectos.

Una instancia como la SEP, que de diversas maneras puede inducir a las IES a la evaluación, deberá tener en cuenta lo anterior, para no atosigar a instituciones serias con evaluaciones innecesariamente frecuentes y, en cambio, exigir o presionar a instituciones remisas. Al respecto parece desproporcionada la atención a las universidades autónomas, frente a la que se pone para promover la evaluación y la planeación de las instituciones públicas no autónomas, federales.

100

Llama la atención que se haya llegado, aunque sea con dificultad, a un consenso de las universidades en cuanto a los lineamientos para la evaluación, al tiempo que el subsistema de tecnológicos maneja sus propios criterios completamente diferentes.

Por lo que se refiere a los indicadores de resultados, creemos que la experiencia internacional permite identificar dos extremos que deberán evitarse: el que consiste en concederles excesivo y exclusivo valor, como si fueran la única manera aceptable de evaluar una IES; y el que consiste en negarles cualquier utilidad y descartarlos como necesariamente superficiales e incapaces de informar sobre lo más importante.

En la actualidad se tiende a un consenso, tanto en el sentido que sí es válido sintetizar información relevante de indicadores precisos, como en el que es indispensable complementar tales informaciones con acercamientos cualitativos y contextualizados, que tengan en cuenta la especificidad de las circunstancias de cada institución.

Partiendo de lo anterior, parece que aún el nuevo listado de indicadores cuantitativos y cualitativos propuesto por la CONAEVA para la evaluación de 1991 es demasiado extenso y desigual. Al lado de puntos muy adecuados (tanto porque se refieren a elementos básicos de información, como porque debería ser muy sencillo contar con ellos), se encuentran ítems que parecen poco adecuados, por diversas razones:

Su dudosa utilidad, v. gr. distribución absoluta y relativa de las instancias colegiadas de acuerdo al número de ocasiones que se reunieron en 1990 para la formulación de los planes de trabajo, la evaluación de los mismos y el estudio y sanción de casos particulares.

La complejidad de su obtención y/o la ambigüedad de su significado, v. gr. la distribución porcentual de las horas semanales de trabajo estudiantil (clases teóricas, seminarios, tutorías, prácticas de laboratorio y de campo, trabajo en biblioteca, etc.) que contempla cada plan de estudios, cada facultad en promedio y toda la institución (promedio institucional).

Subjetividad y riesgo de sesgo de las apreciaciones en que se basa el indicador, v. gr. proporción de las disposiciones del cuerpo normativo básico de la institución (ley orgánica, estatuto general, estatuto del personal académico, reglamento estudiantil y reglamento escolar) que cuentan con todos los elementos requeridos en una disposición jurídica.

Si vemos los listados de indicadores que, con distinto enfoque, se utilizan en el Reino Unido, Francia, Holanda o los Estados Unidos, veremos que contienen pocos elementos, pero muy precisos. Es cierto que la falta de tradición evaluadora en muchas IES mexicanas, hace necesario un esfuerzo inicial considerable para crear la infraestructura de información básica sobre la que luego será fácil y seguro construir el edificio de un amplio sistema de indicadores. Pero también es cierto que un diseño más sencillo ayudaría a la construcción del sistema.

101

Se propone concretamente:

Que se distinga un listado básico de indicadores que se requiera obligatoriamente en todas las IES y se verifique su confiabilidad. Así como no es razonable pedir información confiable con respecto a indicadores tan rebuscados como los mencionados a título de ejemplo líneas arriba, tampoco es admisible -y la autonomía no deberá amparar tales situaciones- que una IES no pueda ofrecer datos mínimos como el número de sus alumnos, graduados, profesores de diverso tipo, proyectos de investigación iniciados, terminados o en curso, o presupuestos de egresos e ingresos según los rubros convencionales. Si hay fundamento para temer que unas instituciones alteren sus datos de matrícula al doble de su tamaño real, no es lógico pedir información fina sin asegurar primero la confiabilidad de los datos más elementales, mediante muestreos de campo si es preciso.

Que se proponga un conjunto más amplio de indicadores deseables y se apoye a las IES para que, progresivamente, estén en condiciones de contar con la información respectiva; aquí no se pretendería tener todo desde la primera vez, y lo que se premiaría serían los avances en la cobertura informativa de cada institución.

Que los aspectos cualitativos y contextuales se manejen por separado, con otros acercamientos.

Que se añadan ciertos aspectos sencillos de cuantificar y controlar relativos a procesos (cfr. infra).

Por lo que se refiere a la evaluación externa de carreras por pares (así como la de otros aspectos como la investigación, la extensión, la administración, también previstos), se trata de un complemento fundamental de la autoevaluación del acercamiento vía indicadores.

Dado que este nuevo elemento está apenas comenzando a implantarse, se deberá esperar a conocer las primeras experiencias para valorarlas y sugerir mejoras. Obviamente no deberá partirse de cero, ya que existe una larga experiencia y una abundante literatura a nivel internacional, y también una importante experiencia nacional en los niveles de posgrado.

2.3. Lo que está previsto

En este apartado trataremos brevemente de otro elemento del sistema de evaluación de las IES que está contemplado, tanto en el Programa para la Modernización Educativa como en el documento de Lineamientos generales y estrategia de la CONAEVA.

Nos referimos a lo que en este último texto se designa con la expresión "exámenes nacionales de carácter indicativo", cuyo establecimiento, en relación con "las principales carreras profesionales", y junto con "criterios, normas y estándares mínimos de calidad" está previsto dentro de la segunda etapa del proceso, en 1991-92, derivándose de las evaluaciones por pares de las carreras.

102

Sobre esto hay que decir algo semejante a lo que se dijo con respecto a los indicadores de resultados: evitando los extremes de sobrevaloración y de rechazo, este tipo de "exámenes nacionales" constituye un elemento que puede enriquecer considerablemente el conjunto de elementos de evaluación con tal de que se maneje adecuadamente.

Hablar de exámenes indicativos hace pensar que quienes prepararon el documento de que se trata tenían conciencia de lo delicado del asunto, y quisieron evitar expresamente que se pensara en mecanismos de carácter "sumativo" que plantearían graves problemas.

En efecto: dada la enorme variedad de planes y programas de estudio, así como de contextos institucionales, que caracteriza al conjunto de las IES mexicanas, sobre todo en el subsistema de universidades autónomas, sería muy inadecuado establecer exámenes únicos con valor decisorio para la acreditación individual de los estudios por parte de los alumnos.

Pero, por otra parte, esa misma heterogeneidad hace muy conveniente que se cuente con mecanismos que permitan comparar unas instituciones con otras en algunos aspectos, con todas las salvedades del caso.

Aceptando como muy razonable que muchos de esos "exámenes nacionales indicativos" se refieran a carreras particulares, hay que observar que -con idénticas precauciones- procederá también a evaluar aspectos más generales para conjuntos de carreras afines, o aun para cualquier carrera. Piénsese, como ejemplo, en aspectos actitudinales, o en cuestiones de cultura general, o de ciencias básicas, etcétera.

La sugerencia que se quiere hacer en relación con este punto, se basa en la siguiente consideración: ciertamente la elaboración de "exámenes nacionales" como los que se mencionan, requerirá cuidadosas consultas entre académicos de las diversas instituciones, para tener en cuenta la variedad de situaciones reales. Pero también requerirá un grupo importante y estable de personal altamente calificado en cuestiones técnicas relativas al diseño de pruebas, al procesamiento de grandes volúmenes de datos, a la administración de complejos procesos de construcción, validación, aplicación masiva y tratamientos de pruebas, etcétera.

En pocas palabras, no bastaran los mecanismos de consulta, sino que se requerirá de una entidad -centro, instituto, o como se decida llamarla- con recursos humanos y materiales suficientes y con mecanismos que aseguren su independencia, la contratación del personal con base únicamente en la competencia profesional, remuneraciones adecuadas y suficiente estabilidad.

La creación de un centro así puede hacerse muy rápido desde el punto de vista legal, pero lleva mucho tiempo desde el punto de vista científico. Por otra parte, no depende del avance de otros aspectos, como los procesos de autoevaluación o la evaluación de carreras por pares externos.

Por consiguiente, se sugiere que se inicie lo antes posible el establecimiento de esa instancia nacional, para que pueda estar en condiciones de operar efectivamente en el horizonte de 1994.

103

2.4. Lo que se sugiere añadir

Parece posible detectar una tendencia importante en las experiencias de otros países en el campo de la evaluación de la calidad de las IES: se comenzó centrando la atención en los insumos, luego se pasó a los productos, y final mente se atendió a los procesos.

Creemos que esto encierra una lección: la evaluación de los insumos es la más fácil, aunque no la más adecuada, y puede ser muy injusta si se maneja en forma aislada. Si una institución con pocos recursos produce buenos resultados, esto no se apreciará atendiendo solamente a los insumos, como tampoco se valorará el derroche de la institución rica en insumos y pobre en resultados. Por ello parece muy razonable volver la atención hacia el lado de los productos.

Pero evaluar con exactitud estos últimos es bastante más complejo y, además, la heterogeneidad de las características institucionales y su entorno puede hacer prácticamente imposibles las comparaciones. Los procesos, por su parte, son de tipos muy diversos y algunos son también muy difíciles de evaluar. Piénsese en los procesos de enseñanza-aprendizaje de habilidades cognoscitivas superiores, o de actitudes y valores.

Pero, como ya hemos señalado, hay procesos mucho más fáciles de evaluar, y cuya importancia también es muy grande por constituir una especie de basamento, de condiciones sino que son de procesos más finos.

Nos referimos de nuevo a lo que en alguna ocasión don Pablo Latapí designó con la expresión "normalidad mínima": que profesores y alumnos asistan a las clases u otras actividades académicas; que unos y otros realicen la parte de trabajo que les corresponde; que haya programas y que se cumplan; que se respeten calendarios y horarios, etcétera.

Es cierto que en la actualidad existen múltiples alternativas frente a las formas tradicionales de concebir la enseñanza; pero también lo es el que no se ha podido establecer una clara superioridad de unos métodos de enseñanza respecto de otros, y que el entusiasmo y el tiempo efectivo dedicado a una tarea siguen siendo decisivos para su éxito. Por esto puede afirmarse que, si no se cumple religiosamente con esos procesos básicos que constituyen la "normalidad mínima", no se obtendrán resultados adecuados, por más abundantes que sean los insumos con que se cuente, y por más avanzadas que sean las concepciones educativas de referencia.

La evaluación de esos procesos básicos, con razonable precisión, es técnicamente muy sencilla, aunque pueden oponerse a ella preocupaciones políticas e intereses diversos.

Así, no son ciertamente dificultades técnicas las que impiden el establecimiento de un control confiable de asistencias de profesores y/o alumnos, o de la relación entre el nivel de unos exámenes y los objetivos de los programas correspondientes. Y seguramente un indicador como el porcentaje de asistencia efectiva a clases por parte de los profesores de una IES sería más revelador de su calidad que muchos otros.

104

Ahora bien, para verificar la confiablidad de un indicador así, tenemos que acudir a un concepto que no dejará de provocar molestia, pero que ya hemos encontrado en el estado del arte, ligado al enfoque de evaluación de procesos: el concepto de auditoría académica.

Para entender bien esta idea, precisemos antes lo que es una auditoría contable, el más antiguo de los procedimientos de este tipo, en la que se inspiran otras desarrolladas más recientemente, como las auditorías administrativas, de proyectos de investigación, o las auditorías académicas.

Una auditoría contable NO es una investigación detectivesca para descubrir desviaciones de recursos o sancionar a funcionarios corruptos, aunque pueda servir para ello. NO es algo que deba hacerse únicamente cuando se sospecha de alguien. Por el contrario, ES un procedimiento de rutina para verificar la CORRECCIÓN de los procedimientos contables, y que estos se apeguen a "las practicas aceptadas en la profesión".

Mediante una auditoría contable no se pretende, ni se puede llegar a juicios sobre, por ejemplo, la calidad de las estrategias de la empresa para aumentar sus utilidades o su participación en cierto mercado; mucho menos sobre el impacto de la empresa en la calidad de la vida de los consumidores de sus productos o los usuarios de sus servicios.

Este tipo de juicios, que son muy importantes, podrán buscarse de otras maneras, pero no se oponen ni substituyen al juicio, bastante sencillo de formular, sobre la CORRECCIÓN de los procedimientos contables.

Para esto se requiere sencillamente que un auditor competente (técnicamente no es algo difícil) e independiente, para asegurar su imparcialidad (por ello externo), revise (generalmente en forma selectiva, por muestreo) los registros de la empresa o institución auditada.

Lo anterior basta para saber si los procedimientos seguidos fueron correctos, ortodoxos. En caso afirmativo, no se va más allá; sin embargo, puede perfectamente suceder que se hayan realizado fraudes o cometido errores graves que tal vez nunca se detecten. En caso negativo procederá, por una parte, corregir los procedimientos para el futuro; por otra parte, investigar más a fondo -ahora sí- para saber si las fallas eran intencionales y servían para ocultar cosas peores, o si todo quedaba allí.

En forma análoga, una auditoría de procesos académicos básicos será una inspección de la corrección de ciertos procedimientos, lo que supone que éstos últimos existan y también que haya registros cuya revisión permita apreciar si los primeros se respetan o no.

Así, para poder juzgar si se cumple la normalidad mínima en lo que respecta a la asistencia de los profesores a sus clases, se requiere que la institución tenga establecido un procedimiento oficial de control de asistencias, y que queden registros de ello; una sencilla revisión de tales registros en forma selectiva permitirá juzgar si los procedimientos son confiables y se cumplen y, por lo tanto, si una evaluación basada en ellos podrá tener validez.

105

En forma semejante, se podían revisar los procedimientos de control escolar, lo que permitiría valorar la confiabilidad de los datos de matrícula; o bien la existencia de programas de estudio y la de exámenes de conocimientos, así como la correspondencia que haya entre el nivel de ambos, para una misma materia; o los sistemas de control de acervos y prestamos domiciliarios o en salas de las bibliotecas, así como el registro de usuarios, etcétera.

En nuestra opinión, "auditorias" de este tipo son perfectamente compatibles-al igual que las contables- con el más estricto concepto de autonomía y, además, serían fundamentales en un proceso de búsqueda de la calidad.

En cuanto a la auditoría, así como cada empresa puede llevar su contabilidad en forma diferente, con tal que cumpla con ciertos estándares formales, y tiene sus propias metas que la auditoría no considera en absoluto, así también cada IES tendrá procedimientos propios -que deberán manejarse bien- y fijará sus objetivos educativos, que no tienen por qué ser cuestionados para opinar sobre la confiabilidad de los procedimientos que se analicen.

Y en cuanto a la importancia de estos controles para la búsqueda de la calidad, creemos que permitirán monitorear precisamente si se cumple con la famosa normalidad mínima.

Conviene señalar que varios de los "indicadores" propuestos por la CONAEVA serían, probablemente, más adecuados si se les concibiera como objetivos dentro de un sistema de auditoría académica.

Sería el caso, por ejemplo, de ítems como los siguientes:

Políticas y mecanismos de admisión, permanencia y titulación de alumnos aplicados por la institución.

Políticas y mecanismos de acreditación del aprendizaje.

Políticas y mecanismos de ingreso, promoción y permanencia del personal académico.

Políticas y mecanismos para la revisión y actualización de los planes de estudio.

Proporción de los planes y programas de estudio de licenciatura y posgrado que han sido evaluados, revisados y actualizados en los últimos 5, 4, 3 y 2 años.

Proporción de planes y programas de estudio que utiliza la evaluación departamental.

Proporción del personal académico de la institución que ha sido objeto de dictamen y promoción en los últimos 5, 4, 3 y 2 años.

A guisa de ejemplo, sugerimos algunos aspectos que podrían añadirse a la lista de indicadores básicos, mismos a los que ya nos hemos referido, o tenerse en cuenta en auditorias de procesos académicos, como:

106

Limpieza de la planta física.

Conservación del mobiliario de las aulas.

Déficit de cubículos para profesores de tiempo.

Existencia de equipos que no están en operación.

Orden de los acervos de las bibliotecas.

Utilización de las bibliotecas por profesores y alumnos.

Proporción de profesores titulares o de base sobre el total.

Asistencia de profesores y alumnos.

Existencia de archives de programas y exámenes.

Eficiencia de los sistemas de control escolar.

Mecanismos para determinar la baja de alumnos en situación de irregularidad.

Existencia de manuales de sistemas y procedimientos completes.

Cumplimiento de calendarios y frecuencia de interrupciones oficiales o extraoficiales.

Cumplimiento de horarios por parte de los funcionarios.

Para terminar esta parte, volvamos sobre una expresión de uso consagrado en los reportes de auditoría, que ya hemos citado: "de conformidad con las prácticas aceptadas en la profesión". Evidentemente la concepción de cuáles son esas prácticas "aceptadas" va cambiando con el tiempo y, precisamente, la práctica de auditar las va haciendo cambiar con mejores fundamentos.

En el terreno educativo, hoy por hoy, está mucho menos claro cuáles serían prácticas aceptables y cuáles no. Pero sería precisamente la práctica de auditarlas, de poner en común y discutir los resultados de tales revisiones, lo que permitiría avanzar en su definición.

Resulta ilustrativo citar, finalmente, los objetivos de la ya mencionada Unidad de Auditoría Académica creada en 1989 por el Comité de Rectores de las universidades del Reino Unido, según su documento constitutivo:

Considerar y revisar los mecanismos con que cuentan las universidades para monitorear y promover los estándares académicos que se requieren para alcanzar sus fines y objetivos.

Opinar sobre la medida en que los procedimientos existentes, en una universidad en particular, reflejan las prácticas más adecuadas para mantener la calidad, y son aplicados en la práctica.

Identificar y recomendar a las universidades las practicas más adecuadas en relación con el mantenimiento de estándares académicos a nivel nacional (cfr. Young, 1990).

107

REFERENCIAS

CONRAD C.F. & BLACKBURN F., "Program Quality in Higher Education. A Review and Critique of Literature and Research", in Smart J.C. ed., Higher Education: Handbook of Theory and Research, New York, Agathon Press, Vol. 1,1985, p. 283-308.

YOUNG D., "The Academic Audit Unit", in Goedegebuure L.CJ, Maassen PA.M. & Westerheijden D.F. eds., Peer Review and Performance Indicators, Utrecht, Uigeverij Lemma, 1990, p. 71-179.

En esta parte se utilizaron ampliamente los dos textos siguientes:

MARTINEZ RIZO F., "Calidad de la Educación Superior. El caso de la UAA en el contexto de la educación superior de México", en Varios, Calidad de la Docencia Universitaria en América Latino y el Caribe. Políticas, Gestión y Recursos. Estudio de casos, Santiago de Chile, CINDA, 1990, p. 131-146.

MARTÍNEZ RIZO, F., "La descentralización de la educación superior", por aparecer en Universidad Futura.

108

CONCLUSIONES

Una vez que hemos presentado nuestras sugerencias sobre los sistemas de evaluación de la calidad de las instituciones de educación superior, y llegando al final de nuestro trabajo, debemos preguntarnos: ¿y cómo se podrá mejorar esa calidad?

Formular esta pregunta supone dos cosas que conviene explicitar, aunque debieran darse por supuestas: que la calidad actual deja que desear, y que el propósito de evaluarla no termina en sí mismo, sino que solo adquiere sentido como un paso en la búsqueda de la mejoría.

Fundamentemos el primer supuesto, considerándolo menos obvio que el segundo: todo juicio de valor supone una comparación entre la realidad evaluada y un punto de referencia normativa. Obviamente, pues, el juicio que se formule sobre la calidad de la educación superior mexicana en su conjunto, o sobre una IES en particular, depende del punto de comparación que se adopte.

Sostenemos que el punto de referencia más pertinente, el único significativo a fin de cuentas, no es ningún sistema educativo extranjero de algún país desarrollado, ni tampoco nuestro propio sistema en el pasado (aunque ambos puntos de comparación aporten elementos valiosos), sino el futuro al que aspiramos, en función del futuro que deseamos para México, y del papel que consideramos deba jugar la educación superior. Y nos atreveremos a sostener que, aceptando este criterio, será fácil llegar a estar de acuerdo en que nuestras IES deberán mejorar mucho para estar a la altura de los retos que enfrenta nuestra patria de cara al siglo XXI.

Para saber en detalle cuales son las fallas precisas y su respectiva gravedad, se deberán hacer esas evaluaciones cada vez mejores, de esto hemos hablado hasta ahora. Con base en ellas, se podrá establecer con precisión una estrategia de mejoramiento adecuada. Pero, así como nos atrevimos a presentar con carácter hipotético un ―diagnóstico impresionista", también nos atreveremos en esta conclusión a esbozar los grandes rasgos de una estrategia de calidad para las IES mexicanas.

Partiremos nuevamente de una breve revisión del pasado y, también de nuevo, trataremos de evitar estereotipos fáciles: oponer nostálgicamente el pasado al presente como lo bueno a lo malo (todo tiempo pasado fue mejor), o hacer exactamente lo contrario, descartando el pasado como el lugar del atraso e idealizando las últimas novedades, por el hecho de serlo.

Sin duda la educación superior mexicana, hasta mediados de nuestro siglo adolecía de múltiples fallas: no contaba con profesores de tiempo, no tenía investigación, ni buenas bibliotecas; menos, evidentemente, las ventajas maravillosas de la microelectrónica. Y sin embargo no podemos negar el que -de acuerdo a su época- hubiera alta calidad en ciertas áreas. Después de todos los éxitos de la ciencia y la tecnología mexicana, en ramas como la ingeniería civil o la medicina, y el surgimiento de las instituciones de excelencia, ya mencionadas (CINVESTAV y COLMEX) tienen sus cimientos en los años 40.

109

Aunque en forma no explicita, naturalmente, creemos que a posteriori es posible sistematizar cierta "estrategia de calidad" de las mejores instituciones tradicionales, en los siguientes puntos:

Selección de alumnos: el que apenas llegara a la educación superior el 1% de cada generación, significaba un fuerte filtro que dejaba pasar solamente a estudiantes de gran capacidad y motivación.

Selección de profesores, también no sistemática: el que no hubiera plazas de tiempo completo en las IES tenía como resultado una autoselección que hacía que algunas instituciones contaran con excelentes maestros, también altamente motivados (sin sueldo y con "vocación").

Estándares de trabajo, rigor y excelencia: nuevamente no por decisión expresa sino por tradición, en aquellas instituciones, se lograron establecer ese tipo de "tradiciones" positivas.

Es evidente que estas "estrategias implícitas" no resistieron el impacto de las transformaciones sociales del México de la segunda mitad del siglo XX.

Ante el reto que representaron en los 60 y los 70 las cohortes crecientes de estudiantes menos seleccionados, con dificultades económicas y culturales, y sin la autodisciplina de sus antecesores, se intentaron estrategias "innovadoras", pero en forma simplista, esperando encontrar panaceas en cualquier cosa. Así, en forma individual o combinada, se fundaron las esperanzas en los objetivos conductuales, en las dinámicas de grupo, en los medios audiovisuales, en el sistema modular, en la departamentalización, etcétera. Y esto al mismo tiempo que, inevitablemente, se contrataban numerosos maestros improvisados, sin título y –mucho peor— sin vocación, y que el crecimiento físico de los campi universitarios iba aunado a la pérdida de la ―normalidad mínima" que la tradicional disciplina conservaba en las instituciones "a la antigua".

El fracaso evidente de tales estrategias simplistas no debería llevar a descartar la posibilidad de una educación superior que sea a la vez masiva y de calidad. Pero sí debe hacer ver que eso no es sencillo, y que no se puede lograr ni con menos recursos, ni con estrategias simples.

Los alumnos de los 90 no aprenden como los de los 40, con, sin y a pesar de los maestros. Tampoco bastan unas horas de cursillos para hacer de malos pasantes excelentes profesores. Ahora se necesitan muchos y buenos profesores, con apoyos, explorando la manera de desarrollar las habilidades superiores del pensamiento, de la mano de las modernas ciencias cognoscitivas, y sin olvidar que la normalidad mínima es insustituible, porque no se ha inventado la forma de aprender sin estudiar.

Por ello, toda estrategia de mejoramiento de la calidad tendrá que partir, en nuestra opinión, de la consolidación o el restablecimiento, según sea el caso, de la normalidad mínima. Y aunque en principio debería suponerse que toda IES debería tener la madurez institucional suficiente para asegurar esa normalidad, es un hecho que en ocasiones no se da.

110

En esos casos, nos parece claro –a riesgo de provocar airadas reacciones— que la autonomía institucional carece de sentido y no debería utilizarse como escudo para impedir la intervención de quien sea competente.

Sabemos que la especificidad de lo académico justifica y hace deseable la autonomía, y que la intervención del Estado suele traer más males que bienes, pero debe preverse la manera de enfrentar las situaciones de excepción. Tal vez convenga, para conjurar el riesgo de intervenciones abusivas por parte de los poderes públicos, retomar otra idea de Latapí: la autonomía debería ser atributo del conjunto, del sistema de las IES, más que de cada una de ellas en particular.

La normalidad mínima incluiría, por lo menos, los siguientes elementos:

Infraestructura legal con los elementos suficientes para que la institución misma siga desarrollando instrumentos normativos adicionales, y resuelva las cuestiones fundamentales de gobierno, incluyendo las laborales.

Infraestructura física acorde a estándares mínimos en términos de espacios y equipamientos básicos de aulas, bibliotecas, laboratorios, etcétera, en función del número de profesores y alumnos (para lo que es fundamental contar con la información confiable al respecto).

Infraestructura académica, en el sentido de planes, programas y sistemas académicos debidamente aprobados, así como el personal calificado para desarrollarlos.

Infraestructura administrativa suficiente para encargarse eficientemente de los procesos de manejo de alumnos, personal académico y administrativo y de recursos materiales incluyendo, obviamente, los financieros.

Unos órganos de autoridad colegiados y unipersonales con legitimidad y atribuciones suficientes para el ejercicio de sus funciones.

En tanto una institución no cuente con estos mínimos, no debería considerársele autónoma, sino que debería controlársele y ayudársele para que llegara a contar con ellos y pudiera, entonces sí, manejarse a sí misma.

Y cuando una institución cuente con esa base, entonces no habrá por qué tener miedo a la autonomía, sino que habrá que estimularla, ya que si la propia institución no logra elevados niveles de calidad, nadie los logrará por ella.

En un texto muy reciente sobre la calidad en las universidades, Daniel Seymour escribe las siguientes palabras, que han servido de epígrafe a nuestro trabajo: La calidad no es un subproducto de exámenes o estándares externos; la calidad es un estado anímico interinstitucional sano.

En la misma dirección apuntan todas las ideas de los especialistas en calidad y las tendencias de búsqueda de la excelencia educativa centradas en el plantel escolar, conocidas con la expresión school based management. Lo único que pueden hacer las instancias externas es apoyar, poner las condiciones mínimas, y eventualmente, en casos extremes, sancionar, pero nunca reemplazar.

111

Es interesante constatar la convergencia de sistemas muy diferentes: en los Estados Unidos, así como en el sistema universitario autónomo inglés, o en el alemán, la tradicional autonomía institucional no se elimina, pero sí se complementa con mecanismos de evaluación externa y estímulo, basados en la idea de accountability, como el financiamiento basado parcialmente en resultados.

Al mismo tiempo, sistemas tradicionalmente centralizados como el francés, el holandés o el subsistema tecnológico inglés, están desarrollando sistemas de evaluación institucional al mismo tiempo que establecen o amplían en medida substancial la autonomía.

AUTONOMÍA Y EVALUACIÓN EXTERNA, LEJOS DE CONTRAPONERSE, SE SUPONEN MUTUAMENTE Y SE COMPLEMENTAN, SI SE PIENSA EN TÉRMINOS DE RESPONSABILIDAD Y DE CALIDAD.

Los dos subsistemas públicos de educación superior de nuestro país también presentan elementos que deberán hacernos reflexionar: la autonomía de las universidades conlleva el riesgo de que se abuse de ella, con la desagradable pero inexorable consecuencia de que en algún momento puede ser inevitable revocaría, por lo menos temporalmente. Pero la realidad de los tecnológicos muestra que la no autonomía, y el control centralizado, no garantizan en modo alguno, ni mayor calidad ni menor costo, ni siquiera menor politización.

Todo nos lleva a desear para ambos subsistemas un futuro que combine autonomía y evaluación.

Para terminar, unas palabras sobre el papel clave que puede jugar en todo esto la ANUIES o, si se prefiere, el conjunto de las IES.

De nuevo, la experiencia ajena es rica en lecciones: durante casi un siglo, la evaluación institucional en los Estados Unidos no fue realizada por el Estado, sino por las agrupaciones regionales de instituciones, y fue precisamente el debilitamiento de esos mecanismos lo que acarreó la intervención estatal.

Como referimos en la obra, el mecanismo de organismos acreditadores independientes es el más frecuente de todos y está prácticamente en todos los países de la zona de influencia anglosajona. Y en los sistemas de control central tradicional se busca la independencia de los nuevos mecanismos evaluatorios, como el CNE francés.

Seguramente, el hecho de que en México sea el Estado quien más presione en la dirección de la evaluación se explica, en parte, porque las instituciones de educación superior mismas no han sido capaces de establecer sistemas de evaluación propios y de autorregular colegiadamente sus autonomías.

Esa intervención del Estado está teniendo la virtud de poner en marcha un proceso, pero si la actitud pasiva o reactiva de las instituciones persiste, el resultado, por lo menos, no será tan positivo como podrá serlo si el reto de la evaluación para la calidad se recoge como compromiso propio.