Análisis de los antecedentes, criterios y procedimientos ...

Análisis de los antecedentes, criterios yprocedimientos para la evaluación institucionaluniversitaria en la Argentina (1996 / 2002)

Nº 101 César E. Peón1 y Juan Carlos Pugliese2

Mayo 2003

1. Master en Ciencias Sociales, FLACSO-México. Profesor Titular de la Universidad Nacional de La Plata; Facultad Latinoamericanade Ciencias Sociales; Instituto Universitario Ortega y Gasset de Madrid; Universidades de San Simón, Cochabamba y Guadalajara,México. Consultor de la CONEAU.2. Abogado UNLP, Maestría en Relaciones Internacionales (pendiente tesis), UNCPBA. Ex Rector de la Universidad Nacional delCentro de la Provincia de Buenos Aires; ex Miembro CONEAU, Profesor Ordinario de la Universidad Nacional del Centro de la Prov.de Bs.As.. Docente posgrado UNSan Luis, UTN y Mar del Plata.

Documentos de Trabajo Peón, César E. y Pugliese, Juan Carlos

2

Para citar este documento:Peón, César E. y Pugliese, Juan Carlos (2003). Análisis de los antecedentes, criterios yprocedimientos para la evaluación institucional universitaria en la Argentina (1996 / 2002).Documento de Trabajo N° 101, Universidad de Belgrano. Disponible en la red:http://www.ub.edu.ar/investigaciones/dt_nuevos/101_peon_pugliese.pdf

Documentos de Trabajo Análisis de los antecedentes, criterios y procedimientos...

3

Resumen

El trabajo revisa las características del sistema universitario argentino, el contexto legal en que sedesenvuelve y las primeras experiencias de evaluación institucional promovidas por la CONEAU en el marcode la ley de Educación Superior del año 1995.

El estudio enfatiza la orientación de las evaluaciones para el mejoramiento institucional y las diferenciade las acreditaciones de calidad que se realizan aplicando estándares definidos por instancias externas alas universidades. Junto con esto plantea una reflexión acerca de qué hacen los pares cuando evalúan ycómo establecen y afianzan criterios que van conformando una nueva cultura universitaria fundada en laevaluación permanente y la búsqueda de la calidad institucional adecuada a la situación de globalización ycompetencia que ha comenzado a dominar el ámbito y las prácticas de la educación superior.


4


5

Introducción general

Desde la recuperación de la democracia a fines de 1983, el sistema universitario argentino ha experimen-tado notables cambios que aún no han consumado su concreción y deben ser tenidos en cuenta parabrindar cualquier análisis de situación y formular los juicios y propuestas que se consideren. A los fines denuestro tema, los principales datos del sistema pueden resumirse como sigue:

Expansión de la matrícula: La población estudiantil pasó entre 1970 y 2000 de 275 mil a más de unmillón de estudiantes. Ello se explica por el mayor acceso a la educación por parte de jóvenes que comple-tan sus estudios secundarios (dado el incremento de cobertura alcanzado por los niveles previos) y por unamayor demanda de la población adulta por educación postsecundaria.

La distribución de la matrícula por tipo de carrera, indica una muy alta concentración en las carrerasprofesionalistas (87%), en detrimento de las carreras de perfil académico. Los estudios de posgrado con-centran alrededor de 50.000 estudiantes, que representan un poco más del 5% del total de los estudiantesuniversitarios del país. Con respecto a la distribución de la matrícula por sexo se observa una leve feminiza-ción con un 58% de mujeres en los estudios de grado, aunque en el nivel de posgrado la misma arrojavalores más parejos.

Expansión institucional: El Sistema Universitario Argentino está conformado actualmente por 94 insti-tuciones que albergan a más de un millón de estudiantes. La expansión de las universidades argentinas hamostrado un crecimiento y diversificación significativa. En el decenio 89/99 se crearon 37 nuevas universida-des entre privadas y estatales, y actualmente se cuenta con 42 universidades estatales y 52 privadas.

Docentes: El total de profesores que se desempeñaba en las universidades estatales en el año 2000 seestima en alrededor de 110.000, persistiendo una estructura de baja dedicación: 13% de profesores detiempo completo, 22% de medio tiempo y algo más del 60% con dedicaciones de tiempo simple (12 horassemanales).

Financiamiento: En la década indicada el presupuesto estatal tuvo un incremento de casi el 100% envalores nominales y del 67% en términos de poder adquisitivo real de la moneda pero por el aumento dematrícula ha implicado una disminución del costo por alumno del orden del 11%.

Durante todo este proceso de transformación profunda del sistema universitario se han consolidado, sinembargo, algunos de los rasgos que han caracterizado a la universidad argentina desde el parte aguashistórico de la Reforma de 1918. Entre ellos se destacan:

· La autonomía académica y la autarquía económica.· La gratuidad de los estudios de grado.· Los mecanismos de conducción colegiada de los claustros.· La promoción académica y científica por méritos validados mediante concursos públicos y abiertos y

otros mecanismos de ingreso y promoción meritocráticos a la carrera docente e investigativa.

A esto debe agregársele una característica adquirida en la década del 50 y recuperada transitoriamenteen la primera mitad de los 70: el acceso directo a todos los niveles de estudios postsecundarios.

La búsqueda de la calidad –junto con el cambio del paradigma productivo que deviene de la revolucióncientífico tecnológica- constituye una dimensión incorporada a la agenda universitaria argentina, reconocien-do como antecedentes el debate abierto en congresos, seminarios y otros eventos que se realizaron desde1990 y que concluyeron en los Acuerdos 50 y 75 del Consejo Interuniversitario Nacional de los años 1992/3.

La Ley de Educación Superior 24.521, sancionada en 1995, crea una agencia, la Comisión Nacionalde Evaluación y Acreditación Universitaria (CONEAU) que es un organismo descentralizado, con autonomíafuncional y autarquía presupuestaria, integrado por doce miembros propuestos como sigue: tres por elSenado de la Nación; tres por la Cámara de Diputados de la Nación; tres por el Consejo InteruniversitarioNacional (CIN); uno por el Consejo de Rectores de Universidades Privadas (CRUP); uno por la Academia


6

Nacional de Educación y uno por el Ministerio de Educación. Sus mandatos duran cuatro años y para sernominados deben contar con jerarquía académica y experiencia en la gestión universitaria.

La CONEAU funciona desde el mes de agosto de 1996 y tiene mandato legal para realizar las siguientestareas:

Evaluaciones externas: de la totalidad de las instituciones universitarias, que tienen lugar como míni-mo cada seis años y se llevan a cabo en el marco de los objetivos definidos por cada institución. Soncomplementarias de las autoevaluaciones que efectúan los establecimientos para analizar sus logros ydificultades y sugerir medidas orientadas al mejoramiento de la calidad. Las evaluaciones externas tienencomo principal objetivo asistir a las instituciones en sus propuestas de mejoramiento de la calidad.

Acreditación periódica de carreras de posgrados: De acuerdo a los estándares que establezca elMinisterio de Educación en consulta con el Consejo de Universidades. Ello se materializó en la resoluciónministerial 1168/97 por la cual la CONEAU ha realizado la acreditación de especializaciones, maestrías ydoctorados en la primera convocatoria.

Evaluación de Proyectos Institucionales para la Creación de nuevas Universidades e InstitutosUniversitarios: Dictamina sobre la base de evaluaciones de los proyectos respectivos, en lo relativo a lapuesta en marcha de nuevas instituciones universitarias nacionales y el reconocimiento de las provincialesasí como el otorgamiento de la autorización provisoria y reconocimiento definitivo de las instituciones univer-sitarias privadas.

Acreditación periódica de carreras de grado: Cuyos títulos correspondan a profesiones reguladaspor el Estado, tal como lo determine el Ministerio de Educación en acuerdo con el Consejo de Universida-des. Se ha determinado que sea Medicina la primera de estas carreras que corresponde sean acreditadas,tarea que se realizará durante el año 2000.

Reconocimiento de Entidades Privadas de Evaluación y Acreditación: de conformidad con lareglamentación que fije el Ministerio de Educación con respecto a la naturaleza y forma de constitución dedichas entidades.

En consecuencia, tiene dos áreas diferenciadas: evaluación y acreditación, por lo que pueden asociarsea la distinción que hace Brinkman3 entre la evaluación para certificación de la calidad como base paraestablecer planes de mejoramiento y evaluación para el control de la calidad. La primera, tal como ocurre enla industria –el gerenciamiento de la calidad en las industrias modernas- está centrada en los procesos dela institución: “cómo podemos mejorar, qué cambios deben operarse, cómo innovamos”.

La certificación de la calidad se refiere a los procesos de producción y no al producto en sí mismo. Estees el campo de la evaluación institucional. La acreditación, entonces, está más cerca del concepto decontrol a partir de normas preestablecidas que la evaluación institucional, y en este sentido es un tipodiferente de evaluación. Es un procedimiento más estricto y está muy orientado a la verificación de adecua-ción a pautas y criterios definidos en forma general, aunque por supuesto también implica un procesoevaluativo y resulta un elemento de ayuda al mejoramiento de la calidad de los programas educativos. Talvez allí radique la diferencia fundamental: el acento está puesto con intensidad en la verificación y la adecua-ción a las normas.

El término acreditación es el más utilizado por el discurso educativo sobre la calidad en los EstadosUnidos, que es el lugar donde el sistema de acreditación periódica de carreras ha nacido y se ha desarrolla-do desde fines del siglo pasado para luego extenderse a otros países del mundo. Allí funcionan distintostipos de instituciones evaluadoras: por un lado, están los cuerpos regionales que son asociaciones deacreditación en las que tienen participación las universidades y que evalúan instituciones y no programas:“Se enfoca principalmente en la evaluación de la calidad y el proceso mismo de la acreditación funcionacomo un proceso evaluativo. (...) La evaluación o certificación se centra en las metas globales, en la misióngeneral y en los procesos de la universidad”

3. Brinkman, Harry. “Universidad: de la planificación a la evaluación”. Conferencia dictada en el Seminario Permanente de Estudiossobre la problemática universitaria, Centro de Estudios e Investigaciones de la Universidad Nacional de Quilmes, 1997, pág. 5.


7

Esto es lo que en Argentina se ha tendido a identificar con la evaluación institucional. En la mayoría delos casos, la acreditación de carreras de grado y posgrado está estrechamente ligada a dos cuestionesvitales para la subsistencia y desarrollo de dichas carreras: el reconocimiento oficial de sus títulos y elfinanciamiento de sus actividades. Más adelante volveremos sobre estos dos puntos al analizar el contextoargentino.

La primera iniciativa de acreditación en el país fue a través de la Comisión de Acreditación de Posgradosen el año 1995. Este organismo realizó ese año una convocatoria a la acreditación voluntaria de maestríasy doctorados académicos. Del universo posible de 489, se presentaron 298 carreras de posgrado ofrecidaspor universidades públicas y privadas. La CAP dictaminó sobre su acreditación con resultados positivos enaproximadamente dos terceras partes de las solicitudes que reunían dicha condición y clasificó a los progra-mas acreditados según su calidad en tres categorías. El Ministerio de Cultura y Educación le transfirió losprocedimientos de acreditación a la CONEAU en el estado en que se encontraban al momento de suconstitución.

Por otra parte, dicha iniciativa de acreditación de carreras fue recibida por el sistema en el marco de unabatería de instrumentos y políticas para las universidades lanzadas con extrema celeridad desde el PoderEjecutivo Nacional sin las consultas adecuadas con los actores del sistema e ignorando los órganos cole-giados de gobierno de las universidades y esto ha generado una fuerte resistencia y, por supuesto, lógicadesconfianza.

La Ley 24.521 de Educación Superior introduce en su articulado la acreditación obligatoria de algunascarreras de grado y de todas las de posgrado. Las carreras de grado a las que se refiere son aquellas “cuyoejercicio pudiera comprometer el interés público poniendo en riesgo de modo directo la salud, la seguridad,los derechos, los bienes o la formación de los habitantes,...”

Hay que destacar que la normativa que rige las acreditaciones no está dada por el gobierno ni ningunaagencia internacional sino que es el resultado del consenso de los mismos actores del sistema universita-rio.

Lo mismo ha ocurrido con la declaración de medicina como carrera de interés público sujeto a acredita-ción merced a estándares definidos por los mismos procedimientos de consulta y debate que se respetaronen el caso de los posgrados. En este caso de acreditación de carreras de grado de medicina, hay actorescomo las asociaciones de facultades de las distintas áreas que han activamente participado, llegándose aacuerdos que fueron homologados por el Ministerio de Educación definiendo estándares bajo los cualesrealizará la Coneau la acreditación en el 2000.

Completada la primera experiencia de acreditación, resulta que se han presentado 1.230 carreras yproyectos de posgrado de los cuales 1.070 han completado su evaluación y acreditación, correspondientesa 78 instituciones universitarias. Para la tarea de acreditación la CONEAU ha emitido sus dictámenes através del trabajo de más de 500 pares académicos que integraron 102 comités; participaron académicos deprimer nivel -nacionales y extranjeros- de prácticamente todas las universidades públicas y privadas.

Se ha contado con el asesoramiento de más de 30 consultores de una nómina de expertos que lasuniversidades nacionales y privadas, las academias y otras instituciones científicas y profesionales hanaportado, todos ellos docentes e investigadores de reconocido prestigio en sus respectivas disciplinas. Losresultados se han hecho públicos a través de informaciones periodísticas y se encuentran en su totalidaddisponible en el web site de la agencia: www.coneau.edu.ar

En la Argentina existe una arraigada tradición que vincula los títulos que emiten las Universidades con lahabilitación profesional. Este sistema introduce un elemento distintivo al establecer una nueva relación entrela acreditación de las carreras y la validez y reconocimiento oficial de los títulos.


8

La evaluación institucional. Principios, objetivos y metodologíasacordados por la CONEAU, el CIN y el CRUP

En el documento Lineamientos para la Evaluación Institucional, ésta aparece caracterizada como unproceso compuesto por dos fases distintas: la autoevaluación y la evaluación externa.

La autoevaluación, en consonancia con el principio de autonomía de las instituciones universitarias queestá consagrado constitucionalmente, es un momento de la evaluación institucional de entera responsabili-dad de la institución, en el que ésta hace un auto análisis buscando clarificar sus actividades académicas,científicas y de transferencia y extensión para detectar las fallas y los logros de su accionar a fin de:

! Disponer de un autodiagnóstico para el mejor conocimiento de la institución y para guiar la toma dedecisiones orientadas al mejoramiento;

! Proveer a al CONEAU –u a otra eventual agencia evaluadora- de un diagnóstico debidamente fundado yque sirva de base para la realización de una evaluación externa exitosa.

En este contexto, la autoevaluación debe ser: participativa, exhaustiva, holística, documentada y esta-blecida en el contexto de los propósitos y objetivos de la institución.

La metodología que la institución adopte para implementar su autoevaluación, así como los pasos,tiempos y modalidades de trabajo son decididos por la propia universidad. En este punto la CONEAU sólopuede hacer algunas recomendaciones orientadas a cautelar el éxito de la evaluación externa. En tal senti-do es necesario indicar que la base documental de evaluación externa es, en buena medida, aportada por laautoevaluación y que ésta, entonces, es una inmejorable ocasión para que la institución actualice susregistros estadísticos y mejore la documentación de su accionar.

Ahora bien, en el entendido de que una gestión tiene objetivos, se propone metas e implementa mediospara su consecución es oportuno recordar que tanto la Ley de Educación Superior, como la CONEAU, y elCIN y el CRUP, comparten la idea de que la evaluación institucional está en función del mejoramiento de lacalidad de la educación universitaria y que éste debe ser el contenido que de sentido a los actos de evalua-ción que realicen los distintos agentes del sistema universitario cuando no se trate de acreditación decarreras reguladas y de carreras de posgrado, en cuyo caso la consecuencia jurídica de la acreditación nodebería entrar en colisión con el sentido general de la evaluación para el mejoramiento.

La larga e intrincada red de relaciones interinstitucionales que van conformando los procesos de evalua-ción institucional se sintetiza en un informe final que el documento de Lineamientos para la EvaluaciónInstitucional ubica como parte integrante de la evaluación externa.

La evaluación externa concluye con la redacción, por parte de la CONEAU, de la versión preliminar delinforme final, abriéndose una instancia de consulta con la institución evaluada para que el Rector formulesus observaciones que serán incorporadas al informe final en la medida que la CONEAU las considerepertinentes.

Los objetivos de las instituciones universitarias y los objetivos de laevaluación institucional

La Ley 24521 distingue entre objetivos, fines y planes de acción de las instituciones universitarias. Enotros documentos elaborados por distintas instancias del Sistema Universitario Nacional suele hablarse dela misión de la universidad como algo distinto de sus metas o fines.

Creemos que en todos los casos se establece, de manera no siempre rigurosa, una distinción entre lasgrandes metas relacionadas con la “misión” de la universidad y los fines y objetivos más inmediatos ycontingentes que cada institución se propone de manera más circunstanciada.


9

La distinción no solo reconoce grados de abstracción entre la misión de una institución que es perma-nente y está relacionada con la afirmación de valores trascendentes (el conocimiento, la verdad, la justicia,el bienestar del prójimo, el desarrollo regional, etc.) y los fines y objetivos de la institución que están enconcordancia con los valores misionales, pero son más circunstanciados en tanto se relacionan con accio-nes estratégicas que la institución planifica tomando en cuenta condiciones y medios disponibles.

En tanto la misión remite al plano axiológico del deber ser donde los valores se actualizan en cada unade las acciones pero no se “realizan” de manera definitiva en ninguna de ellas, los fines y objetivos remitena acciones de tipo instrumental que pueden ser sujetas a control racional buscando correspondencia entremedios y fines y que, fundamentalmente, pueden alcanzarse como metas que, una vez logradas total oparcialmente, pueden ser redefinidas.

Esta compleja trama institucional, en la que se imbrican objetivos, metas, misiones y valores, no siem-pre es correctamente asumida por las universidades que tienden a mantener en un mismo plano a todosellos sin discriminar entre los fines y metas institucionales que la institución puede someter a planificaciónestratégica, e ir variando según las coyunturas, y los valores que constituyen el núcleo permanente de suproyecto institucional, esta confusión suele obscurecer los debates internos de la institución y pone demanifiesto algo que se ha observado en las evaluaciones institucionales: que los integrantes de las universi-dades manifiestan un notable desconocimiento del proyecto institucional, así como de los estatutos yreglamentos que conforman el marco legal de su accionar.

La evaluación orientada al mejoramiento de la calidad

La mayoría de los documentos y opiniones calificadas que circulan en los medios académicos de laregión afirman el valor de la evaluación como medio idóneo para el mejoramiento de la calidad de lasuniversidades.

Si bien las políticas de mejoramiento de la calidad difieren en muchos aspectos, se puede observar queninguna de ellas prescinde de la evaluación externa como instrumento apropiado para diseñar diagnósticosy estrategias institucionales. Esto es importante porque pone de manifiesto que la evaluación no es un fin ensí misma y que, si bien puede estar al servicio de distintos fines, no escapa al hecho de que las opciones nopueden multiplicarse indefinidamente y que, como ocurre con todos los medios, éstos tienen un espectro deopciones relativamente limitado dentro del cual pueden ser instrumentados y fuera de los cuales dejan deestar al servicio de los fines para pasar a desvirtuarlos.

Estos asertos son aceptados casi sin discusión y conllevan un supuesto que creemos necesario desta-car aunque este documento no sea el lugar idóneo para su discusión. Nos referimos al hecho de que sueledarse por descontado que las instituciones universitarias poseen las condiciones de gobernabilidad, capaci-dad técnica y solvencia financiera necesarias para asumir las recomendaciones de mejoramiento que sederivan de los diagnósticos de evaluación y que éstos, una vez establecidos, son fácilmente asumidos porlas comunidades académicas respectivas y funcionan como guías adecuadas para planificar acciones demejoramiento.

Las etapas de la evaluación institucional

El documento de Lineamientos para la Evaluación Institucional indica las siguientes etapas o pasos aseguir durante el proceso de evaluación institucional:

! Acuerdo-compromiso entre la institución universitaria y la CONEAU en el que se estipulan los términosdentro de los cuales se realizará la evaluación, el cronograma tentativo de actividades y el establecimien-to de un nexo de comunicación permanente entre ambas instituciones a través del llamado “diálogotécnico”.


10

! El proceso de autoevaluación institucional y la presentación a la CONEAU del documento conteniendo laautoevaluación de la institución.

! Preparación de la evaluación externa. Definición de los perfiles de los integrantes del Comité de ParesEvaluadores y su aprobación por parte de la institución.

! Desarrollo de las actividades del Comité de Pares Evaluadores sobre la base de un cronograma de visitay talleres preparatorios para definir las actividades.

! Aprobación del informe de los pares, versión preliminar, por la CONEAU y su presentación a la institu-ción.

! Comentarios del Rector.

! Publicación y difusión del informe final.

Estos pasos tienen como objetivo pautar las relaciones entre las instituciones universitarias y la CO-NEAU con el fin de garantizar el éxito de la evaluación institucional.

El primero consiste en el establecimiento de un Acuerdo-compromiso que define un marco general decooperación donde la CONEAU se involucra en un diálogo técnico con la universidad aportando asesora-miento bibliográfico y acceso a los antecedentes de experiencias nacionales e internacionales de evalua-ción. La CONEAU dispone de un conjunto de Informes de Autoevaluación realizados por distintas universida-des argentinas, estatales y privadas cuya consulta por parte del público ha sido autoriza por las institucio-nes involucradas.

El proceso de autoevaluación. En esta instancia la universidad se involucra en un proceso de autoeva-luación que se realiza en el marco de su autonomía y se constituye en el principal aporte de informaciónsistemática de la institución de que dispondrán los miembros del Comité de Pares Evaluadores y la mismaCONEAU en el momento de la Evaluación Externa.

Preparación de la evaluación externa. En esta etapa el Equipo Técnico realiza un informe sobre eldocumento de autoevaluación presentado por la universidad, se nombran a los dos miembros de la CO-NEAU que serán responsables de la evaluación externa, se diseñan los perfiles de los miembros del Comitéde Pares Evaluadores, se acuerdan estos perfiles con la institución y se determina el Comité.

Desarrollo de las actividades del Comité de Pares Evaluadores. Consiste básicamente en la visitadel Comité a la sede de la universidad por un plazo no inferior a una semana y en la elaboración del informedel Comité que servirá de base a la CONEAU para la redacción de la versión preliminar del informe final.

Aprobación del Informe Final en su versión preliminar, hecho lo cual la Comisión lo envía a la univer-sidad a fin de recibir los comentarios que el Rector.

Comentarios del Rector. En este paso el Rector puede sugerir a la CONEAU las objeciones y modifi-caciones que estime pertinentes, la cual podrá introducirlas en el Informe Final corrigiendo aquellos erroresde información que se indiquen e incorporando los comentarios cuando se trate de interpretaciones diver-gentes sobre un mismo tópico de la evaluación.

Publicación y difusión del Informe Final. A partir de la incorporación de los comentarios del Rector yla introducción de las correcciones del caso, la CONEAU publica el Informe Final de la Evaluación Externay lo difunde en el conjunto del sistema universitario mediante el envío de ejemplares y su incorporación en lapágina web de la institución.


11

La evaluación por comités de pares

La elaboración de juicios de calidad sobre las instituciones universitarias y sobre sus actividades cientí-ficas supone la movilización de amplios recursos intelectuales, que no pueden suponerse contenidos en unapersona aislada ni garantizados por un supuesto método objetivo establecido a la manera de los procedi-mientos habitualmente consagrados como “científicos”.

Los juicios de calidad implican la convergencia de una pluralidad de puntos de vista que procesen infor-mación y aporten distintas perspectivas a los fines de conformar un espectro de opiniones racionalmentefundadas para completar el complejo cuadro del estado de una determinada institución universitaria.

A esta diversidad de puntos de vista, que convergen en la elaboración de un complejo juicio de calidad,puede accederse mediante la constitución de lo que habitualmente se conoce como Comités de ParesEvaluadores (CPE). En el caso de la evaluación institucional universitaria, la CONEAU recurre a la conforma-ción de CPE que cumplen con los requisitos de conformar un grupo:

! Operativo, esto es de dimensiones manejables que, según las características de la institución a eva-luar, se conformará en un rango que oscile entre un mínimo de tres miembros y un máximo de doce.

! No-Exhaustivo en términos disciplinarios. Si bien, no es requisito excluyente que estén contenidastodas las especialidades disciplinarias contempladas en los programas de la institución, se busca reali-zar un balance en términos de las grandes áreas de conocimiento y profesionalización que ésta abarque,garantizando que siempre haya un especialista para cada una de las funciones centrales: docencia,investigación, extensión y gestión.

! Con un enfoque holístico, esto es que aspire a que cada uno de los integrantes pueda analizar la parteen relación con el todo y posean capacidades para aportar juicios fundados sobre el funcionamiento dela institución en su conjunto.

La evaluación institucional universitaria en la Argentina

A lo largo de la década del ochenta y la primera mitad de la del noventa la discusión del tema de laevaluación institucional universitaria transcurrió sobre la base de ciertos presupuestos.

El primero de ellos decía que, en materia de educación superior, estamos en condiciones de decidir entreevaluar y no evaluar.

Durante el desarrollo del debate se tornó evidente que la evaluación de las instituciones universitarias esalgo que la sociedad y la comunidad académica hacen permanentemente cuando emiten juicios acerca dela conveniencia de estudiar una determinada carrera en tal o cual institución, o de trabajar para un determi-nado departamento o facultad, o de usar los servicios de los equipos y centros de investigación y consulto-ría.

De hecho en la academia, como en cualquier otro ámbito donde se deciden cuestiones prácticas, esinevitable hacer evaluaciones y, por tanto, no es posible debatir acerca de la pertinencia de las evaluacionesmismas dado que no realizarlas es una imposibilidad.

Poco a poco se hizo claro que la disyuntiva correcta se establece entre evaluar de manera metódica,sistemática, con criterios racionales y debidamente acordados por los agentes que intervienen en los proce-sos de evaluación, o bien, hacerlo de manera espontánea y asistemática, como de hecho se procedehabitualmente cuando se emiten opiniones sobre la calidad de las carreras, las investigaciones o las univer-sidades.

Así se fue afianzando la idea de que la conveniencia de optar por una evaluación metódica y racional nosólo posee más precisión que una mera opinión fundada en la intuición sino que, fundamentalmente, es unaevaluación controlable y, por tanto, susceptible de ser sometida a evaluación ella también, a fin de quecualquiera pueda reconstruir, reproducir y perfeccionar los procedimientos utilizados.


12

Otro supuesto presente en el debate indicaba que, en el ámbito de la educación en general y de laeducación superior en particular, las evaluaciones están necesariamente relacionadas con el intento deinstaurar alguna forma de control sobre las instituciones y que estas intenciones, más allá de su propósitosexplícitos, tienen efectos más o menos punitivos.

Existiría, según esta doctrina, una inevitable relación entre la evaluación y las intenciones de los evalua-dores o, mejor dicho, de las entidades que propician esta práctica que estaría substancialmente ligada auna voluntad de intervención política imbuidas de un ánimo intervencionista, irrespetuoso de la autonomíauniversitaria.

Las consideraciones acerca de las intenciones de los evaluadores desplazan el foco del problema y lovuelven estéril dado que se abandonan las preguntas sobre el sentido, las formas y la utilidad de las evalua-ciones.

Finalmente, en el curso del debate, se consolidó la idea de que las evaluaciones institucionales poseenutilidad y hacen al buen gobierno de las instituciones universitarias para las cuales la necesidad de evaluarpara disponer diagnósticos consistentes sobre su situación es obvia cuando se la concibe como un instru-mento indispensable para la planificación y la búsqueda del mejoramiento funcional del conjunto de susmetas y actividades.

La evaluación institucional y su relación con los fines e intereses de losagentes institucionales que la realizan

La pregunta acerca de qué es evaluar y, más específicamente, en qué consiste la evaluación institucionaldebe ser respondida asumiendo la dimensión pragmática de los actos de evaluación. Esto es, incorporandoel punto de vista de los agentes de la evaluación institucional universitaria con relación a los legítimosintereses y valores con que la orientan y califican.

Así entendido el problema, diremos que la pragmática de la evaluación, esto es el uso y la utilidad que leasignan sus practicantes, debe estar necesariamente presente en el análisis de las evaluaciones que sehan verificado en el sistema universitario argentino, pero esta dimensión decisiva para mejorar nuestrapercepción de qué son las evaluaciones no puede ignorar que éstas tienen contenidos y determinacionespropias que distinguen las evaluaciones sistemáticas de las opiniones valorativas intuitivas.

La pregunta acerca de qué es evaluar una institución ha sido respondida en múltiples ocasiones y llamala atención que, a pesar de esta abundancia, exista una notable convergencia de opiniones que acuerdan lanecesidad de relacionar la evaluación con la axiología. El axioma de la evaluación dice que “Evaluar es iguala asignar valor a algo”. En la obra Evaluación Sistemática4 encontramos una recopilación exhaustiva de lossentidos asignados al término “evaluación”:

“El acto de evaluación supone comparar objetivos y resultados.”

“La evaluación es un juicio de valor sobre la calidad de las tareas empeñadas en la consecución deciertos objetivos y sus resultados.”

“La evaluación es un enjuiciamiento sistemático de la valía o el mérito de un objeto.”5

Estas definiciones ponen de manifiesto que evaluar es sinónimo de atribuir valor, destacándose que a sudimensión valorativa se le agregan dos atributos más: su carácter de sistemático y de judicial. Esto últimoen el doble sentido que toda evaluación se expresa a la manera de un juicio de calidad y el proceso para

4. Stufflebeam, Daniel y Shinkfield, Anthony, 1993. Coedición Ediciones Paidós y Ministerio de Educación y Ciencia de España.Barcelona, España. Pág. 19.5. Standards for evaluation of educational programs, projects and materials del Joint Committee on Standards of EducationalEvaluation, New York Mac Graw-Hill. 1981. Citado por Stufflebeam y Shinkfield (op.cit.)


13

producirlo tiene similitudes con los procedimientos judiciales en tanto hace intervenir a un “jurado” o comitéde pares, encuadrado dentro de un contexto normativo que es explícito y revisable.

En síntesis podríamos decir que la evaluación siempre supone un juicio de valor sistemáticamente esta-blecido. Juicio de valor porque estima cómo y cuánto se están cumpliendo determinadas metas, valores,procesos y resultados; sistemáticamente establecidos porque tal juicio se encuadra en un contexto decriterios y procedimientos que lo guían y legitiman.

Estas dimensiones: metas, valores, procesos, resultados, nos advierten sobre la complejidad de losobjetos evaluados que, en este caso, son instituciones universitarias.

“Lo más frecuente es que los clientes deseen un estudio políticamente provechoso (pseudoevaluación),los evaluadores prefieren realizar un estudio basado en problemas concretos (cuasievalución) y los consu-midores tienden hacia estudios basados en valores (verdadera evaluación). Los evaluadores deben prestartanta atención a sus propósitos evaluativos como a los de sus clientes y consumidores”. 6

Debemos advertir que la terminología utilizada por los autores no es feliz dado que está fuertementesesgada por la metáfora económica que le da sentido a los términos y orienta el análisis de las universida-des.

Cuando se trata de instituciones educativas es incorrecto hablar de “clientes” dado que los demandantesde evaluaciones institucionales, sean las mismas universidades, el estado o el público en general, noadquieren el servicio evaluativo para “consumirlo” a la manera en que se consume un insumo económico.

Las evaluaciones institucionales son un conocimiento sobre la universidad y, como todo conocimiento,agregan una nueva perspectiva y ayudan a tomar decisiones a todos los niveles. En tanto tal, éstas compar-ten la característica central de todo conocimiento que, a diferencia de los “insumos” ocupados en la produc-ción económica, no se “consume”, sino que se transforma, potencia y conserva.

Es cada vez más frecuente afirmar que el conocimiento se ha convertido en el principal insumo de laeconomía y que actualmente la competitividad económica depende de productividades directamente relacio-nadas con la capacidad de las empresas para incorporar conocimiento en sus procesos productivos y ensus relaciones con los mercados globalizados.

Pero hay que reiterar que el conocimiento no se desgasta en el consumo productivo sino que se conser-va y acrecienta. Lo cual lo convierte en un insumo económico muy peculiar y no puede asimilarse a la ideacomún de materia prima.

Por otro lado, las instituciones y los sujetos intervinientes en las evaluaciones son, a la vez que realiza-dores de las mismas, usuarios de sus resultados.

Abordada en este contexto, la noción de calidad aplicada a la educación superior está relacionada con eltipo de agente social que la elabora a través de la evaluación institucional y siguiendo a Doherty7 podemoshipotetizar que existen tres tipos de agentes políticos, sociales y académicos diferentes a la vez quediferencialmente posicionados ocasionando tres formas institucionalmente legítimas de acercamiento teóri-co y metodológico para definir la calidad:

El estado que está especialmente interesado en los perfiles profesionales de los egresados y los aspec-tos legales y presupuestarios de las instituciones universitarias y, en concordancia con esta perspectiva,tiende a medir rendimientos mediante la utilización de indicadores cuantitativos coherentes con su tenden-cia a cautelar la eficiencia del sistema. Así, privilegiará para construir sus criterios de calidad indicadoresque estiman las performances académicas, la pertinencia de los programas institucionales y el uso de losrecursos en general. Su función será, además, la de dar fe pública de la calidad académica y científica delos procesos y del buen uso de los recursos orientando sus procedimientos de evaluación hacia formasestandarizadas de acreditación.

6. Stufflebeam y Shinkfield (op.cit.), pág. 65.7. Introduction: the concern of quality. En: Geoffrey D. Doherty, Developing quality systems in education. Routledge, London, 1994.


14

La comunidad académica que refleja en su accionar los valores que la caracterizan, especialmentesus creencias en el progreso del conocimiento científico y en el papel de la educación en la constitución delos ciudadanos como sujetos racionales, dotados de autonomía moral y, por tanto, de responsabilidad civily política. Así es que aprecia la importancia del pluralismo ideológico, la tolerancia a lo diferente y ponderaráel debate y la controversia de ideas para articular las diversidades que necesariamente existen en lasdistintas disciplinas y tradiciones culturales que la conforman. Estas particularidades determinan diversosmodos de concebir y estructurar a las distintas instituciones universitarias y tiene, como correlato lógico anivel de los procedimientos, la evaluación por pares organizados en comités que integren los valores antedi-chos.

El mercado que hace prevalecer las preferencias de los usuarios y que, por su naturaleza de espacio denegociación permanente y condiciones cambiantes, refleja un conjunto de puntos de vista en conflicto. Estaes la instancia más difícil de formalizar en términos de indicadores de calidad dado que el mismo mercado,al introducir variaciones permanentes en lo que habitualmente se llama “el perfil de la demanda”, dificulta losintentos de introducir criterios más o menos estandarizados. Su forma de evaluar tenderá a realizarse ex-post por medio de pruebas de resultados a través del empleo de los egresados universitarios y la compra deservicios a estas instituciones.

Junto con esto podemos distinguir los distintos sentidos que tiene la noción de “calidad” aplicada a lasinstituciones universitarias y los procesos vinculados a la elaboración de los juicios de calidad:

! Asegurar la calidad “hacia adelante” (quality assurance): significa que se busca corregir los erro-res antes de poner en práctica un programa examinando los objetivos, el contenido, los recursos yresultados esperados de los mismos. En ese caso, se evalúa la calidad del proyecto institucional y secertifica el cumplimiento de ciertos requisitos que garantizan la calidad.

! Controlar la calidad “hacia atrás” (quality control): significa obtener información de tal forma que sepuedan corregir los errores cometidos. Para ello, se necesita que las instituciones posean informaciónsuficiente en tiempo y forma para que el monitoreo regular de las partes y programas que la integranpueda realizarse exitosamente.

! Gerenciamiento de la calidad (quality management): es el proceso completo que se instala paraasegurar que la calidad ocurra, que se dé en todos los procesos involucrados en la educación, estádirectamente emparentado con las técnicas y prácticas de “calidad total” adoptadas por las empresas eintegra elementos de las dos modalidades anteriores.

! Auditoria de calidad (quality audit): puede ser interna, externa o bien combinar a ambas. Se realizasobre el conjunto de la institución o bien seleccionando partes y/o funciones. La auditoría verifica que lainstitución hace lo que se supone que debe hacer y tiene evidencia documental para probarlo. Requierede un “órgano” auditor suficientemente entrenado que habitualmente cobra la forma de un comité deevaluación.

! Evaluación de calidad (quality assessment): es el juicio, interno o externo, sobre la perfomance de lainstitución y se establece de acuerdo a ciertos parámetros previamente establecidos y consensuados. Adiferencia con la modalidad anterior aquí no hay sólo auditoría sino que se introduce la idea de acredita-ción, entendida como la forma adecuada de contrastar atributos y procesos institucionales con estánda-res generales. Subordinando las características particulares de la institución a estos parámetros. Tam-bién implica comité de evaluación.

! Mejoramiento de la calidad (quality enhancement): es un sistema para mejorar la perfomance deuna institución o un proceso particular mediante cambios conscientes y consistentes, para lo cual senecesita disponer de un diagnóstico adecuado que fundamente las estrategias y acciones tendientes amejorarlo. Por sus características, que involucran aspectos considerados en todos los casos anteriores,no sólo presupone un comité de evaluación sino que, además, coloca como parte de la misión institucio-nal a un valor social compartido por todos los agentes considerados aquí, el mejoramiento institucional.

Ahora bien, tanto la Ley de Educación Superior Nº 24.521 como el documento de “Lineamientos para laEvaluación Institucional” de la CONEAU comparten los mismos criterios e intereses respecto de la evalua-


15

ción institucional para la consecución de los juicios de calidad y, éstos, combinan de manera coherente ycreativa a los distintos aspectos que se acaban de describir respecto de los intereses de los agentes delsistema y de las distintas nociones de calidad.

La CONEAU no ha adoptado la exclusiva perspectiva del estado, enfatizando los aspectos que hacen dela evaluación una auditoria y de los juicio de calidad un concepto cuantificable y apropiado para construirrankings de calidad. Por el contrario, asumiendo una perspectiva más amplia, que incluye el punto de vistay los intereses de las instituciones universitarias, ha buscado sintetizar, dentro de la complejidad de lamateria a evaluar y los procedimientos a emplear, todos aquellos aspectos relacionados con la evaluaciónpara el mejoramiento de la calidad de la educación superior, entendiendo que esto se debe realizar dentro delos límites impuestos por la autonomía de las universidades y el consecuente respeto por la legitimidad desus objetivos institucionales.

Siendo, entonces, que la noción de calidad que prevalece en las evaluaciones institucionales está direc-tamente emparentada con la valoración a partir de los objetivos institucionales y el mejoramiento de lasprácticas y programas para alcanzarlos. La planificación de la calidad y su control ex post, así como suauditoría gerenciamiento y acreditación quedan subordinados al objetivo principal que es evaluar para mejo-rar la calidad de la educación.

Calidad de la educación superior y misión institucional

A la idea desarrollada en el apartado anterior -que explora la relación existente entre el punto de vista delagente social que evalúa, las distintas nociones de calidad y sus correspondientes metodologías e indicado-res- debe incorporársele el reconocimiento de que, en el ámbito de la educación superior, existe una ampliagama de posibilidades de desarrollo institucional ya sea que las instituciones universitarias se tomen enconsideración desde el punto de vista de su condición de estatales o privadas, de su antigüedad, de sutamaño, de la complejidad de sus ofertas académicas o bien de sus capacidades para articular armónica-mente la docencia con la investigación y la extensión.

En este entendido se hace relativamente dificultoso definir un criterio unívoco que combine todos loselementos que intervienen en la construcción de un juicio de calidad acerca de casos particulares de insti-tuciones universitarias.

Ahora bien, dado que las instituciones universitarias, en el ejercicio de su autonomía académica, puedenproponerse fines diversos enfatizando alguno de los aspectos específicos del ámbito de la educación supe-rior ya sea la academia, la investigación, la profesionalización, la extensión, o bien, como ocurre frecuente-mente, una determinada combinación de todos ellos, se hace evidente que un enfoque adecuado es elrelevar como criterio general de evaluación de la calidad el que atiende a los procesos que implementan lasinstituciones para cumplir con el logro de sus fines en la búsqueda de incrementar la calidad de sus resul-tados y procedimientos.

Esta concepción supone que la evaluación es una dimensión integrante de la trama institucional de lasuniversidades en tanto todas sus instancias evalúan sus condiciones de funcionamiento y los resultadosalcanzados.

La evaluación institucional y el problema de los métodos cuantitativos ycualitativos

La distinción entre metodología cualitativas y cuantitativas carece de sentido cuando se la refiere a laevaluación institucional.

Es necesario reconocer que todos los elementos presentes en la evaluación son inmediatamente cuali-tativos, que en realidad no hay nada en la vida de una institución que sea directa o “naturalmente” cuantifica-ble.


16

Aquellos componentes o aspectos institucionales que aparecen como cuantitativos por definición, comopor ejemplo el número de estudiantes, no son tales. La cantidad de estudiantes de una universidad depende,como es obvio, de qué entiende ésta por “estudiante” y sabemos que muchas veces en una misma univer-sidad coexisten distintas definiciones según las unidades académicas y, a veces, dentro de una mismaunidad académica según los distintos momentos de su historia.

Si todo es cualitativo estará en el sentido común y el buen juicio de los evaluadores decidir qué escuantificable y hasta qué punto es útil, para esa evaluación, proceder a cuantificarlo; y ésta no es, como secree a menudo, una cuestión de orden técnico que pueda ser decidida con criterios extravalorativos.

De todos los aspectos evaluables de una institución, ella misma deberá decidir cuáles cuantificará ycuáles no, comenzando por discernir qué aspectos admiten ser cuantificados sin forzar su contenido ydesvirtuar su sentido.

Una vez establecido el ámbito de lo cuantificable habrá que establecer sí se cuantificará todo o sólo unaparte. En este punto existe una amplia variedad de criterios pero se impone la recomendación general decuantificar todos aquellos aspectos que sean útiles transformar en indicadores adecuados para el monitoreode la gestión académica y administrativa generando datos que sirvan para construir series temporales quepermitan apreciar la evolución de las variables macroestructurales de la institución, tales como evolución dela matricula, rendimientos académicos de los estudiantes, productividad de la planta docente, etc.

Llegando a este punto del análisis es pertinente, entonces, hacer referencia a los juicios de calidad quese enuncian acerca de las instituciones universitarias y a los métodos y procedimientos habitualmenteutilizados por los comités de pares evaluadores.

Los juicios de calidad y la evaluación institucional

Cuando aludimos a la calidad de algo estamos refiriéndonos a un conjunto de atributos, propiedades ocaracterísticas que son inherentes a un objeto determinado. En tal sentido, la calidad de una instituciónposee una doble dimensión: a) alude a aquellos atributos que le son propios; b) indica cómo se expresantales atributos en el accionar de la institución.

Así cuando se habla de la calidad de una institución se hace referencia a las propiedades que la cualifi-can y al modo en que funciona. En este sentido un juicio de calidad institucional es también un juiciofuncional.

Asimismo, hallamos que la tradición más o menos esbozada en el tema de la evaluación de la calidadenfatiza un tercer aspecto de la noción de calidad relativo a los grados de excelencia del objeto sometido aevaluación y, junto con esto, el carácter analógico del mismo.

La calidad entendida con referencia a un modelo supone necesariamente un juicio analógico que fundaapreciaciones por comparación. Al comparar el caso individual con otro similar o con un tipo ideal estanda-rizado, se introduce la posibilidad de medir la distancia que existe entre cada uno de los atributos delespécimen y su modelo o su símil real, según sea el caso.

Resumiendo podemos decir que un juicio de calidad es un juicio atributivo, funcional y analógico ycuando los evaluadores analizan la calidad de las instituciones universitarias hacen un triple movimiento:

1. Toman en cuenta sus atributos inherentes y deciden la pertinencia de los mismos; cuánto de cada unode ellos hallan en el caso analizado y qué bondades y defectos tienen. Están pensando en cuántosdocentes, estudiantes, investigadores, libros, etc. posee la institución y cuán académicos y dedicadosson los docentes, cuánto rinden los estudiantes, que valor científico tienen las investigaciones, cuánpertinente es la biblioteca, etc.

2. Consideran sus procesos de funcionamiento y deciden en qué medida los atributos, propiedades, ele-mentos que integran a la institución se acoplan a los fines de producir efectos buscados deliberadamen-te; en qué medida la combinación de docentes, investigadores, estudiantes, apoyos bibliográficos, infra-estructura, etc. producen conocimientos, titulados, transferencias tecnológicas, etc.


17

3. Comparan 1. y 2. con algún referente típico ideal expresado ya sea en el proyecto institucional, o en suimaginario, o en una tabla de estándares de calidad consagrada por algún mecanismo de aceptaciónhabitualmente reconocido. Dicho de otro modo construyen un juicio por analogía combinando juiciosatributivos y funcionales en un juicio analógico que los sintetiza. Más adelante veremos que esta síntesiscoincide con lo que habitualmente los metodólogos llaman “triangulación”.

En el primer caso se está calificando a la institución a partir de la calificación de sus partes y se suponeque la calidad del todo es un agregado más o menos mecánico o más o menos orgánico - según los casos- de la calidad de tales partes. Aquí reconocemos un procedimiento analítico que sigue un camino inductivoy proyecta al conjunto institucional los atributos de sus componentes. Este procedimiento es lícito en tantose lo acote al momento analítico, pero cuando se predica la calidad del todo infiriéndola de la de las partesse choca con las habituales limitaciones de que adolece el método inductivo, ya señaladas por Popper8, yse comete el error de evaluar al todo por la parte.

En la práctica, este método choca con un hecho evidente: ninguna de las instituciones universitarias,complejas por definición, poseen el grado de homogeneidad necesario para que el juicio de calidad sobre elconjunto pueda construirse ni como la sumatoria ni como el promedio de calidades parciales.

En el segundo caso se establecen juicios funcionales donde la calidad es pragmáticamente definidacomo algo que ocurre a pesar que no se sepa exactamente bien cómo se llegó a tal resultado. El juicio defuncionalidad es ampliamente utilizado y su defecto más habitual consiste en entablar relaciones espuriasentre los medios y los fines. La distinción entre fines racionalmente seleccionados y explícitamente perse-guidos, expresados en proyectos institucionales y programas de acción académica y científica, y resulta-dos inesperados pero funcionalmente justificados suele opacarse en el accionar de las instituciones y, así,la confusión entre medios y fines y entre fines esperados e inesperados bloquea la posibilidad de analizarlos procesos que en ella acaecen.

En este punto se comete el error inverso al apuntado anteriormente, la calidad del todo, establecida apartir de su eficacia funcional, es trasladada a cada una de las partes. Estaríamos, entonces, frente a lafalacia de entender que las partes “expresan” los principales atributos del todo en tanto participan de él.Obviamente en este punto se debe reproducir la objeción ya apuntada sobre la imposibilidad de trabajar conel supuesto de homogeneidad institucional. Pero esta perspectiva holística y expresiva introduce dos equí-vocos específicos: a) legitima los medios por los fines, y b) justifica los fines no buscados sin analizar sugénesis.

Finalmente, el juicio por analogía se funda sobre la base de la existencia de condiciones de comparabi-lidad que, para el caso de las universidades, no siempre son respetadas. La comparabilidad de las institu-ciones entre sí es algo que debe explicitarse, lo mismo que la comparabilidad de éstas con modelos yestándares.

Cuando se propone estimar la calidad de una institución contrastándola con parámetros modélicos seconstruyen juicios de calidad por comparación que son distintos de los establecidos cuando se evalúa elgrado de avance de una institución en el logro de sus metas y la realización de sus valores misionales.

Un juicio por analogía no es un diagnóstico institucional sino la acreditación de una determinada calidadrespecto de un modelo, las analogías conllevan “mediciones” respecto de la distancia existente entre loslogros reales y los exigidos por el modelo.

Dicho esto podemos preguntar cómo pueden caracterizarse los informes de las evaluaciones externasque consideramos. No basta con decir que son investigaciones institucionales, ni juicios de calidad, niacreditaciones de la calidad, porque por este camino ensayaríamos una definición por exclusión de atributospero no habríamos avanzado mucho en determinar qué son a partir de la exigencia de dotarnos de unadefinición positiva del fenómeno.

Analizando lo que hicieron y produjeron los distintos Comités de Pares Evaluadores convocados por laCONEAU para intervenir en los casos considerados podemos arriesgar la opinión de que estamos frente a

8. Cf. Karl Popper: La lógica de la investigación científica, Editorial Tecnos, Madrid. 1982.


18

diagnósticos establecidos por “triangulación”9 de datos, métodos y criterios y en este caso las tareas deevaluación de los pares consistieron en comparar, confrontar, verificar y producir datos, juicios y recomenda-ciones articulándolos en un diagnóstico institucional orientado a propiciar el mejoramiento de la calidad delas instituciones en cuestión.

“Cuando en una investigación se combinan datos cuantitativos e información cualitativa se requiere uncuidado especial en la convergencia y consistencia de ambos análisis”10.

Esta indicación:

a) Que la combinación de informaciones cualitativas y datos cuantitativos está antecedida de, al menos,dos momentos analíticos previos específicamente guiados por la lógica de cada uno de los estos méto-dos y las características de sus procedimientos.

b) Que existe una tercera instancia analítica, resultante de la combinación de datos e informaciones opera-da mediante un procedimiento de convergencia metodológica, que no se confunde con ninguno de losanteriores donde dominan las perspectivas cuantitativas y cualitativas como momentos separados.

c) Que esta tercera instancia, además de requerir un cuidado especial, se caracteriza por una “convergen-cia” definida como una forma distinta de análisis que no se agota en una mera combinatoria de métodosen la que lo cuantitativo y lo cualitativo serian combinados en el modo de la yuxtaposición.

Esta forma de realizar convergencias metodológicas, y por ende teóricas, es habitualmente denominadacon el término “triangulación” que, si bien está acotado al ámbito de la investigación en ciencias sociales,admite expandir su campo semántico e incluir al conjuntos de las prácticas de evaluación sistemática queestamos analizando.

Sobre el sentido del término Forni11 escribe:

“El segundo gran instrumento de la integración de métodos (y de la mayor parte de los estudios cualita-tivos) es la triangulación. Este término se deriva de la navegación, donde se define la situación de un objetopor el entrecruzamiento de las líneas trazadas desde distintos puntos. La idea subyacente es que al con-trastar puntos de vista distintos, teniendo en cuenta el lugar desde donde se enfoca, se obtiene una imagenmucho más completa de un objeto. Esto exige definir la ubicación desde la cual se orienta cada perspectivay corregir el sesgo que ésta implica, sólo así la imagen no estará distorsionada.”

El éxito y la difusión del término “triangulación” no nos debe hacer perder de vista que, al ser una nociónimportada de las técnicas de navegación, conlleva una carga “espacialista” que debe ser explicitada. Unacosa es “triangular” para corregir las perspectivas de visión y estimación que dan cuenta de la posición de unobjeto preexistente al acto de triangular y otra muy distinta es elaborar un juicio de calidad -involucrandodistintas perspectivas metodológicas, teóricas, analíticas, etc.- que no preexiste al acto de juzgar tal cali-dad.

Dicho de otro modo la calidad de una institución no es un dato predado sino uno a ser elaborado y, a losfines de cautelar que en tal acto de elaboración converjan la mayor diversidad de perspectivas posibles, segarantiza una interdisciplinariedad funcional y se programan procedimientos metodológicamente consisten-tes, revisables y por tanto perfectibles, que faciliten y garanticen el éxito de esa compleja tarea.

9. El clásico sobre el tema sigue siendo la obra de Norman K. Denzin: The Research Act. A Theoretical Introduction on SociologicalMethods. 1970, Chicago. USA, Aldine Publishing Company. Allí se puede leer, pág. 310: “La triangulación múltiple se da cuando losinvestigadores combinan en una misma investigación observaciones variadas, perspectivas teóricas distintas y diversasmetodologías y fuentes de datos. De esta forma el análisis sociológico trasciende a aquellos estudios que sólo triangulan fuentesde datos, métodos, teorías u observaciones para referirlos a un solo conjunto de eventos.”10. Gallart, María Antonia. “La integración de los métodos y la metodología cualitativa. En Métodos cualitativos II. La práctica dela investigación.1993. Buenos Aires. Centro Editor de América Latina. Pág. 108.11. “Estrategias de recolección y estrategias de análisis en la investigación social”, en Floreal Forni, María Antonia Gallart e IreneVasilachis de Gialdino: Métodos cualitativos II. La práctica de la investigación. 1993, Buenos Aires, Centro Editor de AméricaLatina.


19

La calidad de una institución es el contenido de un juicio valorativo y no un atributo materialmente visibley el acto de elaboración del juicio de calidad es, a la vez, un acto preformativo de la calidad misma.

La calidad de una universidad no se establece a partir de la sumatoria de las calidades de cada una desus partes, ni como un juicio sintético sobre la calidad total; es –en cambio- un diagnóstico combinado queinvolucra juicios particulares sobre funciones, partes, productos, procesos, condiciones, antecedentes his-tóricos y proyectos institucionales que contienen sus objetivos y misiones.

En tal sentido la triangulación entendida como la permanente combinación de datos, métodos y perspec-tivas de análisis es algo así como la práctica espontánea de los pares que, a la manera del personaje deMoliere practicaba la prosa sin saberlo.

Esta advertencia debe acompañase de otra: la evaluación institucional universitaria no es una investiga-ción sobre la universidad objeto de ella. Los evaluadores internos y externos no investigan a la institución ensentido estricto en que una investigación se propone producir conocimientos científicamente válidos sobredeterminados aspectos de la realidad o resolver problemas teóricos que pueden o no tener efectos directosde conocimiento empírico.

Observación y medición

Cuando se realizan evaluaciones institucionales se trata de elaborar juicios de calidad sobre aspectosseleccionados de las instituciones universitarias a los que se estiman significativos y se los vuelve metodo-lógicamente observables. Cuando en los procesos de evaluación se introducen mediciones no se buscadeterminar valores cuantificados a la manera de una calificación que mensura atributos y los pondera yjerarquiza en una escala, sino de trascender las mismas mediciones utilizándolas como un elemento máspara la elaboración de los juicios de calidad.

Tales juicios representan cadenas elaboradas de razonamiento que discurren sobre la situación de lainstitución, exploran antecedentes y proyectan estados futuros de las mismas recomendando líneas deacción para el mejoramiento institucional.

Desde esta perspectiva los datos cuantitativos y las informaciones cualitativas se combinan mediante untrabajo colectivo que se denomina “evaluación por pares” y que consiste en la elaboración de juicios decalidad fundados en la triangulación de datos, enfoques teóricos y niveles de análisis.

En evaluación institucional es común la situación en que le evaluador externo se ve en la necesidad deconfrontar información cuantitativa y cualitativa con opiniones de integrantes de la institución que, a los finesde la evaluación, son considerados como informantes calificados.

Por ejemplo, cuando en una universidad nacional se les solicita a funcionarios, docentes o estudiantesopinión sobre un determinado dato de abandono estudiantil, las respuestas que se obtienen son múltiples;los informantes, a la vez que nos ofrecen una variada gama de respuestas opinando sobre las diversascausas que condicionan la situación, simultáneamente indican posibles cursos de acción para subsanar losdéficits relevados. En el caso de los estudiantes les escuchamos decir con frecuencia que la principal causadel abandono reside en la dificultad para combinar trabajo con estudio, respuesta que ya prefigura la solu-ción contenida en un programa de becas. Los docentes, en cambio, suelen imputar las dificultades depermanencia de los estudiantes a causas relacionadas con la falta de destrezas intelectuales para la lectu-ra, el análisis y la consolidación de hábitos de estudio, ya se sugiere la necesidad de implementar progra-mas de ingreso a la universidad orientados a desarrollar tales hábitos y destrezas.

En este punto ocurre, como en tantos otros, algo enfatizado frecuentemente por las ciencias sociales ycontenido en el aserto de que todo diagnóstico conlleva un pronóstico o, al menos, una perspectiva desoluciones posibles. Si bien no es discutible que entre los problemas y sus soluciones existan relacionesdirectas y unívocas, dado que es ampliamente reconocido que para un mismo problema pueden existirvarias soluciones posibles, no es menos necesario reconocer que entre ambos existen ligazones y que, alos fines prácticos, las soluciones también deben ser objeto de evaluación, entendiendo que no todas sonviables a pesar de ser técnicamente consistentes.


20

Diagnóstico, evaluación y recomendaciones en el contexto de lasfunciones de las instituciones universitarias

Como venimos indicando la evaluación para el mejoramiento institucional tiene como base o punto departida inevitable, un diagnóstico. La evaluación y confrontación de ese diagnóstico con la “realidad” de lainstitución es la tarea central del CPE que:

! Contrasta el diagnóstico de la autoevaluación.

! Evalúa la situación durante la visita, en la que predomina la observación directa y las entrevistas.

! Hace recomendaciones para el mejoramiento detectando lo que habitualmente se denominan fortalezasy debilidades combinadas con las amenazas y oportunidades del medio.

La CONEAU realiza, por medio de un análisis de segunda instancia, una última confrontación en la que:

! Haciendo suyo el informe del CPE.

! Recabando la opinión del Rector, quien eventualmente consulta a su comunidad académica.

! Evaluando la pertinencia y alcances de las observaciones del Rector.

! Finalmente las incorpora al Informe Final y les da publicidad.

Este cúmulo de procedimientos hacen de las evaluaciones institucionales de la CONEAU algo que nopuede compararse con el proceder de los investigadores durante una investigación científica, aunque ambasactividades manifiesten puntos de contacto.

El aire de familia que existe entre las evaluaciones institucionales y las investigaciones científicas nodebe alentar su confusión. Las evaluaciones institucionales son, en parte, investigaciones pero las excedenampliamente toda vez que buscan producir un conocimiento práctico, este es el de conocer para mejorar lainstitución por medio de acciones adecuadamente fundadas, y que se legitiman sobre la base del consensoestablecido por el complejo conjunto de agentes que participan en ella -autoevaluadores, autoridades, fun-cionarios, evaluadores externos, informantes claves- incorporándose a un proceso dinámico y prolongadoque comienza con la autoevaluación y culmina con la incorporación al informe de evaluación externa de loscomentarios del Rector, punto en el que comienza la re-evaluación sobre una nueva base de conocimientosy experiencias12.

Si bien la evaluación institucional y la investigación científica se proponen confrontar datos con la reali-dad, en un marco de procedimientos claramente explicitados, revisables y delimitados en términos de susalcances explicativos y ámbitos de aplicación, entre ambas existen notorias diferencias consistentes enque mientras la ciencia busca producir efectos de conocimiento donde el resultado es una “verdad científi-ca”, acotada por las reglas de la verosimilitud establecida por cada comunidad científica en un momentodeterminado de su historia, la evaluación institucional busca un efecto de conocimiento eminentemente

12. En el Taller de Evaluación Externa organizado por la CONEAU con Columbus Partners (Buenos Aires, 3 al 4 de abril de 1997)se exaltó por encima de la “Ciencia de la Evaluación” a la “Experticia Evaluadora” entendida como el “Arte de la Evaluación”, nociónaparentemente inasible pero directamente relacionada con la llamada “Cultura de la Evaluación” y se indicó que el desarrollo de lasdestrezas artesanales de la evaluación institucional tiene un inevitable sustrato de ensayos y errores convenientementereflexionados por todos los protagonistas de las tales experiencias.En este sentido también arriesgamos la opinión de que, aunque la casuística sea limitada, los seis casos analizados en estedocumento muestran, dentro de las sinuosidades del proceso, un avance a golpes de experiencia que manifiesta mejoras de lacapacidad de la CONEAU para implementar los procedimientos y de la disposición de las universidades para proveer al procesode autoevaluaciones de creciente calidad.13. Esto es las primeras 22 instituciones universitarias evaluadas por la CONEAU al mes de marzo del año 2002 y cuyos informesestán en la página web de esa institución.14. El corpus de Informes de Evaluación Externa revisados para la elaboración del presente trabajo abarca el caso de 22instituciones universitarias, 12 estatales y 10 privadas. Los textos de los informes pueden con consultarse en la página web dela CONEAU.


21

práctico que fundamenta un interés institucional específico: el mejoramiento de la institución potenciandofortalezas y resolviendo debilidades.

El interés en el mejoramiento, que provee a la evaluación de un fin práctico inmediato, introduce unadiferencia específica con el discurso científico cuyos fines son “desinteresados” en el sentido que no buscael conocimiento por sus posibilidades de aplicación inmediata sino que las descubre a partir de conocimien-tos previamente establecidos.

En la evaluación institucional, en cambio, los tiempos y procedimientos están determinados por lascaracterísticas del producto esperado y, si bien tiene fundamentos y principios generales que la guían, elinterés en obtener un diagnóstico institucional que funde acciones para el mejoramiento de sus funcionesespecíficas como institución de educación superior es decisivo a la hora de considerar el tipo de conoci-mientos que aportan estas evaluaciones.

En tal sentido un juicio sobre la calidad de una institución universitaria es un juicio complejo que abarca,a la manera de un diagnóstico, todos aquellos aspectos considerados consubstanciales al carácter especí-fico de la misma.

Si la especificidad de las universidades reside en su capacidad para producir, conservar y transmitirconocimientos, entonces serán inherentes a ellas un conjunto de funciones de docencia, investigación yextensión que hacen a tal especificidad. Por ello, lo menos que se espera de una universidad es queacumule, conserve y transmita conocimientos y, si además, produce conocimientos nuevos incrementandoel acervo social y lo difunde más allá de la docencia en acciones de transferencia y extensión de ciencia,tecnología, arte y cultura en general, estaremos en presencia de una institución que ha logrado ampliamentesus objetivos y se ha logrado insertar en un ámbito más amplio del esperado.

Pero existe un segundo nivel de especificidad que diferencia a una universidad de un Centro de Investiga-ciones con una buena biblioteca. Y esta es su capacidad para transmitir conocimientos bajo la forma dedestrezas profesionales encarnadas en individuos que reciben títulos y credenciales que certifican talescapacidades adquiridas a través de programas de entrenamiento elaborados a tal fin.

Si esto es así, entonces la función principal de toda institución universitaria se concentra en su capaci-dad para transmitir conocimientos y destrezas profesionales, esto es en su función docente. Obviamente ladocencia universitaria tendrá características particulares que la distinguen de la practicada en otros nivelesdel sistema educativo. Estas se refieren tanto al tipo de estudiante a la que está orientada como al tipo deconocimientos que debe transmitir.

Desde el punto de vista de los estudiantes las universidades trabajan con individuos jóvenes pero madu-ros que poseen un acervo de conocimientos y destrezas previos posibilitadores y facilitadores de la docen-cia.

Si esta condición no se cumple será pertinente evaluar cómo aborda la situación la institución y cómo laresuelve. De allí que en la medida en que el sistema educativo es deficitario en sus niveles anteriores estoimpacta negativamente en el nivel terciario.

Desde el punto de vista de los contenidos a transmitir, las universidades trabajan con conocimientos delmáximo nivel de complejidad, abstracción y actualización, los que habitualmente se identifican con loscontenidos de las ciencias y las tecnologías asumidas en toda su complejidad. Las instituciones universita-rias no son “divulgadoras” de ciencia y tecnología sino creadoras, conservadoras, y reproductoras de lasmismas.

El juicio de calidad sobre las instituciones de educación superior es, entonces, un diagnóstico complejosobre sus condiciones y formas de funcionamiento en tanto se proponen cumplir con sus objetivos, propó-sitos y misiones.

Que la función docente, por las razones enunciadas sea la central, no implica que ésta pueda desvincu-larse de la investigación y la extensión. En el contexto de las universidades, la docencia es articuladora delas demás funciones dado que una de sus principales responsabilidades es la de producir y certificar lacalidad de las credenciales profesionales que expide.


22

Las funciones de las instituciones universitarias y los diagnósticoscontenidos en los informes de evaluación externa

En apartados anteriores apuntábamos que los juicios acerca de la calidad de una institución no seestablecen ni como sumatoria de las calidades de sus partes ni como un juicio sintético que la califica intoto, sino que ésta es, más bien, “un diagnóstico combinado que involucra juicios particulares sobre funcio-nes, partes, productos, procesos, antecedentes históricos y proyectos institucionales que fijan objetivos ymisiones” y habíamos abundado sobre el defecto de confundir el todo con sus partes.

Esta advertencia es prudente pero, si bien avanza en el sentido de responder a la pregunta acerca de quées un juicio de calidad referido a una institución de educación superior, todavía no nos dice mucho sobre lapregunta que realmente interesa cuando se trata de hacer evaluaciones para aportar al mejoramiento de lacalidad de una institución.

Si se acepta que la calidad de una institución no es homogénea entonces es pertinente averiguar cómose distribuye la calidad al interior de la misma, o dicho de otro modo, de qué manera las distintas partes dela institución se integran y combinan para producir los resultados considerados en el diagnóstico del informefinal y, también, de qué manera procedieron los pares evaluadores para delimitar niveles de análisis, funcio-nes institucionales y unidades académicas significativas desde el punto de vista de la evaluación y, sobretodo, cuáles fueron los indicadores utilizados para observar los atributos enunciados.

Desde esta perspectiva los informes revisados manifiestan un conjunto de coincidencias y divergencias:

! Considerando las dimensiones y partes de la institución todos ellos distinguen cuatro funciones clásicasde docencia, investigación, extensión y gestión y unidades académicas variables, tales como faculta-des, departamentos, institutos, colegios asociados, etc.

! En todos los casos se perciben tensiones entre la cobertura de los informes y la profundidad de losanálisis.

! Si bien las funciones, variables, dimensiones y unidades académicas analizadas tienden a repetirse entodos los informes es llamativo que no haya homogeneidad respecto de los indicadores utilizados.

! Junto con esto es necesario tener en cuenta que las evaluaciones consideradas se han realizado encondiciones específicas que pueden describirse así:

a. Ausencia de una cultura de la evaluación reflejada en autoevaluaciones institucionales heterogéneas,no exhaustivas y realizadas con distintos grados de participación de parte de los miembros de cadainstitución.

b. Pares evaluadores con amplia experiencia en evaluación de proyectos de investigación, concursosdocentes, cátedras y estudiantes, pero escasos o nulos antecedentes en evaluación institucional.

c. Agencia evaluadora –CONEAU- en proceso de constitución y legitimación como institución a la vezque avanza en la fijación y difusión de los procedimientos de evaluación.

d. Un sistema universitario heterogéneo y en pleno proceso de expansión.

e. Escasa tradición académica en el tema de la evaluación institucional universitaria.


23

Principales núcleos temáticos desarrollados en los informes deevaluación externa

En este apartado revisaremos y definiremos los núcleos temáticos que han sido relevados como centra-les y frecuentes en la revisión de los informes de evaluación externa que sirvieron de base para el análisisrealizado en el presente documento13.

Tendremos en cuenta el principio teórico metodológico que indica que las nociones utilizadas por lasciencias sociales suelen ser –en una proporción alta- de carácter diádico y, por tanto, suponen un opuestoque completa su definición al explicitar su contenido por contraste y oposición. Las diádas relevadas debenser consideradas como polos de un continuo cada uno de los cuales tipifica idealmente situaciones purasque no coinciden puntualmente con las realidades estudiadas pero describen de manera adecuada la ten-sión existente entre ambas.

Integridad / fragmentación institucionales

Esta noción alude a la coherencia e integración de la conducta de la institución en todas sus unidadesacadémicas a través de sus acciones académicas, investigativas y de extensión y transferencia tecnológicaen relación con los estudiantes, los docentes, los funcionarios administrativos, el personal de apoyo y elcontexto social en el cual está inserta.

Su opuesto es la “fragmentación institucional” que denota situaciones donde las políticas de la institu-ción son implementadas diferencialmente en grado e intensidad por las distintas unidades académicas.

La tensión integridad / fragmentación institucionales aparece en los informes como un punto de especialimportancia. Todos los comités de pares han dado cuenta de ella y, en cada caso, han asumido el problemacomo una discontinuidad entre las políticas del rectorado, entendido como administración central, y suimpacto en las distintas facultades. Subyace la idea de que las universidades son instituciones morfológicay funcionalmente fragmentadas y asimilables mas al caso de una federación de facultades que al de uninstituto integrado.

Es importante hacer notar que no hay asociación entre el tamaño de la universidad y el grado de fragmen-tación institucional, dado que tal situación ha sido diagnosticada como debilidad con la misma intensidad enel caso de la U. N. de Luján y en el caso de la U. N. de Tucumán que, desde el punto de vista del tamaño,pueden considerarse chica y grande respectivamente.

Los indicadores más frecuentemente utilizados para observar la variable integración / fragmentacióninstitucionales están relacionados con homogeneidad que guardan entre sí las distintas unidades académi-cas desde el punto de vista de la claridad en el planteo de la misión y las metas con relación a los recursosde la institución. El grado y la intensidad con que están difundidos y asumidos al interior de la institución sumisión institucional, sus metas estratégicas y sus procedimientos académicos y administrativos.

Control de gestión / descentralización administrativa

La ausencia de normas contenidas en manuales de procedimientos administrativos, la superposición defunciones en cada una de las unidades académicas, las indefiniciones en términos de las dependenciasfuncionales entre las mismas y la falta de información periódica y homogénea sobre la aplicación de lospresupuestos, son los principales defectos indicados por la SIGEN y refrendada durante las evaluacionesexternas.

Esto ha sido interpretado por los pares como un síntoma de mal gobierno que, combinado con situacio-nes de descentralización administrativa por unidades académicas, induce a la superposición de funciones yréplica de cargos administrativos con el consecuente despilfarro de recursos.

13. Esto es las primeras 22 instituciones universitarias evaluadas por la CONEAU al mes de marzo del año 2002 y cuyos informesestán en la página web de esa institución.


24

Areas de conocimiento. Cátedra / departamento

Este punto remite a la observación general consistente en resaltar el hecho contradictorio de que entodos los casos en que existen políticas de departamentalización, o en aquel en el que la organizacióndepartamental es constitutiva (U. N. de Luján), estas colisionan con la existencia de las cátedras.

Como es sabido, las cátedras se organizan en torno a materias y, en general han sido obtenidas median-te concursos públicos de oposición y antecedentes que cristalizan la relación de los docentes respecto dela materia con cuyo programa se obtuvo el concurso.

Esta situación conspira abiertamente en contra de la departamentalización donde rige el principio funcio-nal del concurso por área de conocimientos y, consecuentemente, las materias y los docentes están orga-nizados con relación a las mismas.

La existencia de cátedras cristalizadas mediante concursos funciona entorpeciendo los intentos deintroducir cambios en los planes de estudio de las carreras que suelen ser bloqueados por las resistenciascorporativas de los supuestos afectados por las compactaciones de los programas académicos.

Planta docente. Academicismo / profesionalismo

Los criterios de evaluación de la calidad de las plantas docentes son uno de los aspectos más variablesque pueden encontrarse en los informes analizados.

La calificación académica, dedicación, regularidad y categorización como investigador se destacan comolos indicadores mas frecuentes para estimar la calidad del cuerpo docente. Aquí es necesario destacar doscuestiones: a) los criterios enunciados son aptos para apreciar la calidad de un perfil de docente universita-rio: el del docente-investigador, pero no ocurre lo mismo cuando se trata de profesores adscriptos a carrerasprofesionalistas que, como contabilidad, derecho y medicina agrupan a casi la mitad de la matricula univer-sitaria del sistema; b) los criterios indicados no son aplicados de manera homogénea en todos los puntosdel sistema de lo que resulta que un profesor titular concursado en la Patagonia sería categorizado comoJefe de Trabajos Prácticos o, a lo sumo, Profesor Adjunto en Tucumán.

Así, puede observarse una cierta sobrecategorización de los docentes/investigadores establecida concriterios no explicitados que tienden a ponderar y compensar la condición de marginalidad cultural y geográ-fica que adolecen ciertas universidades ubicadas en regiones relativamente alejadas de los centros urbanostradicionales.

Investigación. Particularismo / universalismo

Al igual que en el punto anterior, ocurre otro tanto con las categorizaciones de los profesores investiga-dores y la aprobación de los proyectos de investigación. Las categorizaciones tienden a premiar el aisla-miento y la dimensión reducida de la institución y, aunque el sistema de pares evaluadores está mejordotado de criterios generales y representatividad nacional que el de los jurados de concursos para la selec-ción de profesores, el sesgo a favor de las situaciones de marginalidad tiende a repetirse, en estos casosligados a practicas endogámicas por las cuales los investigadores son formados y promovidos por susmismos directores y profesores sin mayores contactos con programas académicos e investigativos exter-nos a la institución.

Acceso / retención de los estudiantes

La formulación clara y explícita de los requisitos de admisión está cumplida en todos los casos analiza-dos, pero se observa que ésta situación tiende a ser cambiada de año en año. El mantenimiento sostenidode políticas de admisión estudiantil acordes con la misión, metas, programas y recursos de la instituciónaparece como una debilidad generalizada en el conjunto.


25

Tampoco se observa un compromiso institucional suficiente con los estudiantes admitidos. Las variacio-nes en las políticas de admisión se reproducen en el ámbito de los servicios estudiantiles que, además deno ser constantes y homogéneos en el tiempo han sido calificados como inadecuados a las necesidadespersonales y académicas de los estudiantes. El caso paradigmático es el de la política de becas.

Extensión cultural / transferencia tecnológica

Se observa una indefinición generalizada en los temas relacionados con la función de extensión. Lasobservaciones de los pares han versado principalmente en indicar indefiniciones respecto a aquello que lainstitución considera un servicio de extensión en sentido estricto. En este rubro han sido clasificadas unconjunto de acciones y actividades que abarcan desde el mantenimiento de coros y grupos musicales hastala venta de servicios científicos y tecnológicos.

Planes de estudio. Extensión / reforma

En todos los casos se diagnosticaron situaciones en las que las autoevaluaciones institucionales detec-taron defectos de extensión en los planes de estudio de las carreras de grado, especialmente en las áreasde Ingeniería, Derecho, Ciencias Económicas, Arquitectura y Medicina.

Como consecuencia de tales diagnósticos se han puesto en marcha planes de reformas curricularestendientes a compactar los planes de estudio y concentrarlos en torno a núcleos de conocimientos básicos.La observación más frecuente de los pares se ha centrado especialmente en destacar que las reformascurriculares no son tales en tanto se limitan a cambios en los planes de estudio pero dejan de lado losaspectos relativos a la reorganización de las áreas de conocimiento, la carrera docente, las articulacionesentre la docencia y la investigación y la pertinencia laboral de los títulos expedidos.

Compartamentalización burocrática combinada con falta de capacitación y tecnificación de laadministración

Los informes registran situaciones de réplica y superposición de funciones y administrativas y de servi-cios de mantenimiento y maestranza combinadas con bajas calificaciones laborales de los ocupantes delos puestos y sistemas de promoción basados en la acumulación de antigüedad. En estas situacionescobran preponderancia los espacios dominados por el secreto burocrático en manos de funcionarios espe-cialmente posicionados y con capacidad para consolidar formas control administrativo que trascienden a lasburocracias electivas. Esta combinación entre autoridades políticas de carácter electivo y burocracias esta-bles académicas y administrativas hace de las universidades estatales un espécimen institucional que debeser estudiado a partir de sus peculiaridades.

Insuficientes instancias de debates y propuestas universitarias

Durante las visitas se reiteró la observación de que la universidad no desarrolla convocatorias a losdocentes/investigadores para participar de actividades que, en conjunto con las autoridades, busquen con-tinuar y consolidar los espacios de participación que se generaron en ocasión de la realización de lasautoevaluaciones. En algunos casos (U. N. de Tucumán) se establece en el informe de autoevaluación quela institución no prevé espacios físicos adecuados para el encuentro cotidiano de los integrantes de la plantadocente.

Escasa articulación de la institución con las demandas de la región y del país

Es uno de los temas que presenta más dificultades para su evaluación. La observación acerca de que lasuniversidades carecen de inserción consciente y planificada en su medio económico y social de influenciaestá frecuentemente indicada, pero llama la atención que en ningún caso se hace referencia a que la


26

institución esté desarrollando alguna política explícita respecto de este defecto. La queja también provienede las instancias externas a la universidad que, como funcionarios gubernamentales o profesionales cole-giados, abundaron en marcar las falencias de los egresados para encontrar inserción rápida y funcional enlos puestos de trabajo que no siempre son tan escasos como se pretende sino que, más bien, pareceninadecuados para la formación de los egresados.

En varios casos se ponderó la eficiencia de la universidad que, a través de los programas de formacióndocente ligados a la reforma educativa, está actuando adecuadamente. Sin embargo no se encuentranreferencias a la escasa participación de las universidades en sus respectivos CEPRES (Consejos Regiona-les de Planificación de la Educación Superior) que aparecen como los órganos más adecuados para ladiscusión de esta falencia.

Tampoco hay referencias a las deficiencias de la educación terciaria no universitaria en cada ámbitoprovincial y a su impacto sobre la demanda de carreras cortas y profesionalistas que las universidadestienden a satisfacer con intenciones remediales pero sin los recursos adecuados.

Observaciones generales sobre la forma y extensión de los informes deevaluación externa

Considerando los informes revisados14 con una mirada de conjunto podemos observar que existe unatensión entre la cobertura y análisis de las funciones centrales y la de las unidades académicas. Con lasalvedad de que no es una oposición entre cobertura y profundidad del análisis, en el sentido de que a mayorcobertura menor profundidad.

En todos los casos los aspectos tenidos en cuenta fueron suficientemente analizados, pudiéndoseobservar que las diferencia en las modalidades de los análisis no hacen a la profundidad de los mismos, queen todos los casos estuvieron lejos de ser superficiales, sino a los enfoques analíticos utilizados, a lasvariables relevadas y, sobre todo, a los indicadores construidos para estimarlas y medirlas.

En resumen podemos ensayar el siguiente esquema para clasificar las principales características decada tipo de evaluación, según objetivos, resultados y metodologías:

TIPO DE OBJETIVOS RESULTADOS METODOLOGIAEVALUACION BUSCADOS IMPLICADA

EVALUACIÓNPARALA ACREDITACIÓN

EVALUACIÓNPARA ELMEJORAMIENTO

14. El corpus de Informes de Evaluación Externa revisados para la elaboración del presente trabajo abarca el caso de 22instituciones universitarias, 12 estatales y 10 privadas. Los textos de los informes pueden con consultarse en la página web dela CONEAU.

Acreditar un determinado nivel decalidad de las instituciones uni-versitarias.

Dar fe pública de que la institu-ción alcanza determinados nive-les de calidad y aportar elemen-tos ciertos para planificar accio-nes de mejoramiento.

Diagnosticar un determinado es-tado de cosas a fin de que de-tectando fortalezas y debilidadesde la institución, ésta pueda pro-gramar políticas de mejoramien-to.

Dar fe pública de que la institu-ción está haciendo lo que expre-sa en su Autoevaluación Institu-cional.

Obtener una categorizaciónfundada en el rendimiento de lainstitución.

Hacer comparables las distin-tas instituciones universitariassobre la base de la consecu-ción de resultados.

Obtener un documento de diag-nóstico que aprecie la situacióngeneral de la institución.

Medición de rendimientos. Com-paración vis a vis de los distin-tos aspectos institucionalesrespecto de estándares exter-nos.

Evaluación por pares académi-cos y disciplinarios.

Diagnóstico de fortalezas y de-bilidades por triangulación demétodos, técnicas y enfoquesde evaluación.

Evaluación por comparación delogros respecto de objetivosdefinidos estatutariamente porla propia institución.

Evaluación por pares académi-cos e institucionales.


27

Esto no presupone que la evaluación para el mejoramiento de la calidad (quality enhancement) mantengauna relación de oposición excluyente con la evaluación de la calidad (quality assessment). Pero es evidenteque esta segunda tiene un sentido más emparentado con la noción de auditoria de la calidad (quality audit)que le impregna sentido judicial y contable.

El análisis de las evaluaciones externas realizadas por la CONEAU permite verificar que su orientación almejoramiento de la calidad no elimina su contenido acreditador y que el rasgo distintivo de las mismas estádado por la dominancia del mejoramiento sobre la acreditación de la calidad en una relación que puededescribirse como de “subordinación sin anulación”.

Así abordado el problema, entonces, estamos en presencia de un tipo de evaluación que enfatiza losaspectos dinámicos de la institución, dado que el mejoramiento es un proceso permanente, sobre losaspectos relativos al nivel de calidad alcanzado, que están relacionados con aspectos estáticos y logrosadquiridos institucionalmente.

Este enfoque tiene consecuencias metodológicas importantes dado que obliga al evaluador a tomar encuenta la calidad lograda por la institución en función de los esfuerzos que ésta hace por lograrla, mantener-la e incrementarla y, por ende, lo compromete con un análisis dinámico que priorice los procesos en térmi-nos de esfuerzos orgánicos orientados a la búsqueda y mantenimiento de la calidad integral del conjunto dela institución.

Si en este punto buscamos establecer una síntesis conceptualmente significativa tenemos que decir quela diferencia entre ambas modalidades se establece en un punto crítico. Este es que, en el caso de laacreditación de la calidad los parámetros para establecerla están estandarizados de antemano y fijan unnivel o piso de calidad a partir del cual la institución se puede considerar idóneamente “universitaria”.

En cambio, en el caso de la evaluación para el mejoramiento los parámetros externos operan comoestándares a ser ostentados por la institución al momento de la evaluación y como objetivos y metasmisionales, libremente elegidos y expresados estatutariamente, que son objeto de políticas y prácticasinstitucionales precisas. La búsqueda de la consecución y realización de tales fines y valores es lo quehabitualmente se entiende por “mejoramiento”. Así concebido, el mejoramiento institucional es un procesopermanentemente reactualizado que manifiesta distintos escalones o logros que son “acreditados” comoparte de un proceso que constata el esfuerzo permanente por el mejoramiento progresivo.

Los Comités de Pares Evaluadores (CPE) que actuaron en el contexto de la doctrina explicitada en eldocumento Lineamientos estuvieron correctamente inspirados en el principio de que cada institución univer-sitaria debe ser evaluada en función de sus propios objetivos, los cuales no pueden ser puestos en cuestiónporque se entiende que, al tener el status de instituciones maduras, pueden ejercer plenamente su autono-mía adoptando sus propios diseños institucionales, perfiles académicos, valores científicos y culturales,metas y objetivos. Aquí la evaluación apuntó a verificar si las universidades hacen lo que dicen y, sobre todo,a establecer diagnósticos institucionales que propicien acciones de mejoramiento buscando superar lasdebilidades institucionales a partir de las fortalezas.

En el caso que nos ocupa la CONEAU deberá, manteniéndose en el marco de aquella doctrina, auspiciarevaluaciones externas que aporten criterios acreditadores y, por tanto, incorporen estándares y metodolo-gías que estimen con la mayor justeza posible la distancia existente entre la institución real y el modeloparametrizado.

Estos tipos de evaluación condicionan la conformación de los distintos CPE.

! Cuando el propósito es la evaluación para acreditar niveles de calidad estandarizados (en el sentido dequality assessment), el CPE se diseña y selecciona ponderando que sus miembros posean capacida-des y destrezas adecuadas para aplicar estándares de calidad institucional y disciplinaria que han sidofijados externamente a la institución y los Pares establecen juicios de calidad por comparación conellos.

! Cuando el propósito es la evaluación para el mejoramiento en la búsqueda de realizar objetivos estatuta-rios (en el sentido de quality enhancement), el CPE se conforma tomando en cuenta la capacidad de sus


28

integrantes para evaluar funcionalmente a la universidad desde el punto de vista de su integridad institu-cional.

Desde una perspectiva taxonómica se puede pensar a los CPE según dos categorías polares: disciplina-res e institucionales:

! Los CPE disciplinares están integrados por pares de una misma área de conocimiento con destrezasfuncionales diferentes. Por ejemplo un CPE compuesto en su totalidad por ingenieros que a su vez seespecializan en gestión, investigación, docencia, práctica profesional e innovación de las ingenierías.Obviamente tal CPE estaría pensado para evaluar programas y/o facultades de ingeniería.

! Los CPE institucionales están integrados por especialistas en evaluación de aspectos específicos de lasuniversidades, tales como gestión, docencia, investigación y extensión, con independencia de sus espe-cialidades profesionales y académicas.

La evaluación institucional, obviamente, requiere pares de este segundo tipo y la experiencia de laCONEAU ha ido diseñando un cierto modelo de CPE que combina las especializaciones funcionales con lasdisciplinarias.

En tono de conclusión general podemos afirmar que la experiencia acumulada durante este primer lustrode evaluaciones y acreditaciones en la Argentina debe computarse como altamente positiva teniendo encuenta que, no sólo ostenta resultados que informan sobre las características del sistema y que diagnosti-can las principales fortalezas y debilidades de las instituciones universitarias consideradas una por una,sino que se está consolidando y difundiendo una “cultura de la evaluación” que anteriormente existía enestado incipiente y casi irreflexivo.

A partir de ahora se puede verificar un consenso creciente en torno a la necesidad de promover labúsqueda del mejoramiento institucional mediante el recurso sistemático de la evaluación diagnóstica y laacreditación de la calidad. En este punto es necesario tener en cuenta que se avecina el momento de tomardecisiones importantes respecto de la necesidad de profundizar y focalizar las estrategias de evaluaciónbuscando incorporar aspectos hasta ahora descuidados, como las variables de contexto y la historia de lasinstituciones universitarias leída en términos culturales, y la evaluación con profundidad de la función docen-te sobre la cual deberán trabajar cada vez más las universidades como recurso de rutina.

Análisis de los antecedentes, criterios y procedimientos ...

Documents

Transcript of Análisis de los antecedentes, criterios y procedimientos ...