96

QU PASA CON LA EVALUACIN INSTITUCIONAL?

Teresa Garca Lpez

I. INTRODUCCIN

La educacin es el elemento fundamental para el desarrollo de los pases; es por ello que las instituciones de educacin en general y las de educacin pblica superior en particular, deben estar preparadas para realizar con calidad las funciones de docencia, investigacin, difusin y extensin que les son inherentes, ya que en mayor o menor medida, stas determinan tanto su estructura orgnica - especialmente en el aspecto acadmico-, como la oferta de sus servicios. El supuesto fundamental es que tales instituciones deben dar una respuesta coherente y positiva a las demandas de su entorno social donde estn inmersas, por lo que estn obligadas a sufrir cambios y transformaciones permanentes para estar acorde con ellas.

Para lograr adaptarse a los cambios que exigen la sociedad y sus instituciones, las organizaciones educativas necesitan contar con sistemas de evaluacin que les permitan valorar permanentemente tanto los procesos acadmicos y de investigacin como sus resultados. En este sentido, creo interesante mencionar la opinin de Manuel Prez Rocha con relacin a los programas de la educacin pblica: todo programa sostenido con recursos pblicos debe ser permanentemente evaluado tanto para sustentar acciones de mejoramiento, como para dar a la sociedad debida cuenta de su operacin1.

Los antecedentes del movimiento de evaluacin de la educacin superior en Mxico, tiene sus orgenes en 1978, al crearse, por parte de la Secretara de Educacin Pblica, la Coordinacin Nacional para la Planeacin de la Educacin Superior (CONPES), instancia de concertacin en la que participan tanto representantes de las Instituciones de Educacin Superior como del Gobierno Federal2 , la cual, en noviembre de 1989 instal la Comisin Nacional de Evaluacin de la Educacin Superior (CONAEVA) organismo en el que participan de manera colegiada las autoridades gubernamentales y las de las instituciones de educacin superior, la cual fue constituida como instancia rectora de las actividades de evaluacin; sta, tiene como grandes propsitos y directrices: impulsar un proceso de evaluacin en todas las instituciones, formular lineamientos generales para dar continuidad y permanencia a este proceso, proponer criterios y estndares de calidad para las funciones y tareas de este nivel educativo, apoyar a diversas instancias responsables de la evaluacin para que la

Investigadora del Instituto de Investigaciones y Estudios Superiores de las Ciencias Administrativas de la Universidad

Veracruzana 1 Prez Rocha, Manuel. Evaluacin y autoevaluacin. Materiales de apoyo a la evaluacin educativa, nmero 27, CIEES, CONAEVA,

ANUIES, SEP. 2 Comits Interinstitucionales para la Evaluacin de la Educacin Superior, La evaluacin interinstitucional de la educacin

superior en Mxico, Mxico, CIEES, 15 de enero de 1993.

I.I.E.S.C.A. Ensayos

97

lleven a cabo mediante los mecanismos ms apropiados y proponer polticas y acciones tendientes a mejorar las condiciones actuales de la educacin superior3.

Estos organismos han realizado diversas acciones para lograr sus objetivos, a pesar de ello, su trabajo no es fcil de realizar ya que la evaluacin en las Instituciones de Educacin Superior, por lo general representa un proceso complejo de anlisis y medicin, en el que deben estar involucrados un conjunto de elementos tcnicos y humanos relacionados e interactuantes entre si, que por lo general hace difcil determinar la forma de evaluarlos. No existe una forma nica de evaluacin, ni criterios uniformes para hacerla, debido principalmente a las percepciones y los enfoques de quienes las realizan. En mi opinin, la complejidad de lo que se desea evaluar ha provocado en la mayora de los casos, apreciaciones parciales bajo diferentes perspectivas metodolgicas cuya prioridad parece ser la cantidad y no la calidad del objeto de la evaluacin.

Alexander Astin4 comenta, cinco perspectivas tradicionales para evaluar la calidad de una Institucin de Educacin Superior, las cuales rotula como: el enfoque Nihilista, la estimacin del prestigio, la ponderacin de recursos, la estimacin de resultados y la medicin del valor agregado (l pertenece a este postulado).

A cada una de ellas, el autor les atribuye problemas como por ejemplo, el enfoque Nihilista que niega la posibilidad de evaluar la calidad de la educacin ignorando la realidad de evaluaciones efectuadas a travs del juicio de los interesados en el hecho a evaluar; la estimacin del prestigio que considera que la calidad se debe evaluar considerando los recursos con los que cuenta una organizacin educativa especialmente, profesores con gran capacitacin y prestigio, estudiantes brillantes e instalaciones importantes; la estimacin de resultados, cuyos criterios se basan en la proporcin de egresados que figuran fuera del contexto educativo, sus remuneraciones y tasas de becados; la medicin del valor agregado, que pretende establecer los criterios de acuerdo con el desarrollo intelectual y personal, es decir es mejor el que agrega al estudiante mayores conocimientos, personalidad y desarrollo profesional.

En su documento, Astin seala y argumenta que es necesario incrementar el tiempo que los estudiantes dedican al estudio y suministrar buena informacin retroalimentadora a alumnos, docentes y administradores, como los elementos esenciales para mantener programas de alta calidad. Este trabajo confirma que se han dado diversidad de formas de llevar a cabo la evaluacin institucional en las Instituciones de Educacin Superior no slo de Mxico sino de otros pases como los Estados Unidos de Norteamrica.

Por lo antes expuesto, en este documento, me interesa reflexionar acerca de la evaluacin institucional de la Universidad Veracruzana por lo que inici con una pequea introduccin acerca de la importancia de la evaluacin en Mxico, para posteriormente, presentar una opinin acerca de la situacin de la evaluacin

3 Arredondo, Vctor, A dnde debe conducir la evaluacin de la educacin superior?, nm. 79, julio-septiembre de 1991,

Mxico, ANUIES. 4 Astin, Alexander W., Por qu no intentar otras formas de medir la calidad?, Traduccin de Carlos Mars de Allende,

artculo presentado en la Revista de Educacin Superior No. 78, 1991, ANUIES y reproducido por Materiales de apoyo a la Evaluacin Educativa. Nmero 4,CIEES, CONAEVA, ANUIES, SEP.

Qu pasa con la evaluacin institucional?

98

institucional en la Universidad Veracruzana y terminar con algunas conclusiones personales acerca del tema.

II. LA EVALUACIN INSTITUCIONAL EN LA UNIVERSIDAD VERACRUZANA: UNA OPININ

En el documento Consolidacin y Proyeccin en el Siglo XXI: HACIA UN PARADIGMA UNIVERSITARIO ALTERNATIVO. Propuesta de Programa de Trabajo 2001-20055 del Dr. Vctor Arredondo, Rector de la Universidad Veracruzana, una de las estrategias generales que seala es el Aseguramiento de la calidad y los resultados de los programas acadmicos que en sus prrafos descriptivos menciona:

Mxico ya cuenta con un sistema nacional de certificacin de competencias para el trabajo y de acreditacin de programas acadmicos, as como con mecanismos para acreditar competencias profesionales adquiridas de manera autodidacta o a travs del empleo. Las exigencias internacionales en materia de movilidad de profesionistas y las polticas nacionales para asegurar la calidad de la educacin superior configuran un marco de referencia del que no podemos ni debemos sustraernos, si la Universidad Veracruzana quiere contar con todos los elementos necesarios para establecer su posicin de vanguardia y alto desempeo, a fin de dotar de oportunidades a sus egresados y stos puedan laborar exitosamente tanto en nuestro pas como en el mundo. Por ello, es de la mayor importancia continuar y reforzar las acciones institucionales encaminadas a lograr:

- La acreditacin nacional de todos los programas de nivel tcnico, licenciatura y posgrado para los que existan organismos acreditadores reconocidos por el Consejo Nacional para la Acreditacin de la Educacin Superior (COPAES)6 y otras instancias de acreditacin del Gobierno Federal, incluyendo al CONACYT;

- La incorporacin en el quehacer universitario de los criterios de flexibilidad y calidad asociados al sistema de certificacin y acreditacin de competencias profesionales;

- La acreditacin internacional de los programas acadmicos de excelencia; - La acreditacin tcnica internacional de los programas de educacin a

distancia, de manera tal que estos cumplan con la normatividad establecida para autorizar su disponibilidad y uso en los sistemas globales de telecomunicacin;

- La incorporacin del componente internacional en la totalidad de los programas de estudio;

- La consolidacin del sistema institucional de evaluacin de resultados acadmicos, mediante el establecimiento de mecanismos de evaluacin

5 http://www.uv.mx 6 COPAES: Consejo para la Acreditacin de la Educacin Superior A.C.; (2001) Marco General para los Procesos de

Acreditacin de Programas Acadmicos de Nivel Superior; Mxico.

I.I.E.S.C.A. Ensayos

99

diagnstica, as como la incorporacin y generalizacin de programas de evaluacin departamental y de seguimiento de trayectorias escolares.

- La generalizacin del proceso de certificacin externa de competencia profesional de los egresados mediante los mecanismos e instrumentos aplicables, como los Exmenes Generales de Egreso de Licenciatura (EGEL) del CENEVAL;

- La acreditacin de competencias profesionales adquiridas de manera autodidacta o a travs de la experiencia laboral, en coordinacin con la SEP y el CENEVAL, y bajo los criterios establecidos por la ley correspondiente.

Este apartado del documento es muy claro al indicar a la comunidad universitaria una de las principales preocupaciones de la actual administracin del Dr. Vctor Arredondo, cuyo inters es lograr calificar a la Universidad Veracruzana como una institucin de excelencia a travs de los diversos procesos de acreditacin y certificacin nacionales e internacionales, que implican necesariamente preocuparnos por la evaluacin tanto de la institucin en general, como de las dependencias acadmicas que la conforman, de aqu, la importancia de reflexionar acerca de la situacin actual tanto de los procesos antes mencionados, como de la situacin que guardan en el tema, las dependencias que conforman la Universidad Veracruzana.

A pesar de que los procesos de autoevaluacin permiten a cada organizacin educativa preparar el terreno para ser evaluada externamente por instituciones como la SEP, la ANUIES o el CONACYT, los criterios de calificacin y los juicios que emiten dichos organismos, estn basados en procesos estandarizados que no son adaptables a todas las instituciones de educacin pblica, debido especialmente a las diferencias estructurales y a que si bien es cierto que los estndares sirven como punto de referencia, resulta un tanto injusto que los resultados obtenidos de las evaluaciones descalifiquen a los que tienen menos recursos, y califiquen a los que ms los tienen. Los criterios de evaluacin utilizados deben servir para motivar a la superacin, y no para desmotivar debido a las desigualdades, el cual es uno de los problemas que debemos afrontar y resolver como universitarios responsables de participar aportando propuestas de solucin.

Aunado a ello, en mi opinin, las calificaciones y los juicios son parciales, al centrarse nicamente en el objeto de su valoracin y no en el sistema educativo en general, dado que ste no es su objetivo; as por ejemplo, los Exmenes Generales de Egreso de Licenciatura (EGEL), evalan solamente la competencia profesional de nuestros egresados ya que ste es su objeto de valoracin.

Por otra parte, los criterios sealados por este tipo de programas, son, principalmente cuantitativos con lo que no aseguran las cualidades contextuales que pueda tener el objeto de lo que se evala. Adicionalmente, y como consecuencia de la importancia que se da a dichos programas, los dirigentes de las instituciones tienen como una de sus principales preocupaciones participar en los programas de acreditacin, dejando a un lado lo que debera ser una actividad permanente e integral: la planeacin institucional, que permitira llevarla a mejorar permanente y sistemticamente sus funciones sustantivas, motivo de su creacin.

Qu pasa con la evaluacin institucional?

100

En este sentido, he observado, que algunos de los procesos de evaluacin no consideran ni la opinin ni el sentir de la comunidad involucrada en ellos; es de pensar que sus integrantes tienen la capacidad para opinar acerca de los problemas y aspectos positivos o negativos del organismo evaluado en cualquiera de sus niveles porque los viven y los conocen. En todo caso, es deseable que los mtodos de evaluacin sean conocidos al menos por el personal que ser evaluado, antes de ponerlos en prctica, implicando el conocimiento de resultados con un efecto retroalimentador, cuestiones que parecen pasar inadvertidas en algunos casos.

En lo que se refiere a la Universidad Veracruzana, actualmente se realizan en el interior de su estructura organizativa, procesos de evaluacin que tienen finalidades particulares, tales como: la evaluacin del desarrollo del proceso de enseanza-aprendizaje en las experiencias educativas (evaluaciones de cursos), la valoracin de acadmicos y la evaluacin de los aspirantes a ingresar a nuestra mxima casa de estudios, entre otros; sin embargo, se carece de un proceso integral que evale los resultados esperados en sus funciones sustantivas: investigacin, docencia y difusin y extensin, a pesar de algunos ejercicios que se llevan a cabo anualmente por los funcionarios universitarios para determinar desde su perspectiva la situacin de la institucin.

Como un ejemplo de lo antes sealado, la Universidad Veracruzana ha desarrollado un modelo de evaluacin de los resultados de la actividad acadmica denominado Programa de Productividad del cual habr que hacerse una serie de cuestionamiento como por ejemplo: los resultados del programa han dado lugar a mejoras en los resultados del trabajo acadmico? se ha incrementado la calidad de los procesos enseanza-aprendizaje, investigacin y, difusin y extensin? los acadmicos evaluados participan en el seguimiento y evaluacin del programa?. Por otra parte, en relacin con los alumnos, el examen (EGEL) del CENEVAL es la herramienta de evaluacin usada en estos momentos para calificar la competencia profesional de los egresados, pero me hago nuevamente una serie de preguntas al respecto, el CENEVAL considera la formacin integral que pretende implantar el Nuevo Modelo Educativo de la Universidad Veracruzana? cmo se podran evaluar los elementos del Nuevo Modelo Educativo centrado en el aprendizaje? es posible evaluar el aprendizaje significativo y en particular el eje axiolgico del modelo?.

En cuanto a las funciones de investigacin, difusin, extensin (y dentro de estos vinculacin) de la Universidad Veracruzana, desconozco si existen programas de evaluacin para las mismas, a excepcin hecha del Programa de Productividad que trata de apreciarlas a travs de la evaluacin de los resultados obtenidos por los acadmicos en cada rea en particular y algunos mtodos establecidos internamente por las instituciones del rea de investigacin (Consejo Tcnico o Academias de Lneas de investigacin).

En la figura No. 1 esquematizo la forma en que visualizo la situacin actual de la evaluacin institucional en la Universidad Veracruzana cuya caracterstica es que se realiza de manera parcial sin considerar los lineamientos de carcter institucional sealados por el Rector de la Universidad Veracruzana ni los del Plan de Desarrollo de cada una de la dependencias Acadmicas.

I.I.E.S.C.A. Ensayos

101

Figura No. 1 Esquema de la situacin actual de la evaluacin institucional

en la Universidad Veracruzana

Analizando la Institucin de Educacin Superior en la que presto mis

servicios, el Instituto de Investigaciones y Estudios Superiores de las Ciencias Administrativas (I.I.E.S.C.A.U.V.), fundado hace ms de veintisis aos con el objetivo de desarrollar proyectos de investigacin y programas de posgrado en el campo de las ciencias administrativas, puedo constatar que ste cuenta con algunos procesos internos de evaluacin propios como son: el de ingreso, egreso, proyectos de investigacin, entre otros, los cuales tambin valoran aspectos parciales del trabajo acadmico, pero que contrastan con la carencia de un sistema formal de autoevaluacin institucional.

Cumplir con las polticas universitarias de prepararse para ser evaluado externamente, preocupa verdaderamente a los dirigentes del I.I.E.S.C.A., dada la incapacidad de responder, en la mayora de los casos, a los indicadores que exigen las acreditaciones y certificaciones oficiales, frecuentemente cambiantes y que parecen obedecer a criterios poco objetivos en lo general, pero que norman la conducta de quienes realizan las evaluaciones externas, por lo general organismos fuera de la universidad como el Consejo Nacional de Ciencia y Tecnologa, que impone cumplir con los criterios cuantitativos y cuantitativos

Docencia

Alumnos Maestros

Planes y Programas de

est dio

CENEVAL Productividad

Investigacin

Proyectos de investigacin

Investigadores

Conocimiento

Organismos internos

Productividad

Difusin Extensin (vinculacin)

Evaluacin interna???

Qu pasa con la evaluacin institucional?

102

sealados en su normatividad y establecidos como requisitos previos para el ingreso al Padrn Nacional de Programas de Posgrado, que tiene como objetivos: dar certidumbre a la sociedad de la existencia de posgrados de excelencia, impulsar la oferta de programas nacionales de calidad y orientar a los aspirantes en la eleccin de programas formativos rigurosos, con un alto nivel acadmico7.

El Padrn antes mencionado, resulta importante para cualquier institucin de estudios de posgrado, como el I.I.E.S.C.A.U.V., si quiere ser reconocido como institucin de excelencia por los organismos considerados como los exponentes mximos de la ciencia y la tecnologa en nuestro pas. Debo reconocer sin embargo, que en la valoracin de los mismos, el objeto central y la prioridad del Instituto se centra en el posgrado, quedando la investigacin y la difusin y extensin fuera de su alcance o slo parcialmente evaluadas.

Lo que he observado en el I.I.E.S.C.A. y pienso es recurrente en otras dependencias universitarias y en la misma Universidad Veracruzana, es la ausencia de sistemas de evaluacin integrales (que consideren las funciones sustantivas) que se desarrollen e implementen con la participacin de sus miembros. Este fenmeno da lugar a que se desconozca la situacin real de las entidades y por tanto, no se puedan tomar decisiones pertinentes acerca de sus posibilidades de desarrollo o mejora o bien, las medidas correctivas a sus problemas.

Para terminar, pienso que el problema de la evaluacin institucional, puede resumirse en los siguientes puntos:

1. La diversidad de mtodos de evaluacin disponibles. 2. La parcialidad de los factores y subfactores de valoracin externos. 3. La evaluacin concebida prioritariamente para efectuarse por

instituciones externas. 4. La ausencia de una evaluacin integral basada en el proceso de

planeacin institucional. 5. La falta de retroalimentacin a los participantes de la institucin

evaluada del proceso de evaluacin y de sus resultados. En la figura No. 2 presento una propuesta de proceso para la creacin de

un modelo de evaluacin institucional que inicie a partir del proceso de planeacin institucional y considere factores tanto exgenos como endgenos para su conformacin, creando un soporte de informacin administrativa que lo facilite.

III. CONCLUSIONES

A pesar de que los organismos que efectan la evaluacin externa de las Instituciones de Educacin Superior parecen tener un inters verdadero en el mejoramiento de la Educacin Superior en nuestro pas, hay que hacer profundas reflexiones y algunos cuestionamientos respecto a los resultados y el impacto que pueden tener las mismas en la actual perspectiva, preguntndonos por ejemplo: los procesos de certificacin y acreditacin, valoran lo que es relevante o lo que se puede evaluar? los indicadores cuantitativos de medicin ofrecen verdaderos criterios de medicin de la calidad?, llevar a cabo los procesos de certificacin 7 CONACYT. Padrn Nacional de Programas de Posgrado, versin 17 de junio del ao 2000. http://www.conacyt.mx.

I.I.E.S.C.A. Ensayos

103

y/o acreditacin asegura la excelencia de las Instituciones de Educacin Superior?, ser reconocida por los programas de acreditacin y certificacin permite el mejoramiento de las Instituciones de Educacin Superior? cul es la mejor manera para evaluar las actividades de una Institucin de Educacin Superior? los factores o variables considerados actualmente son la mejor alternativa para evaluarlas? cmo puede estar preparada una Institucin de Educacin Superior para que a travs del manejo de sistemas de informacin administrativos verdaderamente puedan ser evaluadas? podrn proponerse mejores esquemas de evaluacin que los existentes hasta ahora?.

Estoy convencida que en las Instituciones de Educacin Superior deberan existir (aunque no es sencillo) sistemas integrales de evaluacin, que valoren las funciones sustantivas que les corresponden, que sean esencialmente participativos (que permitan la intervencin de la comunidad en la que se lleven a cabo), cualitativos (que valoren la calidad del objeto a evaluar), cuantitativos (que tomen en cuenta la cantidad para los indicadores que sean medibles), permanentes (que se realicen de manera continua durante la vida de la institucin) y cuyo mtodo sistmico (concibiendo a la institucin como un sistema), considere el ambiente, el valor agregado durante el proceso de transformacin, as como los resultados generados, los cuales deben proporcionar informacin que facilite la gestin de la acreditacin y la certificacin como factores de calidad, e igual para valorar internamente los logros y deficiencias institucionales.

I.I.E.S.CA. Ensayo

104

Figura No. 2

Propuesta de proceso para la creacin de un modelo de evaluacin institucional

Definir durante el proceso de planeacin

las metas institucionales (medibles)

Crear un sistema de informacin que permita generar la informacin

necesaria acerca de los factores de medicin

Definir los criterios de medicin considerando

factores exgenos y endgenos.

Creacin del sistema de indicadores

Difundir los resultados de la

evaluacin

Definir el objeto de evaluacin

Conocer el marco de la planeacin institucional

Identificar las reas y macrovariables

Crear la metodologa de trabajo

Elaboracin del plan de evaluacin

Realizar la evaluacin

I.I.E.S.CA.

105

Tambin, estoy convencida que el proceso de planeacin debe ser el punto

de partida para que la evaluacin institucional sea exitosa, ya que del planteamiento de objetivos y metas, deberan desprenderse los criterios de medicin del trabajo acadmico los cuales, necesitaran del soporte de sistemas de informacin que permitan dar seguimiento y control de los resultados esperados, por tanto, creo necesaria la creacin e implementacin de un modelo de evaluacin institucional, que adems de los elementos exigidos por el Sistema de Evaluacin de la Educacin Superior en Mxico, considere otros elementos estructurales de la evaluacin que incorporan el aspecto participativo, as como una metodologa que incluya criterios propios orientados a la realizacin integral de los procesos evaluativos, enfatizando la mecnica de planeacin, que debe incidir en el desarrollo de los mismos.

Por ltimo, el trabajo de evaluacin institucional no es una tarea fcil ni es posible realizarla en forma individual, sin embargo; es necesario comenzar a crear las condiciones para que los participantes, incluyendo al evaluador o evaluadores, mejoren su comprensin sobre la realidad institucional. Por tanto, debe trabajarse en forma permanente y participativa, creando un sistema de informacin que retroalimente en forma continua los procesos evaluativos. No deben considerarse solamente los aspectos cuantitativos sino tambin los cualitativos de forma tal, que constituyan verdaderamente un soporte para la planeacin institucional, con el objetivo de mejorar la calidad de las funciones de la universidad en su contexto social sin olvidar que la evaluacin debe ser un proceso abierto, flexible y sobre todo perfectible.