PROGRAMA DE COOPERACIÓN CSUCA-DSE-GTZ

PARA EL MEJORAMIENTO DE LA CALIDAD UNIVERSITARIA

TALLER INTERNACIONAL DE CAPACITACIÓN DE POTENCIALES COORDINADORES DE EQUIPOS DE

PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA DEL SICEVAES

RELATORA

Teresita Peralta Monge

Ciudad de Panamá 16-21 de julio de 2001

2

INDICE

1. INTRODUCCIÓN 4 1.1. Sistema Centroamericano de Evaluación y 5 Acreditación de la Educación Superior 1.2 Fundación Alemana para el Desarrollo Internacional 7 y Agencia Alemana de Cooperación Técnica 2. DESARROLLO DEL TALLER 9 2.1 Objetivos generales 9 2.2 Objetivos específicos 9 2.3 Contenidos 10 2.4. Metodología 10 2.5 Modelo de capacitación 11 2.5.1 Primera etapa: Inducción al Taller 12 2.5.2 Segunda etapa: Construcción Teórica 13 2.5.2.1 Exposición del Dr. Jacques L’ Ecuyer 14 2.5.2.2 Exposición del Dr. Johann Gerlach 17 2.5.2.3 Exposición del Dr. Moisés Silva 19 2.5.2.4 Reacciones de los participantes a las presentaciones de los expertos 23 2.5.2.5 Instrumentos para la conducción de procesos de evaluación en 26 el contexto del SICEVAES 2.5.3 Tercera etapa: Ejercicio de evaluación externa 32 2.5.3.1 Análisis de informe de autoevaluación y organización de la visita 34 2.5.3.2 Ejecución de la visita de pares externos 34

3

2.5.3.3 Inducción sobre la elaboración y presentación del informe 37 de pares externos 2.5.3.4 Presentación de informes de las comisiones de pares externos 39 3. EVALUACIÓN DEL TALLER 40 3.1 Valoraciones por parte de los grupos 40 3.2 Valoraciones por parte de cada uno de los participantes 42 4. ORGANIZACIÓN DEL TALLER 44 4.1 Organización a nivel internacional 44 4.2 Organización a nivel local 45 4.3 Perfil de los participantes 47 4.4 Expertos 48 4.5 Facilitadores 48 4.6 Organizadores 48 5. RECOMENDACIONES PARA FUTUROS TALLERES 48 6 ANEXOS 51 6.1 Programa seguido en el Taller 51 6.2 Materiales aportados por los expertos 54 6.2.1 Dr. Moisés Silva 54 6.2.2 Dr. Johann W. Gerlach 80 6.2.3 Dr Jacques L’ Ecuyer 86

4

INTRODUCCIÓN La Secretaría Permanente del Consejo Superior Universitario Centroamericano (CSUCA), la Fundación Alemana para el Desarrollo Internacional (DSE) y la Agencia Alemana de Cooperación Técnica (GTZ) presentan a la comunidad universitaria el documento que describe y analiza la ejecución del TALLER INTERNACIONAL DE CAPACITACIÓN DE POTENCIALES COORDINADORES DE EQUIPOS DE PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA DEL SICEVAES, realizado en ciudad de Panamá del 16 al 21 de julio del 2001, como parte del Programa de Cooperación CSUCA-DSE-GTZ para el mejoramiento de la calidad universitaria. El Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES) se orienta al desarrollo de manera colectiva y solidaria de una cultura de autoevaluación y búsqueda de la calidad en las universidades centroamericanas. Este Sistema se ha ido consolidando desde sus inicios en 1995 gracias a un proceso de construcción conjunta con el concurso de los actores que participan en los diferentes niveles de acuerdo con la estructura jerárquica del sistema, razón por la que con el propósito de garantizar la continuidad del sistema así como el cumplimiento de los objetivos de los procesos de evaluación, se han realizado desde el año 1997 diferentes actividades dirigidas a la formación y capacitación de estos actores, actividades que incluyen seminarios y talleres a nivel centroamericano y a nivel nacional en cada uno de los países del istmo, cursos regionales, conferencias, visitas internacionales de estudio y pasantías en agencias de acreditación de otros ámbitos.

En el marco de los avances que se han dado en la consolidación del

SICEVAES, durante el año 2000 se iniciaron los procesos de evaluación externa y al igual que ha sucedido en las diferentes etapas del desarrollo del sistema que se han cumplido, se ha valorado que el éxito en los logros de los objetivos de los procesos evaluativos depende de la participación, la disposición, las actitudes y los conocimientos de todos los actores involucrados en estos procesos, motivo por el que en el contexto del programa de colaboración CSUCA-DSE-GTZ, se realizó el presente Taller dirigido a la capacitación de potenciales coordinadores de equipos de pares académicos para la evaluación externa en el SICEVAES, con el propósito de conformar un grupo de académicos centroamericanos con capacidad para conducir procesos de evaluación externa de programas y gestión institucional de la educación superior, que se ejecuten en una etapa posterior a los procesos de autoevaluación que se realicen en el marco del SICEVAES.

5

El presente documento pretende aportar elementos teóricos y prácticos a partir del TALLER INTERNACIONAL DE CAPACITACIÓN DE POTENCIALES COORDINADORES DE EQUIPOS DE PARES ACADÉMICOS PARA LA EVALUACIÓN EXTERNA DEL SICEVAES, para constituir un modelo de capacitación en procesos de evaluación externa que se ejecuten en el marco del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES). Con este propósito se presentan los objetivos, los contenidos, la metodología, las etapas seguidas en la capacitación, la evaluación y la organización del Taller, para contar con un modelo que facilite los procesos de capacitación en evaluación externa que se realizarán en el futuro como parte de un proceso de capacitación continua de pares externos. En la primera parte el documento se presentan las instituciones que participan en el Programa de Cooperación CSUCA-DSE-GTZ para el mejoramiento de la calidad universitaria. El segundo aparte se refiere al desarrollo del Taller, para luego incursionar en los apartes tercero y cuarto en lo referente a su evaluación y acciones para su organización, Se concluye en el quinto aparte con las recomendaciones para la realización de futuros talleres que se orienten al mismo propósito de la capacitación en evaluación externa. En los anexos se presentan el programa seguido en el Taller, la lista de los participantes y documentos sobre gestión académica y evaluación en la educación superior aportados por los expositores, los cuales ofrecen valiosos insumos para la capacitación en evaluación externa. 1.1 SISTEMA CENTROAMERICANO DE EVALUACIÓN Y ACREDITACIÓN DE

LA EDUCACIÓN SUPERIOR (SICEVAES)

MSc Francisco Alarcón El documento “Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES)” publicado por el Consejo Superior Universitario Centroamericano en 1998, define la orientación de este sistema hacia el fomento y desarrollo de manera colectiva , armónica y solidaria de una cultura de autoevaluación y búsqueda de la calidad de sus universidades. En este contexto se definen los propósitos siguientes para la acreditación de carreras: Fomentar en las universidades centroamericanas una cultura de calidad

orientada al mejoramiento de sus carreras. Lograr consenso entre las universidades centroamericanas sobre los

referentes para evaluar la calidad de carreras de educación superior.

6

Promover procesos de autoevaluación de carreras con fines de

mejoramiento y acreditación. Realizar procesos de evaluación externa por pares académicos con fines

de mejoramiento y acreditación de carreras. Promover la formulación de planes de mejoramiento para superar los

problemas, debilidades y carencias identificadas en los procesos de autoevaluación y evaluación externa de carreras.

Producir e intercambiar información que oriente y facilite el reconocimiento

y equiparación de estudios, grados y títulos universitarios entre las universidades centroamericanas.

Contribuir a la movilidad de profesionales, profesores, estudiantes e

investigadores en el contexto de la integración de los países centroamericanos.

Certificar la calidad de carreras de educación superior, para rendir cuentas

y sustentar su credibilidad. En su presentación sobre el Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior, el master Francisco Alarcón se refiere al surgimiento del SICEVAES como una herramienta para el mejoramiento de la calidad, en atención al propósito de generar una cultura de búsqueda de la calidad en las universidades del Istmo. Explica que en su proceso de construcción iniciado en el año 1995, el SICEAVES se ha consolidado en el marco del logro de sus objetivos, anotándose entre sus avances más importantes los siguientes: Una estructura organizativa en funcionamiento.

La generación de instrumentos orientadores de los procesos evaluativos

que se realizan en el marco del SICEVAES. La ejecución de procesos de autoevaluación tanto en el ámbito de la

evaluación institucional como de carreras o programas. La ejecución de procesos de evaluación externa por pares.

La conformación de un banco de pares conformado por académicos de

diferentes disciplinas y con experiencia en gestión universitaria, para la ejecución de los procesos de evaluación externa.

Conformación de una propuesta de convenio y reglamento.

7

Estructura de una página Web.

Procesos de capacitación con apoyo de agencias de cooperación

extranjeras, para formar personal especializado en evaluación y gestión universitaria para el desarrollo del SICEVAES.

Al analizar la consolidación del SICEVAES como sistema de evaluación y

acreditación, el master Alarcón considera que los procesos de autoevaluación con fines de mejoramiento que están en ejecución en diferentes universidades dan cuenta de su consolidación como sistema de evaluación. Respecto a su implementación como sistema de acreditación menciona el análisis y las acciones que se están dando en torno a la creación y estructura del Consejo Centroamericano de Acreditación (CCA) y su relación con el Consejo Superior Universitario Centroamericano (CSUCA), la participación de universidades privadas y sectores extra-universitarios en los procesos de acreditación impulsados por el CSUCA, la relación del (CCA) con otras agencias de acreditación de la región y la discusión de estándares orientadores para la valoración de la calidad en procesos evaluativos que se ejecuten con fines de acreditación.

Como perspectivas para el desarrollo del SICEVAES señala la necesidad

de mejorar, afinar y generar nuevos instrumentos orientadores de los procesos evaluativos, capacitar núcleos básicos de pares externos por áreas de conocimiento, implementar planes de mejoramiento para que las carreras e instituciones que realizan procesos de autoevaluación puedan alcanzar su acreditación.

1.2 FUNDACIÓN ALEMANA PARA EL DESARROLLO INTERNACIONAL

(DSE), AGENCIA ALEMANA DE COOPERACIÓN TÉCNICA (GTZ)

MSc Christoph Hansert El master Hansert inicia su disertación con la explicación sobre el propósito de Alemania de acompañar al SICEVAES en su desarrollo, acción a la que se han unido la Fundación Alemana para el Desarrollo Internacional (DSE), la Agencia Alemana de Cooperación Técnica (GTZ), el Servicio Alemán de Intercambio Académico (DAAD), la Conferencia de los Rectores Alemanes y el Instituto de Estudios Socio-Culturales (ISOS) de la Universidad de Kassel. Señala que la DSE utiliza los siguientes instrumentos para el desarrollo de sus funciones:

8

Conferencias internacionales y alemanas para discutir sobre política de educación y desarrollo y facilitar el intercambio de experiencias.

Seminarios en Alemania y en el extranjero destinados al perfeccionamiento del personal directivo.

Programas de perfeccionamiento profesional sistemático de instituciones

colaboradoras. Envío de expertos alemanes o extranjeros a eventos realizados bajo la

responsabilidad de instituciones colaboradoras.

La DSE cuenta con siete Centros Especializados descentralizados, una red de cuatro mil expertos, un presupuesto de cincuenta millones de dólares y en el año 2000 participaron nueve mil personas en sus programas.

El esquema siguiente presenta información sobre programas en

Centroamérica, África Oriental, Indonesia y Egipto en el contexto del proyecto LAUNCH-LEARNING FOR UNIVERSITY CHANGE

INSERTAR LÁMINA LAUNCH-LEARNING FOR

UNIVERSITY CHANGE

Como aprendizajes y logros en el proceso de cooperación con el

desarrollo del SICEVAES, el master Hansert anota:

Apoyo al SICEVAES como un proceso innovador en marcha.

Contraparte regional con alta capacidad de gestión técnica y estratégica indispensable.

Integración de equipos internacionales de facilitadores.

Inclusión de contrapartes académicas de alta calidad.

Aprendizaje de ejemplos concretos.

9

Capacidad alta de las universidades anfitrionas.

Tolerancia y reflexión.

Como áreas de cooperación CSUCA-DSE y contrapartes alemanas en el

contexto LAUNCH CA 2001-2002 señala:

Hacia sistemas de acreditación: GTZ, DAAD, Consejo Alemán de Rectores.

Gestión de calidad y planificación estratégica: GTZ, DAAD, Universidades Alemanas ( Berlín y Leipzig ).

Estudios de egresados: WZ1 ( Centro de Investigación en Educación Superior

y del Mundo del Trabajo ), DAAD. Cooperación internacional: DAAD, HRK ( Asociación de las Instituciones de

Educación Superior en Alemania). 2 DESARROLLO DEL TALLER INSERTAR FOTO DE RECTORES Y AUTORIDADES DEL CSUCA, DSE Y GTZ 2.1 OBJETIVO GENERAL Capacitar en el contexto del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), a académicos de diferentes áreas disciplinarias para la ejecución de los procesos de evaluación externa, desde la perspectiva del funcionario que actúa como par externo y desde la perspectiva del funcionario al que corresponde organizar lo concerniente a la visita que recibe una universidad como parte de su proceso de evaluación externa. 2.2 OBJETIVOS ESPECÍFICOS Analizar los principios en que se sustentan los procesos de evaluación por

pares externos. Compartir experiencias de procesos de evaluación por pares externos.

10

Dar a conocer el instrumental desarrollado por el SICEVAES para la conducción de procesos de autoevaluación, preparación de informes y evaluación por pares externos.

Diseñar y realizar un proceso didáctico de evaluación por pares externos.

Reflexionar sobre el papel y el perfil de los pares externos en los procesos de

evaluación. 2.3 CONTENIDOS

• Conceptualización, principios y metodología en autoevaluación y evaluación por pares externos.

• Perfil y funciones del par evaluador externo.

• Instrumentos para la conducción de procesos de autoevaluación y

evaluación externa por pares del SICEVAES.

• Criterios para el análisis de informes de autoevaluación y construcción de informes de evaluación externa por pares.

• Estrategias para la realización y conducción de visitas de evaluación

externa por pares. 2.4 METODOLOGÍA En atención a la necesidad de generar conocimiento sobre los procesos de evaluación externa en el contexto del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), se desarrolló este Taller, como una oportunidad de construir este conocimiento conjuntamente a partir del aporte de los expertos en evaluación y gestión universitaria que colaboraron en el Taller y de las visiones, la formación académica y las experiencias de los participantes. El logro de los objetivos propuestos para el Taller, requirió de una metodología de trabajo que promoviera la máxima participación de los asistentes, la apertura para aprender de las experiencias de los demás y la disposición para el cambio cuando este sea necesario. Con el propósito de aprender de los conocimientos y experiencias de los expertos y de contar con espacios para la construcción del conocimiento por parte de los participantes, se usaron técnicas de trabajo que requirieron de la

11

participación conjunta de todos los participantes y técnicas de trabajo por grupo, siendo estas: Conferencias por parte de los expertos con espacios para que los

participantes presenten sus preguntas y generar el análisis crítico y la discusión. Posterior a la presentación por parte de los expertos, los asistentes se integran en grupos para compartir sus aprendizajes, expectativas e inquietudes, analizar la exposición, concretar sus preguntas y aspectos sobre los que se considera necesario profundizar, para luego compartir estas con los integrantes de los otros grupos de trabajo y con los expertos en una sesión plenaria.

Trabajo en grupo dirigido al análisis, la reflexión, el intercambio de ideas y

la construcción conjunta del conocimiento. Plenarias para discusiones generales en las que los participantes

presentan sus dudas e inquietudes, para ser atendidas por los expertos y autoridades a cargo del desarrollo del SICEVAES, desarrollándose jornadas de análisis compartido.

Técnicas de visualización de Metaplan, para facilitar las discusiones,

recuperar los principales cuestionamientos de los participantes y las conclusiones de los grupos de trabajo.

Trabajo de campo por medio del cual se realizó un ejercicio de evaluación

externa de la Universidad de Panamá, basado en el proceso de autoevaluación concluido por la Universidad de Panamá en el año 2000.

Además del uso de estas técnicas de trabajo participativo, se previó que los participantes encontraran espacios para consultas y discusión con los expertos y entre ellos mismos. La flexibilidad en los ajustes al programa de acuerdo con los logros que diariamente se iban alcanzando, permitió aprovechar al máximo el tiempo y generar el mayor aprendizaje posible. 2.5 MODELO DE CAPACITACIÓN El modelo de capacitación se basa en una integración de los elementos teórico prácticos a través del estudio de la teoría en relación con los procesos de evaluación externa y la participación de los asistentes en la ejecución de un ejercicio de evaluación externa.

12

El modelo define tres etapas, las cuales atienden al proceso de capacitación de los asistentes y a su participación en las acciones a seguir en un proceso de evaluación externa. 2.5.1 Primera etapa: Inducción al Taller Esta etapa corresponde a la comunicación que previo al inicio del Taller se estableció vía correo electrónico con los participantes, para informarles sobre el programa del Taller, sus propósitos, los contenidos teóricos, la metodología, la comisión de pares académicos a la que se integrarían para efectos del ejercicio de evaluación externa que se realizaría durante el Taller y para enviarles el informe de autoevaluación con la indicación de que hicieran antes del Taller una lectura de este informe en la que identificaran:

Los aspectos más importantes a considerar durante el proceso de

evaluación externa. Las preguntas a las que se debe buscar respuesta una vez en el campo.

La información que falta para lograr una mejor comprensión de lo que se

plantea en el informe.

Por la complejidad que encierra la ejecución de un proceso de evaluación institucional y debido al análisis por factores seguido en el proceso de autoevaluación de la Universidad de Panamá, se consideró más apropiado que cada uno de los participantes participara del proceso de evaluación externa de solo uno de los factores, por lo que se definieron seis comisiones de pares. La asignación de los participantes a los grupos de trabajo se hizo con base en la formación, área disciplinaria y experiencia de cada uno de los participantes, de acuerdo con los factores siguientes:

Gestión y proyecto institucional. Recursos financieros y gestión institucional.

Docencia, estudiantes y profesores.

Investigación y postgrado.

Extensión social.

Egresados y relación con la sociedad

13

2.5.1 Segunda etapa: Construcción teórica Esta etapa corresponde al desarrollo teórico de los contenidos definidos para el Taller. Para este propósito se contó con el aporte de las conferencias y otros documentos elaborados por los expertos y a partir de estos se desarrolló teoría, análisis y discusión en relación con los principios y la metodología en los procesos de autoevaluación y evaluación externa, el perfil y las funciones del evaluador externo, los instrumentos para la ejecución de procesos de autoevaluación y evaluación externa en el marco del SICEVAES, el análisis del informe de autoevaluación, la construcción del informe de evaluación externa y las estrategias para la realización y la conducción de visitas de evaluación externa por pares. Por ser el SICEVAES un sistema en proceso de construcción y estar sujeto al mejoramiento continuo, se consideró la necesidad de que esta etapa de capacitación se desarrollara en el contexto del SICEVAES, pero se requirió además de expertos con visión y experiencias en procesos de evaluación en otros ámbitos, quienes aportaron valiosos elementos para la formación de los participantes como evaluadores externos y para el crecimiento del mismo SICEVAES. Con el propósito de complementar las presentaciones de los expertos y para una mayor eficacia en el cumplimiento de los objetivos del Taller, se solicitó a estos que en sus presentaciones además de atender los contenidos preestablecidos en el programa del Taller, hicieran énfasis en determinados aspectos solicitados a cada uno de ellos en particular, de acuerdo con el contexto en el que ejecutan sus funciones en el campo de la gestión y la evaluación universitaria, siendo así que en el conjunto de las presentaciones se abordó además:

El valor agregado que obtiene una universidad por participar en un proceso de autoevaluación y evaluación externa.

El valor de la experiencia para quienes participan como pares externos

en los procesos de evaluación externa.

Experiencias de autoevaluación y evaluación externa institucionales y de carreras o programas.

Instrumentos orientadores de los procesos de autoevaluación y

evaluación externa.

Procesos de capacitación de pares externos.

Requisitos que deben cumplir los pares externos.

14

Identificación de fuentes de información en los procesos de evaluación externa.

Estrategias para la conducción de la visita de evaluación externa.

Organización de las tareas al interior de la comisión de pares externos.

Situaciones a considerar previo a la ejecución de la visita de pares

externos y posterior a esta.

Manejo de dificultades técnicas y políticas que pueden emergen tanto en relación con la institución objeto de evaluación externa como con la agencia que ejecuta el proceso.

Elementos de la cultura organizacional a considerar en los procesos de

evaluación externa.

Los medios usados en esta etapa de construcción teórica fueron conferencias por parte de los expertos, trabajo en grupos, plenarias para discusiones generales y técnicas de visualización de Metaplan. A continuación se relata la presentación de cada uno de los expositores. Documentos aportados por estos y que ofrecen valiosos elementos para los propósitos de la capacitación ofrecida en el Taller se adjuntan en el Anexo N° 3.

2.5.2.1 Exposición del Dr. Jacques L’ Ecuyer El Dr. L’ Ecuyer aborda en su presentación aspectos referentes a los propósitos de la evaluación, actitudes de los pares, la preparación y la ejecución de la visita de los pares , los instrumentos para orientar el proceso de evaluación usados por la Comisión D’ Evaluation de L’ Ensegnement Collegial (CCE ). En relación con la pertinencia de los propósitos de la evaluación, considera la necesidad de que estos se establezcan en forma clara, en atención a las funciones que cumplen como orientadores del proceso de evaluación y del trabajo de los pares externos. Analiza como los principales propósitos de la evaluación; mejorar la calidad de la institución o programa objeto de evaluación y dar cuenta de la calidad. En cuanto al cumplimiento en el mejoramiento de la calidad, hace énfasis en la necesidad de que los procesos de autoevaluación se realicen con base en las guías que proporcionan las agencias de evaluación, para que así cuenten con elementos orientadores del proceso que les ayuden a descubrir sus fortalezas y debilidades para la toma de decisiones.

15

Respecto a la participación de los pares en el proceso para el mejoramiento de la calidad, considera L’ Ecuyer que el papel fundamental de estos es validar, completar y profundizar en el proceso de autoevaluación con el propósito de colaborar en la identificación de las fortalezas y las debilidades, pero es responsabilidad de la institución definir los medios para mejorar, agrega además que los pares pueden colaborar en este proceso, pero es la institución la que debe hacerlo. Explica que es responsabilidad de los pares externos dar cuenta de la calidad, razón por la que deben emitir un juicio para valorar la institución o programa objeto de evaluación. Este juicio debe basarse en un análisis de los criterios y los estándares para la valoración de la calidad previamente conocidos y aceptados y el análisis debe considerar además la misión y los objetivos de la institución o programa. En relación con las actitudes de los pares, agrega el Dr. L’ Ecuyer que estas cuentan mucho en el éxito del proceso de evaluación, razón por la que los pares deben mantener: Respeto por la institución; su misión, sus objetivos, sus características y

su cultura. Esto por cuanto la evaluación no tiene como propósito uniformar instituciones o programas y tampoco debe hacer comparaciones entre instituciones, ni con la institución de la que proviene el par externo.

Respeto por el personal de la institución de manera que la visita se

desarrolle en un clima de confianza. Deseo de comprender antes de juzgar lo que amerita basar sus juicios en

una comprensión clara de la situación a partir de un análisis cuidadoso del informe de autoevaluación, de la consulta a los documentos disponibles y de las preguntas que contribuyan a esclarecer los puntos oscuros.

Rigor en el trabajo lo que exige realizar una comparación tan exacta

como sea posible de la situación de la institución o programa contra los referentes para la valoración de la calidad previamente establecidos.

Discreción y distancia por lo que la comunicación entre los pares y la

institución debe ser franca y abierta, basada en la confidencialidad por parte de los pares y en la no intervención en la gestión de la institución, por cuanto estos no cumplen la función de consultores.

Objetividad lo que exige una actitud crítica de parte de los pares para no

dejarse influenciar por rumores o testimonios que no pueden verificar.

Al referirse a la preparación y ejecución de la visita, el Dr L’ Ecuyer explica que el informe de autoevaluación debe ser recibido por los pares unas semanas antes de la visita junto con las informaciones adicionales que sean necesarias,

16

para que estos lo analicen previo a la visita. El análisis se debe hacer con base en la guía y los estándares de la agencia y debe dirigirse a:

El proceso de autoevaluación en relación con su rigurosidad,

participación y amplitud.

La autoevaluación misma en cuanto a la respuesta de la institución a los criterios de la agencia, la rigurosidad en los análisis y las bases para la emisión de los criterios.

La visita inicia con una reunión de los pares para discutir sobre su desarrollo, asignar responsabilidades y hacer los ajustes necesarios. Luego en un intercambio en el que insiste el Dr L’ Ecuyer debe ser dirigido por pares profesionales y no por inspectores encargados de sancionar, se reunen con las autoridades de la institución, decanos, profesores, estudiantes y otro personal con el que amerite hacerlo. Entre estas reuniones se deben dar espacios de tiempo para que los pares consulten documentos, discutan entre ellos y hagan los ajustes necesarios al desarrollo de la visita. Respecto a las tareas de los pares al terminar la visita, el Dr. L’ Ecuyer señala en sus conclusiones que estos deben: Pronunciarse sobre los criterios planteados en la guía de la agencia.

Identificar fortalezas y debilidades.

Emitir un criterio sobre la calidad general de la institución o programa.

Para los objetivos de este Taller es importante retomar lo expuesto por el Dr. L’ Ecuyer en cuanto a la utilidad de los instrumentos de análisis desarrollados por la Comisión D’ Evaluation de L’ Ensegnement Collegial (CCE ), los cuales tienen el propósito de : Indicar a los pares los puntos que deben examinar.

Las cuestiones sobre las que la CCE requiere de su opinión.

Los aspectos en los que es necesario profundizar.

De acuerdo con su experiencia, el Dr. L’ Ecuyer analiza las siguientes

ventajas de estos instrumentos:

Aseguran la lectura cuidadosa del informe por parte de los pares en el contexto de la guía de autoevaluación de la CEEC y de sus criterios para la valoración de la calidad.

17

Permiten la identificación de los puntos a profundizar, de las fortalezas y debilidades en el contexto de los criterios de la CEEC.

Facilitan la preparación de la visita.

Entre estos instrumentos el Dr. L’ Ecuyer destaca el cuaderno de la visita el

cual contiene información relacionada con: la visita y la institución, los documentos disponibles, la opinión de los pares sobre cada cuestión planteada en el instrumento de análisis, una serie de preguntas y cuestiones en las que es necesario profundizar y las indicaciones sobre las fuentes de información. 2.5.2.2 Exposición del Dr. Johann Gerlach El Dr. Gerlach orienta su presentación al análisis del desarrollo y tendencias de la evaluación en la educación en Europa y anota que los primeros en este desarrollo son los Países Bajos y Gran Bretaña.

Al explicar sobre el desarrollo de la evaluación en la educación superior en Alemania, menciona que en este país la evaluación se realiza en forma voluntaria y bajo la responsabilidad de la misma universidad, sin embargo el proceso se coordina políticamente con el Estado y sus órganos de inspección. Agrega además que agencias independientes del Estado ofrecen servicios para organizar el proceso de evaluación.

Respecto a las razones por las que se realizan estos procesos de evaluación en las universidades alemanas, señala que estas responden principalmente a: Las exigencias políticas que demandan la rendición de cuentas sobre el uso

de los recursos financieros y de los resultados logrados. La competencia entre las universidades por estudiantes, profesores e

ingresos financieros adicionales. La necesidad de obtener certificaciones de calidad para el reconocimiento

regional.

Agrega que en Alemania predomina la evaluación de programas académicos y pocas veces se realiza la evaluación de universidades, en este sentido recomienda hacer esta última en el caso de existencia de problemas y cambios institucionales.

En cuanto a los procesos de evaluación para el logro en el mejoramiento de la calidad, recomienda el Dr. Gerlach que estos deben ser duraderos, transparentes y de amplia participación. Respecto al análisis de la información considera el uso de los datos cuantitativos en atención a su valor indicativo, pero

18

insiste en que para llegar a dictámenes definitivos en relación con la calidad es necesario contar con ponderaciones y estimaciones que permitan profundizar más en el análisis.

Enfatiza en la necesidad de realizar evaluaciones que respondan al

propósito del mejoramiento sistemático de la calidad, propósito que requiere de un proceso de autoevaluación que se ejecute con franqueza y capacidad de autocrítica y tenga como consecuencia la planificación para el mejoramiento de la calidad. Considera que el cumplimiento de los estándares ideales para valorar la calidad debe analizarse en el contexto de los propósitos y en la capacidad de la institución para desarrollarlos. En relación con la estructura de los informes de evaluación, analiza que estos deben centrarse en la valoración más que en la descripción, para contar de esta manera con elementos que faciliten el logro del propósito del mejoramiento. Al referirse al proceso de evaluación externa el Dr. Gerlach explica que en Alemania el propósito de este no es validar un proceso de evaluación interna, sino que es parte de un procedimiento en el que en una primera etapa se realiza la evaluación interna la cual consiste principalmente en un aporte de información. Menciona que al igual que ocurre en el SICEVAES, en Europa la designación de los pares para el proceso de evaluación externa es honorífica, excepto en Gran Bretaña en donde estos se desempeñan por puestos de carrera. En Alemania los pares no son jueces sino asesores que revisan y complementan la evaluación interna, estos deben ser independientes y de reconocida competencia y entre ellos debe haber un profesional independiente del campo académico. Considera que los pares deben tener una alta capacidad profesional y que es tarea de estos analizar el informe de la evaluación interna en relación con su coherencia, veracidad, relación entre exigencias y realidad y problemas estructurales principales. Por último, el Dr. Gerlach define las etapas siguientes del proceso evaluativo: Preparación por medio del informe sobre la evaluación interna.

Consulta de los “pares” con la “agencia”.

Posible visita previa (2 días con CRE).

Visita principal (3 días con CRE, en otros casos, 2-3 días).

19

Informe oral provisional al final de la visita. Informe escrito provisional (posibilidad para hacer correcciones objetivas).

Informe final con recomendaciones (10-20 páginas con CRE, en otros

casos, hasta 50 páginas). Toma de posición formal por parte de la universidad evaluada.

Publicación del informe final y de la toma de posición formal

2.5.2.3 Exposición del Dr. Moisés Silva En su exposición el Dr. Moisés Silva incursiona en los campos de la gestión académica, la evaluación y la acreditación para luego abordar el proceso de evaluación externa, el que contextualiza en las funciones de la gestión universitaria, los sistemas para el aseguramiento de la calidad y los procesos de autoevaluación institucional. Inicia su disertación a partir del concepto de evaluación como una herramienta para la gestión universitaria por cuanto permite fijar objetivos, auscultar la organización y su entorno, confeccionar planes y programas, proveer y organizar los recursos, asignar y capacitar personal, conducir procesos, tomar decisiones y verificar acciones y resultados. Considera que la evaluación institucional se traduce a lo interno en los procesos de planificación, presupuesto y cambio y a lo externo en una garantía para los usuarios, de manera que se evalúa con el propósito de mejorar y aportar información a los usuarios. Como medios para la evaluación señala los procesos de auditoría, uso de indicadores de desempeño, supervisión, aplicación de exámenes, autoevaluación y evaluación externa. En cuanto a la acreditación considera que esta representa una garantía de que una institución tiene propósitos definidos y los recursos adecuados para su logro, demuestra que está alcanzando estos propósitos y que satisface ciertas pautas de calidad además de que provee evidencias de que continuará en dicho camino. Define la autoevaluación como un proceso periódico de investigación de la situación, procesos y resultados de una institución, de carácter estratégico, prospectivo y orientado al cambio, organizado y conducido por la propia institución con la participación de los actores pertinentes; que se lleva a cabo con el propósito primario de mejorar y/o enfrentar un proceso de acreditación o de

20

validación externa, a la luz de la misión y los objetivos de la institución y de ciertos referentes de calidad. Caracteriza la evaluación externa como el proceso de análisis y examen de una institución, efectuado por pares académicos y expertos independientes y externos, a la luz de un informe de autoevaluación y de la información obtenida en una o más visitas en terreno, en el marco de la misión y objetivos institucionales y de ciertos referentes previamente establecidos. En el esquema siguiente titulado “ hitos en una autoevaluación “ , el Dr. Silva relaciona las acciones entre los procesos de autoevaluación y evaluación externa. INSERTAR DIAPOSITIVA N° 16 DE PRESENTACIÓN DEL Dr. SILVA DEL DÍA MARTES Luego de analizar las relaciones entre los procesos de autoevaluación y evaluación externa, el Dr. Silva incursiona en el perfil ideal del evaluador externo. Hace énfasis en su definición de un perfil ideal porque considera que es difícil que alguien cumpla con todas las cualidades, pero que el establecimiento de referentes y metas ayuda a mejorar el desempeño de los pares, los cuales deben cumplir con las características siguientes:

Compromiso con el aseguramiento de la calidad en la educación superior.

Habilidad para conducir reuniones y trabajo en grupos.

Experiencia en gestión educativa.

Adhesión a las pautas del organismo acreditador.

Habilidad para emitir juicios apropiados en contextos diferentes.

Buena comunicación oral y escrita

Capacidad de análisis.

Inquisitivo.

Buen criterio.

Credibilidad personal.

21

Respecto a las funciones de la comisión de pares evaluadores explica que corresponde a esta analizar el informe de autoevaluación y otros documentos que sean pertinentes al proceso, realizar una o más visitas en terreno y elaborar el informe de evaluación externa. Esta comisión debe contar con un presidente y un secretario; las funciones del presidente son coordinar tareas, ser la voz oficial de la comisión, responder por el informe y atender conflictos. Al secretario le corresponde levantar actas y facilitar las gestiones con el organismo acreditador. En relación con el proceso de análisis que realiza la comisión de pares, el Dr. Silva explica que este debe basarse en los referentes establecidos, la misión y los objetivos institucionales y el informe de autoevaluación. De acuerdo con su experiencia en evaluación y gestión universitaria, considera que el uso de los referentes para la valoración de la calidad es de gran utilidad para la organización de la información. En cuanto a las áreas y aspectos usuales a considerar en la evaluación menciona:

El proyecto de desarrollo y la gestión institucional.

Las funciones y niveles de trabajo.

La vinculación al medio.

El cuerpo de profesores.

Los recursos académicos, financieros y de infraestructura.

Los sistemas de autorregulación de la calidad.

Al explicar sobre el análisis de los referentes para la valoración de la calidad durante el proceso de evaluación externa, considera necesario valorar si la institución ha establecido en forma clara su proyecto, su misión y sus objetivos, los cuales deben ser coherentes con sus recursos y con las necesidades de sus usuarios. Señala además que se debe valorar si el currículo permite al estudiante aprender conocimientos avanzados y manejar técnicas básicas de investigación propias de la disciplina y de la profesión. Entre los indicadores a utilizar por los pares para analizar el cumplimiento de los referentes para la valoración de la calidad recomienda: Documentos públicos.

Análisis de demanda.

Estudios de satisfacción.

22

Revisión de tesis y publicaciones. Disponibilidad y uso de información.

Programas en ejecución.

Disponibilidad de recursos.

Existencia y utilización de equipo.

Al incursionar en el análisis del informe de autoevaluación, el Dr. Silva hace

énfasis en la conveniencia de que en su estructura se incluyan los apartes siguientes:

Introducción.

Proceso evaluativo.

Descripción y evaluación según referentes y áreas.

Visión global integradora.

Directriz de cambios.

Anexos.

Como factores que pueden afectar el éxito en el cumplimiento de los objetivos del proceso de autoevaluación menciona:

Ausencia de capacitación en evaluación.

Escasa cultura evaluativa.

Poca participación.

Precario sistema de información.

Falta de liderazgo y compromiso.

Fantasmas del pasado por procesos de evaluación no exitosos.

En relación con el cumplimiento de las funciones de los pares enfatiza que estos además deben tener criterio para detectar lo que el Dr. Silva nombra como “perversidades” que pueden reflejarse en el informe de autoevaluación como pueden ser: Nivel descriptivo más que evaluativo.

23

Actitud defensiva.

Informe en el que todo vale igual.

Insuficiente consideración de usuarios.

Énfasis en los recursos.

Autocomplacencia.

En relación con la visita de pares, el Dr. Silva distingue cuatro momentos. Elaboración del programa.

Preparación de la visita.

Desarrollo de la visita.

Informe oral al cierre de la visita.

Por último el Dr. Silva incursiona en la preparación de la visita de pares y analiza cuales son las acciones que deben realizar los pares externos y cuales corresponden a la institución que es evaluada. Para los pares señala priorizar áreas criticas, afinar el programa, identificar fuentes de información y asignar tareas internas. Considera que a la institución le corresponde atender aspectos logísticos, asuntos de comunicación interna, enviar documentos a los pares y preparar los que sean necesarios para la visita en terreno, facilitar las adaptaciones que se hagan al programa y el desarrollo de este, así como asegurar la disponibilidad del personal y el funcionamiento pleno de la institución. 2.5.2.4 Reacciones de los participantes a las presentaciones de los expertos Después de escuchar las conferencias de los expertos, los participantes se integraron en grupos de trabajo para socializar sus aprendizajes, inquietudes, interrogantes, recomendaciones, las que serían discutidas en una sesión plenaria. El análisis de los aportes de los expertos motivó en los participantes la discusión, el análisis y la reflexión conjunta en torno a los procesos evaluativos que se realizan en sus universidades y al desarrollo del SICEVAES. Razón por la que durante la sesión plenaria posterior al trabajo de los grupos se presentaron dudas e inquietudes que es necesario considerar en el proceso de consolidación del SICEVAES como sistema de evaluación y acreditación, por cuanto

24

constituyen aspectos a considerar e interrogantes que se visualizan en torno al sistema, siendo los principales: ¿Cómo puede el Comité de Coordinación Regional garantizar la idoneidad

de los pares que seleccione? ¿Cómo garantizar la coordinación entre las Unidades Técnicas de

Evaluación? ¿Cuál es el beneficio de realizar una autoevaluación institucional previa a la

autoevaluación por programas? ¿Cómo garantizar la validez y rigurosidad de la investigación realizada por

los pares? ¿Cómo va a evaluar el SICEVAES el conocimiento de su modelo por parte

de los pares? ¿Cómo asegurar la calidad del informe de autoevaluación?

¿Se ha previsto de parte del CSUCA un programa de formación de pares?

¿Cómo asegurar que los pares dominen la metodología del proceso de

evaluación externa? ¿Cómo asegurar que el coordinador de los pares cumpla con sus

responsabilidades? ¿Está previsto algún reconocimiento de honorarios para los pares una vez

que se constituya el Comité Centroamericano de Acreditación? ¿Se pronunciará la Secretaría Permanente del CSUCA acerca de los

informes de evaluación externa? ¿Cómo promover en las universidades los procesos de acreditación por

medio del SICEVAES? ¿Cuál es el período más oportuno para la visita de los pares?

¿Quién valora la calidad de los informes de evaluación externa?

¿Qué pasa si una institución no participa de los procesos de

autoevaluación? ¿Por qué la visita de los pares es de solo tres días y participan solamente

tres personas?

25

INSERTAR FOTO DE PIZARRA Los expertos aportaron las siguientes respuestas y comentarios a los planteamientos presentados: En relación con los incentivos para la ejecución de procesos de evaluación: Para desarrollar la evaluación no es necesario dar premios y es

responsabilidad de los funcionarios de las universidades buscar el máximo mejoramiento. Además las universidades requieren de los procesos de autoevaluación para certificar la calidad.

Los incentivos a las instituciones para que realicen la autoevaluación

dependen de la cultura de la calidad pero independientemente de esta puede incentivarse la inserción a nivel internacional de la institución. Además en el caso de la acreditación de programas esta puede ser un antecedente para el reconocimiento de títulos. Como incentivos locales puede darse la asignación de becas o fondos especiales para investigación.

La evaluación por programas es un requisito para la acreditación de

carreras y en esta se involucran más los profesores por estar en relación más directa con el servicio básico de la universidad que es la docencia.

En torno a la preocupación sobre la ejecución de procesos de evaluación externa en el contexto del SICEVAES:

La apropiación del modelo del SICEVAES por parte de los pares, depende

en mucho de la inducción que al respecto haga la persona que dirige la visita.

En la reunión previa a la visita de pares se pueden hacer acciones para la

contextualización de estos en el modelo del SICEVAES.

Respecto al informe de los pares: Se recomienda que este debe ser claro en sus percepciones.

Para asegurar la calidad de los informes de los pares se requiere de un

organismo que vele por esta, lo cual implica desarrollar procesos de formación de pares en el contexto del SICEVAES.

26

Antes de irse de la universidad, el coordinador de la comisión de pares debe asegurarse de que se haya hecho un borrador del informe.

En cuanto a la duración de la visita, de parte de los expertos se aclara que es difícil hacer la visita para la evaluación externa en tres días, pero en aspectos macros si es posible hacerla.

INSERTAR FOTO DE LA SESIÓN PLENARIA 2.5.2.5 Instrumentos para la conducción de procesos de evaluación en el contexto del SICEVAES. En atención al propósito del Taller de formar académicos de las universidades de la región para la ejecución de procesos de evaluación externa en el marco del Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior (SICEVAES), se realizó la presentación de los instrumentos creados por el Sistema para la conducción de procesos evaluativos. En una primera instancia, la master Vielka de Escobar y el Dr. Gilberto Alfaro explicaron sobre el documento básico titulado Sistema Centroamericano de Evaluación y Acreditación de la Educación Superior, editado en el año 1998. En este documento su autor el master Francisco Alarcón Alba presenta lo definido hasta esa fecha en cuanto a los objetivos, la naturaleza y estructura organizativa del Sistema, sus fuentes de financiamiento y las etapas de su desarrollo. La visualización del proceso que se perfila en este documento y sus aportes en cuanto a los lineamientos y procedimientos que se definen, hacen que este se haya constituido en un instrumento orientador del desarrollo del SICEVAES. Como instrumentos orientadores de los procesos de evaluación que desarrollan las universidades centroamericanas en el marco del SICEVAES, se presentaron: Guía de autoevaluación institucional, publicada en 1998.

Guía para la autoevaluación de programas académicos en la Educación

Superior, publicada en 1998. Guía para la evaluación externa por pares académicos, publicada en 2001.

Como instrumentos en proceso para su publicación, los profesores Escobar

y Alfaro se refirieron a:

Guía para la preparación del informe de autoevaluación.

27

Estándares para la valoración de la calidad en la evaluación institucional y de carreras.

Guía para la acreditación de carreras.

Código de ética de los pares externos.

Guías para la valoración de informes en relación con el proceso de

evaluación externa. Debido a que el propósito principal de este Taller es la capacitación de los participantes en procesos de evaluación externa específicamente en el contexto del SICEVAES, se hizo énfasis en la presentación de la Guía para la evaluación externa por pares académicos, la que estuvo a cargo de la autora de esta guía, master Teresita Peralta Monge. La presentación parte del concepto de evaluación externa asumido por el SICEVAES como valoración que hace un equipo de académicos llamados pares externos de la calidad de una carrera o institución, a partir del proceso de autoevaluación que esta ha realizado previamente. La valoración de la calidad la realizan los pares de acuerdo con los referentes definidos por el SICEVAES para este propósito y el cumplimiento de estos referentes debe analizarse en el contexto de la misión, los fines y los propósitos de la institución que es evaluada. La master Peralta explica sobre los siguientes propósitos de la evaluación que realizan los pares externos en el contexto del SICEVAES : Valorar el diseño metodológico del proceso de autoevaluación.

Valorar los resultados de la autoevaluación.

Completar y valorar información adicional que se requiera.

Colaborar con la identificación de problemas y soluciones.

Aportar recomendaciones.

Valorar el otorgamiento de la acreditación.

Para evaluar el diseño metodológico del proceso de autoevaluación, en el

modelo del SICEVAES, se solicita a los pares valorar si el proceso de autoevaluación seguido atiende a: la caracterización que hace este sistema del proceso autoevaluación, las condiciones básicas que se definen para que una institución pueda ejecutar estos procesos en coordinación con el SICEVAES y el diseño metodológico definido por la misma institución de acuerdo con su propia individualidad.

28

Respecto al análisis de la ejecución del proceso de autoevaluación en el marco del SICEVAES, en la Guía para la evaluación externa por pares académicos se recomienda a los pares analizar si el proceso ha sido:

Voluntario por ser la misma institución educativa la que toma la decisión de

ejecutar el proceso de autoevaluación. Participativo por involucrar a los diferentes actores como lo son las

autoridades, los docentes, los estudiantes y los administrativos en el proceso de análisis y reflexión..

Reflexivo por analizar su propio quehacer mediante un proceso

participativo de análisis. Endógeno por realizar el análisis y la reflexión a partir de la misión, los

fines y los principios de cada universidad y de las diferencias institucionales.

Confiable por la rigurosidad en el uso de la información cualitativa y

cuantitativa como base para la evaluación de acuerdo con el objeto de estudio.

Evaluativo por trascender el nivel descriptivo de la información y emitir

juicios valorativos. Flexible por permitir ajustes durante el proceso de autoevaluación.

Integral por considerar los factores y las relaciones que se dan entre estos,

a partir de las percepciones de los diferentes actores. Continuo por propiciar un proceso de mejoramiento permanente.

Autorregulador por asumir acciones de mejoramiento por parte de la

misma carrera o institución autoevaluada.

Respecto a las condiciones básicas que se definen para que una institución pueda ejecutar estos procesos en coordinación con el SICEVAES se anotan: Participación voluntaria.

Compromiso de las autoridades universitarias.

Viabilidad técnica, económica y política.

Claridad de metas.

Sensibilización y capacitación de la comunidad universitaria.

29

Generación de un clima de confianza.

Existencia de una estructura organizativa que garantice el desarrollo de la

autoevaluación. Existencia de sistemas de información institucional.

En cuanto al diseño metodológico del proceso de autoevaluación definido

por la misma institución, carrera o programa que se ha autoevaluado, es función de los pares externos analizar sus: Propósitos.

Metodología.

Fuentes de información.

Actividades.

Estrategias de análisis de la información.

Cronograma.

La valoración de los resultados en el proceso de evaluación externa la

concreta el SICEVAES al análisis de:

La coherencia de los resultados de la autoevaluación con lo observado durante la visita.

El cumplimiento de los referentes para la valoración de la calidad ( criterios,

indicadores, estándares en el marco de los fines, los principios y la misión institucional).

Los principales problemas en el contexto de las fortalezas y oportunidades

de desarrollo. La concreción de un plan de mejoramiento, su coherencia con los

resultados y su viabilidad.

Después de explicar sobre el componente técnico del proceso de evaluación externa, la master Peralta incursiona en aspectos organizacionales del proceso de evaluación externa y las etapas que se cumplen en su ejecución, siendo estas la organización de la visita de los pares externos, la ejecución de la visita, la elaboración del informe de autoevaluación y la presentación de este informe.

30

Respecto a la organización de la visita, el SICEVAES diferencia las acciones que corresponde realizar a la misma universidad que es objeto de evaluación, a la Secretaría Permanente del CSUCA, al Comité de Coordinación Regional, a la Comisión Técnica de Evaluación y a los pares externos.

Corresponde a la universidad:

Elaborar el informe de autoevaluación. Validar el informe de autoevaluación a lo interno de la institución.

Presentar el informe de autoevaluación a las autoridades institucionales.

Coordinar detalles de la visita, fechas y agenda.

Elaborar el programa de la visita.

Enviar el informe de autoevaluación a los pares externos y a la Secretaría

Permanente del CSUCA. Asegurar el presupuesto requerido.

Preparar a los actores involucrados en el proceso.

Organizar lo relacionado con el apoyo logístico.

Asegurar las condiciones para el cumplimiento de la agenda.

Preparar la información y los documentos necesarios.

Corresponde al Comité de Coordinación Regional (CCR):

Nombrar a los pares externos.

Designar al miembro de la Comisión Técnica de Evaluación (CTE) que participará en la visita.

Programar la fecha de la visita en coordinación con la universidad.

Corresponde a la Secretaría Permanente del CSUCA:

Enviar a los pares los instructivos en relación con la ejecución del proceso de evaluación externa.

Coordinar lo relativo a la fecha de la visita con la universidad y con los

pares externos.

31

Coordinar con la universidad las acciones de preparación de la visita.

Corresponde al miembro de la Comisión Técnica de Evaluación (CTE):

Facilitar y apoyar la ejecución de la visita.

Establecer comunicación con los pares previo a la ejecución de la visita. Solicitar a la universidad información adicional pertinente.

Corresponde a los pares externos: Valorar el informe de autoevaluación.

Coordinar con el miembro de la Comisión Técnica de Evaluación (CTE) y

con los otros pares lo relacionado con la visita. Solicitar a la Universidad la información pertinente ( por medio del miembro

de la CTE ).

Respecto a la organización de la comisión de pares externos para la ejecución de la visita, señala la master Peralta que el SICEVAES prevé la ejecución de las siguientes acciones por parte de esta comisión:

Reunión previa a la visita.

Designación del presidente de la comisión.

Reuniones con el rector, vicerrectores, otras autoridades universitarias

involucradas con el proceso, la comisión de autoevaluación, docentes, estudiantes, administrativos y egresados.

Visitas a las instalaciones.

Análisis de documentos.

Presentación oral del informe.

La master Peralta analiza las características del informe de evaluación

externa consideradas por el SICEVAES y explica que este debe ser conciso, analítico, valorativo y preciso en su valoración de la calidad, además de que debe analizar la ejecución de la visita, valorar la gestión del proceso de autoevaluación, sus resultados y las acciones para el mejoramiento planteadas y fundamentar su recomendación sobre el otorgamiento o no de la acreditación.

32

Para finalizar la master Peralta explica en relación con la estructura del informe de evaluación externa, el cual en el contexto del SICEVAES se recomienda que debe contener al menos los apartes siguientes:

Introducción Objetivo del informe. Composición de la comisión. Plan de trabajo seguido. Presentación de la estructura del informe.

Valoración del proceso de autoevaluación. Toma de decisiones sobre la autoevaluación. Constitución de la comisión de autoevaluación. Diseño metodológico. Realización del proceso. Redacción del informe de autoevaluación.

Valoración de los resultados Valoración de la coherencia de lo estipulado en el informe de

autoevaluación y la realidad observada durante la visita. Valoración de la calidad de la carrera o institución que se ha autoevaluado,

de acuerdo con los referentes para la valoración de la calidad definidos por el SICEVAES en el contexto de los fines, los principios y la misión de la institución visitada.

Valoración de las acciones para el mejoramiento Coherencia con los problemas que señalan los resultados. Viabilidad. Principales fortalezas y debilidades. Conclusiones y recomendaciones para el desarrollo de la institución carrera

autoevaluada. 2.5.2 Tercera etapa: Ejercicio de evaluación externa Esta etapa corresponde a la ejecución del ejercicio de evaluación externa. En el caso del presente Taller se realizó la evaluación externa de la Universidad de Panamá, con base en el proceso de autoevaluación concluido por esta Universidad en el año 2000.

33

Al inicio de esta etapa los participantes se integraron en grupos y cada grupo se constituyó en una comisión de pares para ejecutar el ejercicio de evaluación externa del factor que le correspondía, de acuerdo con la integración del análisis por factores que hizo la Universidad de Panamá en su informe de autoevaluación. El ejercicio de evaluación externa realizado por cada comisión de pares atendió las tareas propias de un proceso de autoevaluación, siendo estas análisis del informe de autoevaluación, organización de la visita de pares externos, ejecución de la visita y elaboración del informe de pares externos. Los medios usados en esta etapa fueron trabajo en grupos, sesiones plenarias y trabajo de campo. El trabajo de las comisiones de pares se basó en el principio de confianza en el trabajo de sus integrantes, por ser estos académicos que atenderían a la ética en el trabajo de un par externo. Para efectos de su organización interna, cada comisión nombró un presidente y un secretario, al presidente correspondería conducir la visita de evaluación externa y presentar el informe de pares externos y al secretario llevar los registros de las reuniones y entrevistas. La Universidad de Panamá designó para cada comisión un “enlace institucional” que sería la persona encargada de ejercer la coordinación entre cada comisión y la Universidad, para facilitar la ejecución de la visita y atender detalles de las tareas concernientes a la Universidad para la viabilidad de la visita como: convocatoria de los entrevistados, preparación de la documentación solicitada por la comisión de pares, preparación de salas donde realizar las entrevistas y las reuniones de trabajo de los pares y designar las personas que guiarían a los pares en su visita. Las personas nombradas como “enlaces institucionales” formaban parte de la comisión que condujo el proceso de autoevaluación de la Universidad y durante el ejercicio de evaluación externa desempeñaron las funciones que corresponden a la comisión de autoevaluación en la organización de la visita de pares. Los expertos y organizadores del Taller se integraron a cada una de las comisiones de pares para facilitar su trabajo y asesorarlas. De esta manera en el proceso de construcción conjunta entre los integrantes de cada una de las comisiones para el cumplimiento de las tareas de análisis del informe, organización y ejecución de la visita y elaboración del informe de pares, además del bagaje de los conocimientos en evaluación externa analizados durante las conferencias plenarias, se contó con el acompañamiento de los facilitadores, quienes orientaron y atendieron consultas en relación con aspectos básicos abordados en el trabajo de las comisiones de pares .

34

2.5.3.1 Análisis del informe de autoevaluación y organización de la visita El trabajo de la comisiones de pares para analizar el informe de autoevaluación y organizar su visita a la institución requirió del análisis y valoración de: Propósito de la evaluación externa que ejecutarían.

Organización de la comisión de pares externos.

Distribución del tiempo para la ejecución de todo el proceso de evaluación

externa. Prioridades de análisis que se visualizan con base en la lectura previa del

informe de autoevaluación.

Aspectos críticos del proceso de autoevaluación y sus resultados en los que es necesario focalizar y constatar durante la visita.

Información faltante.

Información adicional que se requiere.

Aspectos organizacionales de la visita.

Ejecución de la visita en el contexto institucional.

Agenda de la visita.

Información que puede aportar cada uno de los entrevistados.

Preguntas prioritarias para hacer a cada uno de los entrevistados.

Conducción de la visita y de las entrevistas.

Documentos que es necesario consultar.

INSERTAR FOTOS DE LAS COMISIONES

35

2.5.3.2 Ejecución de la visita de pares La agenda seguida por todas las comisiones inició con la entrevista al Rector y atendió reuniones con autoridades universitarias, personal docente y administrativo, estudiantes, visita a instalaciones y consulta de documentos. Debido a que la entrevista al Rector correspondía a la agenda de visita de todas las comisiones, se hizo solo una entrevista con la participación de los miembros de todas las comisiones como espectadores y dirigida por los expertos. Esta única entrevista se hizo con el propósito de que el señor Rector no tuviera que atender una entrevista por parte de cada una de las comisiones a cargo de la evaluación de cada uno de los factores, porque los aspectos generales de gestión y desarrollo institucional a los que debe dirigirse la entrevista al Rector eran comunes al interés de todas las comisiones y para que los participantes tuvieran la oportunidad de aprender de parte de lo expertos lo relativo a la ejecución de esta entrevista a la máxima autoridad institucional. La entrevista al Rector inició con un saludo, presentación de la comisión, explicación sobre el motivo de la visita de los pares externos y el programa a seguir, reconocimiento al proceso de autoevaluación realizado por la Universidad y agradecimiento por el tiempo dedicado por el Rector para atender esta entrevista. Luego se abordaron aspectos generales de la gestión y desarrollo institucional y del mismo proceso de autoevaluación como los siguientes:

Participación de los diferentes actores en el proceso de autoevaluación institucional.

Compromiso de las autoridades universitarias en el proceso de

autoevaluación institucional.

Concreción de la misión institucional.

Relación universidad-gobierno y su implicación en el desarrollo de la Institución.

Autonomía universitaria para gobernarse.

Sistema de gremios dentro de la Universidad.

Áreas prioritarias de desarrollo.

Viabilidad del desarrollo académico en el contexto de la estructura

universitaria.

Inversiones a futuro y su relación con el crecimiento académico.

36

Capacidad de la Universidad en cuanto a personal con que se cuenta

para la ejecución de los proyectos de desarrollo.

Financiamiento de parte del gobierno para la ejecución de los proyectos de desarrollo.

Desarrollo de la interdisciplinaridad en la institución.

Relaciones con otras universidades estatales.

Rendimiento académico.

Sistemas de información institucional.

La visita concluyó con un agradecimiento de parte de la comisión de pares

y una pregunta al Rector sobre sus propias expectativas en relación con la visita de pares.

INSERTAR FOTO DEL RECTOR Y LOS EXPERTOS DURANTE LA ENTREVISTA

Después de la entrevista al Rector las comisiones de pares continuaron con su proceso de evaluación del factor correspondiente a cada una de estas y ejecutaron las entrevistas programadas en su propia agenda de trabajo, las que fueron presididas por sus respectivos presidentes. A continuación se presentan las agendas seguidas por cada una de las comisiones de pares. Factor: Gestión y proyecto institucional 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10.30 - 11:30 Vicerrectoría Administrativa 11:30 - 12:30 Dirección General de Planificación y Evaluación Universitaria 14:00 - 15:00 Consultoría Jurídica 15:00 - 17:00 Revisión de fuentes primarias Factor: Recursos financieros y gestión institucional 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10:30 - 11:30 Vicerrectoría Administrativa 11:30 - 12:30 Laboratorios de Odontología 14:00 - 14:45 Dirección de Tecnología Educativa

37

14:45 - 15:30 Dirección de Informática 15:30 - 16:15 Instituto Especializado de Análisis 16:15 - 17:00 Sistema de Bibliotecas 17:00 - 18:00 Revisión de fuentes primarias Factor: Docencia, estudiantes y profesores 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10:30 - 11:30 Vicerrectoría Académica 11:30 - 12:30 Dirección de Desempeño Docente 14:00 - 14:45 Vicerrectoría de Asuntos Estudiantiles 14:45 - 15:30 Reunión con funcionarios administrativos 15:30 - 16:15 Reunión con estudiantes 16:15 - 17:00 Reunión con profesores 17:00 - 18:00 Revisión de fuentes primarias Factor: Investigación y Postgrado 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10:30 - 11:30 Vicerrectoría de Investigación y Postgrado 11:30 - 12:30 Profesores de Maestría 14:00 - 15:00 Coordinadores de programas de investigación 15:00 - 16:00 Estudiantes de Maestría 16:00 - 17:00 Revisión de fuentes primarias Factor: Egresados y su relación con la sociedad 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10:30 - 12:30 Graduados de Agronomía, Medicina, Farmacia, Bellas Artes,

Economía, Psicología 14:30 - 15:30 Empleadores( Banco Nacional de París) 15:30 - 16:30 Empleadores del Sector Salud 16:30 - 17:30 Revisión de fuentes primarias Factor: Extensión 8:00 - 9:00 Rectoría 9:00 - 10.30 Reunión de la Comisión para asuntos de organización interna 10:30 - 12:30 Facultad de Bellas Artes 14:30 - 16:30 Revisión de fuentes primarias INSERTAR FOTOS DE LAS COMISIONES

38

2.5.3.3 Inducción sobre la elaboración y presentación del informe de pares externos Posterior a las visitas y antes de la elaboración del informe de pares, con la participación como expositor del Dr. Moisés Siva, se realizó una sesión plenaria para retroalimentar a las comisiones de pares en aspectos básicos de este informe como, estructura, características, contenidos y procedimiento para su elaboración, según se relata: Objetivos:

o Asistir a la institución en su proceso de mejoramiento. o Facilitar la decisión de la agencia de acreditación.

Cualidades:

o Profesional. o Ordenado

o Conciso.

o Constructivo.

o Fundamentado.

Contenidos:

o Contraste de la situación encontrada con lo plasmado en el informe de autoevaluación.

o Avances y cumplimiento de la misión, los objetivos y los referentes para la

valoración de la calidad.

o Proceso evaluativo.

o Visión global integradora.

o Valoración del plan de cambios.

o Cumplimiento de la agenda de la visita.

39

o Recomendación fundamentada para el organismo acreditador ( cuando de trata de un proceso de evaluación para la acreditación ).

Procedimiento:

o Se inicia durante la visita o El presidente de la comisión de pares coordina su elaboración.

o Es presentado por el presidente de la comisión de pares.

o La institución puede hacer observaciones aclaratorias y complementarlo.

2.5.3.4 Presentación de informes de las comisiones de pares externos Posterior a la visita cada una de las comisiones elaboró su informe de evaluación externa y se realizó una plenaria en la que se expusieron todos los informes para una socialización de los aprendizajes y retroalimentación por parte de los expositores y de los mismos participantes, para un proceso de construcción conjunta. Por ser un ejercicio de evaluación externa no se consideró necesaria la presencia de autoridades universitarias para la presentación de los informes de las comisiones de pares, si se contó con la participación de la comisión de autoevaluación que estuvo a cargo del proceso en la Universidad de Panamá. En atención a la confidencialidad de los resultados del proceso de autoevaluación realizado por la Universidad de Panamá, no se incluyen en este documento los informes de las comisiones de pares externos. Cada comisión de pares contó con diez minutos para exponer su informe y al final se realizó una sesión de análisis de estos, preguntas, aclaraciones y observaciones por parte de los expertos, entre las que es necesario destacar las siguientes, para efectos de la construcción del conocimiento sobre la evaluación externa: Se valoraron las presentaciones como muy buenas desde el punto de vista de

la formalidad, la claridad y la inclusión de los aspectos centrales de un informe de pares.

Se hizo énfasis en la formalidad que se debe tener al redactar en la

introducción de un informe sus objetivos y el nombre de los participantes en la comisión de pares.

40

En relación con las agendas de las visitas se recuerda la necesidad de dejar espacios entre cada reunión para efectos de traslado de un sitio a otro y de análisis por parte de los pares.

Se analizó el hecho de que las recomendaciones a la institución no deben

incursionar en el nivel del ¿ cómo hacer ? Se recomendó que el informe de pares externos debe presentarse en una

forma positiva, considerar el contexto de la cultura institucional y trascender al nivel evaluativo.

INSERTAR FOTO DE COMISIÓN TRABAJANDO EN LA COMPUTADORA Y DE LA EXPOSICIÓN DE INFORMES 3. EVALUACIÓN DEL TALLER El proceso de evaluación del Taller contó con dos momentos; en una primera instancia los participantes se integraron en grupos para hacer una socialización de los aprendizajes que se habían dado durante el Taller y compartir luego sus inquietudes y consideraciones en una plenaria en la que se analizara la eficacia en el logro de los objetivos del Taller y se aportaran ideas para mejorar estos procesos de capacitación en el contexto del crecimiento y desarrollo del SICEVAES. En una segunda instancia se aplicó en forma individual un cuestionario para conocer la opinión de cada uno de los participantes en relación con los objetivos del Taller, así como aspectos académicos y organizacionales de este. 3.1 VALORACIONES DE PARTE DE LOS GRUPOS Los resultados aportados por los grupos en su proceso de socialización de los aprendizajes, señalan aspectos positivos en relación con : La capacitación que se obtuvo para la preparación y ejecución de la visita,

desde dos perspectivas; la del par externo y la de una institución que participa de un proceso de evaluación externa y recibe a los pares.

La visualización de las funciones del par externo

La responsabilidad con que los participantes asumieron su rol como pares

externos.

41

La toma de conciencia que se generó en relación con la necesidad de:

o Ejecutar una lectura crítica de los informes. o Cruzar la información que se obtiene de los diferentes grupos

entrevistados durante el proceso de evaluación externa.

o Contar con referentes para la valoración de la calidad en el proceso evaluativo.

o Dirigir las entrevistas que realizan los pares externos a los aspectos

prioritarios de la evaluación. o Seleccionar a los entrevistados de acuerdo con la información que

se necesita recabar. La existencia de una buena asistencia técnica y un buen balance teórico

práctico. La metodología usada, la cual facilitó el aprendizaje.

La práctica del trabajo en equipo.

La escogencia de los expertos, la cual se valora como muy acertada por su :

o Perfil. o Conocimientos

. o Identificación con el proceso.

o Ubicación en el contexto del desarrollo del SICEVAES.

o Dominio del idioma español.

o Apertura para compartir con los participantes.

o Comunicación con los participantes, la cual trascendió la transmisión de

conocimientos.

Como aspecto a mejorar en futuros talleres de parte de los participantes se mencionó la necesidad de contar con una mayor homogeneidad entre los asistentes al Taller, en relación con sus conocimientos previos y sus experiencias en el campo de la evaluación.

42

Los participantes visualizaron además la necesidad de que se desarrollen en el contexto del SICEVAES procesos de formación continua para la capacitación de pares externos, necesidad que se expresa en lo señalado en cuanto a: Un compromiso por parte de los participantes para compartir lo aprendido

con los colegas de sus universidades. Reproducir el Taller.

Darle seguimiento al grupo que participó en el Taller, para compartir

experiencias y tener oportunidades de avances en su conocimiento. Mantener en futuras capacitaciones la realización del ejercicio de

evaluación externa ejecutado en este Taller. Incluir en los procesos de capacitación de pares externos la realización de

visitas de observación a procesos de evaluación externa ejecutados en otros ámbitos.

Contar en futuros talleres con expertos de la calidad de los que colaboraron

en este Taller. Por su parte los expertos también aportaron en la sesión plenaria sus valoraciones en relación con el desarrollo del Taller y sus propios aprendizajes anotando que:

El Taller también representó para ellos una oportunidad para compartir y aprender de los participantes.

El ejercicio de un proceso de evaluación externa como metodología para la

capacitación de pares externos representó para ellos un aprendizaje.

Se cumplieron los objetivos del Taller pero también los de ellos como expositores.

Las presentaciones de los informes de evaluación externa hechas por las

comisiones de pares externos muestran los aprendizajes realizados. 3.2 VALORACION POR PARTE DE CADA UNO DE LOS PARTICIPANTES

Las valoraciones individuales producto de la aplicación del cuestionario se presentan en el gráfico siguiente.

43

INSERTAR GRAFICO DE ESTADISTICAS DE LAS RESPUESTAS A LAS PREGUNTAS ABIERTAS En la lectura del gráfico se puede apreciar que la tendencia del grupo fue

la de valorar el Taller como muy bueno o bueno. Esta valoración se basó en: El logro de los objetivos del Taller.

La metodología usada para la conducción del Taller.

La organización del evento.

El aporte de los expositores.

El enriquecimiento en los conocimientos sobre evaluación externa en la

educación superior.

La capacitación recibida para organizar una visita de pares externos en su institución.

El trabajo del equipo de pares en que participó.

La distribución y manejo del tiempo durante las actividades del Taller.

La documentación aportada.

El área física en la que se desarrolló el evento.

El servicio de hospedaje que ofreció el hotel.

Los servicios de alimentación.

La distribución de personas por habitación.

Las actividades culturales desarrolladas.

Los servicios de transporte ofrecidos a los participantes.

El acceso al equipo de cómputo.

A la pregunta abierta sobre recomendaciones para futuros eventos, los encuestados señalaron aspectos de índole académica y organizacional, entre los que es importante señalar:

44

Sistematizar este tipo de evento como curso.

Asegurarse de que las personas que asistan tengan los conocimientos

necesarios para avanzar en la construcción del aprendizaje sobre los temas que se tratan. Al respecto se anotó además que si los países envían personas poco capacitadas o que no estén vinculadas en sus instituciones con estos procesos, producen atrasos y dificultan el logro de los objetivos.

Solicitar a los expertos internacionales sus exposiciones (tipo artículo, no

filminas) y así confeccionar un documento tipo antología Extender el periodo de “Visita de Pares Externos” por la cantidad de

actividades que involucra el proceso y por las tareas que competen a un “Par Externo”.

Organizar un mayor acceso al equipo de computación y enfatizar un poco

más en los asuntos de logística en la visita de los “Pares Externos”. Hospedar a todos los participantes; inclusive los del país anfitrión, para que

exista una verdadera integración. Considerar dentro de la organización del tiempo jornadas para estrechar

relaciones interpersonales entre los participantes con el fin de intercambiar impresiones y experiencias.

4. ORGANIZACIÓN DEL TALLER La organización para la ejecución del Taller atendió aspectos de índole académica y administrativa, lo que requirió de acciones a nivel internacional y nacional. A nivel internacional la organización requirió el nombramiento de tres académicos provenientes de universidades miembros del CSUCA como facilitadores del Taller y a nivel nacional la constitución de una comisión en la Universidad de Panamá que se encargaría de todos los aspectos de tipo local relacionados con la organización. Ambas comisiones trabajaron en forma coordinada entre ellas y con personal de la Dirección Académica de la Secretaría Permanente del CSUCA, la Fundación Alemana para el Desarrollo Internacional y la Agencia Alemana de Cooperación Técnica, desde cuatro meses antes de la fecha de ejecución del Taller contactándose por correo electrónico y durante el desarrollo del Taller mediante un proceso de coordinación diaria.

45

4.1 ORGANIZACIÓN A NIVEL INTERNACIONAL La organización del Taller se inició cuatro meses antes de su ejecución con la realización de una reunión en la que autoridades del CSUCA y de la DSE convocaron a los facilitadores para analizar aspectos propios de la ejecución del Taller y un mes después se ejecutó una segunda reunión con la presencia de los facilitadores y autoridades del CSUCA. Ambas reuniones así como el proceso de comunicación continua que se estableció vía correo electrónico se dirigieron a definir: Los objetivos, los contenidos, la metodología y el programa del Taller junto

con el personal del CSUCA, DSE Y GTZ. El perfil de los participantes.

El perfil de los expertos que colaborarían.

Los nombres de los expertos y mantener comunicación con ellos para

coordinar detalles de su participación. Los temas a abordar por cada uno de los expertos.

Los instrumentos a utilizar.

El proceso de evaluación del Taller.

Además de su participación en la definición de los aspectos mencionados ,

correspondió a los facilitadores coordinar antes y durante el Taller aspectos de índole académica y administrativa con las autoridades del CSUCA, DSE, GTZ , Universidad de Panamá y expositores y realizar ajustes en el planeamiento diario del Taller de acuerdo con la revisión diaria de: Actividades.

Logro de objetivos.

Adecuación de la metodología.

Uso del tiempo.

Desempeño y expectativas de los participantes.

Apoyo logístico.

4.2 ORGANIZACIÓN A NIVEL LOCAL

46

Correspondió a la comisión constituida por la Universidad de Panamá coordinar los aspectos de tipo local en relación con la ejecución del taller. Respecto a la realización del ejercicio de evaluación externa correspondió a esta comisión ejecutar todas las funciones que corresponden a una universidad que recibe la visita de una comisión de pares externos. En relación con la ejecución del Taller la Universidad atendió lo relativo a: Las instalaciones que se requieren para la realización de las diferentes

actividades del Taller; conferencias plenarias y reuniones de grupos Las acciones pertinentes para contar con equipo de cómputo para apoyar al

grupo de labores de secretaria y a los participantes, acceso a internet., retroproyectores, video beam, cámara fotográfica, páneles y sus tarjetas para técnica Metaplan, láminas para retroproyectores, marcadores, papelería, disquetes y discos compactos.

Personal de apoyo secretarial y de uso de equipo de cómputo y audiovisual. Aporte de papelería y fotocopiado.

Servicios de hospedaje, alimentación y transporte.

Actividades culturales para integración del grupo, descanso y

esparcimiento. En relación con el ejercicio de la visita de las comisiones de pares externos, la Universidad de Panamá atendió las tareas siguientes: Coordinar detalles de la visita, fechas y agenda de la reunión con la Dirección

Académica de la Secretaría Permanente del CSUCA y el equipo de facilitadores.

Elaborar el programa de la visita de manera que facilitara la ejecución de las

diferentes actividades que realizarían los pares externos y permitiera aprovechar su tiempo al máximo.

Enviar antes del inicio del Taller el informe de autoevaluación a la Dirección

Académica de la Secretaría Permanente del CSUCA, al equipo de facilitadores y a los integrantes de las comisiones constituidas para la evaluación externa de cada uno de los factores.

Preparar a lo interno de la institución a los diferentes actores involucrados en el

proceso de autoevaluación sobre la visita y sus propósitos, para que esta se realizara en medio de una relación de transparencia y respeto entre estos y los pares externos.

47

Organizar lo relacionado con el apoyo logístico necesario para el desarrollo de la visita; para disponer de apoyo secretarial, equipo de cómputo, salas para las reuniones, transporte y guías para el traslado de los pares a las diferentes dependencias que visitaran.

Coordinar para que la visita de los pares se realizara en condiciones de

funcionamiento pleno de la institución. Asegurar las condiciones para que los pares pudieran reunirse con los

diferentes actores que participaron en la autoevaluación (autoridades, comisión de autoevaluación, profesores, administrativos, estudiantes, graduados y empleadores)

Preparar para que estuviera a disposición de los pares los documentos que

respaldan la información dada en el informe de autoevaluación 4.3 PERFIL DE LOS PARTICIPANTES En atención al propósito del Taller, se definió que los participantes fueran académicos de las universidades miembros del CSUCA que cumplieran con las condiciones siguientes: Calificar como par evaluador externo del SICEVAES (al menos 5 años de

experiencia universitaria, titulo a nivel de posgrado, estar dispuesto a participar como tal en las condiciones y regulaciones del sistema, reconocida trayectoria ética, académica y profesional y aval de su universidad o de alguna universidad miembro).

Tener reconocimiento en su disciplina por su competencia académica y

profesional. Tener conocimiento y/o experiencia en procesos de evaluación de

educación superior, como protagonista en procesos de autoevaluación o como par externo.

Tener potencial como líder de equipos de pares evaluadores externos por

su actitud, disposición y cualidades individuales. Comprometerse a multiplicar el curso en su universidad.

En el cumplimiento de estas condiciones participaron veinte académicos provenientes de las universidades que conforman el CSUCA y su elección correspondió al Comité de Coordinación Regional (CCR) por ser este el órgano que dirige al SICEVAES.

48

Participaron además los nueve miembros de la Comisión Técnica de Evaluación (CTE) del SICEVAES y cuatro funcionarios de instituciones de la región relacionadas con procesos de evaluación universitaria, quienes solicitaron un espacio en el Taller cubriendo sus gastos, siendo estas: el Instituto Interamericano de Cooperación para la Agricultura (IICA), el Consejo Nacional de Rectores de Costa Rica (CONARE), el Consejo Nacional de Rectores de Panamá y el National Institute of Higher Education NIHERST CARICOM, Association of Caribbean States ACS. 4.4 EXPERTOS

• Prof. Dr. Johann Gerlach, Universidad Libre de Berlín, Alemania

• Dr. Jacques L’ Ecuyer, Comisión D’ Evaluation De L’ Ensegnement Collegial CEEC, de Québec, Canadá.

• Dr. Moisés Silva, , Universidad Mayor, Chile.

4.5 FACILITADORES

• Dr. Gilberto Alfaro, Universidad Nacional de Costa Rica, UNA

• MSc. Vielka de Escobar, Universidad de Panamá, UP

• MSc. Teresita Peralta Monge, Universidad de Costa Rica, UCR.

4.6 ORGANIZADORES

MSc. Francisco Alarcón Alba, Director Area Académica, Secretaría

Permanente del CSUCA. MSc. Christoph Hansert, Programa de Educación Superior, Fundación

Alemana para el Desarrollo Internacional ( DSE). Dr. Juan Ernesto Mojica, Universidad de Panamá.

Ing. Lourdes de Torres, Universidad Tecnológica de Panamá.

Lic.Julio Luna, Secretaría Permanente del CSUCA.

49

Licda. Stefanie Bohn, Fundación Alemana para el Desarrollo Internacional (DSE).

5. RECOMENDACIONES PARA FUTUROS TALLERES

Al terminar el Taller en reunión conjunta de los facilitadores, las autoridades que representan al CSUCA, DSE, GTZ y los expertos, se valoraron aspectos relacionados con el desarrollo del Taller, los contenidos, la metodología, los logros, las expectativas de los participantes, los criterios expresados por estos en la evaluación y aspectos organizacionales. Como resultado del análisis realizado se recomienda continuar con el proceso de capacitación en evaluación externa en el contexto del SICEVAES y realizar con este propósito otros talleres similares en los que se aplique el mismo modelo de capacitación, con la consecuente consideración de los elementos de su ejecución valorados positivamente, situación que se traduce en la necesidad de: Atender la formación en evaluación externa desde la perspectiva del

académico que se va a desempeñar como par externo en un proceso de evaluación externa y desde la perspectiva del funcionario de una universidad que va a ser evaluada por una comisión de pares externos.

Desarrollar procesos de capacitación en evaluación externa en el marco de

los propósitos del SICEVAES y de los instrumentos y los referentes para la valoración de la calidad definidos por este sistema para orientar los procesos evaluativos en instituciones de educación superior.

Contar en los procesos de capacitación en evaluación externa con expertos

de reconocida experiencia en el campo de la evaluación y gestión universitaria, quienes con su visión y experiencia en procesos de evaluación en otros ámbitos aporten elementos para la formación en el campo de la evaluación externa y para el crecimiento del mismo SICEVAES.

Seleccionar para participar en los talleres de capacitación en evaluación

externa a funcionarios de las universidades miembros del CSUCA que cuenten con formación y experiencia en procesos de evaluación en educación superior y que sean reconocidos en su disciplina por su competencia académica y profesional.

Incluir en los contenidos a desarrollar en los procesos de capacitación en

evaluación externa elementos teóricos y prácticos en relación con conceptualización, principios y metodología en autoevaluación y evaluación externa, perfil y funciones del par evaluador externo, instrumentos para la

50

conducción de procesos de autoevaluación y evaluación externa por pares en el contexto del SICEVAES, criterios para el análisis de informes de autoevaluación, construcción de informes de evaluación externa por pares y estrategias para la realización y conducción de visitas de evaluación externa.

Implementar en los procesos de capacitación en evaluación externa

metodologías de trabajo participativo que permitan la construcción conjunta del conocimiento.

Integrar en los procesos de capacitación en evaluación externa elementos

teóricos y prácticos a través del estudio de la teoría y de la participación de los asistentes en un ejercicio de evaluación externa.

Ejecutar en el ejercicio de evaluación externa todas las tareas propias de

este proceso como lo son el análisis del informe de autoevaluación, la organización de la visita de pares externos, la ejecución de la visita, la elaboración del informe de pares externos y la presentación de este informe.

Dividir para la ejecución del ejercicio de evaluación externa al grupo de

participantes en varios subgrupos de manera que cada uno de estos se convierta en una comisión de pares, con el propósito de que el número de integrantes de cada una de estas comisiones permita la realización de un proceso participativo de construcción conjunta para ejecutar las tareas propias del proceso de evaluación externa.

Designar personal capacitado que pueden ser los mismos expertos y los

facilitadores, para ofrecer orientación y atender consultas sobre los aspectos básicos del trabajo de cada una de las comisiones de pares.

Ejecutar por parte de la universidad que colabora para la realización del

ejercicio de evaluación externa, todas las funciones que corresponden a una institución que recibe la visita de una comisión de pares externos.

Como aspectos a mejorar en futuros talleres de capacitación en evaluación externa se valoró la necesidad de: Insistir en futuras capacitaciones para que las universidades envíen como

participantes al taller a profesores que cumplan con los requisitos solicitados en cuanto a la formación y la experiencia.

Adjuntar las guías de autoevaluación del SICEVAES al informe de

autoevaluación que se envía a los participantes antes de la ejecución del taller.

51

Insistir con los participantes en el requisito de la lectura del informe de autoevaluación antes de su integración al taller.

Estructurar las agendas de las visitas de las comisiones de pares, de

manera que hayan espacios de tiempo entre las entrevistas, para efectos de coordinación entre los pares.

Determinar que las personas que participan como enlaces por parte de la

universidad para atender a las comisiones de pares y facilitar su visita, no deben participar en las reuniones de trabajo de estas comisiones ni en las entrevistas que se realizan durante la visita.

Definir mecanismos de seguimiento para asegurar que los participantes al

taller realicen acciones de capacitación en evaluación externa en sus respectivas universidades.

Con base en la valoración positiva que se hizo del Taller y en atención a la necesidad de formar académicos que colaboren en los diferentes procesos de evaluación externa que se realicen en el contexto del SICEVAES, se acordó dirigir el próximo taller a la capacitación de pares por áreas disciplinarias, lo que amerita la colaboración de una universidad que haya realizado un proceso de autoevaluación de programas o carreras, para hacer posible la realización del ejercicio de evaluación externa. 6. ANEXOS 6.1 PROGRAMA SEGUIDO EN EL TALLER Lunes 16 de julio Llegada de los participantes Martes 17 de julio 8:00 – 8:30 hrs. Inauguración (Moderación: MSc Vielka de Escobar y Oficina

de Protocolo Universidad de Panamá) 8:30 – 8:45 hrs. Inducción al programa (Moderación: Dr. Gilberto Alfaro) 8:45 - 9:30hrs. Presentación general del Sistema Centroamericano de

Evaluación y Acreditación de la Educación Superior, MSc Francisco Alarcón.

52

9:30 – 10:00 hrs Participación del la DSE, GTZ y el DAAD en el proceso de

mejoramiento de la calidad en la Educación Superior Centroamericana. MSc Christoph Hansert.

10:00 – 10:30 hrs. Receso 10:30 – 12:00 hrs. Conceptualización, principios, metodología y experiencias en

evaluación por pares externos de la Comisión D Évaluation De L Ensegnement Collegial CEEC, de Québec, Canadá. Dr. Jacques L’ Ecuyer. (Moderación: MSc. Teresita Peralta)

12:00-12:30 hrs. Almuerzo 13:30 – 15:00 hrs. Conceptualización, principios, metodología y experiencias en

evaluación por pares externos en la Educación Superior en Alemania. Prof. Dr. Johann Gerlach. (Moderación: MSc. Vielka de Escobar).

15:00 –15:30 hrs. Receso 15:30 – 17:00 hrs. Conceptualización, principios, metodología y experiencias en

evaluación por pares externos en la Educación Superior en Chile y otros países latinoamericanos. Dr. Moisés Silva. (Moderación: Dr. Gilberto Alfaro).

Miércoles 18 de julio 8:00 – 8:30 hrs. Presentación de instrumentos del SICEVAES para la

conducción de procesos de evaluación, MSc. Vielka de Escobar y Dr. Gilberto Alfaro.

8:30 – 10:00 hrs. Presentación de la Guía de Evaluación Externa del

SICEVAES, MSc. Teresita Peralta Monge. 10:00 – 10:30 hrs. Receso 10:30 - 12:00hrs Trabajo de equipos 12:00-13:30 hrs. Almuerzo 13:30 –14:15 hrs. Integración e inducción de equipos para la evaluación por

factores. Orientación para el análisis y sistematización de la

53

información.(Moderación: MSc. Vielka de Escobar, Dr. Gilberto Alfaro y MSc. Teresita Peralta) (Trabajo de grupos)

14.15 –17:00 hrs. Análisis del informe de autoevaluación y organización de la

visita. (Trabajo de grupos) Nota:

El receso para café lo hace cada grupo de acuerdo con la dinámica de su trabajo

Jueves 19 de julio EJECUCIÓN DE LA VISITA A LA UNIVERSIDAD DE PANAMÁ 8:00-9:00 hrs. Entrevista con el Rector. Dr Moisés Silva, Dr. Jacques L’

Ecuyer, Dr. Johann Gerlach. 9:00 -9:30 hrs. Receso 9:30 – 10:30 hrs. Reunión de grupos para afinar detalles de programa de visita 10:30 – 12:30 hrs. Realización de la visita 12:30 – 14:00 hrs. Almuerzo 14:00 – 17:00 hrs. Realización de la visita 17:30 hrs. Regreso al hotel Viernes 20 de julio 8:00 – 9:00 hrs. Inducción a la preparación del informe (Dr. Moisés Silva, Dr.

Jacques L’ Ecuyer, Dr. Johann Gerlach). 9:00 -12:00 hrs. Elaboración del Informe de la visita 12:00 – 13:30 hrs. Almuerzo 13:30 – 15:00 hrs. Elaboración del informe de la visita 15:00 - 15:30 hrs Receso 15:30 - 17:00 hrs Presentación de informes por grupos

54

Sábado 21 de julio 8:00 – 10:00 hrs. Socialización de los aprendizajes. 10:00 –10:30 hrs. Receso 10:30 – 12:00 hrs. Evaluación del curso y clausura. 12:00- 13:30 hrs. Almuerzo 13:30 hrs. en adelante Regreso de los participantes a sus países. 6.2 MATERIALES APORTADOS POR LOS EXPERTOS

6.2.1 Dr. Moisés Silva Triviño Director de Análisis y Desarrollo Institucional de la Universidad Mayor (Santiago de Chile). Miembro de la Comisión Nacional de Acreditación (Chile). moises_silva@umayor.cl.

GESTION, CALIDAD Y EVALUACIÓN EXTERNA

La función primaria de la gestión en cualquier organización o empresa, con o sin fines de lucro, productiva o de servicio, pública o privada, es diseñar y mantener las condiciones que permitan cumplir con eficacia y eficiencia sus propósitos institucionales. En este sentido, la gestión debe buscar la productividad de la organización, pero de tal forma que se genere un superávit. Esto último puede referirse, por ejemplo, a las utilidades, la satisfacción de las demandas de profesionales, de servicio a gente desvalida o de protección a especies animales o al aporte de conocimiento científico o nivel cultural de una comunidad específica.

En el caso de una organización educacional como la universidad, la práctica

de la gestión se traduce en el auscultamiento de la realidad de la organización y su medio, la fijación de objetivos y confección de planes y programas de acción, la provisión y organización de recursos, la asignación y capacitación de personal, la dirección o conducción de procesos y toma de decisiones y el control de las acciones y resultados. Obviamente los responsables de la gestión asumen en diferente grado estas distintas fases administrativas. Hacia los niveles altos de la organización (directivos superiores) hay mayor injerencia relativa en la evaluación gruesa, la planificación, la organización y el control general, en tanto que hacia los

55

niveles inferiores (directivos medios o supervisores) se asume en mayor grado la dirección o ejecución.

En una visión alternativa, la gestión debe apuntar a alcanzar la excelencia o

mejoramiento continuo del “negocio” de la organización. Se trata, en otras palabras, de asegurar la calidad. Esto conduce a la necesidad de establecer un sistema de aseguramiento de la calidad; es decir, un conjunto de principios, estructuras y procesos que sea capaz de fomentar y resguardar dicho mejoramiento continuo en la universidad y de proveer una garantía razonable del mismo a sus usuarios, sostenedores y la comunidad en general.

Cabe destacar que, en último análisis, el “negocio” de la universidad es el

cultivo y transmisión del conocimiento superior, siendo su función de mayor ponderación la formación de profesionales cultos, lo que pone al alumno y el proceso educativo en el centro gravitacional de su accionar. En esta perspectiva, la investigación, en cualquiera de sus niveles o acepciones, adquiere pleno sentido en la medida que conforma un aporte a dicho proceso. De aquí que la universidad conforma esencialmente una “comunidad del conocimiento y del aprendizaje”. Y la noción de usuario se extiende, en principio, desde los estudiantes a la comunidad académica misma, el gremio profesional y científico, las agencias e instancias gubernamentales, privadas y de la comunidad internacional, las empresas productivas y de servicio, los sostenedores, los postulantes y su núcleo familiar, y en fin la sociedad toda.

Se han analizado diferentes conceptos de calidad en el contexto educativo, y de todos puede extraerse aspectos operativos. Sin embargo, hay dos nociones que se han aproximado de mejor manera, en términos operacionales, al quehacer de una institución educacional, en particular a la aplicación de evaluaciones sea en un marco de acreditación o de fines propios de mejoramiento: los conceptos de “valor por dinero” y de “aptitud o adecuación para el logro de los propósitos”.

Según el concepto de valor por dinero, la calidad se asocia con el retorno

que se logra respecto de la inversión que se realiza. En este enfoque subyace en parte el concepto de rendición de cuenta, un acto que debe la institución ante quienes la sostienen, y que corresponde al término inglés de accountability. Aunque debe aclararse que esta rendición de cuenta se asocia con mucho más que una adecuada y eficiente utilización de los recursos que recibe de sus usuarios y sostenedores, especialmente cuando se trata de fondos estatales, aportados así por todos los contribuyentes; tiene que ver también con la integridad de la institución respecto de su misión y objetivos declarados y los compromisos que ha adquirido con sus actuales o potenciales usuarios. En términos de eficiencia, la calidad es mayor si el mismo resultado se logra con menos recursos o se alcanza uno mejor con el mismo costo. La efectividad implicada en esta noción tiende a medirse por indicadores de desempeño o rendimiento y mecanismos de auditorías de calidad en el nivel institucional, acción que es

56

preferida por agentes u organismos del Estado cuando es éste el sustentador principal que desea verificar el desempeño.

Una noción básica y amplia de calidad es la de adecuación o aptitud para el logro de los propósitos, que la asocia con la satisfacción de las demandas, necesidades y expectativas de los usuarios. Este es un concepto pragmático que permite juzgar la calidad con relación a la forma en que un producto o servicio se ajusta a un fin u objetivo, pudiéndose elaborar así criterios específicos para un análisis. De esta forma, la calidad en una institución educativa se corresponde con “la satisfacción de sus propósitos institucionales, en el marco de un conjunto de referentes (criterios/estándares/indicadores) previamente establecidos”. Esta es una acepción que respeta la diversidad de la oferta educativa, propia de un sistema libertario, permitiendo que cada institución busque su “nicho” en la sociedad. Además, los propósitos institucionales deben considerar tanto las demandas, necesidades y expectativas de los usuarios como el aporte o influencia que la propia institución, en cuanto agente de cambio, pretende hacer a la sociedad. Y los referentes deben traducir el comportamiento esperado (“buena práctica y resultado” en el manejo del conocimiento y la formación de profesionales) por parte de la academia, el gremio profesional/disciplinario y la comunidad pertinente en general.

En el marco operativo de un sistema de aseguramiento de la calidad,

resulta crucial para una institución conocer, de manera sistemática y objetivizada, tanto la situación interna como del entorno con el fin de ajustar los fines y objetivos específicos de su accionar, acordar las políticas que guíen la acción, elaborar tanto una estrategia corporativa como los planes y programas operativos y, en general, tomar decisiones adecuadas. Esto involucra también el proceso de seguimiento del avance y resultados de la ejecución de los mismos planes y programas de acción. Es lo que corresponde a la evaluación institucional, que llega así a constituir una componente de la gestión.

La evaluación institucional contiene elementos que la asemejan a la

investigación de carácter aplicado. En este sentido, el proceso de análisis institucional se conforma en un instrumento de resolución de problemas en el terreno o genera elementos que aportan a su elaboración. En la práctica, esta “investigación o análisis institucional” apunta a fundamentar el abordaje de tres cuestiones permanentes que se plantea un equipo de gestión: ¿Cuál es la realidad de la institución hoy? ¿Adónde se dirige la institución? y ¿Cuál es la mejor manera de llegar al destino establecido?

Varias pueden ser las modalidades de diseño y ejecución de un proceso de

evaluación institucional, determinadas por su propósito y contexto y la naturaleza de lo que se evalúa. En todo caso, pueden distinguirse, de manera gruesa, dos tipos según la responsabilidad primaria de la conducción del proceso evaluativo: evaluación interna o autoevaluación, donde la propia institución asume dicha responsabilidad, y evaluación externa, de cargo de una agencia o grupo de

57

trabajo independiente, que actúa necesariamente con la cooperación de la institución.

Esencialmente, la autoevaluación es un proceso continuo de análisis,

aplicado a una institución como un todo o a uno de sus programas, carreras u otras unidades organizacionales, de carácter estratégico, esto es prospectivo y orientado al cambio, que es organizado por la propia institución y conducido por los actores institucionales pertinentes (directivos, académicos, funcionarios), según el caso, a la luz de la misión y los objetivos institucionales y un conjunto de referentes (criterios/estándares/indicadores) que han sido establecidos. El producto físico del proceso es un Informe de Autoevaluación.

En la práctica, los juicios pueden enfatizar el grado de cumplimiento de los

objetivos, del funcionamiento de los procesos que se llevan a cabo o de un conjunto de referentes (criterios/estándares/indicadores/pautas) establecidos por una agencia de acreditación, un gremio profesional, un ministerio de educación u otra entidad similar.

La efectividad de una autoevaluación y la viabilidad de sus consecuencias

internas aumenta con el carácter participativo de los actores institucionales pertinentes y el liderazgo de los directivos.

Por su parte, la evaluación externa es un proceso también analítico de

una institución como un todo o de uno de sus programas, carreras u otra unidad de trabajo, efectuado por pares académicos y expertos independientes y externos a la entidad, a la luz de un informe de evaluación, generado por la propia institución, y otros documentos, y la información obtenida en una o más visitas en terreno, en el marco de la misión y los objetivos de la institución y de un conjunto de referentes (criterios/estándares/indicadores/pautas) previamente establecidos. Su producto físico es un Informe de Evaluación Externa.

El propósito primario de esta modalidad es validar, con actitud crítica, un

proceso previo de autoevaluación y/o verificar la realidad de la institución como un todo o de un programa o unidad de trabajo, adquiriendo entonces las características de una auditoría académica, como también de establecer el grado de cumplimiento de los objetivos y de los referentes de calidad acordados, señalándose recomendaciones de acción.

El someterse al juicio o evaluación de pares académicos y expertos

independientes no es una modalidad nueva ni ajena a la academia. Podría considerarse como un resabio de la fuerte injerencia en el pasado de los gremios en el “control de calidad” de quienes se formaban en el oficio. En el plano individual, el profesor o investigador requiere de la opinión de sus iguales, siendo esto lo culturalmente aceptable. Es la técnica de revisión usual respecto, por ejemplo, a proyectos de investigación y la publicación de trabajos en revistas

58

especializadas. Y no es poco común que al momento de diseñar o reformar un programa docente, el grupo responsable apele a la opinión o asesoría de colegas de otros centros educacionales. Por otra parte, la participación de pares/expertos externos e independientes es un medio para obviar la tentación de la autorreferencia en procesos autoevaluativos.

Para fines de evaluación, las instituciones educativas pueden

considerarse como sistemas abiertos, es decir que intercambian contenidos con el entorno (una analogía con la perspectiva científica, donde un sistema abierto intercambia energía y materia con su medio). Con esta visión sistémica, en la organización pueden distinguirse las entradas o insumos, los procesos y los resultados o salidas. Los insumos son generados internamente o recibidos de manera continua desde el entorno (estudiantes, expertos, información, recursos financieros, contratos, edificios, equipos, laboratorios, donaciones, etc.), que luego son procesados (enseñanza, investigación, servicios, capacitación profesional, definición de fines, políticas, estrategia, planes y programas, difusión cultural, asistencia técnica, asignación de recursos financieros, evaluación académica, acreditación, análisis de productividad, desarrollo de proyectos, proposiciones de cambio, estudios regionales y nacionales, etc.), para generar resultados (graduados y profesionales titulados, artículos, monografías, textos, informes técnicos, patentes, problemas resueltos en la comunidad, logros de sus profesionales en el medio laboral, gremial y académico, generación de nuevas metodologías de enseñanza y trabajo, desempeño de egresados en exámenes nacionales, reconocimientos o distinciones nacionales e internacionales, programas acreditados, obtención de proyectos competitivos, etc.) que la institución asimila o entrega al entorno.

Dicho sea de paso, el entorno puede mostrar su mayor o menor satisfacción con los productos, constituyéndose así en uno de los árbitros o jueces de la calidad institucional. En la práctica, no siempre es fácil clasificar ciertos aspectos como un insumo, proceso o resultado; lo importante es no obviar su consideración al momento de evaluar.

La perspectiva de la institución como un sistema abierto facilita la

organización de los aspectos a considerar en una evaluación, pudiendo darse una diferente ponderación a los insumos, los procesos o los resultados, según se considere adecuado a los objetivos del análisis, a la vez que resalta la importancia de una consideración del entorno en el diagnóstico. Así, para fines internos (planificación, asignación presupuestaria, etc.), todos los elementos, insumos, procesos y resultados, requieren igual atención; sin embargo, para fines de un sistema de acreditación o, en general, de establecer una garantía de calidad hacia el entorno, merecen un mayor énfasis los resultados o productos. La misma focalización de itemes variará según el usuario. Por ejemplo, en una dimensión gruesa, las agencias gubernamentales podrían enfatizar la eficiencia en el uso de insumos como los recursos financieros y en los resultados gruesos de la institución, en tanto que es más probable que la comunidad académica ponga su interés en los procesos de enseñanza y

59

aprendizaje, a la vez que los empleadores hagan hincapié en resultados como la competencia de los egresados.

Con lo presentado, resulta clara la necesidad de formalizar en la

universidad una estructura organizacional de gestión que diseñe y conduzca o facilite los procesos de evaluación y de control tanto a la luz de los fines internos de efectividad y mejoramiento como aquellos externos de acreditación, auditorías de proyectos o similares. Se trata de una que debe ser de apoyo más que ejecutiva, dependiente de una elevada instancia directiva, preferiblemente con un diseño orgánico y no burocrático, y con atribuciones para disponer del apoyo técnico y acceder a la información que existe en distintos niveles de la institución. Cabe señalar que la verificación de la existencia y funcionamiento efectivo de una estructura como la descrita es una componente usual (no pocas veces central) en procesos de acreditación institucional o de auditoría de calidad o gestión.

Evaluación externa. Elementos operativos.

La evaluación externa puede tomar las características de una validación de un proceso de autoevaluación o de auditoría de gestión, en general, y sin duda que conforma un elemento crucial en un sistema de acreditación.

Según ya se adelantó, esta etapa implica una revisión analítica del Informe

de Autoevaluación, de otros documentos sobre la institución y de la unidad en evaluación, si fuese el caso, así como también una o más visitas en terreno a la entidad por parte de una comisión de especialistas independientes (pares académicos y expertos externos). Como resultado, se elabora un Informe de Evaluación Externa que focaliza en la emisión de juicios y opiniones sobre el informe y proceso autoevaluativo, la satisfacción de los objetivos institucionales y referentes de calidad y las orientaciones de cambio. La Comisión de Pares/Expertos.

La comisión debe ser externa e independiente a la institución, esto es sin vínculos contractuales formales o equivalentes ni compromisos en el ámbito académico ni administrativo. Idealmente, sus miembros deben, en el mayor nivel posible, representar de manera integral la experiencia y el manejo o dominio de lo siguiente (un integrante bien puede cubrir más de un área):

i) La profesión académica, en general, y cierta gama de funciones y disciplinas, áreas, especialidades o carreras, que pueden ser específicas, según sea la focalización de la evaluación.

ii) La administración o gestión institucional.

60

iii) El ámbito gremial o de ejercicio de la profesión o disciplina (sector productivo o de servicios, privado o público), si fuese el caso.

iv) El campo de la evaluación institucional, la acreditación o el

aseguramiento de la calidad de instituciones de educación superior en el país o el extranjero.

v) Algunas áreas específicas de competencia (servicios de biblioteca,

manejo financiero, sistemas de información, etc.), si el caso lo requiriera.

vi) Las normas e intereses del organismo que administra o supervisa el proceso de acreditación o su equivalente, si fuese el caso. En rigor, el representante de esta área no integra la comisión, en cuanto responsabilidades evaluativas (no indaga ni hace juicios ni confecciona el informe), sino que actúa como un “ministro de fe”, coopera en resolver situaciones de conflicto, en términos normativos o de procedimiento, colabora en la obtención de documentos, correspondencia, acuerdos previos oficiales, y otras gestiones entre la institución y el organismo, etc., pudiendo actuar de secretario (levantamiento de actas) de la visita.

Es conveniente que los miembros de la comisión posean un dominio del

idioma local que les permita una suficiente comprensión escrita y comunicación oral con los actores institucionales.

En la práctica, la composición y número de personas de la comisión dependerá de los objetivos del proceso evaluativo, la focalización o complejidad de las áreas o actividades implicadas y de los recursos disponibles para solventar esta labor.

Información y documentación básica El conjunto de referentes de evaluación (criterios/estándares/indicadores/pautas) y el Informe de Autoevaluación son documentos básicos para el trabajo de la Comisión de Evaluación Externa. El primero, aparte de conformar una guía del proceso mismo de (auto)evaluación, determina la naturaleza y fuente de la información a recopilar y validar o verificar.

En general, la información puede referirse a hechos o cifras (información "dura") o a opiniones (información "blanda"). En otra perspectiva, los datos pueden ser simples ("número de publicaciones científicas del cuerpo de profesores en el último quinquenio") o compuestos ("publicaciones científicas por proyecto desarrollado por el cuerpo de profesores en el último quinquenio"). Para fines evaluativos, resulta conveniente que la información se refiera a períodos de tiempo

61

que permitan establecer tendencias claras, y que sea procesada de tal forma que facilite su lectura y significado, estableciéndose correlaciones entre aspectos o itemes pertinentes.

Las fuentes de información son variadas y, en general, están determinadas por la naturaleza de los datos. Es conveniente considerar las bases de datos, archivos y otra documentación existente (estatutos, informes varios, planes, políticas, actas de acuerdo, resultados de autoevaluaciones previas o procesos similares, etc.), académicos (investigadores, profesores), directivos, alumnos, egresados, empleadores, administradores y personal no académico en general, y otras instancias externas.

Los instrumentos para recopilar información son usualmente formularios específicos, pautas para entrevistas y reuniones, encuestas y cuestionarios. Cabe notar que la información es una base para el análisis y un respaldo a los juicios y proposiciones que se hagan. De ninguna manera puede confundirse con el producto del proceso de autoevaluación o la evaluación misma.

Por su parte, los referentes son los aspectos a considerar en una evaluación que, al formularlos, reflejan el comportamiento institucional esperado o las cualidades educacionales y profesionales que se estiman esenciales para asegurar la calidad de la entidad o de un programa o unidad, en el contexto nacional o incluso internacional. Ineludiblemente poseen connotaciones valóricas y culturales. Los referentes conforman una base para llevar a cabo el proceso de autoevaluación y el de evaluación externa, sea que se realice en un marco de acreditación o de fines internos de la institución. En el caso de participar en una acreditación, los referentes resultan centrales, ya que el dictamen se fundamenta principalmente en el cumplimiento o satisfacción de los mismos.

En general, un conjunto de referentes hace alusión (en términos de existencia, efectividad, utilización, resultados, productividad, efectos o logros, etc.) a aspectos tales como la organización, administración y gobierno de la institución, las carreras o programas, el personal docente y su dedicación a la institución, el progreso de los alumnos (en relación a la admisión, avance en los programas y egreso), la estructura, contenido y desarrollo de los currículos, las líneas y proyectos de investigación, las publicaciones e informes técnicos, el impacto en la comunidad, los recursos de apoyo bibliográfico, de información, de equipos, los laboratorios y talleres docentes, y la infraestructura y los medios financieros. En todo caso, las diferencias respecto a la naturaleza de los referentes de evaluación son más bien de grado de generalidad, amplitud o de énfasis cualitativo o cuantitativo, y pueden superponerse en varios casos.

Así, en la práctica, los referentes pueden utilizarse para focalizar la evaluación, organizar y recopilar información, avanzar juicios y elaborar informes.

62

Usualmente los referentes se plantean como proposiciones o afirmaciones que emplean los términos "debe", que implica una acción imperativa, y "debería", que posee una connotación de deseable o de recomendación insistente. Por ejemplo, respecto a recursos educacionales, un referente podría establecer que "La institución debe disponer los recursos educacionales suficientes y adecuados (textos, revistas, equipamiento, laboratorios, medios audiovisuales, computadores, etc.) para satisfacer los requerimientos de los programas de estudio..." Este criterio está llamando la atención a la cantidad de volúmenes y la actualización y diversidad de títulos de respaldo a las asignaturas o materias, así como también la mantenimiento de los textos, a los cuales deben tener acceso los alumnos, según las exigencias establecidas por los programas oficiales y las actividades docentes.

Los referentes pueden ser suficientes por sí mismos para operacionalizar la

evaluación. En efecto, es posible inferir o derivar información, datos, parámetros o variables, de carácter cualitativo o cuantitativo, y aún estudios específicos previos, que faciliten dicha operacionalización. Así, lo ilustrado anteriormente, en el ámbito de los recursos educacionales, podría asociarse con aspectos tales como "Disponibilidad de la bibliografía de apoyo para la docencia básica", lo cual podría, a su vez, desglosarse en variables como "Existencia de la bibliografía citada en los programas oficiales de estudio", "Estado de mantención de la bibliografía citada en los programas oficiales de estudio", y datos cuantitativos como "Número de estudiantes matriculados en las asignaturas de la carrera" y "Número de volúmenes de cada título existente de respaldo de las asignaturas de la carrera". Un indicador adicional podría ser "Grado de satisfacción de los estudiantes y profesores con la disponibilidad de los textos citados en los programas oficiales de estudio". Esto último conduce a la búsqueda de datos de opinión o "blandos" que contrastan con aquellos "duros" o de hechos o numéricos.

Al recopilar información y aplicar los referentes, es preciso clarificar, en rela-ción a cada aspecto o item que se aborde, los siguientes elementos: i) descripción de la situación (datos, tendencia, causales); ii) evaluación en términos de fortalezas y debilidades, en el ámbito interno, y de oportunidades y amenazas, en el externo; y iii) visión prospectiva, indicando una orientación de cambios y las condicionantes primarias de los mismos. Es igualmente conveniente realizar la tarea anterior tanto en una perspectiva interna como externa, es decir rompiendo la mera autorreferencia, intentándose una comparación con la situación en instituciones similares, al menos en el plano nacional.

A continuación se aborda una caracterización más acabada del Informe de Autoevaluación o Informe Interno; esto en atención a la importante utilización que puede hacerse de este documento en el proceso evaluativo.

Esencialmente, el Informe de Autoevaluación debe describir la situación de la institución y/o del área, unidad, programa o carrera, y evaluarla de manera estratégica, como también establecer o esbozar las directrices y compromisos para los cambios. En el fondo, el informe debería demostrar la capacidad de regulación y de planificación que posee la

63

institución. Si bien cada institución, agencia u otro organismo que administra o supervisa los procesos usualmente impone una pauta para el informe, hay ciertos contenidos o itemes básicos que deberían abordarse:

i) Una introducción, que puede incluir una breve presentación de la institución y de la estructura evaluada (carrera, programa, unidad, proceso de gestión), en su contexto interno y externo, y quizás un resumen de los propósitos y resultados del proceso, en términos muy gruesos.

ii) Una descripción del proceso autoevaluativo, relativa a su organización

y desarrollo y los aspectos que se estimen especiales o relevantes de destacar.

iii) La descripción y evaluación misma, que conforma el corazón del

informe. Puede organizarse siguiendo los mismos referentes de evaluación o los aspectos en que éstos están organizados, como también las áreas o procesos de docencia, investigación, gestión u otras subdivisiones (recursos, servicios, proceso de enseñanza, planes y programas), según el caso. Si bien la descripción puede formalmente separarse de la evaluación, parece más natural asociar ambas bajo el mismo encabezamiento.

iv) Una suerte de visión global o de síntesis jerarquizada e integral del

análisis. Un informe "atomizado" y "plano", que no distingue lo importante de lo secundario ni lo urgente de lo mediato, le resta legibilidad y, principalmente, utilidad en el manejo de las consecuencias del proceso.

v) Un conjunto de anexos o apéndices, que esencialmente constituye la

documentación que respalda, detalla o ilustra algunos aspectos o áreas del trabajo tales como programas académicos, normativas pertinentes, modelos de encuestas, listado de proyectos, publicaciones, tesis de título o grado, equipamiento significativo y estadísticas varias del progreso curricular de los alumnos.

Resulta conveniente elaborar, además, un informe ejecutivo que resuma

el proceso, respondiendo a preguntas como: qué se evaluó, para qué, qué se halló y en qué dirección se irá. Este informe es útil para ciertas autoridades o instancias que deben tener una idea gruesa de lo realizado.

Es importante tener en mente que el Informe de Autoevaluación, ya sea completo o parcialmente, puede tener diferentes destinos o audiencias (pares y expertos externos, autoridades internas, instancias gubernamentales, agencias varias, otros académicos y eventualmente otros sectores externos), lo que impone rigurosidad y pulcritud en su elaboración. Debe ser de carácter profesional, escrito

64

con lenguaje claro, franco y conciso, que se centre en lo importante, y de contenido completo, equilibrado, bien organizado y fundamentado. En un anexo (Información Básica para la Elaboración del Informe de Evaluación Externa) se ilustran algunos aspectos o guías para la confección del informe de la comisión externa. La Visita en Terreno

Una visita en terreno se extiende usualmente por 3-4 días, dependiendo de los objetivos de la evaluación y la amplitud del estudio (en acreditaciones institucionales o de áreas amplias del quehacer, el tiempo puede ser mayor o imponerse más de una visita). Una visita típica implica actividades como las siguientes:

i) Entrevistas y reuniones, grupales e individuales, con distintas personas (autoridades, conductores del proceso autoevaluativo en la institución, profesores, alumnos, personal no académico, egresados).

ii) Visitas a dependencias y servicios (laboratorios, salas, talleres,

bibliotecas, oficinas, cafeterías y otras facilidades e infraestructura).

iii) Revisión de documentos (programas de estudio, tesis de grado, proyectos y publicaciones, normativas, muestras de exámenes, encuestas, etc.).

iv) Informe oral de salida o de término de la visita (de carácter muy

preliminar, que provee la impresión general de la comisión). Se dirige usualmente al Rector y a quienes esta autoridad decida invitar. Esta actividad es opcional en algunos sistemas.

v) Reuniones privadas de coordinación de la comisión o tiempos de libre

disposición para la misma. Es conveniente sostener una sesión previa al inicio de la visita (“día cero”)

con el conductor del proceso autoevaluativo en la institución, el facilitador o coordinador interno de la visita y quizás algún directivo superior, a fin de afinar el programa y complementar o solicitar la generación de información adicional.

Por otra parte, la experiencia muestra la conveniencia de iniciar la visita con el Rector, usualmente acompañado de sus asesores más directos, la cual puede ser tanto de carácter protocolar como de trabajo, especialmente si la agenda es “apretada”; es igualmente conveniente que la sesión con estudiantes ocurra antes que aquella con profesores y directivos pertinentes al proceso docente.

65

En el caso de una “evaluación institucional”, resulta necesaria, aparte de una verificación del ámbito de la gestión organizacional superior y de los servicios, una revisión en planos más internos, cubriendo las distintas áreas o funciones del quehacer institucional. Esto puede hacerse ya sea introduciéndose con cierta profundidad en algunas facultades u otras unidades organizacionales pertinentes (escuelas, departamentos, institutos), eligiendo quizás aquellas más emblemáticas, tradicionales o completas, o, alternativamente, realizando una suerte de “corte transversal” a través de la institución, interaccionando con grupos que representan las distintas áreas o actividades.

Para su cometido, los miembros de la comisión pueden dividirse algunas

tareas, lo que permite una mayor cobertura, a expensas de una menor integración de lo revisado.

La visita requiere una coordinación especial. Es preciso enviar previamente a la comisión o tener disponible para ella al momento de la visita documentos tales como los siguientes:

i) Informe de Autoevaluación. ii) Información complementaria (C.V. de profesores, directivos y otros

actores pertinentes, publicaciones y proyectos representativos, normativas, instrumentos de recopilación de información, planes y programas de estudio, estatutos y catálogos de la institución, listado de recursos pertinentes, etc.).

iii) Detalle del programa de la visita. Por lo común, la institución,

conjuntamente con el organismo acreditador, cuando es el caso, establece un programa tentativo de la visita; pero la comisión debería ser capaz de modificarlo, siempre en coordinación con la institución, para un mejor cumplimiento de sus objetivos. Los siguientes son algunos aspectos importantes a tener en cuenta para la realización de la visita:

- Información amplia y adecuada a los actores institucionales,

según el caso, sobre el proceso realizado y los objetivos de la visita y el programa establecido.

- Asegurar la plena disponibilidad de autoridades superiores y

otros directivos y de alumnos, profesores y del personal, en general, especialmente aquel pertinente al proceso específico efectuado, si fuese el caso.

- Asegurar una funcionalidad plena y normal de la institución, con

particular atención al área o las áreas en que se haya focalizado el proceso.

66

El Informe de Evaluación Externa

Si bien cada institución, agencia de acreditación u otro organismo que administra el proceso establece la pauta para el Informe de Evaluación Externa, a lo menos los siguientes elementos deberían ser abordados:

i) la validez del Informe de Autoevaluación y el proceso mismo de

autoestudio; ii) la situación de la institución y de la unidad en autoevaluación,

si fuese el caso, a la luz de los objetivos declarados y los referentes de calidad establecidos, y

iii) las recomendaciones de cambio que se plantea la institución.

En el marco de un sistema de acreditación o equivalente, el Informe de

Evaluación Externa debe, además, proveer bases suficientes para que el organismo pertinente (agencia de acreditación, ministerio de educación, agencia internacional de fomento académico u otra similar) tome una decisión o emita un dictamen. En este sentido, a veces se espera que el informe incluya una proposición o recomendación fundamentada, junto con las condicionantes de la misma.

Es conveniente manifestarse también respecto de la posición relativa de la institución o de aquella unidad y su quehacer en el ámbito nacional e internacional.

En breve, las tareas primarias del evaluador externo son la realización de

una o más visitas en terreno, el análisis de documentación y la elaboración de un informe. Y, respecto a su conducta, podría adelantarse que ella está regida por las tres “r”: respeto por el sello o carácter de la institución (libre de prejuicios), reserva de los informes y antecedentes (discreción), y responsabilidad por los juicios expresados (profesionalismo). Sobre las recomendaciones/planes de acción Las recomendaciones de acción deben incluirse en el mismo Informe de Autoevaluación, en cuanto traducen la visión de la institución y de la unidad

que realizó el autoestudio, si fuese el caso. La institución debería revisar luego estas recomendaciones, a la luz del Informe de Evaluación Externa y la

consideración de cambios significativos que puedan haber ocurrido en el escenario interno y externo. Esta revisión debería conducir a la elaboración

67

de un plan concreto de acción y a un acuerdo de implementación en un plazo mediato.

Según la experiencia, las recomendaciones de cambio pueden ser

prescriptivas, lo que implica una fuerte injerencia o intervención de la cúpula directiva, o planteadas como consejos o simples llamadas de atención, a fin de que sean consideradas y asumidas. Esto último puede implicar un acuerdo o “negociación” entre los distintos niveles organizacionales. Lo que efectivamente ocurra depende de la cultura organizacional y de cómo se distribuye el poder en la institución.

Un plan de acción debe tender a superar o paliar las principales debilidades y amenazas, a la vez que consolidar las fortalezas y aprovechar las oportunidades. Los componentes a considerar en la elaboración de un plan de cambios son más bien clásicos y no constituye aquí un tema central. De cualquier manera, las acciones que se decidan deben guardar una relación directa y unívoca con los resultados del análisis estratégico. Por otra parte, es bueno tener presente que la factibilidad de un plan de acción se favorece si:

i) Se aumenta su viabilidad, en términos técnicos, financieros, políticos, legales y de recursos materiales y humanos y de capacidad de acción o gestión de este último.

ii) Se establecen prioridades y alternativas para las acciones y las fuentes de recursos.

iii) Las acciones se plantean dentro del marco de los fines o políticas

institucionales.

iv) Las acciones son asociables o sinérgicas entre sí. Aspectos culturales Los evaluadores externos deben reconocer que la visita ocurre en una institución que posee una cultura organizacional, que la hace diferente de otras. Dicha cultura implica la presencia de ciertos valores y maneras o tradiciones para abordar y hacer las cosas, con símbolos y códigos de comunicación distintivos, tipos de liderazgo y formas de organizar el trabajo, una distribución específica del poder y flujo especial de la toma de decisiones. Así, lo que resulta “normal” o usual en la universidad de la cual proviene el evaluador podría aparecer como un anatema en la institución visitada. La cultura distintiva de cada institución se plasma o entreteje con ciertas características propias de la universidad, que la conforman en una

68

organización peculiar, quizás “rara”, respecto de otras empresas del sector productivo y de servicios:

De partida, las universidades tienden a establecer propósitos y objetivos más bien ambiguos o muy generales. Las declaraciones de misión, no sólo institucional sino que de unidades de trabajo se quedan en lo retórico y lo vago sin explicitaciones que permitan orientar el comportamiento institucional y contrastarlo con hechos o logros concretos. Si bien esta ambigüedad facilita el consenso en la academia, es una de las dificultades al momento de desarrollar procesos evaluativos.

En segundo lugar, las universidades transforman personas u operan sobre ellas (alumnos), las cuales asumen un rol activo y aún demandante en el proceso mismo del “negocio” universitario. En este sentido, la universidad tiene aquí un usuario complicado que influye en la naturaleza misma del proceso de la empresa universitaria.

Por otra parte, no es sencillo transformar personas, especialmente cuando la universidad no controla todos los elementos del cambio. Esto hace que la tecnología de trabajo o la metodología de las universidades no sea única ni aplicable a todas las personas ni fácilmente subdividida o segmentada. Esta característica hace que, en los hechos, el trabajador universitario sea más bien holístico o integrador en las funciones, abarcando un amplio espectro de tareas tales como la enseñanza, la investigación, la difusión de cultura, la asesoría y la administración.

Todo lo anterior genera dificultades cuando se trata de evaluar tanto los

procesos como los resultados del quehacer académico, particularmente el docente. Dada esta complejidad, debe asegurarse que los referentes de evaluación otorguen una adecuada consideración de los resultados, balanceando la tentación de centrarse en la mera disponibilidad de los medios.

Pero la universidad posee también un trabajador complicado. Aparte de

abordar varias tareas, debe ser un experto en una disciplina o profesión. Esto hace que las universidades no sólo posean un fuerte carácter profesional, común con otras organizaciones, sino que una acusada fragmentación al respecto, ya que el académico tiende a imponer las normas o perfiles de su profesión a la “profesión académica”. En la práctica, posee lealtades divididas, identificándose más bien con su propio oficio. Así, en la universidad no predomina un grupo profesional particular, como los médicos en un hospital o los pedagogos en una escuela básica, sino que se distinguen numerosos núcleos (comúnmente agrupados en unidades de trabajo), cada uno exhibiendo, en buena medida, sus propias normas, políticas, metodologías y actitudes, estableciéndose una especie de “subcultura” al interior de la “cultura institucional”.

Por otro lado, las universidades contienen trabajadores que requieren

una notable autonomía para realizar su trabajo. Esto conforma una sinergia con

69

la libertad y autonomía que demanda la universidad como institución. Al profesor no le resulta sencillo acomodarse a la supervisión. Y la evaluación le parece aceptable solamente en manos de pares calificados, y no de la jerarquía burocrática.

La demanda de autonomía y aquellas “subculturas” son algunos de los

factores de centrifugación en la gestión. El reconocimiento de estas realidades constituye algo crucial cuando se trata de evaluar una institución. Un proceso de evaluación debe diseñarse a la luz de estas diferencias. Es un error imponer pautas, procedimientos e instrumentos idénticos a través de la institución. Creará anticuerpos al proceso.

El elevado grado de autonomía que exige el trabajo académico y su inherente carácter abarcador y profesional tiende a establecer en las universidades líneas múltiples de jerarquía, conformándose un esquema de índole matricial, que resultan débiles y difusas. Así, el académico tiene varios supervisores formales, pero de hecho posee mucha independencia en su quehacer. Y no es extraño entonces que con frecuencia los directivos, más que disponer de un mando férreo en lo académico, “negocian” las decisiones, y más que planificar de manera acabada, aplican soluciones por inercia. A esta flexibilidad jerárquica, cabe añadir la incoherencia de gobierno que puede darse en virtud de los mecanismos de designación de directivos, cuando, por ejemplo, el rector, los decanos y otras autoridades se generan por elección o designación desde distintos sectores.

Otro aspecto destacable en el perfil de organizaciones universitarias es la

tendencia a una dinámica participación de los actores institucionales en distintos niveles de la gestión. Algo que varía precisamente con la “cultura organizacional”, determinada en este punto por factores sociopolíticos asimilados desde el entorno o por la mera tradición. En general, la universidad latinoamericana tradicional presenta una acusada participación de los académicos y los alumnos y aún de los funcionarios no académicos en el manejo institucional. En las nuevas universidades del sector privado, que han irrumpido en las décadas de los años 80 y 90, este es un elemento aminorado o formalmente inexistente, siendo el “poder constituyente” de las entidades el predominante, al menos en la primera etapa del desarrollo institucional; sin embargo, a medida que evolucionan dichas entidades, se observa una injerencia creciente del “poder académico”.

Este elemento de participación en la gestión necesariamente debe

reflejarse en los procesos de evaluación. Cuando por el contrario, solamente la cúpula directiva maneja los procesos evaluativos, éstos pueden perder validez y, lo que es más negativo, restar viabilidad a las consecuencias, dado el menor compromiso que adquieren los académicos con los planes de acción al ser marginados de los estudios y las decisiones pertinentes. Por otra parte, una apropiada participación y un adecuado liderazgo desde la cúpula directiva permiten disminuir la distancia entre los objetivos de la base o sectoriales y

70

aquellos institucionales. Este acercamiento de objetivos es clave, junto con la participación, en la llamada "gestión de calidad total".

Finalmente, es bueno tener presente que la planificación y la evaluación misma no son componentes que estén en la tradición de la universidad latinoamericana. Y aunque en ella se predique la innovación, los hechos muestran que es una organización con acusados mecanismos de resistencia al cambio. De aquí que la evaluación institucional, en sus formas de autoevaluación y de evaluación/auditoría externa, y la implantación de sistemas de acreditación, está conformando, en general, un elemento sanamente perturbador. La mera incursión en procesos de autoevaluación puede alterar estructuras, liderazgos, diseño de políticas y eventualmente la asignación de recursos. Elementos para una visita inútil La visita en terreno puede ser muy beneficiosa para la institución. Sin embargo, hay ciertos aspectos que, de no cuidarse, le restan efectividad:

i) Poca claridad en los objetivos de la evaluación, tanto respecto de las consecuencias esperadas para y por la institución como de las acciones solicitadas a la comisión.

ii) Precaria información disponible con antelación a la visita (insuficiente

trabajo de la institución y baja exigencia de la comisión).

iii) Escasa comprensión de la comunidad universitaria del proceso evaluativo.

iv) Un programa de visita muy presionado, que no permite una adecuada

interacción de la comisión con los actores y conocimiento de la institución.

v) Falta de preparación previa de la comisión y de liderazgo al interior de la

misma.

En un documento anexo (Observaciones del Evaluador Efectivo) se resumen algunas sugerencias, surgidas de la experiencia, a tener presente para una “buena práctica” o desempeño efectivo como “par externo”.

71

ALGUNAS REFERENCIAS BIBLIOGRAFICAS Ayarza, Hernán., Char, Roberto, González, Luis E., Ramírez, Soledad, y Silva, Moisés. "Calidad de la Enseñanza Universitaria. Criterios de Verificación". Corporación de Promoción Universitaria (CPU). Santiago de Chile. (1994). Baldridge, J.V. et al. “Alternative Models of Governance in Higher Education”, in Governing Academic Organizations (G. L. Riley and J.V. Baldridge, ed.). Ch. 1. Cutchan Publishing Corporation, California, USA. (1977). CSE (Consejo Superior de Educación), "Criterios de Evaluación de Universidades", Secretaría Técnica, CSE, República de Chile (1993). Green, D., "Trends and Issues", in A. Craft (ed.) International Developments in Assuring Quality in Higher Education..Ch.9.(Palmer Press,Washington, D.C.) (1994). Harvey, L. and Green, D. "Defining Quality". Assessment and Evaluation in Higher Education, p. 9, 18, Nº 1 (1993). Kells, H.R., "Procesos de Autoevaluación. Una Guía para la Autoevaluación en la Educación Superior", Pontificia Universidad Católica del Perú, Fondo Editorial, Lima, Perú (1997). Middaugh, Michael F., Trusheim, Dale W. and Bauer, Karen W. “Strategies for the practice of institutional research: Concepts, resources and applications”, Association for Institutional Research and The Northeast Association for Institutional Research, Nº 9 (Resources in Institutional Research) (1994), Florida State University, Tallahassee, Florida (USA). Ramírez, Soledad, Espinoza, Oscar, González, Luis E., Poblete, Alvaro, Silva, Moisés y Zúñiga, María, "La Autoevaluación de Instituciones de Educación Superior. Pautas y Procedimientos". Centro Interuniversitario de Desarrollo (CINDA), Santiago de Chile (1994). Rowley, J., "Measuring Quality in Higher Education", Quality in Higher Education, vol. 2, Nº 3, p. 257 (1996). SACS (Southern Association of Colleges and Schools) "Handbook for Peer Evaluators". Comission on Colleges, Decatur, Georgia (USA) (1996). Silva Triviño*, Moisés, Ramirez Gatica, Soledad y Reich Albertz, Ricardo, "Hacia un Modelo Operativo de Evaluación de Calidad y Acreditación. Ciencias

72

Básicas en las Carreras Tradicionales." Revista de Estudios Sociales, Corporación de Promoción Universitaria (CPU), Santiago de Chile. Nº 96, Trimestre 2/1998, pp. 9-72 (1998). Silva*, Moisés and Reich, Ricardo. "Assuring Institutional Improvement. Autoevaluation Process at the University of Concepción (Chile)". En Proceedings of Seventh International Conference on Assesing Quality in Higher Education. (Publicación especial). Banta/Lambert University-Purdue University, Indianapolis, IN (USA) p. 33-40 (1995). Silva*, Moisés y Reich, Ricardo, "El proceso de Autoevaluación Institucional en la Universidad de Concepción. Informe de Avance" en Política y Gestión Universitaria. Centro Interuniversitario de Desarrollo (CINDA) p. 441 (1994). Silva*, Moisés, Gallegos, Gricelda y Reich, Ricardo, “Autoevaluación y gestión institucional. Resultados y análisis de una experiencia de seis años”, en publicación de ponencias en extenso presentadas en el congreso Un marco para la calidad: Evaluando la Evaluación, International Network for Quality Assurance Agencies in Higher Education (INQAAHE), p. 230. Santiago de Chile (1999). Silva, Moisés (Consultor) y Reich, Ricardo (Coordinador), Carpeta del Facilitador, Proyecto de Autoevaluación (Ciclo II) del Programa CRE-Columbus. Coordinación del Proyecto, Concepción, Chile (Septiembre de 1998). Silva, Moisés*, Reich, Ricardo and Gallegos, Gricelda "Effects of External Quality Evaluation in Chile. A Preliminary Study". Quality in Higher Education., Vol.3. N¼1, pp. 27-35 (1997). Silva, Moisés, Presentación sobre el desarrollo del Proyecto de Autoevaluación (Ciclo II) del Programa CRE-Columbus, en Seminario Final de Análisis en Valparaíso, Chile (Mayo de 2000). Silva, Moisés., "Acreditación Universitaria en Chile. Bases para la Elaboración y Aplicación de un Modelo". (Acreditación de Instituciones Autónomas. La Visión de la Universidad de Concepción). Documentode Trabajo N¼ 33/97, Corporación de Promoción Universitaria (CPU). Santiago de Chile. (1997). Yeats, M. ·"Evaluación y Liderazgo Institucional en la Educación Superior", Revista IGLU, Nº 11, p.47-68 (Octubre 1996) M. Silva (CSUCA, Ciudad de Panamá, Julio 2001).

73

6.2.2 Dr. Moisés Silva Triviño Director de Análisis y Desarrollo Institucional de la Universidad Mayor (Santiago de Chile). Miembro de la Comisión Nacional de Acreditación (Chile). moises_silva@umayor.cl. OBSERVACIONES DEL EVALUADOR EFECTIVO 1. CONDUCCIÓN DE ENTREVISTAS Y REUNIONES DURANTE UNA VISITA EN TERRENO ♦ Clarificar a la audiencia o al entrevistado el marco en que se inserta la visita y

el propósito de la reunión. Identificar la comisión de pares/expertos y, usualmente de manera genérica, a la audiencia o entrevistado. Informar del procedimiento a seguir y el tiempo disponible.

♦ Iniciar la reunión con un tema o aspecto general y establecer una atmósfera de

cordialidad, franqueza y cooperación académica y un cierto grado de informalidad.

♦ Mantener como guía primaria de la sesión los referentes de evaluación

(criterios, estándares, pautas o indicadores adoptados y la propia misión y objetivos institucionales).

♦ Focalizar la entrevista o reunión en el contenido del proceso en marcha y los

resultados de la autoevaluación que realizó la institución y otros antecedentes que hayan sido puestos a disposición. No permitir el alejamiento de los temas centrales que el evaluador o la comisión de pares/expertos haya decidido.

♦ Estimular a la audiencia o el entrevistado a expresarse sobre la calidad y la

satisfacción/cumplimiento de los referentes de evaluación en el ámbito de sus propias actividades.

♦ Detener, con firmeza y cortesía, las exposiciones muy largas o monopólicas de

una o más personas o que se separan de los temas de interés para la comisión.

74

♦ Ser sutilmente “provocativo” con audiencias pasivas, autocomplacientes o que manifiestan un altísimo “consenso”. (Recurrir a citas del Informe de Autoevaluación e información “dura” (cifras, hechos), misión, objetivos, datos y planes generados en la propia institución, antecedentes u opiniones públicas recopiladas en el entorno, estudios comparativos publicados, “principios universales” sobre el quehacer universitario, etc.).

♦ Tener presente la importancia de obtener verificación, evidencias o respaldo de

los informes, conclusiones y juicios. Contrastar lo que se manifiesta en la reunión o entrevista con la información “dura” disponible.

♦ Plantear preguntas e inquietudes que hayan surgido durante la preparación de

la visita y el desarrollo de la misma, en coordinación con los otros miembros de la comisión de pares/expertos. Requerir información adicional como se estime necesario, alguna a generar durante la visita misma o dentro de las semanas siguientes, según sea su naturaleza. (Esto puede ser particularmente importante cuando el proceso autoevaluativo o el informe ha sido más bien precario).

♦ Obviar la expresión de críticas a la institución o las personas. No adelantar

juicios, los cuales, en todo caso, requieren de un acuerdo con la comisión de pares/expertos.

♦ Considerar, en principio, toda la información provista. Pero es preciso ser

selectivo según sea la relevancia de los antecedentes. ♦ Preferir una entrevista individual o con una reducida audiencia cuando se trata

con los líderes o conductores formales e informales. ♦ Tomar notas, si es necesario, mientras otro miembro de la comisión dialoga

con la audiencia, o hacerlo en los recesos disponibles. 2. INFORME ORAL (PRELIMINAR) DE SALIDA O TERMINO DE LA VISITA ♦ Focalizar en los aspectos principales, los grandes problemas, fortalezas e

inquietudes, que en todo caso deberán incluirse posteriormente en el informe escrito. Empezar por los aspectos positivos para seguir con aquellos que requieren preocupación o estudio y toma de decisiones. Relacionar siempre el análisis con los objetivos institucionales y los referentes de evaluación (criterios, estándares, indicadores, pautas).

♦ Mantener una perspectiva global, integradora. Obviar los aspectos puntuales

que pueden distraer o distorsionar las cuestiones de fondo o significativas. ♦ Ser breve. Unos 35-50 minutos es suficiente.

75

♦ Hacer una exposición de carácter profesional, franco, “de par a par”, en un

espíritu de cooperación académica. ♦ Dejar tiempo para preguntas y aclaraciones u observaciones referidas a

hechos o cifras de parte de los directivos de la institución. Evitar la discusión sobre juicios o sentencias taxativas.

♦ No proveer recomendaciones o prescripciones ni anticipar posiciones de la

agencia de acreditación o su equivalente, en caso que la comisión opere por cuenta de esta última.

3. INFORME ESCRITO DE LA COMISION ♦ Ceñirse a la pauta que se haya provisto. ♦ Recordar que es el informe de la comisión y no el de la agencia acreditadora u

otro organismo ni el eventual dictamen de esta última. ♦ Integrar lo expresado en el informe oral (preliminar) de término de la visita, y

relacionar siempre el contenido con los objetivos institucionales y los referentes de evaluación (criterios, estándares, indicadores, pautas).

♦ Contrastar lo observado con el Informe de Autoevaluación. ♦ Informar con precisión y respaldo, dando juicios equilibrados y de carácter

profesional. Buscar bases para asegurar una postura definida en aspectos cruciales (Ni a la institución ni a un organismo acreditador le es de utilidad la indefinición).

♦ No mencionar personas como sea posible; preferir cargos, instancias,

estructuras o procesos. ♦ Destacar lo importante. Ser breve y conciso y orientar el informe hacia los

cambios, aludiendo a las recomendaciones que se plantea la propia institución. ♦ Terminar con una síntesis o visión global y jerarquizada, tanto de los

principales aspectos positivos como de los problemas u oportunidades de mejoramiento.

♦ Empezar a elaborar el informe desde el inicio de la visita misma (incluso, desde

antes de la visita, puede ser conveniente confeccionar un esquema grueso, “prejuiciado” sin duda, en cuanto está basado solamente en la documentación recibida con antelación a la visita, que se comparte con los colegas de la comisión, ayudando así al diseño de las tareas en terreno).

76

4. Y ALGUNAS OTRAS OBSERVACIONES... ♦ Prepararse para la visita: Estudiar críticamente el Informe de Autoevaluación,

participar en las reuniones de coordinación, distribuir tareas al interior de la comisión y cooperar con los colegas de la misma

♦ Visualizar desde el inicio el Informe de Evaluación Externa. ♦ Establecer prioridades sobre aspectos a revisar, verificar y requerir

información. ♦ Avanzar tanto como sea posible el primer día. ♦ Modificar el programa según acomode a los objetivos y tareas trazadas por la

comisión como sea viable o razonable (usar para ello la comunicación previa a la llegada o la reunión de coordinación en el “día cero”).

♦ Con agendas inevitablemente “apretadas”, dividirse las tareas entre los colegas

(lo que puede ser aplicado aún con programas adecuados) y preferir, en términos de dedicación del tiempo, la interacción con actores institucionales a visitas de infraestructura.

♦ Realizar entrevistas “relámpago”, al azar o fuera de programa, con estudiantes,

profesores y funcionarios no académicos, y visitas a facilidades o servicios no contemplados en el “tour”, que puedan parecer relevantes (emplear para ello los recesos o visitas a laboratorios, bibliotecas, cafeterías, o al trasladarse de un sector a otro del campus).

♦ Asegurar períodos de tiempo libre para la comisión. ♦ No apartarse de los objetivos institucionales y los referentes de evaluación, y

contrastar con el Informe de Autoevaluación. ♦ Concentrarse en los temas importantes. ♦ Ser definido en los aspectos cruciales (cumplimiento de requisitos mínimos o

básicos para otorgamiento de acreditación o autonomía, asignación de macroproyectos, etc., y la viabilidad de satisfacerlos plenamente).

♦ No adelantar juicios ni conclusiones. ♦ Respetar los distintivos culturales de la institución. ♦ No tomar partido en discrepancias internas de la institución.

77

♦ Evitar, en general, la participación en eventos sociales, aunque algunos

podrían ser de utilidad para lograr una interacción más distendida. ♦ No aceptar favores, actitudes ni regalos que puedan ser malinterpretados. ♦ Mantener el espíritu de equipo de la comisión, y recordar que debe haber un

presidente o coordinador que organiza las tareas y se expresa por la comisión. ♦ Esforzarse por lograr consensos al interior de la comisión. ♦ Tener presente que la comisión conduce la visita y que la institución coopera. ♦ No separarse de la comisión hasta que no se haya redactado al menos un muy

buen “borrador” del informe final escrito. ♦ Recordar que es un honor o un reconocimiento ser un “par evaluador”... ♦ ...y que el fin último de un proceso evaluativo es, o debería ser siempre,

fomentar el mejoramiento continuo y resguardar así la calidad hacia los usuarios y sostenedores de la educación universitaria.

M. Silva (CSUCA, Ciudad de Panamá, Julio 2001). 6.2.3 Dr. Moisés Silva Triviño Director de Análisis y Desarrollo Institucional de la Universidad Mayor (Santiago de Chile). Miembro de la Comisión Nacional de Acreditación (Chile). moises_silva@umayor.cl. INFORMACION BASICA PARA LA ELABORACION DEL INFORME DE EVALUACIÓN EXTERNA

La información tiene un papel clave para el proceso de evaluación, tanto en su fase autoevaluativa como de evaluación/auditoría externa. La comisión de evaluación externa dispone, desde antes de la visita, la información contenida en el Informe de Autoevaluación y otros documentos. Y durante la visita recopila información adicional, oral y escrita, pudiendo, además, recibir datos con posterioridad, según ella misma los haya requerido o la institución los hubiera ofrecido.

78

En principio, la información básica que sustenta los juicios y conclusiones puede derivarse, en cuanto a su naturaleza y fuentes, de los

referentes (criterios, estándares, indicadores, pautas) y los objetivos institucionales. Pero obviamente ayuda bastante la experiencia y buen sentido

y “olfato” de los pares y expertos evaluadores, a fin de indagar por un adecuado respaldo a los juicios que emitirán.

A continuación se ilustra la información básica en relación con dos áreas o aspectos de referentes: el proyecto y la gestión institucional y los recursos académicos materiales y de infraestructura. Respecto del Proyecto y la Gestión Institucional:

Este aspecto se refiere esencialmente a cuestiones tales como la misión, visión y objetivos que se plantea la institución, en términos de cómo se

percibe a sí misma y el aporte que pretende hacer a la sociedad, extendiéndose luego hacia una caracterización o distintivo de los planes y programas de trabajo y las funciones en que se centra, incluyendo su pertinencia social, la audiencia en

que intenta focalizar, ámbito geográfico de influencia, la estructura organizacional y de gobierno, la organización y políticas de desarrollo de los recursos

académicos, humanos y materiales, y el sistema de fomento y control de la efectividad de su accionar.

La siguiente es una muestra de la información y antecedentes a disponer o buscar:

1. Declaración pública de la misión, visión y objetivos de la institución

(catálogos, estatutos u otros documentos de difusión pública).

2. Organigrama de la institución y de la estructura organizacional .

3. Reglamento orgánico o normativas equivalentes que describan los cargos directivos y otros organismos con sus funciones y responsabilidades y mecanismos de designación.

4. Documentación reciente, respecto a planes de desarrollo y procesos de

evaluación o equivalentes.

5. Medios de comunicación de la institución hacia los profesores, alumnos y la comunidad.

6. Antecedentes (C.V.) de directivos.

7. Plan de desarrollo y programas de acción.

79

8. Evidencias de la coherencia o consecuencia entre la misión y objetivos declarados y las políticas, planes y acciones o actividades concretas (programas y estrategias docentes, adquisiciones, resultados, etc.).

9. Mecanismos de un debido proceso para situaciones de conflicto tanto en el

ámbito del personal como de los estudiantes.

10. Organismos de gobierno. Constitución, atribuciones y responsabilidades. Mecanismo de toma de decisiones importantes (inversiones, creación de nuevas estructuras y programas, desarrollo del personal).

11. Opinión de los estudiantes, profesores, administrativos, egresados y de

personeros o instancias externas, públicas y privadas, respecto de la estructura, desarrollo, integridad y presencia o impacto de la institución en el medio.

Respecto de los recursos académicos materiales y de infraestructura: Este aspecto se refiere esencialmente a la existencia, mantenimiento, actualización, desarrollo, accesibilidad, pertinencia y utilización de los medios de enseñanza, aprendizaje, investigación, vinculación con el entorno y el soporte, en general, para las actividades comprometidas por la institución.

La siguiente es una muestra de la información y antecedentes a disponer o buscar:

1. Listado y presencia de materiales educacionales disponibles para alumnos y/o profesores tales como: i) equipos para el trabajo experimental y en terreno; ii) medios computacionales; iii) textos, revistas y colecciones; iv) información electrónica o no tradicional; y v) audiovisuales y multimediales, en general. Referencia a los más importantes o relevantes y que se emplean exclusiva o principalmente tanto para la docencia como la investigación.

2. Correlación de los recursos educacionales disponibles con: el número de

usuarios y la frecuencia o tiempo de utilización .

3. Descripción de los medios de acceso remoto a la información (préstamos, redes, etc.).

4. Conformación, funciones y tareas de la instancia que coordina o supervisa

directamente, en el plano institucional, la actualización, pertinencia, nivel y

80

cantidad en la adquisición del material bibliográfico e informativo, en general.

5. Estudio evaluativo del funcionamiento y desempeño de la biblioteca (niveles

centralizado y descentralizado, si fuese el caso). Resultados. Planes de cambio existentes.

6. Estudio de la congruencia entre los recursos educacionales disponibles, lo

establecido por el contenido de los programas oficiales de estudio y las estrategias de enseñanza que se aplican o desarrollan.

7. Programa o actividades realizadas de instrucción u orientación para los

alumnos respecto del uso de los medios bibliográficos e informativos y otros recursos educativos. Resultados.

8. Descripción de la cantidad y características de los laboratorios y talleres

para el trabajo docente. Relación de espacio e instalaciones con el número de alumnos y los contenidos (actividades prácticas, metodología de trabajo, sistema de evaluación) de las labores docentes.

9. Descripción, caracterizada en lo pertinente o significativo (capacidad,

mantenimiento, seguridad) de la infraestructura física e instalaciones (aulas, oficinas, salas de estudio y de estar, laboratorios de investigación y enseñanza, salas de instrumentación y computación, resguardo o almacenaje de equipos y reactivos o insumos, salas de reuniones, talleres de mantenimiento y de apoyo, cafetería, medios recreativos y deportivos, etc.), en general, disponibles para el trabajo y permanencia de alumnos y profesores.

10. Documentos que certifican o respaldan, de manera periódica, que la

infraestructura e instalaciones satisfacen los requerimientos legales de higiene y seguridad y otros que correspondan.

11. Estudio de la utilización del espacio para las necesidades de los programas

docentes. Proyecciones.

12. Inversiones significativas realizadas en infraestructura e instalaciones. Tendencias y compromisos.

13.Opinión, en lo pertinente, de los estudiantes, profesores, investigadores,

directivos y funcionarios, respecto de la efectividad de los recursos educativos, de investigación y de extensión al medio, como también de la infraestructura.

M. Silva (CSUCA, Ciudad de Panamá, Julio 2001).

81

6.2.4 Prof. Dr. Johann W. Gerlach Freie Universität Berlin CONCEPTO, PRINCIPIOS, MÉTODOS Y EXPERIENCIAS EN LA EVALUACIÓN EXTERNA EN LA EDUCACIÓN SUPERIOR EN ALEMANIA Y OTROS PAÍSES EUROPEOS I N D I C E 1. Evaluación en la Educación Superior – aspectos generales a) Desarrollo y tendencias

b) Proceso de control y mejora de calidad sistemáticos

c) Evaluación de programas y de instituciones

d) Resultados y consecuencias

2. Evaluación interna y externa a) Autodeterminación y determinación ajena

b) Coordinación de la evaluación interna y externa

c) Organización por medio de una “Agencia” profesional

3. La evaluación externa en detalle a) Selección/Calificación de los “pares”

b) Tareas

c) Procedimiento

1. Evaluación en la Educación Superior – aspectos generales a) Desarrollo y tendencias

La evaluación se ha generalizado últimamente en Alemania y en Europa (la Gran Bretaña y los aíses Bajos llevan más tiempo), y también se está produciendo en todo el mundo. En este desarrollo se registran tendencias similares (que incluyen algunas diferencias culturales y prácticas). Como ejemplo puede citarse el sistema SICEVAES con el “documento básico” y las “Guías”

82

Regularmente el procedimiento consiste primero en una evaluación interna y luego en una externa, y por sus resultados lleva a las consecuencias correspondientes. La evaluación externa es una parte de todo el procedimiento, no constituye una meta-evaluación separada y por eso no debe tratarse aisladamente. Evaluaciones atienden al razonable interés propio de las universidades por la vía del compromiso voluntario. Sin embargo éstas se producen sobre todo por impulsos externos: Las exigencias políticas que las universidades rindan cuentas sobre el uso efectivo de los recursos financieros y de los resultados logrados con ellos; la competencia en el mercado con las otras universidades por (muchos / los mejores) estudiantes y profesores, así como por ingresos/asignaciones financieros adicionales (fondos para la investigación, becas, tasas estudiantiles); la necesidad de los certificados de calidad para obtener el reconocimiento regional/internacional de los rendimientos estudiantiles y de los exámenes aprobados en favor de fomentar la movilidad de estudiantes, graduados y profesores. (De urgente actualidad en Europa como en América Central.) b) Proceso de control y mejora de calidad sistemáticos

Una evaluación de ese tipo exige un proceso duradero y transparente con una amplia participación en el discurso. El análisis de las fortalezas y debilidades en la actualidad (comparando con el desarrollo en los últimos tres / cinco años) junto con la estimación de las oportunidades y riesgos futuros tiene que conducir a una nueva planificación del desarrollo. Para una valoración no son suficientes los datos cuantitativos (input y output), aunque es cierto que tienen un valor indicativo, sobre todo los criterios reconocidos para evaluar el rendimiento de la investigación. Pero para llegar a un dictamen definitivo se necesitan ponderaciones y estimaciones más extensas (por ejemplo en el caso de la enseñanza y los estudios, la valoración por parte de empleadores y de ex-alumnos). La calidad y el rendimiento se pueden determinar solamente en una comparación, es decir, relativamente. La comparación se facilita cuando se evalúan uniformemente las mismas disciplinas en varias universidades de una región / un país o varios países. Eso está sucediendo cada vez más en Alemania y en Europa. La evaluación externa tambien fomenta una valoración comparativa. Para ello existen criterios diferentes: la reconocida alta calidad regional/internacional o solamente media calidad, de acuerdo con los propósitos y la capacidad de rendimiento de la universidad/de la disciplina académica de un país. La evaluación hay que delimitarla de la acreditación (como condición para el reconocimiento formal de una universidad o de un programa académico) y de la

83

Certificación (como documento especial de calidad). Ciertamente, estos conceptos muchas veces no se distinguen con precisión. c) Evaluación de programas y de instituciones

La evaluación de programas académicos es la que predomina. Pocas veces se realiza la evaluación de instituciones (universidades, facultades, institutos). Esto en Europa sólo lo ofrece profesionalmente la Conferencia Europea de Rectores (CRE) / la Confederación Europea de Universidades. Este tipo de evaluación institucional se recomienda para resolver problemas o cambios institutionales mayores, p.e. fusión / coordinación. (En Alemania existe un control parecido cuando una universidad desea ser reconocida por el Estado o solicita fondos extraordinarios para construcciones o desea hacerse miembro de la Conferencia de Rectores Universitarios.) En el caso de la evaluación de programas se trata de la calidad de la especialidad correspondiente y sólo marginalmente de la relación de esta disciplina con la universidad y con los demás programas. Por el contrario, en el caso de la evaluación de una institución se encuentra ésta en su conjunto en el centro de interés (perfil, misión y dirección estratégica, estructura, organización y administración, distribución de las competencias de dirección y decisión, así como de los recursos en las finanzas, el personal y los materiales, también en vista de los rendimientos logrados con ellos, en la enseñanza y los estudios, la investigación, los servicios etc.). Sólo con una evaluación institucional se puede valorar comparativamente el conjunto de las diferentes facultades, institutos, disciplinas, con sus recursos y rendimientos. Esto se ha quedado corto hasta ahora tanto en el sistema de evaluación por CRE como por SICEVAES. Para ello tienen que especificarse las bases de las informaciones de cada “unidad”, de manera que se pueda diferenciar. (La calidad de las especialidades científicas sigue siendo objeto de evaluación por programas.) d) Resultados y consecuencias

La evaluación tiene como finalidad el control y mejoramiento sistemáticos de la calidad. Para ello es necesario realizar un análisis y una autoevaluación con franqueza y capacidad autocrítica. Sólo si sale bien (también psicológicamente), se puede lograr una reforma duradera con la conducción de un “management”de calidad. La evaluación externa puede fortalezar el movimiento reformador. Sobre ésto contienen, por ejemplo, las guías de SICEVAES muchos detalles y estímulos. El informe de la evaluación y sus resultados no debe ser detalladamente descriptivo, sino que tiene que concentrarse en el análisis y en la valoración. Una cuestión crucial es la publicación que es parte de la información y del rendimiento de cuentas serio ante el Estado y la sociedad. (Según la experiencia, las universidades aprecian más, al principio, la confidencia y la discreción.)

84

Una evaluación y sus resultados –como también una evaluación no realizada- tiene que tener consecuencias: Planificación y medidas para mejorar efectivamente la calidad con control permanente, en lo posible con el establecimiento de un “acuerdo”, por ejemplo entre el Estado y la universidad, como también dentro de la universidad, entre el rectorado y las facultades/disciplinas. A largo plazo los recursos entre las universidades y dentro de la universidad tienen que distribuirse de acuerdo con los distintos rendimientos. Eso refuerza la competencia y produce en consecuencia ganadores y perdedores. Sin embargo es necesario que exista un organismo central para conducir el “management” de calidad. 2. Evaluación interna y externa a) Autodeterminación y determinación ajena

En Alemania y en la mayoría de los países europeos toda la evaluación se realiza voluntariamente y bajo la propia responsabilidad de las universidades. (Estas pueden proponer también los pares externos.) Sin embargo, el procedimiento se coordina políticamente con el Estado y sus órganos de inspección. De esa manera se combinan prácticamente la autodeterminación y la determinación ajena. Muy diferente es la situación en la Gran Bretaña. Allí una agencia estatal conduce toda la evaluación cuyos resultados deciden sobre las asignaciones presupuestarias anuales a las universidades. Una determinación ajena resulta más bien contraproducente en el campo de la ciencia –así como de la cultura. b) Coordinación de la evaluacón interna y externa

Los dos pasos deben coordinarse desde el principio: La organización y el cronograma; fijación de los temas de evaluación esenciales con los datos básicos necesarios y otras explicaciones; indicaciones para el informe final (disposición, presentación, extensión etc.). En ésto es la evaluación externa una prueba adicional y no una “meta-evaluación” (parece ser diferente en SICEVAES). c) Organización por medio de una “Agencia” profesional

En Alemania y en la mayoría de los países europeos existen agencias y comités especiales, los cuales organizan profesionalmente el procedimiento de evaluación a solicitud de los interesados. Con eso se asegura una infraestructura de gran rendimiento con continuidad y estándares/resultados homogéneos. El procedimiento debería ser continuado y concentrado (sin plazos largos). Estos agencias/comités son independientes del Estado (al contrario de la Gran Bretaña); tampoco están vinculados con la universidad que van a evaluar, sino que son autónomos o interuniversitarios. Ayudan efectivamente ya antes y durante la evaluación interna; escogen a los pares externos y acompañan su trabajo. También cooperan en la redacción de los informes finales y están a

85

disposición para consultas posteriores. La evaluación misma queda bajo la responsabilidad de la universidad y de los pares externos. Existen “manuales” para todas las instrucciones prácticas, también sobre las entrevistas. (Aquí la tendencia a la perfección puede tener el efecto de excesiva burocracia y conformismo centralista). 3. La evaluación externa en detalle Los manuales, como las Guías de SICEVAES, contienen todos los aspectos relevantes. Por consiguiente, nos podemos limitar aquí a algunas frases sobre puntos esenciales. a) Selección/Cualificación de los “pares”

En la selección cooperan la universidad y la “agencia”. Los “pares”, que no deben ser más de seis, tienen que ser personas independientes y de reconocida competencia, entre ellos un profesional independiente del campo académico. (También un “par” del extranjero y otro de una disciplina académica diferente fomentan la imparcialidad de la evaluación externa.) Los “pares” reciben una preparación especial por parte de la “agencia”. La evaluación es también para los “pares” una experiencia enriquecedora. Los “pares” ejercen por principio un cargo honorífico (en la Gran Bretaña es un puesto de carrera). b) Tareas

Análisis del informe sobre la evaluación interna con sus respectivas preguntas (¿Coherencia interior? ¿Veracidad? ¿Relación entre exigencias y realidad?). Los problemas y cuestiones estructurales decisivos (horizontal/vertical) deben definirse para ser aclarados en la visita (¿los puntos centrales y los interlocutores adecuados?). Los “pares” no son jueces, sino asesores, y revisan y complementan la evaluación interna. De mucha importancia es en primer lugar la comunicación crítica y constructiva (preguntar y replicar). Para ello los “pares” deben convencer por su capacidad profesional y por su personalidad. Al final de la visita deben sustentar sus impresiones provisionales y presentarse a la discusión (una cierta evaluación de su actividad pericial). Las recomendaciones finales deben ser, lo más posible, concretas y orientadas a la práctica. c) Procedimiento

- Preparación por medio del informe sobre la evaluación interna - Consulta de los “pares” con la “agencia” - Posible visita previa (2 días con CRE)

86

- Visita principal (3 días con CRE, en otros casos, 2-3 días) - Informe oral provisional al final de la visita - Informe escrito provisonal (posibilidad para hacer correcciones objetivas) - Informe final con recomendaciones (10-20 páginas con CRE, en otros

casos, hasta 50 páginas) - Toma de posición formal por parte de la universidad evaluada - Publicación del informe final y de la toma de posición formal. 6.2.5 DR. Jacques L’ Ecuyer