Evaluación Institucional en la Agencia Andaluza de

Evaluación de la Calidad y Acreditación Universitaria

(AGAE)

Esther Megía Serrano

e-mail: emegia@agae.es

VIII Foro de Almagro, 5 y 6 de octubre de 2006

Evaluación Institucional en la AGAEII Plan de Calidad de las Universidades

(Plan Andaluz de calidad de las Universidades) Aprobó Real Decreto 408 de 20/04/2001

Objetivos iniciales:

1.- Continuar con el Plan Nacional a nivel CCAA

2.- Establecer un sistema de información basado en indicadores

3.- Establecer la acreditación de Titulaciones

¿Qué y cómo evalúa la AGAE?

Titulaciones

Departamentos

Servicios Universitarios/Bibliotecas

Títulos Propios

Presentación de la Convocatoria

Jornadas de Formación Comités Internos (Universidad)

Fase I. Autoevaluación (Guía UCUA). (Duración aprox. 6 meses)

Formación comités externos* (responsable UCUA)

Visita Externa (Universidad)

Entrega Informe Externo (máx. 1 mes)

Fase III. Redacción del Informe Final (síntesis Informe Autoevaluación e Informe Externo)

(Universidad)

Fase II. Evaluación Externa (UCUA, Universidad)

¿Qué y cómo evalúa la AGAE?

Titulaciones

Departamentos

Servicios Universitarios

Títulos Propios

Fase IV. Plan de Apoyo a los Planes de Mejora

- Compromiso cofinanciación Universidad-UCUA

- Plan de Mejora

Ayuda a la financiación 1ª anualidad (UCUA)

Ayuda a la financiación 2ª anualidad (Universidad)

Memoria Seguimiento (acciones corto-medio plazo)

Memoria Seguimiento (acciones Largo plazo)

Reconocimiento Unidad Evaluada

Evaluación

Guías de EvaluaciónTitulaciones

Convocatoria 2002

Guía de Autoevaluación (Consejo Universidades adaptada UCUA)

Nueva Guía Externa Programa Informático (Valoraciones Cuantitativas)

Cuaderno de trabajo (Audiencias)

Protocolo de Informe Externo

Convocatorias 2003 - 2006

Nueva Guía Autoevaluación

Nueva Guía Externa (versión simplificada de la 2002)

Programa Informático (Valoraciones Cuantitativas)

Protocolo de Infor. Autoevaluación

Guías de EvaluaciónDepartamentos

Convocatoria 2002

Guía de Autoevaluación (Consejo Universidades adaptada UCUA)

Guía Externa (Consejo Universidades adaptada UCUA)

Convocatoria 2003 - 2006Novedad: Protocolos de informes Autoevaluación, Informe Externo y Final

Guías de EvaluaciónServicios Universitarios

Convocatoria 2002

Cartas de Servicios (experimental)

Guía Interna y Externa UCUA Bibliotecas (Modelo EFQM)

Convocatoria 2003-2004

Convocatoria 2005

Convocatoria 2006

Guía Interna y Externa UCUA (Modelo EFQM)

Perfil IV (Modelo EFQM) (Informe Autoevaluación)

Informe de Validación (equiv. Externo)

Guías de EvaluaciónTítulos propios/Tercer Ciclo

Convocatoria 2002 Guía Autoevaluación Experimental Títulos propios y Estudios de Tercer Ciclo

Convocatoria 2003 - 2006

Guía Autoevaluación Títulos propios

Informe Externo de Validación

(en construcción)

Guías y Procesos de Evaluación

Ventajas o Puntos fuertes:

- Programa Informático facilita el trabajo de los comités internos y externos

- Protocolo de Informe sencillo de utilizar

- Informes idéntica estructura para analizar unidades de diferentes universidades

- Unidades Técnicas de Calidad involucradas en los procesos

Inconvenientes o Puntos Débiles:

- Comités internos reticentes con la evaluación (¿para qué?)

- Evaluadores Externos con demasiada carga de evaluaciones (más 2 evaluaciones por convocatoria)

- Programa Informático demasiado rígido

- Audiencias demasiado extensas

Guías y Procesos de Evaluación

FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS

Titulaciones y Servicios Universitarios (3 personas):

Presidente-Coordinador:

- Profesor Universitario o P.A.S.

- Del mismo ámbito de la Unidad evaluada

- Responsabilidad/Cargos de Gobierno

- Experiencia Evaluación

Técnico/Académico:

-Profesor Universitario o P.A.S.

- Del mismo ámbito de la Unidad evaluada

- Experiencia Evaluación

Profesional:

-Experiencia y prestigio

mundo laboral

FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS

Departamentos (2 personas):

Presidente-Coordinador:

- Profesor Universitario o P.A.S.

- Del mismo ámbito de la Unidad evaluada

- Responsabilidad/Cargos de Gobierno

- Experiencia Evaluación

Técnico/Académico:

-Profesor Universitario o P.A.S.

- Del mismo ámbito de la Unidad evaluada

- Experiencia Evaluación

FORMACIÓN Y COMPOSICIÓN DE COMITÉS EXTERNOS

Títulos Propios (3 personas):

Presidente-Coordinador:

- Profesor Universitario o P.A.S.

- Del mismo ámbito de la Unidad evaluada

- Responsabilidad/Cargos de Gobierno

- Experiencia Evaluación

2 Técnicos de UTC:

- Experiencia en la metodología

- Afín Unidad Evaluada

- 1 propio Universidad

- 1 otra Universidad Andaluza

Comités Externos de Evaluación

Selección de Evaluadores

Otras Agencias de Calidad (AQU-Catalunya,

ACSUG, ANECA)

Páginas Web de las Unidades de Calidad

de Universidades

Base de Datos Evaluadores distintas

convocatorias

Base de datos de Evaluadores Andaluces

(creada 2006)

Base de Datos Evaluadores Consejo

de Universidades

Informe Final Andaluz: datos e indicadores

Síntesis evaluaciones realizadas en la convocatoria (sólo titulaciones)

- clasificación por ramas o áreas de enseñanza

- Ciencias Sociales

- Humanidades

- Ciencias Experimentales

- Ciencias de la Salud

- Tecnológica

- datos generales de las Universidades (Fuente: Tabla 1. Autoevaluación)

- datos generales de las Titulaciones (notas de corte acceso, oferta y demanda, Créditos ofertados, nº PAS, % aprobados, presentados, etc.) (Fuente: Tablas Autoevaluación)

Evaluaciones realizadas en el PACU

54

21

9 8 7

42

1310

0

50

15 12

5

43

13

31

0

2016

54

5

0

10

20

30

40

50

60

nº

unid

ades

eva

luad

as

2002 2003 2004 2005 2006

Convocatorias

Titulaciones Departamentos Bibliotecas Servicios Universitarios Titulos Propios

Titulaciones

Departamentos Biblioteca

Servicios Universitarios

Títulos propios

Total PACU 209 78 9 115 17

ESTADO ACTUAL DE LAS EVALUACIONES

- Difusión del Informe Final Andaluz de la Convocatoria 2002

- Informe Final Andaluz de Bibliotecas (en Construcción)

- Retraso en las convocatorias 2003 a 2005:

- no entrega informes autoevaluaciòn en la fecha prevista

- no entrega de informes externos en la fecha prevista

- Septiembre de 2006, se inició de la convocatoria 2006 (fin del PACU)

DESAFÍOS: ÉNFASIS PARA EL FUTURO

1.- Simplificar y Homologar procedimientos en el nuevo plan (con España y Europa)

2.- Mayor énfasis en el papel que juega la evaluación externa y la AGAE

Donde encontrar información sobre la Evaluación Institucional en la AGAE:

- http://www.agae.es/programas/evaluacion.htm

- http://www.ucua.es/ucua/eva_mej_cal.html

- Preguntas y sugerencias: emegia@agae.es