Metaevaluacin de los procesos de evaluacin de IUIs realizados por la ACPUA

Contextualizar la evaluacin de los Institutos Universitarios de Investigacin en Aragn

Revisar los resultados de las encuestas de satisfaccin con los proceso de evaluacin

Revisar el protocolo de evaluacin

Corresponde al Gobierno de Aragn la creacin, supresin y adscripcin de los Institutos Universitarios de Investigacin

Deber contar con el previo informe del Consejo de Gobierno de la universidad y de la Agencia de Calidad y Prospectiva Universitaria de Aragn.

La labor de los Institutos Universitarios de Investigacin deber someterse a informe de la Agencia de Calidad y Prospectiva Universitaria de Aragn cada cinco aos.

En caso de informe negativo, el Gobierno podr acordar la supresin del Instituto u otorgar un plazo para la correccin de los errores o insuficiencias detectadas.

(Artculo 15.Creacin, supresin y adscripcin de Institutos Universitarios de Investigacin.)

LEY 5/2005, de 14 de junio, de Ordenacin del Sistema Universitario de Aragn.CONTEXTUALIZACIN Modelo Aragons: LOSUA y ACPUA

Segn lo dispuesto por la LOSUA la ACPUA realizar las siguientes actividades de evaluacin:

Proceso de Verificacin y Acreditacin Propuesta de IUIPuesta en marchaInforme ACPUAAutorizacin DGAAo 1Ao 2Ao 3Ao 4Ao 5Ao 7Seguimiento ACPUACONTEXTUALIZACIN Modelo Aragons: LOSUA y ACPUA

CONTEXTUALIZACIN Los criterios de evaluacin para la Evaluacin Peridica CREACIN Es el proyecto de IUIs viable?: la planificacin de actividades, los recursos humanos y materiales y las estructuras son coherentes con la misin/visin y objetivos definidos?EVALUACIN PERIDICAHa logrado el IUIs desarrollar la planificacin que haba definido en su creacin? : Se han realizado las actividades, se han logrado los objetivos, se ha contado con los recursos previstos?. En caso de desviacin de los objetivos se han realizado correcciones: Tiene definido el IUIs el Plan Estratgico para el prximo periodo?

CONTEXTUALIZACIN Los criterios de evaluacin para la Evaluacin Peridica CREACINDefinicin Estratgica del IUI Inters de los objetivosPlanificacin de actividades Experiencia del equipoRecursos y presupuestoEstructura de gestinEVALUACIN PERIDICALOGROSPLANIFICACINCREACINDefinicin Estratgica del IUI Inters de los objetivosPlanificacin de actividades Experiencia del equipoRecursos y presupuestoEstructura de gestinSIGUIENTE PERIODODefinicin Estratgica del IUI Inters de los objetivosPlanificacin de actividades Experiencia del equipoRecursos y presupuestoEstructura de gestin

CONTEXTUALIZACIN Caractersticas de la Evaluacin Peridica Ambas evaluaciones son individuales. No se compara a los Institutos.La evaluacin no pone objetivos externos. Cada instituto tiene libertad para definir su MISIN/VISIN y OBJETIVOS.Las comisiones pueden valorar si la Misin/Visin y Objetivos definidos por el IUIs es adecuado a los recursos, al entorno, a la temtica, al funcionamiento y proponer mejoras pero el grado de excelencia y nivel de resultados a obtener es decisin del IUIs. La evaluacin se centra en analizar la evolucin del IUIs y el grado de cumplimiento de lo planificado.

Segn lo dispuesto por la LOSUA la ACPUA realizar las siguientes actividades de evaluacin:

Proceso de Adjudicacin de Subvenciones del Gobierno de AragnCONTEXTUALIZACIN Modelo Aragons: FinanciacinProceso de Verificacin y Acreditacin Propuesta de IUIPuesta en marchaInforme ACPUAAutorizacin DGAAo 1Ao 2Ao 3Ao 4Ao 5Ao 7Seguimiento ACPUA

CONTEXTUALIZACIN Evaluacin Peridica vs. Financiacin

Evaluacin PeridicaEvaluacin financiacinObjetivoValorar la evolucin del instituto desde la ltima evaluacin (creacin o ltimo seguimiento). Valorar la actividad del instituto respecto a unos criterios y puntuarlos.La puntuacin obtenida es tenida en cuenta por una comisin que la incorpora junto con otros criterios de resultados al proceso de reparto de financiacinProtocoloPublicadoPublicados los criterios.InformesInformes para la mejora. Se incide en la identificacin de puntos fuertes y propuestas de mejora. Los informes se envan a los IUIs que pueden presentar alegaciones. Al finalizar el proceso se publican.Informes son puntuados y aunque sealan oportunidades de mejora y fortalezas y debilidades no se envan a los IUIs. Sirven de base a la comisin que otorga la financiacin.PeriodicidadCada 5 aos (visita al IUI)Plazo de validez de la condicin de financiable no inferior a 2 aos ComisinTres miembros, informe consensuadoEvaluacin independiente por dos expertos y media de puntuacinCriteriosDefinicin EstratgicaInters de los objetivosPlanificacin de actividadesExperiencias del equipoRecursos y presupuestoEstructuras de gestina) Calidad cientfica. Organizacin cientfica de cada Instituto. reas de investigacin y lneas de trabajo en las mismas. Intensidad y calidad de la actividad investigadoraProyeccin nacional e internacional. Captacin de recursos externosb) Impacto e inters estratgico. Impacto de la actividad sobre el desarrollo cientfico y tecnolgico de Aragn. Correspondencia de las actividades realizadas con las lneas prioritarias del Plan Autonmico de Investigacin vigente. Intensidad de la transferencia tecnolgica al sector productivo y a la sociedad en general. Proyectos y contratos realizados con empresas y organizaciones. Otros indicios de base tecnolgica, el fomento de relaciones con el mundo empresarial o la organizacin de eventos de especial inters.

CONTEXTUALIZACIN 2012: Solapamiento de procesos

IUIEVALUACIN CREACINEVALUACIN PERIODICAFINANCIACINI3APre LOSUA20122012BIFIPre LOSUA20122012INAPre LOSUA20122012IUMA2007 (inf ANEP)20122012CIRCE2008 (inf ANEP)20132012IUCA2008 (inf ANEP)20132012ICMA20122013ISQCH20122013

CONTEXTUALIZACIN 2012: Solapamiento de procesos Encargo de la DGII Gestionar la evaluacin para la financiacin y aprovechar las sinergias existentes entre ambos procesos para lograr dos objetivos:Minimizar el impacto sobre los IUIs de las dos evaluacionesConseguir una disminucin de los costes de evaluacin

Traslado a la evaluacin peridicaHacer participar a los mismos evaluadores completando las comisiones con un nuevo evaluadorEvaluar sobre las memorias ya presentadas por los IUIs para la financiacin Dar ms peso a la visita con el objetivo de completar la informacin que no apareciese en la memoria

Debilidades de partida Todos los Institutos no disponen de un informe de evaluacin de creacin alineado con los criterios de evaluacin Memorias de actividad no adaptadas a las preguntas del protocolo para la 1 evaluacin peridica

Objetivos de la 1 evaluacin peridicaEstablecer un punto de partida comn a todos los IUIs (cumplimiento de un mnimo comn denominador o requisitos bsicos) Identificar los puntos fuertes y dbiles de cada Instituto y lanzar propuestas de mejoraUna vez realizada la 1 evaluacin establecer los ajustes necesarios para cerrar un protocolo de evaluacin peridica.CONTEXTUALIZACIN 2012: 1 Evaluacin Peridica

ndice de respuesta: (11respuestas /21participantes) 52%La puntuacin media del cuestionario ha sido 4.29 (Bastante Satisfactorio). Todos los items valorados por encima de tresLa valoracin menor en lnea con las recomendaciones hace alusin a la adecuacin de la memoria presentada por el instituto y a la utilidad de las fichas de evaluacin

PRIMERA ACCIN DE MEJORA Preparar un modelo de memoria alineado con el protocolo de evaluacin

ANTES DURANTESOPORTEMuy Satisfecho

Bastante Satisfecho

Satisfecho

Poco Satisfecho

Nada SatisfechoENCUESTAS DE SATISFACCIN Evaluadores

ENCUESTAS DE SATISFACCIN Evaluadores Valorar la existencia de dos procesos (financiacin y peridica)Acertado (cinco contestaciones)Mejor unificar (cuatro) Dos procesos con coincidencia de los miembros de las comisiones en un 60%

Existen en su CCAA procesos parecidosNo o desconocen (5 contestaciones)Similares (BERT, procesos unificados, caso CSIC y evaluacin interna)

Estos procesos aportan informacin til a los IUIs y al Gobierno?Todas las respuestas afirmativas

Valoracin del protocoloTodas las respuestas positivas

Periodicidad de los procesosCorrecto (1 Respuesta)Evaluacin nica cada 4 aos(1 respuesta)Pasar a 3 para la financiacin (2 respuestas) y 6 peridica (1 respuesta)Peridica de 5 a 4 (3 respuesta) y financiacin cada 2

Seguimiento de la evaluacin peridicaPrcticamente todas las respuestas apuntan a un seguimiento a los dos aos de las propuestas de mejora.

ndice de respuesta: (7 respuestas /8 IUIs) 87.5%La puntuacin media del cuestionario ha sido 3.9 (Satisfecho). Todos los items valorados por encima de tresLas valoraciones menores en torno a la informacin y claridad del protocolo

PRIMERA ACCIN DE MEJORA Revisin del proceso y protocolo de evaluacin con los IUIS => METAEVALUACIN

ANTES DURANTEMuy Satisfecho

Bastante Satisfecho

Satisfecho

Poco Satisfecho

Nada SatisfechoENCUESTAS DE SATISFACCIN Direcciones de Institutos

ENCUESTAS DE SATISFACCIN Direcciones de Institutos Valorar la existencia de dos procesos (financiacin y peridica)Todas las respuestas apuntan a que debera existir un nico proceso.

Estos procesos aportan informacin til a los IUIs y al Gobierno?En general se consideran tiles

Valoracin del protocolo de seguimiento5 respuestas positivas1 respuesta positiva pero con una llamada a cuidar el perfil de los evaluadores

Periodicidad de los procesosCorrecto (2 Respuestas)Evaluacin nica cada 3 aos(3 respuesta)Evaluacin cada 2 y 4 aos respectivamenteEvaluacin nica cada 4 aos (1 respuesta)

Seguimiento de la evaluacin peridicaCuatro respuestas a favorDos respuestas opuestas

Memoria de actividades => Autoinforme (reflexin del IUIs sobre los logros y presentacin de la Planificacin Estratgica para los prximos 5 aos)

Subcomisin de Evaluacin: Personal investigador de reconocido prestigio, no perteneciente a la universidad de Zaragoza, con tres sexenios de investigacin que haya participado en procesos de evaluacin de institutos/grupos de investigacin/proyectos de investigacin de la ANEP, del Gobierno de Aragn o de otras Agencias Autonmicas.. Es un nmero adecuado de evaluadores?Perfiles (investigador extranjero)?Figura del director de instituto similar?ACCIN DE MEJORARecusacin SubcomisinPerfil exdirectorACCIN DE MEJORAModelo de AutoinformeREVISIN DE PROTOCOLOS 1 Evaluacin Peridica: Mejoras

Visita de la Subcomisin (recomendaciones evaluadores):Marcar tiempos para cada grupo.Proponer a los IUIs que los equipos directivos hagan una pequea presentacin del instituto sobre la que la Subcomisin pueda hacer sus preguntas.Seleccin de investigadores representativa pero poco numerosa (no es necesario que asistan investigadores de todas las lneas/secciones). No presentan sus trabajos.La visita a las instalaciones no es necesaria.

ACCIN DE MEJORADefinir el alcance de la visita y los objetivos de las entrevistas con cada grupoREVISIN DE PROTOCOLOS 1 Evaluacin Peridica: Mejoras

Encuestas de satisfaccinReunin con evaluadoresReunin con directores de IUIs

Informe de conclusiones

Incorporacin de mejoras al protocoloComunicacin y publicacin de los cambios

METAEVALUACIN DE IUIs Prximos Pasos

Metaevaluacin de los procesos de evaluacin de IUIs realizados por la ACPUA

***