Http:// Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela y Miguel Valcarcel...

http://www.acsucyl.es

Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela y Miguel Valcarcel Cases

EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN

VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR

Santander, 2 de junio de 2011

Funciones. Política de calidad. Actuaciones de evaluación de la investigación.

Objetivos estratégicos y operativos. Modelo y criterios de evaluación. Procedimientos de evaluación. Órganos de evaluación. Difusión de información.

GUÍA DE LA PRESENTACIÓN

EVALUACIÓN DE INSTITUTOS UNIVERSITARIOSDE INVESTIGACIÓN

AGENCIA PARA LA CALIDAD DEL SISTEMA UNIVERSITARIO DE CASTILLA Y LEÓN

Órgano de evaluación externa del Sistema Universitario de Castilla y León. Creada en 2001.

Tiene como objeto la evaluación, acreditación y certificación de la calidad en el ámbito de las Universidades y de los centros de investigación y de educación superior de Castilla y León. Asimismo, la Agencia podrá colaborar en las actividades de evaluación, acreditación y certificación en el ámbito de las Universidades y centros de educación superior de fuera de la Comunidad de Castilla y León en el contexto del Espacio Europeo de Educación Superior.

Fines de interés general:

Potenciar la mejora de la actividad docente, investigadora y de gestión de las Universidades y de los centros de investigación y de educación superior, favoreciendo la mejora de la competitividad y el desarrollo económico de Castilla y León. Proporcionar información adecuada sobre el sistema universitario a las Administraciones públicas, al sector productivo y a la sociedad en general para la toma de decisiones en sus ámbitos de actuación.

Ley 12/2010, de 28 de octubre, por la que se modifica la Ley 3/2003, de 28 de marzo, de Universidades de Castilla y León.

AGENCIA PARA LA CALIDAD DEL SISTEMA UNIVERSITARIO DE CASTILLA Y LEÓN

Respetar y hacer cumplir los principios establecidos en el Código Ético que determinan la conducta de las personas que trabajan o que actúan en nombre de ACSUCYL

Garantizar la autonomía e independencia de los órganos de evaluación en el ejercicio de sus funciones.

Garantizar la transparencia en todas las actividades desarrolladas.

Establecer mecanismos de responsabilidad para la propia rendición de cuentas con fines de mejora.

POLÍTICA DE CALIDAD DE ACSUCYL

Institutos Universitarios de Investigación (creación o adscripción, y evaluaciones periódicas cada cinco años).

Grupos de Investigación de Excelencia (GIE).

Proyectos de Investigación.

Evaluación Ex – Post de los proyectos de investigación.

Ayudas para la contratación de Personal Investigador de Reciente Titulación.

Evaluación de los resultados de investigación de los investigadores.

Evaluación de Congresos, Simposios y Reuniones Científicas.

ACTUACIONES DE ACSUCYL EN EL ÁMBITO DE LA EVALUACIÓN DE LA INVESTIGACIÓN

Favorecer la existencia de Institutos Universitarios de alta calidad científico-técnica tanto en investigación como en transferencia de conocimiento.

Apoyar las líneas prioritarias de I+D+I de Castilla y León.

Favorecer las sinergias entre grupos de investigación.

Apoyar la multidisciplinariedad.

Potenciar la capacidad de captación de recursos externos.

Favorecer la calidad de las enseñanzas de postgrado (Másteres y Doctorados).


OBJETIVOS ESTRATÉGICOS

Establecer un sistema externo de evaluación riguroso y transparente tanto para la creación/adscripción como para la evaluación periódica de Institutos Universitarios de Investigación.

Facilitar la labor tanto de los solicitantes como de los evaluadores externos mediante el apoyo a través de Manuales de Evaluación claros, amigables y prácticos.


OBJETIVOS OPERATIVOS

Manual de evaluación de solicitudes de creación/adscripción de Institutos Universitarios de Investigación.

Manual de evaluación periódica de Institutos Universitarios de Investigación.

DOCUMENTOS (1)

ESTRUCTURA DE CADA DOCUMENTO

DOCUMENTOS (2)

I. Contextualización.

II. Proceso de evaluación.

III. Modelos normalizados de solicitud y currículum vítae.

IV. Memoria para las solicitudes de creación o renovación de IUI.

V. Protocolo de evaluación de solicitudes de creación o renovación de IUI.

Modelo y criterios de evaluación.

Procedimiento de evaluación:

Verificación de requisitos mínimos.

Evaluación de la Memoria y emisión de informe.

Órganos de evaluación.

MANUALES DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN

MODELO Y CRITERIOS DE EVALUACIÓN

Interés

Oportunidad

Plan plurianual de actividades

Personal y grupos de

investigación

Relaciones externas

Infraestructura y recursos materiales

Financiación

RECURSOS

Actividades científicas

Actividades de formación y divulgación

PROCESOS BÁSICOS

Estructura y órganos de gobierno

Sistema de gestión y

garantía de la calidad

Resultados de investigación de carácter académico

Transferencia de

conocimiento y tecnología

RESULTADOS

Distinciones científicas

ORIENTACIÓN

PROCESOS DE SOPORTE

Autoevaluación

MODELO DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN

CRITERIOS DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN (I)

Interés científico-técnico-artístico, social y económico de la temática y enfoque del Instituto.

Oportunidad del Instituto en cuanto a los objetivos estratégicos de las entidades implicadas en él y el contexto en el que se

imbrica.

Plan plurianual de actividades: pertinencia, coherencia, concreción y viabilidad del plan previsto para

los próximos cinco años.

ORIENTACIÓN

CRITERIOS DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN (II)

RECURSOS

Personal y grupos de investigación:

- Calidad científico-técnico-artística- Grado y calidad de la colaboración

- Capacidad de gestión de la investigación

- Grado de dedicación y equilibrio en su composición

- Antecedentes históricos

Relaciones externas con otras entidades, empresas, redes, grupos, etc.

Infraestructura y recursos materiales.

Financiación:

Coherencia y viabilidad del

presupuestoViabilidad económica y financiera

CRITERIOS DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN (III)

PROCESOS BÁSICOS

Actividades científicas:Proyectos de investigación competitivos, contratos de investigación, comités

científicos, estancias en centros de investigación, etc.

Actividades de formación y divulgación:Estudios de posgrado, formación continua, seminarios, etc.

PROCESOS DE SOPORTE

Estructura y órganos de gobierno: organigrama funcional, adecuación al funcionamiento del Instituto.

Sistema de gestión y garantía de la calidad: procedimientos establecidos, certificaciones obtenidas.

CRITERIOS DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN (IV)

RESULTADOS

Resultados de investigación de carácter académico:Artículos científicos, libros y capítulos, contribuciones en congresos, tesis y trabajos

fin de máster, etc.

Resultados de investigación: transferencia de conocimiento y tecnología:

Contratos de transferencia, creación de empresas de base tecnológica, patentes y modelos de utilidad en explotación, actividades asistenciales, etc.

Distinciones científicas:Carácter regional, nacional o internacional; relevancia y número.

CRITERIOS DE EVALUACIÓN DE INSTITUTOS UNIVERSITARIOS DE INVESTIGACIÓN (V)

AUTOEVALUACIÓN

FORTALEZAS DEL INSTITUTOAspecto valorado Acciones de reforzamiento

Ítem Descripción Descripción Plazo de implantación

Responsables

DEBILIDADES DEL INSTITUTO

Aspecto valorado Acciones de mejora

Ítem Descripción Descripción Plazo de implantación

Responsables

Interés3 %

Oportunidad 3 %


4%


investigación12 %

Relaciones externas

4 %

Infraestructu-ra y recursos materiales

4 %

Financiación6 %

RECURSOS


12 %


6 %

PROCESOS BÁSICOS


3 %Sistema de gestión y


3 %

Resultados de investigación de carácter académico

24 %

Transferencia de

conocimiento y tecnología

12%

RESULTADOS


10 %

ORIENTACIÓN

PROCESOS DE SOPORTE

Autoevaluación 4 %

PONDERACIÓN DE LOS CRITERIOS DE EVALUACIÓN

APLICACIÓN DE LOS CRITERIOS DE EVALUACIÓN

APARTADO PUNTUACIÓN FACTOR1. Definición y relevancia del Instituto:

1.a. Interés 1.b. Oportunidad

(a+b)=20

1010

0,3

2. Personal y Grupos de Investigación 10 1,23. Estructura y órganos de gobierno 10 0,34. Sistema de gestión y de garantía de calidad 10 0,35. Infraestructura 10 0,46. Relaciones externas 10 0,47. Actividades científicas 10 1,28. Actividades de formación y divulgación 10 0,69. Resultados de investigación de carácter académico 10 2,410. Resultados de investigación: transferencia de conocimiento y

tecnología10 1,2

11. Plan plurianual de actividades 10 0,4

12. Financiación 10 0,6

13. Autoevaluación 10 0,4 Distinciones científicas(*) 10 1,0

PUNTUACIÓN MÁXIMA: 100

(*) Valoración de forma independiente: posibilidad de obtener 110 puntos.

PROCEDIMIENTO DE EVALUACIÓN


CREACIÓN / ADSCRIPCIÓN DE INSTITUTOSUNIVERSITARIOS DE INVESTIGACIÓN


FASE A. VERIFICACIÓN DE REQUISITOS MÍNIMOSCreación / Adscripción

de IUI

¿Se cumplen?

La Comisión de Evaluación de la Investigación constata que la propuesta cumple los requisitos mínimos:

-Grupos de investigación involucrados - Personal investigador-Actividad de I+D+I - Resultados de I+D+I

Nombramiento Panel Científico

No

Sí

Informe Desfavorable

Continua Proceso Evaluación: Fase B: Análisis Memoria Solicitud

Notificación Informe a DGUI

Notificación Informe a Universidad

1. El personal investigador del Instituto pertenece a un solo Instituto de Investigación de la Comunidad de Castilla y León*.

2. El Instituto está formado por investigadores procedentes de al menos dos grupos de investigación activos como mínimo durante los últimos cinco años.

3. El número de investigadores del Instituto, con una dedicación de al menos 1/3 de su actividad (investigadora, docente o profesional), es igual o mayor de 20**. Como mínimo, el 50% de ellos son doctores con un contrato estable***. Excepcionalmente, podrá obviarse este requisito siempre que la calidad y el contexto de la propuesta lo justifiquen.

4. El personal investigador doctor del Instituto acredita una media de al menos dos “tramos de investigación”, o una actividad investigadora claramente equiparable a los mismos (en las correspondientes áreas de conocimiento). Si el Instituto tiene como eje fundamental de su actividad la transferencia de tecnología y/o conocimiento, o la actividad asistencial, esta media podrá ser de uno.

* Salvo casos excepcionales debidamente justificados.** Tanto si se trata de un Instituto de una única universidad como si es de carácter interuniversitario, mixto,

etc.*** Contrato estable: aquel que suponga una permanencia en la institución a medio-largo plazo y perspectivas

de incorporación a la misma con carácter indefinido.

PROCEDIMIENTO DE EVALUACIÓN. FASE A: VERIFICACIÓN DE REQUISITOS MÍNIMOS

REQUISITOS MÍNIMOS QUE HA DE CUMPLIR LA PROPUESTA DE IUICreación / Adscripción

de IUI

5. Se acredita una colaboración previa entre el personal investigador de los diferentes grupos de investigación que se integran en el Instituto, que se traduce en haber realizado al menos cinco trabajos (proyectos y/o contratos de investigación/transferencia, publicaciones, etc.) conjuntos en los últimos cinco años.

6. Se acredita que al menos tres investigadores del Instituto figuran como Investigadores Principales en otros tantos proyectos y/o contratos de investigación/transferencia (especialmente relevantes) concedidos o firmados en los últimos cinco años.

7. El personal investigador doctor del Instituto cuenta con una media (en los últimos cinco años) de al menos cinco publicaciones, y/o aportaciones de transferencia de tecnología y/o conocimiento, de nivel medio-alto dentro de su área o ámbito de conocimiento*.

*En las áreas donde existe tradición de publicar especialmente en libros de carácter científico (humanidades, campos de las ciencias sociales y jurídicas, etc.), la autoría de un libro completo o una edición crítica de nivel medio-alto podrá considerarse como equivalente a cinco publicaciones de otra naturaleza. Igualmente, si el Instituto tiene como eje fundamental de su actividad la transferencia de tecnología y/o conocimiento, una patente en explotación podrá considerarse como equivalente a cinco publicaciones.


REQUISITOS MÍNIMOS QUE HA DE CUMPLIR LA PROPUESTA DE IUICreación / Adscripción

de IUI


FASE B. EVALUACIÓN DE LA MEMORIA Y EMISIÓN DE INFORMECreación / Adscripción

de IUI

Informe Final CEI

Informes Externos del Panel Científico

CEI: Informe de

Evaluación


CEI: Entrevista Promotor/es IUI

Informe Favorable

Pendiente Subs. Disconformidades

Subsanación disconformidades. Reelaboración de

la propuesta

Elaboración alegaciones

Recepción alegaciones CEI: Revisión alegaciones

CEI: Análisis Subsanación

Recepción Notificación Subsanación

Recepción

Recepción Informe Final

Recepción Informe de Evaluación

DGUI ACSUCYLUNIVERSIDAD


Recepción Informe

Interés

Oportunidad



investigación

Relaciones externas

Infraestructura

y recursos materiales

Financiación

RECURSOS



PROCESOS BÁSICOS




Resultados de investigación de carácter académico*

Transferencia de conocimiento y

tecnología*

RESULTADOS


ORIENTACIÓN

PROCESOS DE SOPORTE

Autoevaluación

PROCEDIMIENTO DE EVALUACIÓN. FASE B: EVALUACIÓN DE LA MEMORIA Y EMISIÓN DE INFORME

CRITERIOS CUYA VALORACIÓN MÍNIMA HA DE SER ACEPTABLE PARA OBTENER UN INFORME FAVORABLECreación /

Adscripción de IUI

* La valoración mínima requerida ha de ser ‘Aceptable’ en uno de los dos criterios.


EVALUACIÓN PERIÓDICA DE INSTITUTOSUNIVERSITARIOS DE INVESTIGACIÓN

EVALUACION PERIÓDICA DE INSTITUTOS UNIVERSITARIOSDE INVESTIGACIÓN

Información sobre el inicio del proceso de evaluación:

Cada año, la Agencia comunicará el inicio del proceso a los Institutos Universitarios de Investigación a los que corresponda ser evaluados por haber transcurrido cinco años desde su creación/adscripción o desde su última evaluación.

Se comunicará con una antelación de seis meses al inicio del proceso.

Se proporcionará información sobre el mismo.

Evaluación periódica de

IUI


FASE A. VERIFICACIÓN DE REQUISITOS MÍNIMOSEvaluación periódica de

IUI

¿Se cumplen?

La Comisión de Evaluación de la Investigación constata que la propuesta cumple los requisitos mínimos:

-Grupos de investigación involucrados - Personal investigador-Actividad de I+D+I - Resultados de I+D+I

Nombramiento Panel Científico

No

Sí

Informe Desfavorable*

Continua Proceso Evaluación: Fase B: Análisis Memoria Solicitud

Notificación Informe a DGUI

Notificación Informe a Universidad

* Ver régimen transitorio para los Institutos que sean evaluados en 2011 y 2012.

1. El personal investigador del Instituto pertenece a un solo Instituto de Investigación de la Comunidad de Castilla y León*.

2. El Instituto está formado por investigadores procedentes de al menos dos grupos de investigación activos como mínimo durante los últimos cinco años.

3. El número de investigadores del Instituto, con una dedicación de al menos 1/3 de su actividad (investigadora, docente o profesional), es igual o mayor de 20**. Como mínimo, el 50% de ellos son doctores con un contrato estable***. Excepcionalmente, podrá obviarse este requisito siempre que la calidad y el contexto de la propuesta lo justifiquen.

4. El personal investigador doctor del Instituto acredita una media de al menos dos “tramos de investigación”, o una actividad investigadora claramente equiparable a los mismos (en las correspondientes áreas de conocimiento). Si el Instituto tiene como eje fundamental de su actividad la transferencia de tecnología y/o conocimiento, o la actividad asistencial, esta media podrá ser de uno.

* Salvo casos excepcionales debidamente justificados.** Tanto si se trata de un Instituto de una única universidad como si es de carácter interuniversitario, mixto,

etc.*** Contrato estable: aquel que suponga una permanencia en la institución a medio-largo plazo y perspectivas

de incorporación a la misma con carácter indefinido.


REQUISITOS MÍNIMOS QUE HA DE CUMPLIR EL IUIEvaluación periódica de

IUI

5. Se acreditan tres proyectos de investigación competitivos (o contratos de investigación/transferencia especialmente relevantes), con distinto Investigador Principal, concedidos en los últimos cinco años al Instituto o a grupos de investigadores donde al menos el 50% de sus investigadores son miembros del Instituto.

6. El número de publicaciones y/o aportaciones de transferencia de tecnología y/o conocimiento del Instituto, en los últimos cinco años, de nivel medio-alto (en la correspondiente área o ámbito de conocimiento), es igual o mayor al resultado de multiplicar el número de investigadores doctores del Instituto por cinco*. En las publicaciones y en las aportaciones de transferencia figura el Instituto o, en su defecto, son publicaciones y aportaciones de los miembros del Instituto que se insertan claramente en las líneas de investigación del mismo.

*En las áreas donde existe tradición de publicar especialmente en libros de carácter científico (humanidades, campos de las ciencias sociales y jurídicas, etc.), la autoría de un libro completo o una edición crítica de nivel medio-alto podrá considerarse como equivalente a cinco publicaciones de otra naturaleza. Igualmente, si el Instituto tiene como eje fundamental de su actividad la transferencia de tecnología y/o conocimiento, una patente

en explotación podrá considerarse como equivalente a cinco publicaciones.


REQUISITOS MÍNIMOS QUE HA DE CUMPLIR EL IUIEvaluación periódica de

IUI


FASE B. EVALUACIÓN DE LA MEMORIA Y EMISIÓN DE INFORMEEvaluación periódica de

IUI

Informe Final CEI

Informes Externos del Panel Científico

CEI: Informe de

Evaluación


Informe conjunto del Panel

Informe Favorable

Pendiente Subs. Disconformidades

Subsanación disconformidades. Reelaboración de

la Memoria

Elaboración alegaciones

Recepción alegaciones CEI: Revisión alegaciones

CEI: Análisis

Subs.

Recepción Notificación Subsanación

Recepción


Recepción Informe de Evaluación

DGUI ACSUCYLUNIVERSIDAD


Recepción Informe

Visita del Panel al IUI

CEI: Entrevista Director/es IUI

Interés

Oportunidad



investigación

Relaciones externas

Infraestructura

y recursos materiales

Financiación

RECURSOS



PROCESOS BÁSICOS




Resultados de investigación de carácter académico*

Transferencia de conocimiento y

tecnología*

RESULTADOS


ORIENTACIÓN

PROCESOS DE SOPORTE

Autoevaluación

PROCEDIMIENTO DE EVALUACIÓN. FASE B: EVALUACIÓN DE LA MEMORIA Y EMISIÓN DE INFORME

CRITERIOS CUYA VALORACIÓN MÍNIMA HA DE SER ACEPTABLE PARA OBTENER UN INFORME FAVORABLEEvaluación

periódica de IUI

* La valoración mínima requerida ha de ser ‘Aceptable’ en uno de los dos criterios.

ÓRGANOS DE EVALUACIÓN

COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN

Nombramiento: la Dirección de la Agencia Número de miembros: diez

Perfil: preferentemente, académicos y profesionales de reconocido prestigio, con una significativa trayectoria docente e investigadora, y experiencia en gestión y en procesos de evaluación de la calidad en el ámbito universitario (tres sexenios)

Composición: en su designación, se procura el equilibrio entre los diferentes ámbitos de conocimiento.

Procedencia: externa al Sistema Universitario de Castilla y León.

Periodo de nombramiento: un plazo máximo de 4 años.


COMISIÓN DE EVALUACIÓN DE LA INVESTIGACIÓN*

Miguel Valcárcel Cases (presidente) Química Analítica Univ. Córdoba

Juan José Badiola Diez Sanidad Animal Univ. Zaragoza

Enric Brillas Coso Química Física Univ. Barcelona

Pedro Chacón Fuertes Filosofía Univ. Complutense Madrid

Mª Teresa Echenique Elizondo Lengua Española Univ. Valencia

Vicente Feliu BatlleIngeniería de Sistemas y

AutomáticaUniv. Castilla la Mancha

Ricardo Franch Benavent Historia Moderna Univ. Valencia

María del Carmen Moreno Rodríguez Psicología Univ. Sevilla

Jesús Ruiz-Huerta Carbonell Economía Aplicada Univ. Rey Juan Carlos

José Vilches Troya Histología Univ. Cádiz

* Publicada en BOCYL nº 29, 12 de febrero de 2009, p. 4166.


PANELES CIENTÍFICOS

Nombramiento: la Dirección de la Agencia. Número de miembros: tres.

Perfil: académicos y profesionales que pertenezcan a alguna de las áreas e conocimiento relacionadas con la actividades investigadoras y docentes del Instituto (tres sexenios).

Composición: en su designación, se procura el equilibrio entre diferentes perfiles y áreas de conocimiento.

Procedencia: externa al Sistema Universitario de Castilla y León.

Nombramiento: ad hoc para cada una de las solicitudes de evaluación.

DOCUMENTACIÓN PARA LA EVALUACIÓN PERIÓDICA DE IUI

GUÍA DEL EVALUADOR

CONTENIDO:

Contextualización y objetivos. Órganos de evaluación.

Fases y criterios.

Herramienta del evaluador.

Programa estándar de visita.

Documentación (evidencias) que el IUI pone a disposición del Panel.

Agenda de entrevistas el Panel.


Web de la Agencia:

Manuales de procedimiento. Modelos normalizados de:

Solicitud. Currículum Vítae. Memoria.

Disponibilidad para cualquier consulta relacionada con el Modelo:

Presentación de la documentación. Aplicación de los criterios. Proceso de evaluación.


Gracias por su atención

Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela y Miguel Valcarcel Cases

[email protected] [email protected]

www.acsucyl.es

http://www.acsucyl.es

VIII FORO SOBRE LA EVALUACIÓN DE LA CALIDAD DE LA INVESTIGACIÓN Y DE LA EDUCACIÓN SUPERIOR

Santander, 2 de junio de 2011

mailto:[email protected]

mailto:[email protected]

http://www.acsucyl.es/

Http:// Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela y Miguel Valcarcel...

Documents

Transcript of Http:// Carlos Guerra Rodríguez, Sonia Martín Cerro, Elena Tejedor Viñuela y Miguel Valcarcel...