© Laboratorio de Estudios Métricos de Información (LEMI)

CONFERENCIA ANUAL RED OTRI 2014

Las universidades españolas en los rankings internacionales: conclusiones del grupo de trabajo interministerial

Elías Sanz-Casado Laboratorio de Estudios Métricos de la Información (LEMI).UC3M Instituto de Estudios Avanzados sobre la Evaluación de la Ciencia y la Universidad (INAECU UAM-UC3M)

¿Por qué evaluar la investigación en la Universidad? 2

El sector universitario es uno de los principales motores del desarrollo científico y económico en la mayoría de los países (financiar la educación y la investigación es una inversión no un gasto) Algunas cifras en UK (Fuente: Universities UK, 2013 y 2014) Las universidades generan más 59 mil millones de libras/670.000 puestos de

trabajo directos o indirectos Las universidades atraen más de 3 mil millones de libras de ingresos de

colaboración con empresas, etc. Los estudiantes internationales contribuyen con más 7 mil millones de libras a

la economía de UK Las ocho universidades públicas catalanas contribuyen con el 0,6% del PIB de

Cataluña. (Fuente: Asociación Catalana de Universidades Públicas, 2012) En España la producción científica de las universidades representa el 65%, el 37% del

personal de I+D, y el 28% de los gastos I+D. (Fuente: WoS e INE)

A la hora de evaluar la actividad en las universidades hay que tener en cuenta los diferentes tipos de instituciones que existen, y cuyas misiones y actividades son diferentes:

Univ. Internacionales / Investigadoras/ Generalistas o

Especializadas

Univ. Nacionales / Docentes/ Formación continua

Univ. Locales /orientadas a la transferencia/intensa relación con el ámbito empresarial

Actualmente coexisten en el sistema universitario español instituciones de los tres tipos

¿Por qué evaluar la investigación en la Universidad? 3

Los rankings como herramienta de evaluación

Los rankings se han convertido en una herramienta de interés para la evaluación, comparabilidad y visibilidad de las universidades en un ámbito global

Desde el lanzamiento en 2003 del Ranking de Shanghái, muchas han sido las iniciativas similares desarrolladas en todo el mundo (Leiden, QS, THE, U-MULTIRANK).

El crecimiento y evolución de estos rankings da cuenta de la utilidad e interés para:

Los gestores de política científica

Los gestores académicos

Los estudiantes y los profesores (atracción de talento). En un mundo cada vez más competitivo y con altos niveles de incertidumbre la movilidad es un factor importante. El nº de estudiantes buscando universidades externas para su formación terciaria, se duplicó desde el año 2000 al 2012 (desde 2,1 millones a 4,5 millones) (Fuente OECD, 2014)

4

¿Cuál es la utilidad de los rankings dentro de la propia institución?

Ayudar a la modernización de las instituciones universitarias

Rendición de cuentas

Transparencia. Ayudan a centralizar la información

Eficiencia: Reorganización de estructuras y procedimientos

Reorganización de la investigación en campos competitivos a nivel nacional e internacional

Permiten comparar las universidades en el ámbito nacional e internacional

Los rankings como herramienta de evaluación 6

Rankings Universitarios Internacionales: Relevancia 6

Los rankings internacionales permiten comparar el rendimiento de las instituciones, utilizando una serie de indicadores que pretenden medir (entre otros aspectos): La educación (recursos, profesorado, entorno de aprendizaje) La investigación (recursos, repercusión, producción) El tamaño Las transferencias de conocimiento a la industria La reputación académica y en el mundo laboral Las relaciones con el entorno

Problemas metodológicos Desconocimiento de muchas fuentes de obtención de datos, fundamentalmente en otros países Las encuestas no se sabe quiénes las contestan y cómo se han seleccionado a los encuestados A veces los indicadores solicitados no están bien definidos La asignación de pesos a los indicadores así como los indicadores basados en reputación

introducen un elevado grado de subjetividad

Existencia de sesgos Factores como el idioma, la trayectoria institucional y el prestigio internacional favorecen a

instituciones norteamericanas y europeas Se favorece la presencia de universidades con una fuerte orientación investigadora en detrimento

de las que tienen perfil más docente o tecnológico No se tiene en cuenta el tamaño de las instituciones. Las grandes salen favorecidas Apenas se tiene en cuenta la producción científica en CCSS y Humanidades.

Limitaciones que presentan los rankings 7

EL GRUPO DE TRABAJO DEL MECD PARA LA MEJORA DE LA POSICION DE LAS UNIVERSIDADES EN LOS RANKINGS INTERNACIONALES

8

Secretaría General de Universidades :

“Grupo de Trabajo para la mejora de la posición de las universidades españolas en los

Rankings Internacionales”

Debido a :

• La dificultad de conocer los datos reales que las universidades españolas aportan a los rankings internacionales

• La complejidad de cada una de las metodologías utilizadas por los rankings

Actividades del Grupo de Trabajo: • Analizar los rankings internacionales

(metodología, indicadores, limitaciones, etc.) a partir del análisis de los datos que las universidades españolas envían a los rankings internacionales.

Elaboración de una Guía de buenas practicas

OBJETIVOS

9

Detectar las universidades españolas que envían datos a los rankings QS, THE, ARWU.

Analizar la consistencia de los datos estructurales (nº de estudiantes, profesorado, financiación, etc.) que aparecen en los informes de cada universidad española en los rankings.

Contrastar la consistencia de los resultados elaborados por los tres rankings internacionales en función de las metodologías seguidas en su construcción.

Validar los resultados bibliométricos de los perfiles suministrados por los rankings con fuentes externas, p.e. Observatorio de la Actividad Investigadora en la Universidad Española (IUNE).

Analizar la influencia de los indicadores en los resultados obtenidos en cada una de las dimensiones consideradas en los 3 rankings.

METODOLOGÍA 10

Vías de obtención de datos: • Contacto con las universidades para solicitar datos (se enviaron varias cartas de solicitud) • Análisis de informes que las universidades recibían de los rankings

Fuentes para la obtención de los datos: • A través de los propios rankings, consulta a sus páginas. • Consulta directa a las personas de contacto de cada uno de los rankings • Recogida directa de información procedente de las universidades españolas • Otras fuentes:

Web of Science de Thomson Reuters. IUNE (Observatorio de la Actividad Investigadora de la Universidad Española)

Análisis estadístico: • WEKA • Estimación a través de indicadores y las herramientas de ARWU

Rankings Universitarios Internacionales: (QS, ARWU, THE)

11

Criterio QS THE ARWU

Total universidades evaluadas 5000 2000 3000

Universidades españolas evaluadas No dan dato por confidencialidad 22 29

Total Universidades rankeadas 700 400 500

Universidades españolas rankeadas 14 7 12

Rankings Universitarios Internacionales: indicadores 12

QS World University Ranking INDICADORES QS DEFINICIÓN FUENTE DATOS

Prestigio académico (40%) Mide el prestigio universitario-académico Encuestas

Prestigio laboral (10%) Mide el Prestigio universitario laboral Encuestas

Citas PDI (20%) El Nº de citas recibidas durante cinco años entre el Nº de PDI SCOPUS

Ratio PDI/alumno (20%) El promedio de estudiantes por profesor/investigador Universidades

% Estudiantes internacionales (5%) Se mide por medio de la proporción de estudiantes extranjeros

Universidades

% Profesores internacionales (5%) Se mide por medio de la proporción de profesorado extranjero

Universidades

THE World Ranking

DIMENSIONES INDICADORES WORLD RANK

FUENTE DE DATOS

Enseñanza: ambiente de aprendizaje 30%

Reputación académica 15% Encuesta

Ratio Prof/Alumno 4,50% Universidad

Proporción doct/ licenc 2,25% Universidad

Ratio doctorandos/PDI 6% Universidad

Ingresos institucionales/PDI 2,25% Universidad

Investigación: ingresos y reputación 30%

Reputación Investigadora 18% Encuesta

Ingresos investigación 6% Universidad

Citas: influencia de investigación 30%

Nº artículos en Web of Science/Nº Prof 6% Thomsom Reuters

Nº Citas en 5 años en Web of Science 30% Thomsom Reuters

Ingresos Industria: innovación 2,50%

Ingresos investigación procedentes de la industria/PDI 2,50% Universidad

Perspectiva internacional: PDI, Alumnos, investigación 7,50%

Ratio Alum intern/Alum nac 2,50% Universidad

Ratio PDI intern/PDI nac 2,50% Universidad

Publicaciones con coautoría internacional 2,50% Universidad

ARWU-World Ranking INDICADOR DEFINICIÓN FUENTE DE DATOS

(Alumni) 10% Nº alumnos con premios Nobel o medallas Fields. Página oficial del Premio Nobel y Medalla Fields

(Awards) 20%

Nº de PDI de con medallas Fields o premios Nobel Página oficial del Premio Nobel y Medalla Fields

(HiCi) 20% Nº de investigadores muy citados dentro de la Web of Science Thomson Reuters http://www.highlycited.com/

(N & S) 20% Nº de artículos publicados en Nature y Science (5 años) Thomson Reuters hhttp://www.webofknowledge.com/

(PUB) 20% Nº de publicaciones en SCI-E y SSCI durante 2012. Thomson Reuters hhttp://www.webofknowledge.com/

PCP 10% Las puntuaciones ponderadas de los cinco indicadores anteriores divididos por el número de personal académico equivalente a tiempo completo (FTE).

Dato obtenido de agencias nacionales como Ministerios de Educación Instituto nacional de estadistica, etc.

Respuesta de las universidades (universidades que han enviado sus datos a los rankings internacionales)

13 UNIVERSIDADES que envían datos a

los rankings y su posición en el ranking de 2013

QS THE ARWU

U. Autónoma de Madrid SI 195 SI 301/350 SI 201/300

U. Politécnica de Valencia SI 345 SI 351/400 SI 301/400

U. Autónoma de Barcelona SI 177 SI 201/225 SI 201/300

U. Carlos III de Madrid SI 317 SI -- SI -- U. de Navarra NO 315 Si 351/400 SI -- U. Rovira i Virgili NO -- SI 351/400 SI -- U. Salamanca NO 441-450 SI -- SI -- U. Valencia SI 471-480 SI 351/400 SI 301/400

U. Alicante NO -- NO -- SI -- U. Islas Baleares NO -- NO -- SI -- U. de la Laguna NO -- NO -- SI -- U. Miguel Hernández NO -- NO -- SI -- U. Santiago de Compostela NO 501-550 NO -- SI -- U. Sevilla SI 551- 600 NO -- SI -- U. Pompeu Fabra SI 281 SI 164 NO 301/400

U. Zaragoza NO 481-490 SI -- NO 401-500

U. Politécnica de Madrid NO 389 SI -- NO -- U. de Barcelona SI 178 SI 201/225 SI 201/300

U. Complutense de Madrid NO 216 SI -- NO 201/300

Respuesta de las Universidades a la solicitud de datos

Nº

Nº de universidades a las que se envía solicitud

72

Responden 51 (70,8%)

19 Envían datos a los rankings

32 No envían datos a los

rankings

No responden 21 (29,2%)

Ranking Nº de universidades que envían datos

ARWU 15 QS 8

THE 13

14

El ranking QS en 2013 ordenaba los datos de: 18 universidades españolas entre las 700 primeras 14 universidades españolas entre las 500 primeras De las cuales 13 universidades públicas y 1 privada

Puntuación QS 2013

79

84,7

72,8

78,2

41,4

26,6

43,5

38,1

34,7

32,7

0

0

0

44

61,5

67,6

76,1

40,4

50

61,9

32

49,5

58,4

0

0

0

34,9

29

37,8

33,7

40,8

70,7

54,3

65,6

56

51,1

37,8

22,5

52,9

48,7

39,3

37

14,8

34,1

24,9

6,3

14,4

14,3

7,7

16,2

26,6

16

22,8

6

15,5

3,7

78,8

33,5

30

14,2

7,5

2,9

3,4

2,4

7

30,5

23,4

18,2

19,7

42,5

49

28,4

37,6

16

52,9

13,2

14,7

6,5

55,6

55,4

52,7

49,9

41,8

39

38,8

37,2

34,2

33,6

30,4

29

28,6

UAB

UB

UAM

UCM

UPF

UNAV

UC3M

UPC

UPV

UPM

USAL

UV

UZAR

Puntos QS de las universidades españolas 2013

Academic Reputation Emplyer Reputation Faculty Student Citations Faculty International Faculty International Student Puntuacion final

Puntuación THE 2013 15

*9 universidades españolas entre las 400 primeras en el año 2013 *En el ranking de universidades de menos de 50 años las españolas salen mejor representadas *En los rankings por materias en el año 2013 entre las 100 primeras universidades en cada materia y aparecen: UAM y UCM En el área de Arts and Humanities UB En el área de Clinical, Pre-Clinical and Health UPF En el área de Social Sciences

Puntuación ARWU 2013 16

El ranking ARWU en su edición de 2013 evaluaba a 29 universidades españolas En el TOP 500 de 2013 se incluían 10 universidades españolas (todas públicas)

0

0

0

20

0

0

0

0

0

0

0

0

0

0

0

0

0

0

0

10,2

12,5

0

7,2

6,6

0

0

7,2

5,1

11,1

11,2

13,8

8,1

10,2

12,6

17,2

9,2

6,5

2,1

50,5

39,1

45

42,3

40,7

32

25,6

40,4

33

33,7

16,8

16,8

19,1

11,7

13,6

14,1

28,9

12,7

11,8

12,3

16,5

14,6

14,1

13,6

13,3

12

11,8

11,5

10,8

9,7

0 20 40 60 80 100

UB

UAM

UAB

UCM

UV

UPV

UPF

UGR

EHU

UNIZAR

Puntos ARWU de las universidades españolas 2013

Alumni Award HICI N&S PUB PCP TOTAL Puntos

Análisis de los datos obtenidos de universidades 17

Rankings Sub-Rankings Indicadores Información Solicitada

QS • World University Ranking • Field • Subject • Top Under 50

• Prestigio Académico • Prestigio Laboral • Citas por Profesor • Promedio Estudiante-Profesor • Internacionalidad del profesorado • Internacionalidad del alumnado

Cuestionario con 36 ítems: • Nº Personal Docente e investigador • Nº Estudiantes de grado (nacionales e internacionales) • Nº Estudiantes de postgrado (nacionales e internacionales) • Coste matrícula de grado (nacionales e internacionales) • Coste matrícula de postgrado (nacionales e internacionales) Se proporcionan datos de dos años (2012-2013 y 2011-2012) por lo que el total de ítems se eleva a 72.

THE

• World University Ranking • World Reputation Ranking • Subject • Top 100 Under 50

• Docencia • Investigación • Citas • Ingresos-Innovación • Internacionalidad

Cuestionario con 36 Ítems: • Nº Personal Docente • Nº Personal Investigador • Nº Estudiantes • Nº Matriculados • Precios Matriculas • Nº de Tesis leídas 15 de los 36 items se solicitan además desagregados en 6 áreas de conocimiento, lo que supone 90 items adicionales

ARWU- Shanghái

• World Top 500 • Field • Subject

• Calidad docente (Alumni) • Calidad del profesorado (Award) • Calidad de la investigación: dos indicadores (HiCi y Nature y Science) • Producción científica (SCI) • Tamaño de la universidad (size) • Porcentaje de artículos en revistas Top 20% (solo Field y Subject) • Gasto de investigación en ingeniería (solo área ingeniería)

Cuestionario con 42 Ítems: • Nº Personal Docente-Investigador • Nº Estudiantes • Nº Matriculaciones • Ratio de desempleo • Ingresos Universidad • Nº de titulados • Información general de la universidad Se proporcionaron datos de tres años: 2009, 2010 y 2011, por los que el total de datos enviados fue de 126

El ranking QS datos enviados por las universidades 18

El ranking THE datos enviados por las universidades 19

0,00

5,00

10,00

15,00

20,00

25,00UPV

USAL

UAM

UV

UAB

UNIZAR

URVUNAV

UPM

UC3M

UPF

UCM

UB

Perfil de datos de las universidades españolas en el ranking THE

Nº PDI (millares)

Nº PDI internacionales (Endecenas)

Nº PDI investigador (centenas)

Nº estudiantes (Decenas demillare)

Nº estudiantes internacionales(En millares)

Nº_Grados (En millares)

Nº_Doctorados (En centenas)

Ingresos_Institucionales(centenas de millon)

Ingresos_investigación (Decenasde millones)

Ingresos investigación ARWU 20

Estadístico Total de ingresos de Investigación

Nº de universidades 15 Mediana 45.077.567,0

Media 43.481.540,9

Mínimo 5.263.957

Máximo 83.271.214,0

Estimación para las universidades españolas

Top 100

101-200

201-300

301-400

401-500 501-

Probabilidad para la Mediana del total ingresos de investigación de las universidades españolas

0.9% 5.4% 9.9% 13.5% 18.0% 52.3%

Probabilidad para la Media del total ingresos de investigación de las universidades españolas

0.8% 5.1% 12.7% 17.8% 18.6% 44.9%

Probabilidad para el valor Mínimo del total ingresos de investigación de las universidades españolas

0.0% 0.0% 0.0% 0.0% 0.0% 100.0%

Probabilidad para el valor Máximo del total ingresos de investigación de las universidades españolas

3,6% 11.8% 20.0% 24.5% 14.5% 25.5%

Total PDI Institucionales ARWU 21

Estadístico Total PDI

Nº de universidades 15 Mediana 1.984 Media 2.395 Mínimo 1.036 Máximo 3.973

Estimación para las universidades españolas

Top 100

101-200 201-300

301-400 401-500

501-

Probabilidad para la Mediana del total de PDI de las universidades españolas

9.0% 12.9% 17.6% 11.9% 9.0% 39.5%

Probabilidad para la Media del total de PDI de las universidades españolas

13.9% 17.5% 16.0% 11.3% 9.3% 32.0%

Probabilidad para el valor Mínimo del total de PDI de las universidades españolas

3.8% 5.1% 12.7% 12.0% 12.7% 53.8%

Probabilidad para el valor Máximo del total de PDI de las universidades españolas

41.3% 18.7% 5.3% 14.7% 6.7% 13.3%

El ranking ARWU (Análisis de los datos obtenidos de IUNE) 22

UB

UAM

UAB

UCM UV

UPV

UPF

UGR

EHU/UPV

UNIZAR

UPC

US

USC

UNIOVI

UPM

ULL

02468

10121416182022242628303234363840424446485052545658606264

0 200 400 600 800 1000 1200 1400 1600 1800 2000 2200 2400 2600 2800 3000 3200 3400 3600 3800 4000 4200

Núm

ero

de p

ublic

acio

nes

Nat

ure/

Scie

nce

Nº de Publicaciones en Web of Science (SSCI-SCIE)

Universidades con más de 6 Publicaciones en Nature/Science y con más de 1844 publicaciones en SSCI-SCIE)

Universidades con más de 6 Publicaciones en Nature/Science y con menos de 1844 publicaciones en SSCI-SCIE)

Univ. con menos de 6 Publicaciones en Nature/ Science y con más de 1844 publicaciones en SSCI-SCIE)

RECOMENDACIONES ESTRATÉGICAS 23

Fortalecimiento de la identidad de marca de la institución. Las universidades deberían tener una identidad institucional única y fácilmente reconocible a nivel internacional que utilicen en todas sus publicaciones (firma única y normalizada)

Las universidades deberían ser más proactivas en la colaboración con los rankings internacionales recomendando a expertos académicos y empleadores.

Incremento de la colaboración investigadora con otros centros de investigación ubicados en el entorno de las universidades, desarrollando estrategias que impliquen alianzas de investigación con estos centros (OPIs, CSIC y hospitales)

Desarrollar políticas capaces de atraer talento internacional a la universidad (profesores, investigadores y estudiantes)

RECOMENDACIONES OPERATIVAS (1) 24

Establecer un centro de contacto entre los principales rankings internacionales y el SUE que desarrollase un protocolo para que las universidades que lo deseen sepan adonde dirigirse.

Las universidades deben colaborar de manera activa con los principales rankings internacionales enviando los datos que les solicitan (sólo lo hacen el 37% de las que han contestado). Esto mejoraría su visibilidad y competitividad internacional.

Los datos que envían las universidades deberían ser revisados y consensuados con los responsables académicos, con el fin de que reflejen la realidad de la actividad investigadora, docente y de transferencia.

Las universidades deberían tener un interlocutor único para la difusión de sus datos, con el fin de controlar en todo momento la precisión de los datos que envían. Sería recomendable que las universidades contaran con unidades de evaluación y bibliometría.

RECOMENDACIONES OPERATIVAS (2) 25

Fomentar la viabilidad y utilización de bases de datos únicas tipo SIIU, IUNE y Encuesta de la Red OTRI, que contienen información relevante y fiable sobre las actividades realizadas por las universidades españolas.

Creación de unidades de provisión de datos centralizada que faciliten a todas las partes interesadas (gestores públicos y universitarios, profesores, estudiantes, empresas, etc.) los resultados del SUE en los rankings internacionales.

Incentivar al profesorado para que publique en revistas de prestigio internacional y que lo haga en aquellas de mayor impacto y visibilidad (primer cuartil) y reconocer aquellas publicaciones de mayor influencia Nature y Science.

MUCHAS GRACIAS POR VUESTRA ATENCIÓN

elias.sanz@uc3m.es http://lemi.uc3m.es

Elías Sanz Casado