La producción científica en España: visibilidad  e impacto

internacional Universidad Politécnica de Valencia, Noviembre 2009

_______________________Félix de Moya Anegón

SCImago Research Group

Calidad Científica

• Es el grado en que un científico, un grupo o una institución contribuye al progreso del conocimiento. En otras palabras, la capacidad para resolver problemas, para ofrecer nuevas ideas sobre la "realidad", o para hacer posible una nueva tecnología. En última instancia, siempre es la comunidad científica (‘los pares’, como un grupo amplio de colegas científicos, no solamente los compañeros, integrados en un comité de revisión), que tendrá que decidir de forma inter‐subjetiva sobre la calidad.

Impacto/Influencia/Prestigio

• Impacto es la influencia real de los resultados  de investigación en un período dado. Si bien esto dependerá en parte de su importancia, también puede estar afectado por factores tales como la ubicación del autor, su prestigio y el de sus colaboradores, el idioma o la accesibilidad del canal de comunicación usado, entre otros.

• El impacto se considera actualmente como uno de los aspectos de la calidad de la investigación que puede medirse por indicadores cuantitativos. La calidad de la investigación en su conjunto tiene que ser evaluada por pares. Sin embargo, es una tendencia emergente en la ciencia política, considerar al impacto como la parte medible de la calidad, como medida que representa la calidad de la investigación.

Excelencia

• ‘Excelencia científica’ es una expresión que denota la superioridad comparativa con otros científicos de calidad sobre la base de las mejores puntuaciones entre un conjunto de entidades comparables. Una vez se identifican los canales internacionalmente reconocibles y se elaboran los modelos de medición apropiados, los elementos distintivos de la excelencia en la investigación pueden ser objeto de mediciones comparadas para hacer posteriores análisis más detallados.

• La excelencia se logra cuando los resultados de investigación analizados alcanzan un impacto por encima de un umbral prefijado.

Cantidad y Calidad

• Un simple recuento del número de publicaciones es generalmente considerado como una medida de la productividad investigadora, de la cantidad más que de la calidad. Los indicadores que se basan en el recuento de publicaciones son relacionados de forma remota con la investigación de calidad, son los indicadores de citación los más próximos a este concepto. El hecho de que un artículo ha sido publicado en una revista académica por lo general implica que ha sido objeto de un minucioso proceso de revisión inter pares, lo que podría interpretarse como un signo de calidad. Sin embargo, no es más que una oferta a la comunidad científica. Es el uso que con posterioridad se hará de dicha oferta es lo que certifica el grado de  calidad real de una contribución (artículo, libro, etc.).

Sistemas de evaluación

• Basado en canales de comunicación científica que aseguren la calidad

• Dos elementos esenciales:– Umbral mínimo de calidad– Ranking de publicaciones

• Los umbrales bajos reducen la visibilidad y por tanto el impacto

• Los sistemas binarios no aseguran la calidad del conocimiento generado

Timing effects and shifts in criteria in UK  Research Assessment Exercises (RAE) 

-4.0

-3.0

-2.0

-1.0

0.0

1.0

2.0

3.0

4.0

86 87 88 89 90 91 92 93 94 95 96 97 98 99 00 01 02 03Years

Ann

ual G

row

th R

ate

% UK Articles% UK Authors

1995/61992 2000

Total PublicationCounts

Shift from Quantity toQuality

ResearchActiveStaff

% UK authors

% UK Articles

Puedo aumentar mi visibilidad…..

1. Incrementando la autocitación?

2. Publicando en revistas de alto impacto?

3. Colaborando con mejores socios?

4. Publicando con autores norteamericanos?

5. Publicando menos, sólo buenos papers?

6. Organizando arreglos de citación con colegas?7. Potenciando los mejores frentes de investigación?

Peer Reviewed Journal Growth 1665 ‐ 2001

• 2.192 instituciones de investigación– 1.579 universidades

• Selección basada en umbral productivo: 100 productos en el último año

• Período de cobertura (2003‐2008)• Representa el 70% de la producción mundial en 85 países

• Ocho indicadores de producción científica, cinco sectores institucionales y 25 grandes campos científicos

• SIR Analytics: herramienta de análisis institucional para instituciones SIR

Indicadores

• Outputs– Producción total, primaria y secundaria

• Citas y Citas por documento• % de documentos citados• % colaboración internacional• Nivel medio de las publicaciones (ASSJR)• Potencial investigador• Impacto normalizado por campos

– Métodos de Leiden y Karolinska• Producción primaria ponderada

Respuestas

• SIR contesta:– ¿Dónde se encuentra mi institución en los diferentes contextos de analíticos?

– ¿Por qué mi institución se encuentra en esa posición?

– Qué mejores prácticas de comunicación científica  podrían mejorar esa posición? 

Sistemas de ES consolidados

-0,5 0 0,5 1 1,5 2

Estados Unidos (29/285)

Reino Unido (9/75)

Alemania (2/56)

Holanda (0/13)

Suiza (0/8)

Francia (2/35)

Australia (5/31)

Canada (5/35)

Italia (2/43)

España (17/33)

MEDIA MUNDIAL

Universidad Pompeu Fabra

Università Vita‐Salute San Raffaele

University of Toronto

University of Melbourne

Ecole Normale Superieure de Paris

ETH Zurich

Erasmus Universiteit Rotterdam

Universität Mannheim LondonBussines School

RockefelerUniversity

Sistemas de ES emergentes

-1,2 -1 -0,8 -0,6 -0,4 -0,2 0 0,2 0,4 0,6

Brazil (22/1)

Chile (9/1)

Argentina (10/0)

Colombia (4/1)

Mexico (9/0)

Venezuela (5/0)

China (180/6)

India (42/5)

Iran (17/2)

Rusia (9/0)

Sudafrica (8/3)

Korea del Sur (49/10)

Perú (3/3)

Pohang U.

Cape Town U.

Saratovskij Gosudarstvennyj

Razi University

Tata Institute

DongHua University

Universidad de los Andes

Universidad de Sonora

Universidad de Los Andes

Universidad Nacional del Litoral

Pontificia U. Católica de Chile

Universidade Federal de Pelotas

MEDIA MUNDIAL

U. Cayetano Heredia

Gross Domestic Expenditure on R&D as a percentage of GDP

Source: OECD Factbook 2009 - http://stats.oecd.org/ - July 2009

15

0,0

0,5

1,0

1,5

2,0

2,5

3,0

3,5

4,02007 or latest available year 1998 or first available year

The number of researchers per 1000 employed population – an overview

0

2

4

6

8

10

12

14

16

2007 or latest available year

Source: OECD Factbook 2009 - http://stats.oecd.org/ - July 2009

16