Evaluación de la visibilidad y el impacto de la actividad científica: herramientas, métodos e

indicadores en un nuevo contexto.

Orlando Gregorio-Chaviano. Departamento de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá.

20 de Octubre / 2017

ACUERDO DE BIBLIOTECAS DE CÓRDOBA. ARGENTINA. QUIÉN ES QUIÉN - 2017.

o Evaluación de la investigación basada en la publicación de artículos científicos como eje fundamental de la evaluación

o Web of Science (WoS) y Scopus como fuentes de uso en la evaluación de la actividad científica

o Calidad basada en citas y desde ellas los sistemas de incentivos

o Concepto de internacionalización y visibilidad a partir de presencia y criterios WoS y Scopus

o Aumento de las herramientas de medición

o Fuentes y sistemas regionales como herramientas alternas

o Revistas nacionales en el contexto de la corriente principal

ACTUALIDAD

Citas, posición en cuartiles eÍndice h como medidas de rendimiento

científico

Estrategias de visibilidad, impacto y gestión de la investigación y de las revistas

LA REALIDAD

Fuentes Revistas

Web of Science (WoS) 19

Scopus 55

Scielo 121

Redalyc 79

Latindex 726

ARGENTINA – CORRIENTE PRINCIPAL

Fuente: Web of Science y Scopus

Área Documentos WoS Citas WoS Ncit/Ndoc

Medicina Clínica 2.589.000 32.000.000 12.5Ciencias Sociales 850.000 5.500.000 6.5

TENDENCIAS

Categoría Revistas Citas Factor de impacto promedio

Matemáticas 311 440,200 0,6

Gerencia 194 607,000 1,7

Biología Celular 190 2,000,000 3,3

Historia 87 25,600 0,3

Fuente: JCR, 2016

o Herramienta de evaluación y disciplina instrumentalo Aporte de indicadores que posibilitan el análisis cuantitativo y cualitativo para conocer y regularidades

BIBLIOMETRIA. ¿QUÉ ES?

Determina de forma sistemática y objetiva, la relevancia, eficiencia, eficacia, pertinencia, progreso y efectos de una actividad en función de los objetivos.

CONTROL – APRENDIZAJE - INTERVENCION

BIBLIOMETRIA - IMPORTANCIA

Se basa en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.

FUNDAMENTACION

o La evaluación basada en revistas como eje central de la evaluación

o La mayor parte de las políticas científicas y la evaluación del rendimiento científico (en diferentes agregados) se articulan en torno a bases de datos, indicadores y productos de evaluación basados en la Bibliometría

o El rendimiento científico se suele comparar mediante rankings construidos desde la Bibliometría

o Los recursos asignados a la investigación tienen en cuenta los indicadores bibliométricos

¿PORQUE FAMILIARIZARSE?

o El “prestigio” de un investigador se mide por sus publicaciones científicas

o La publicación científica en forma de artículo, como principal insumo en la evaluación

o La cita como reflejo de la visibilidad y la influencia científica

PRINCIPIOS BASICOS DE EVALUACION DE LA CIENCIA

o Web of Science (WoS)

o Scopus

o Google Scholar (GS)

Otras fuentes y sistemas (dinámica y debate regional):

o Scielo

o Redalyc

o Latindex

o Medline, Biosis…..

FUENTES DE DATOS

o Total de documentos

o Total de citas

o Factor de impacto (Impact Factor)

o Índice h (autores y revistas)

o Eingenfactor Score

o Article influence Score

o CiteScore

o Citas normalizadas

o …

INDICADORES

o El Factor de impacto como un indicador bibliométrico que no se ajusta a la realidad latinoamericana, se puede manipular ….

o El Scimago Journal Rank (SJR) de Scopus, manipulable y difícil de reproducir y entender.

o No favorecen a las Ciencias Sociales y Humanidades

o El Índice h como indicador de rendimiento (dependiente de la producción y la citación)

o Las métricas alternativas deben utilizarse en la evaluación (métricas de uso y alternativas – altmétrics)

o ¿Porqué solo WoS y Scopus y sus indicadores como fuentes de evaluación?

DEBATE - INDICADORES

DECLARACION DE SAN FRANCISCO (DORA)

1.Necesidad de eliminar el uso de métricas basadas en revistas, como índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción

2.Necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación (evaluar el contenido y no el soporte)

MANIFIESTO DE LEIDEN

1.El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador

2. La excelencia en investigación de relevancia local debe ser protegida

3. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta

4. Diferenciar niveles de agregación en la evaluación (micro y macro)

MIRADAS EN UN NUEVO CONTEXTO

o Las diferencias disciplinares y su importancia en la gestión de información y en la evaluación (doble mirada)

o Tipologías documentales y prácticas de publicación diferentes

o Entender los indicadores, su contexto, utilización en la evaluación micro y macro (diferencias entre el factor de impacto y el SJR).

o Familiarizarse con las bases de datos y la calidad de WoS a pesar de sus sesgos.

o Conocer los núcleos de productividad y las tendencias y utilizarlo en la investigación

o Planear la investigación en función de la visibilidad, la misión y objetivos

o El contexto local y el debate regional existente en la actualidad

o Las críticas a la cita “como moneda de cambio” en la investigación

o Fuentes de datos de interés (WoS, Scopus, Scielo…)

o Conocimiento experto (profesionales de la información)

o La investigación como eje importante de la actividad de la universidad

o Necesidad (y posibilidades) de pasar de servicios tradicionales a servicios de apoyo a la investigación

o Nuevos conceptos (CRAI, Unidad Bibliométrica…)

BIBLIOTECA UNIVERSITARIA EN EL ENTORNO DE LA INVESTIGACIÓN

REPENSANDO EL ROL

TRES ENFOQUES DE TRABAJO

1.Control de fuentes (sistematizar la información producida)

2.Generación de indicadores (diseñarlos o seleccionarlos pero en relación a la misión y objetivos institucionales, de grupos de investigación)

3.Capacitación (evaluación de tendencias, selección de revistas, manejo de índices de citación, diseño y análisis de indicadores, evaluación de revistas para la indexación)

SERVICIOS BIBLIOMÉTRICOS – UNIDADES DE BIBLIOMETRIA

Grupos Criterios PonderacióngA 1. Publicaciones en Q1-Q2 de WoS o Q1 de Scopus o una patente de invención

2. Libro o capítulo de libro en Book Citation Index (BCI)

2 puntos

gB Publicaciones en Q3 o Q4 de WoS o Q2-Q3 de Scopus 1,4 puntos

gC 1. Publicaciones en Q4 de Scopus (revistas con CiteScore bajo)

2. Publicaciones en Redalyc, Scielo, Latindex o Emerging Source con más de 10 citas en Google académico

3. Publicaciones en bases de datos internacionales de la especialidad.

4. Libro o capítulo de libro de visibilidad nacional

1,0 puntos

gD 1. Ponencia en congresos citados en GA

2. Presentación de proyecto internacional

2. Publicación en base bibliográfica de corte regional.

0,4 puntos

gE Proyectos nacionales, actividades de revisión, 0,2 puntos

Total 5 puntos

EVALUACION INTEGRAL DE LA INVESTIGACION

o Indicadores basados en citas se seguirán usando más allá de la existencia de métricas alternativas y el aumento de herramientas de medición (indicadores tradicionales, alternativos, ranking..)

o Las bases de datos de citación (WoS y Scopus) como insumos para las instituciones y agencias de evaluación.

o Google académico como importante fuente (necesidad de normalización y limpieza).

o Construcción de indicadores para las Ciencias Sociales.

o Mas que “pelear” contra los métodos de evaluación e indicadores y sumarse a nuevas corrientes: entenderlos, generar alternativas, planear….

CONCLUSIONES (PARCIALES)

Muchas Gracias !!!!orlando.chaviano@gmail.com