Orlando Gregorio-Chaviano

El índice H: obtención, metodologías e importancia

Encuentro de editores de revistas científicasUniversidad Distrital Francisco José de Caldas, Bogotá.

Noviembre 23 de 2017

INDICE

1. Bibliometría y evaluación de la cienciaoImportancia, fundamentación y usos

2. Indicadores de importancia en la evaluación de revistas científicasoTipologías, lecturas e importancia para las revistas

3. Índice h como medida de evaluación oHistoria, oUso en revistas científicas

o Herramienta de evaluación y disciplina instrumental…o Aporte de indicadores que posibilitan el análisis

cuantitativo y cualitativo para conocer regularidades.

BIBLIOMETRIA, ¿QUÉ ES?

BIBLIOMETRIA, IMPORTANCIA

Determina de forma sistemática y objetiva, la relevancia, eficiencia, eficacia, pertinencia, progreso y efectos de una actividad en función de los objetivos

CONTROL – APRENDIZAJE - INTERVENCION

FUNDAMENTACION

La posición en cuartiles.Las citas y el Índice ¨h¨ como medida de

rendimiento científico

Estrategias de visibilidad, impacto y gestión de la investigación y de las revistas

¿PORQUE FAMILIARIZARSE?

…. la mayor parte de las políticas científicas y la evaluación del rendimiento científico (en diferentes agregados) se articulan en torno a bases de datos, indicadores y productos de evaluación basados en la Bibliometría …..

… el rendimiento científico se suele comparar mediante rankings construidos desde la Bibliometría….

.. los recursos asignados a la investigación tienen en cuenta los indicadores bibliométricos ….

INDICIOS DE CALIDAD – MEDIDAS DE EVALUACIÓN DE LA INVESTIGACIÓN

FUNDAMENTACION

o El “prestigio” de un investigador se mide por sus publicaciones científicas.

o La publicación científica como principal insumo en la evaluación.

o La cita como reflejo de la visibilidad y la influencia científica.

PRINCIPIOS BASICOS – EVALUACION DE LA CIENCIA

FUENTES DE DATOS - BRADFORD

PRODUCCION (Output)

VISIBILIDAD E IMPACTO (citas, posición en

cuartiles, h..)

COLABORACION(patrones de colaboración)

ALTMETRICS

INDICADORES

Mide el prestigio científico de fuentes de investigación: valor de citas ponderadas por documento. Una publicación transmite su propio “prestigio” o estatus a otra por el hecho de citarla. En la práctica, esto significa que una cita de una fuente con un SJR relativamente alto tiene un mayor valor que una cita de una fuente con un SJR más bajo. Se calcula con una ventana de tiempo de 3 años.

Imposible (CASI) de entender y de reproducir …….

SCIMAGO JOURNAL RANK - SCOPUS

Mide el promedio de citas que reciben los artículos de una revista en una ventana de tiempo de dos (2) años.

Desde el punto de vista matemático es más fácil de entender que el SJR.

Sesgo hacia las ciencias sociales y a que no se conoce la influencia de artículos individuales en las revistas.

FACTOR DE IMPACTO - WoS

Journal Impact Factor

Cites in 2016 to articles published in 2015: 87 2014: 102 (2016) Sum: 189

Number of articles published in 2015: 42 2014: 38 (2014-2015) Sum: 80

Calculation: Cites / articles 189 / 80 = 2.36

FACTOR DE IMPACTO - EJEMPLO

EJEM

PLO

EJEM

PLO

CiteScore (CS)

Citas que en el año actual han recibido los artículos publicados tres años anteriores. Formulación similar al factor de impacto pero con una ventana de tiempo mayor que favorece a las disciplinas de lento envejecimiento y maduración de citas, como las CSyH.

CiteScore (CS) vs. Impact Factor

Listado de revistas ordenadas de mayor a menor factor de impacto (o SJR) se divide en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el IMPACTO más alto están en el primer cuartil.

CUARTILES

25+ 25-25 25

Revistas más citadas Q1

Q2

Q3

Revistas menos citadas Q4

+ Grado de dificultad

- Grado de dificultad

CUARTILES

o Un núcleo muy reducido de revistas “élite” y un número elevado de revistas periféricas.

o 20% de Bradford con el 80% de las citas o Ausencia de sistemas alternos que evalúen todas las

revistas. o El 80% de la investigación latinoamericana no va a

revistas élite. o ¿Es Scopus reflejo de la calidad (y la necesidad de

nuestras revistas?)o Las ciencias sociales y los procesos de evaluacióno Medición de agregados basada en las citas

Contexto

El h index de un investigador es el número de sus trabajos (h) que han sido citados al menos (h) veces

oLa propuesta de Hirsch es uno de los artículos más citados de la Bibliometría y una de las principales contribuciones. oMuchas universidades en Europa y Estados Unidos solicitan proveer el h índex en la solicitud de posiciones de investigación. oEl gobierno indio asigna recursos a las universidades basados en el h índex. oEl uso del índice es un indicador de inclusión en la promoción de profesores e investigadores en Italia.

INDICE h (h índex): historia

o ¿El número de citas recibidas por un investigador es el mejor indicador de la relevancia de su trabajo o es el número de trabajos publicados en revistas de Q1 (posición de la revista como indicador de calidad)?

o El número de trabajos publicados no debe ser una medida o factor importante en la medición del impacto (ni tampoco la cita solamente), es necesario ver el comportamiento de la distribución en el tiempo.

o Hacer distinción entre el impacto de un trabajo (medido por citas) y la importancia o calidad; relación entre la calidad (impacto) y cantidad (número).

Precisiones necesarias

o Resume en un único número la productividad y la relevancia del trabajo de un investigador.

o Cada área presenta un tamaño peculiar y tendencias de cita diferentes (tendencias de citación, tamaño de las comunidades).

o Funciona como filtro en relación a autores que publican poco y que además reciben pocas citas.

o Ejerce influjo sobre la cultura de publicación (y de evaluación) en varias áreas del conocimiento.

Entendiendo el h index

• Se toman cada uno de los trabajos de un autor en un período de tiempo y se listan en forma descendente en función del número de citas recibidas. Se construyen dos (2) listas; una ascendente (ranking) y una descendente (citas).

• Mayor número de orden donde la cantidad de citas sea mayor o igual (no menor) al número de orden. Un autor o revista tendrá un índice h si h trabajos han recibido h citas.

INDICE h (h índex)

• Posibilita conocer cuáles son aquellos artículos que aportan la mayor cantidad de citas en un agregado.

RANGO CITAS

1 6

2 5

3 4

4 4

5 2

6 1

7 1

8 1

9 0

10 0

INDICE h (h índex)

INDICE h (h índex) - lecturas del indicador

o Dado que el índice aumenta de forma lineal en el tiempo, puede ser usado para realizar comparaciones en términos de su impacto acumulativo.

o Investigadores con algunos trabajos altamente citados y otros con cero citas tienden a un bajo índice.

o Investigadores que publican temas relevantes, tienen coautoría con importantes investigadores o publican revisiones y en revistas de revisión tienden al aumento del índice.

o Investigadores que en sus muestras (listados) tienen un índice h alto después de 10 años de su primera publicación, es probable que mantengan esa tendencia también 20 años después.

o El aumento del índice es más probable que se alimente de publicaciones antiguas (maduración de citas).

o NO es un promedio, no es una fracción, es una vía para medir el comportamiento.

o Posibilidad de comparar dos individuos aún con número de citas y trabajos similares.

o Está condicionado tanto a la producción como a las citas de cada trabajo.

INDICE h (h índex) - lecturas del indicador

INDICE h (h índex) - Algunos aspectos “negativos”

o Es posible “inflar” el índice a través de las autocitas. o No estima la contribución de la autoría, no distingue entre

quienes publican solos o en colaboración. o Sobreestima a quienes participan en artículos con gran cantidad

de autores. o No está permeado por la normalización de citas entre disciplinas. o Diversidad de fuentes de datos para el cálculo con

comportamientos diferentes. o Favorece (a veces) a investigadores “mediocres” que publican

mucho, sobre aquellos que publican poco pero trabajos más significativos.

INDICE h (h índex) - Algunos aspectos “negativos”

o Muchas de las citas de trabajos altamente citados no contribuyen (en una distribución larga). Artículos que han recibido muchas citas pero que caen justo por debajo del número requerido (umbral) no se tienen en cuenta.

o Si un investigador publica asiduamente pero es poco citado, o si recibe muchas citas pero en una reducida cantidad de artículos publicados, poseerá un índice h bajo.

Las revistas científicas frente al índice

oLas autocitas pueden influir en el aumento del índice.oCuáles son los artículos importantes de la revista? Los altamente citados o los que están dentro del umbral?oAspectos de marketing favorecen el aumento del índice oTipologías documentales oCalidad de los contenidos (tendencias del área, frentes de investigación)oLa falta de especialización oProfesionalización de la labor editorial

INDICE h (h índex) - Google académico y Publindex

o Diferencias disciplinareso No se pueden hacer evaluaciones para

todas las ciencias socialeso Necesidad de limpieza de la información o Facilidad de manipulación dada la propia

dinámica de la fuente original. o Áreas más y menos representadas en la

clasificación mediante el índice. o Revistas no incluidas en WoS y Scopus

pueden quedar en el mismo grupo de las que si están.

Revistas nacionales (y regionales)

Una clasificación como la de Publindex, es excluyente más que catalizador de la calidad

1. Necesidad de otras clasificaciones que incluyan nuevas fuentes y otros indicadores (manteniendo WoS y Scopus)2. Tener en cuenta las diferencias entre WoS y Scopus. oPublicación de contenidos relevantes que sean tendencia (internacionales o regionales)oFortalecer la especialización oMonitorear el core (citarlo, hacer benchmarking…)oPlanear la indexación oMejorar los procesos editoriales (calidad de los comité, profesionalización)oMercadeo

Gracias !!!orlando.chaviano@gmail.com