Presentación de PowerPoint - Universidad de Sevilla · 2019-05-21 · Biblioteca Ciencias de la...

Biblioteca Ciencias de la Educación. Universidad de Sevilla

Seminario Conozca su impacto real: citas, Índice H y métricas alternativasFacultad de Ciencias de la Educación de la Universidad de Sevilla (2019)

Indicios de calidad y herramientas para medir los impactos de la investigación

Víctor M. Moya-Orozco ([email protected])

Evaluación de la investigación

¿Por qué autoevaluarse?• Saber si estamos consiguiendo nuestro

objetivo de investigación

• Modificar nuestro plan de difusión

• Conocer el impacto propio

• Facilitarnos tareas administrativas: Sexenios,

acreditaciones, etc.

Autoevaluar la producción científica¿Por qué autoevaluarse?


Contenidos

• Métricas tradicionales: ICR, citas, Índice H…

• Estadísticas de idUS

• Altmetrics



Tipos de métricasMétricas de la revista:

• Índices de calidad relativos

Métricas a nivel de artículo:

• Citas

• Estadísticas de uso

• Altmetrics



Métricas de autor:

• Índice H

• Altmetrics

Fuentes• Citas: WoS, Scopus, Google Scholar.

• ICR: JCR, SJR, Journal Scholar Metrics.

• Estadísticas de uso: WoS, idUS.

• Métricas sociales: Altmetric.com, PlumX.



Consejos• Hay datos que no van a cambiar, como el IF, de modo que en

cuanto lo podamos conseguir, lo mejor es anotarlo.

• Utiliza herramientas de recopilación, como alertas u otros

sistemas de seguimiento de impacto (Researcher ID, Alertas de

citas, etc.).

• Valora no sólo los datos, sino también la importancia de la

publicación.

• Ten paciencia. Hay datos que tardan más, como las citas.

• Esfuérzate en dar visibilidad y difundir tus investigaciones.

• Toma la iniciativa. Si no te buscan a ti, busca tú a tu público.



Recursos del Servicio de Apoyo a la Investigación de la Biblioteca

Informes de citas

Índices de impacto

Índice H

Factor de Impacto


La biblioteca le ayuda…

http://guiasbus.us.es/indicesdeimpacto


http://guiasbus.us.es/citas


http://guiasbus.us.es/indiceh

http://guiasbus.us.es/factordeimpacto

Acceso abierto

Altmetrics Perfiles de autor

Recursos del Servicio de Apoyo a la Investigación de la Biblioteca



http://guiasbus.us.es/accesoabierto

http://guiasbus.us.es/altmetrics

http://guiasbus.us.es/perfilesdeautor

Guías de Apoyo

a la InvestigaciónAcreditación y

Sexenios

Y muchas más…



http://bib.us.es/estudia_e_investiga/guias/investigacion

http://bib.us.es/estudia_e_investiga/guias/investigacion

http://bib.us.es/estudia_e_investiga/investigacion/acreditacion

http://bib.us.es/estudia_e_investiga/investigacion/acreditacion

Apoyo

a la Investigación

Portal Web de la Biblioteca



http://bib.us.es/

http://bib.us.es/

Índices de calidad relativos (ICR)

Listados de revistas científicas ordenadas según un parámetro que leotorga una determinada calidad o importancia con respecto a otras.

Medir el impacto científicoÍndices de Calidad Relativos (ICR)


La base de ese parámetro suele basarse en las citas recibidas por lasrevistas indizadas, si bien el cálculo variará según los algoritmos de cadabase de datos.

Lo importante de estos índices no es tanto elparámetro de calidad, sino la posición de la revistacon respecto a las demás.

Índices de calidad relativos (ICR)

JIF Journal Citation Reports

SJR Scimago Journal & Country Rank

Índice H5 Journal Scholar Metrics



Por qué conocerlos

Saber elegir las mejores revistas en las que publicar.

Conocer el impacto de las revistas en las que se ha publicado.

Conocer la importancia de una revista en un área o campo.



Medir el impacto científicoJournal Citation Reports (Impact Factor)


Medir el impacto científico

Ventajas Limitaciones

• Principal indicador para la

evaluación científica.

• Larga trayectoria en su uso.

• Muy afianzado en los procesos

de evaluación.

• Gran reconocimiento.

• Indicador de calidad de la

revista, no del artículo.

• Sesgo: hay idiomas y campos de

conocimiento mal

representados.

• No es inmediato.

• Puede ser manipulado.





Acceder al ranking de revistas

Buscar revista

Seleccionar categoría

Año de la publicación

Seleccionar edición



Acceso a Journal Citation Reports

http://encore.fama.us.es/iii/encore/record/C__Rb1571345?lang=spi

Indicadores principales

JIF

JIF sin autocitas

Cuartil por año y categoría





Scimago Journal & Contry Rank (SJR)

http://www.scimagojr.com/journalrank.php



• Contiene más revistas que JCR.

• Menos sesgo lingüístico y más

representación temática.

• Reconocido para la evaluación

en determinadas áreas.

• Indicador de calidad de la revista,

no del artículo.

• No es inmediato.

• Puede ser manipulado.




Buscar revistas (por título, ISSN o editor)

Acceder al ránking de revistas




Acceso al Scimago Journal & Country Rank




Resultados de la búsqueda




Índice H de la revista en Scopus

Cuartil por año y categoría

Ficha de la revista




Factor de Impacto SJR

Valor para un año concreto

Categoría

Seleccionar categoría

Seleccionar añoLocalización en el ránking




Seleccionar tipo (Journal)

Descargar Excel

Posición en el ránking = 83




Buscar en Excel

Journal Scholar Metrics (H5)Medir el impacto científico


http://www.journal-scholar-metrics.infoec3.es/layout.php?id=home



• Contiene más revistas que JCR

y SJR.

• Menor sesgo lingüístico y más

representación temática.

• Indicador de calidad de la revista, no

del artículo.

• Está basado en Google Scholar, con

sus limitaciones.



Buscar revistas



Acceso a Journal Scholar Metrics




Índice H5

Cuartil y posición por categoría

Visibilidad (indexación en BBDD)

Total de citas



Buscar por categorías

Desplegar las materias de Arte y Humanidades



Ránking del área de Psicología

Desplegar para limitar por país



Datos de la revista

Posición

Cuartil

Índice H5



Citas de las publicaciones

Web of Science (WoS)

Scopus

Google Scholar Citations




Selección Más



Citas de las publicaciones (Web of Science)

Acceso a WoS

http://encore.fama.us.es/iii/encore/record/C__Re1000095?lang=spi

Selección Búsqueda de autores




Acceso a WoS


Escribir el nombre del autor




Se pueden añadir variantes del nombre Se puede refinar la

búsqueda por área de conocimiento

Seleccionar el área de conocimiento




Se puede refinar la búsqueda por institución.

Es importante que en las publicaciones, la firma institucional esté escrita de forma adecuada. Ver Instrucciones para la firma científica de la Universidad de Sevilla.

https://investigacion.us.es/docs/apoyo/instrucciones_firma_publicaciones_cientificas.pdf

Seleccionar la institución




Finalizamos la búsqueda

Es importante que en las publicaciones, la firma institucional estéescrita de forma adecuada. Ver Instrucciones para la firmacientífica de la Universidad de Sevilla.

https://investigacion.us.es/docs/apoyo/instrucciones_firma_publicaciones_cientificas.pdf

Las agregamos los registros seleccionados a la lista de registros marcados.




Se seleccionan las publicaciones del autorBuscado y…

Veremos el número de publicaciones guardadas en la lista.Hacemos clic aquí para acceder a la lista.




Las publicaciones guardadas aparecen ahora marcadas en naranja.

Para ver las métricas, creamos el informe de citas




Envía las publicaciones a tu perfil de ResearcherID




¡CONSEJO!

Total de publicaciones




Índice H y promedio de citas Total de citas (en WoS)

En el informe de citas podremos ver: Exportar datos

Total de publicaciones




En esa misma página aparecerán todas las publicaciones, con las citas por año, el total de citas y el promedio de citas por año.

Crear alerta de citas




Cree alertas de citas de sus publicaciones en WoS

¡CONSEJO!

Introducir usuario




O registrarse


¡CONSEJO!

Parámetros de la alerta





¡CONSEJO!

Para ver y gestionar las alertas





¡CONSEJO!




Utilice ResearcherID para obtener métricas sobre sus publicaciones en WoS

Consulte la guía de la Biblioteca sobre ResearcherID

¡CONSEJO!

Selección Búsqueda de autor



Citas de las publicaciones (Scopus)

Acceso a Scopus




Introducimos los apellidos y el nombre del autor




Seleccionar el autor para ver sus publicaciones.




Ordenar las publicaciones por citas.




Aquí vemos el total de publicaciones, el total de citas y el índice H

Ver las citas por año y el total de citas de cada publicación




Podemos seleccionar el rango de años para el que queremos ver las citas

Crear alerta para el autor




Cree alertas de citas y nuevas publicaciones en Scopus

¡CONSEJO!

Establecer la alerta





¡CONSEJO!

Para ver y gestionar las alertas clicamos en Alerts





¡CONSEJO!

Se pueden crear alertas de búsqueda, citas de autor o citas de publicaciones




Consulte la guía de la Biblioteca sobre Scopus Author ID

http://guiasbus.us.es/perfilesdeautor/scopusid

http://guiasbus.us.es/perfilesdeautor/scopusid



Citas de las publicaciones (Google Scholar Citations)

Acceso a Google Scholar

https://scholar.google.es/

Escribir el nombre del autor.




Comprobar que los artículos son del autor buscado.




Ver el número de citas.




Comprobar que las citas provienen de artículos científicos (o en su caso de libros de carácter científico).







Cree un perfil de Google Scholar Citations para conocer sus métricas.


Citas totalesÍndice H y H5Índice i10

Consulte la guía de la Biblioteca sobre GSC

http://guiasbus.us.es/perfilesdeautor/googlescholarcitations

http://guiasbus.us.es/perfilesdeautor/googlescholarcitations

Índice Hirsch (Índice H)

Web of Science (WoS) / Researcher ID

Scopus

Google Scholar Citations



Índice H



Índice H

Un autor tiene un índice h de “H” cuando “H” desus artículos publicados han recibido “H” citascomo mínimo cada uno, y el resto de sus artículos,han recibido “H” como máximo.



Índice H

• No permite comparar investigadores dediferentes áreas científicas.

• No tiene en cuenta la calidad de lasrevistas en las que se publica.

• Da prioridad a la cantidad sobre la calidadde las publicaciones.

• Autores con una actividad investigadorareciente, tendrán un índice h bajo a pesarde que su trabajo pueda resultar muyrelevante en su área.


• Relaciona la calidad (en funcióndel número de citas recibidas) yla cantidad de la produccióncientífica.

• Puede detectar losinvestigadores destacadosdentro del área.

• Valora un esfuerzo científicoprolongado a lo largo de toda lavida académica

Diez artículos han recibido 10 citas o más.



Índice H

Orden Citas

1 55

2 20

3 11

4 9

5 5

6 2

7 1

8 1

9 0

10 0

11 0

12 0

13 0

… 0

Orden Citas

1 1

Orden Citas

1 0

Orden Citas

1 15

2 11

3 8

4 3

5 0

6 0

7 0

H= 55 artículos han recibido 5 citas o más

H=33 artículos han recibido 3 citas o más

H=11 artículo ha recibido 1 citas o más

H=0No hay citas



Índice H

Orden Citas

1 30H=11 artículo ha recibido 1 citas o más



Índice H (Web of Science)

Ránking Índice H - Ciencias

Ránking Índice H – Ciencias Sociales y Humanidades

El Índice H, por sí mismo, no dice nada. Hay que contrastarlo con el de un grupo.

http://indice-h.webcindario.com/

http://indice-h.webcindario.com/

http://hindexscholar.com/

http://hindexscholar.com/

Selección Más



Acceso a WoS



Selección Búsqueda de autores



Acceso a WoS



Escribir el nombre unificado




Crear informe de citas






Índice H y promedio de citas

En el informe de citas podremos ver:


Evita la búsqueda guardando tus

publicaciones en ResearcherID




http://www.researcherid.com/

http://www.researcherid.com/

Selección Búsqueda de autor



Acceso a Scopus

Índice H (Scopus)




Introducimos los apellidos y el nombre del autor



Índice H (Scopus)

Seleccionar el autor para ver sus publicaciones.



Índice H (Scopus)



Índice H

Índice H (Scopus)

Buscar por nombre de autor



Índice H (Google Scholar)

Acceso a Google Scholar

https://scholar.google.es/

Seleccionar el autor

Es imprescindible tener un perfil




El índice H aparece en el gráfico de citas




Otros impactosTendencias en la medición del impacto de la investigación

Otras métricas para otros impactos




Citas Scopus

230

Citas WoS

232

JCR IF

7,6456/79 Q1

SJR

3,73110/248 Q1

http://dx.doi.org/10.1103/PhysRevLett.116.061102

http://dx.doi.org/10.1103/PhysRevLett.116.061102



Citas Scopus

230

Citas WoS

232

JCR IF

7,6456/79 Q1

SJR

3,73110/248 Q1

¿Nos cuentan estos datos toda la historia?



42 blogs

84 noticias

104 pp. Facebook

4264 tweeters

39 Wikipedia

195Google+

2010… Manifiesto Altmetrics (Priem, Taborelli, Groth y Neylon)

2012… Declaración de San Francisco (Declaration on Research Assessment)

2013… NISO Alternative Assessment Metrics Initiative

2014… Research Excellence Framework

- El peer-review está obsoleto. Es lento y no limita el volumen de la investigación.

- Las herramientas de recuento de citas son insuficientes, lentas, no admiten trabajos que

no sean artículos, ignoran el contexto y no miden otros impactos.

- El FI mide revistas y no puede usarse para evaluar el impacto de un artículo.

- Promueve la eliminación de las métricas basadas en revistas.

- Hay que evaluar la investigación por sí misma y no por la revista en que se publique.

- Hay que aprovechar las oportunidades de la publicación en línea.

- Pretende normalizar las altmetrics y definir sus usos en la evaluación científica.

- También busca definir criterios para la evaluación de documentos distintos a artículos.



http://www.infotecarios.com/manifiesto-altmetrics/

http://blogs.ujaen.es/cienciabuja/wp-content/uploads/2013/10/dora.pdf

http://www.niso.org/topics/tl/altmetrics_initiative

http://www.ref.ac.uk/

¿Qué tienen estas iniciativas en común?

1. La forma de evaluar la producción científica no es eficaz.

2. Hay que tener en cuenta no sólo los artículos, sino también otros productos

que resultan de la investigación científica.

3. Estos otros productos crecerán en importancia (gracias a los medios sociales).

4. Las métricas basadas en revistas, como el FI y otros índices similares no

pueden usarse para evaluar el impacto de un artículo, de un investigador o de

una institución.

5. Las tecnologías de la información y la comunicación permiten nuevas formas

de evaluar y medir la ciencia.

6. Es necesario contar con una variada gama de métricas que permitan conocer

mejor el impacto de los resultados de la investigación.




Algunas reflexiones previas


1. ¿Puede el Factor de Impacto de una revista hablar del impacto real de un

artículo?

2. ¿Se citan todos los artículos que han influido en los conocimientos y

pensamiento de un autor?

3. ¿Sólo importa el impacto científico?

4. ¿Se debe tener en cuenta cuando una investigación influye en la sociedad o

tiene un impacto mediático trascendente?

5. ¿Existen otros tipos de impacto más allá del concepto tradicional de “impacto

científico?

Conclusiones del Consejo de la Unión Europea sobre la transición a un modelo de Ciencia

abierta (27/05/2016)

• Todos los artículos científicos europeos, o al menos los financiados, en su totalidad o en

parte, con fondos públicos, en Acceso Abierto en el año 2020.

• Estudiar el uso de métricas alternativas.

• Adaptación de los sistemas de retribución y evaluación.

“La evaluación de la calidad científica, además de basarse en la propia labor científica, debe

ampliarse para medir también la influencia de la ciencia en la sociedad en su conjunto, en

lugar de poner el énfasis, como ocurre actualmente, en una serie de indicadores basados

en la repercusión de las revistas especializadas y el número de citas de las publicaciones”.



http://data.consilium.europa.eu/doc/document/ST-9526-2016-INIT/es/pdf

Research Excellence Framework (REF)

Nuevo modelo de evaluación de la calidad de la investigación del Reino Unido.

Se evalúan diferentes tipos de impacto: político, tecnológico, económico, cultural, legal, social, medioambiental...

Casos de estudio en impacto cultural.



http://impact.ref.ac.uk/CaseStudies/

http://impact.ref.ac.uk/CaseStudies/Results.aspx?Type=I&Tag=5083

¿Qué son?

Otros impactosAltmetrics: las otras métricas

http://guiasbus.us.es/altmetrics

• Conjunto de indicadores basados en

herramientas de la web social.

• Complementan a las métricas tradicionales.

• Miden otros productos de investigación, más allá

de los artículos.

• Miden otros impactos de la investigación que no

miden las métricas tradicionales.


Número de lectores, número de visitas, interacción con otros usuarios, cuánto se ha compartido en redes sociales…

Referidas a una aportación concreta o a las aportaciones de un autor (a diferencia del FI, que se refiere al valor de la revista )

Mayor rapidez en su actualización

Obtenidas del impacto individual del autor o el documento en una comunidad determinada

Altmetrics vs. Métricas tradicionales

Otros impactos


1. Diversidad: muestran datos sobre otro tipo de resultados de investigación, como conjuntos de datos,

presentaciones, software, patentes, monografías, etc.

2. Otros impactos: no sólo ofrecen información sobre el impacto académico y científico, sino también en

otras audiencias y tipos de impacto: social, económico, medioambiental, cultural, etc.

3. Ampliación del impacto: amplían la imagen del impacto de una investigación, con datos más allá de las

propias citas.

4. Métricas a nivel de artículo: miden el impacto del artículo o resultado de investigación, no solo de la

revista que lo contiene.

5. Inmediatez de los datos: ofrecen información desde el mismo momento de la publicación e incluso antes.

6. Contexto: permiten visualizar la acogida de un producto de investigación y la respuesta inmediata del

autor.

7. Visibilidad: permiten realizar el seguimiento de la difusión de los resultados de investigación y tomar

decisiones para obtener mayor visibilidad e impacto.

Ventajas



1. Falta de normalización: presentan problemas de normalización tanto para su recopilación como para su

uso en la evaluación científica.

2. No están reguladas: al tratarse de herramientas poco controladas, pueden dar lugar a la manipulación y

falsificación.

3. Fiabilidad: no está tan claro que sirvan para medir la calidad científica.

4. Tiempo y dificultad: hacer un seguimiento de las altmetricas puede ser difícil y llevar mucho tiempo si no

se utiliza un proveedor de datos altmétricos.

5. Saturación: existen muchas medidas y proveedores diferentes, por lo que puede ser difícil determinar

cuáles son las más relevantes para la evaluación científica.

6. Aceptación: aunque se empiezan a tener en cuenta como medidas complementarias de evaluación, en

España evaluadores y organismos de financiación aún no las están teniendo en cuenta.

7. Contexto: el uso de las aplicaciones de la web social puede variar según la disciplina, la ubicación

geográfica o a lo largo del tiempo, haciendo difícil interpretarlas.

8. Falta de correlación: no se ha podido demostrar que exista una correlación clara entre las citas recibidas

por un trabajo y las altmetrics cosechadas, aunque esto varía según las fuentes.

Limitaciones



Fuente



http://libguides.library.uu.nl/researchimpact/altmetrics

Fuentes de datos

Noticias

• Más de 1,300 páginas

• Lista seleccionada

manualmente

• Minería de textos

• Cobertura global

Medios sociales y

blogs

• Twitter, Facebook,

Google+, Sina Weibo

• Sólo posts públicos

• Lista seleccionada

manualmente

Gestores de

referencias

• Mendeley, CiteULike

• Recuento de lectores

• No se tienen en cuenta

para el AAS.

Otras fuentes

• Wikipedia

• YouTube

• Reddit

• F1000

• Pinterest

• Q&A

Redes de revisión

por pares

• Publons

• PubPeer

Documentos

oficiales

• NICE Evidence

• Intergovernmental

Panel on Climate

Change

• Muchos más…



Fuente:

3

8

5

1

3

0,25

1

3

0,5

0,5

0,25

1

0.25

0,25

0,25

Fuentes de los datos



https://www.altmetric.com/about-altmetrics/our-sources/news/

Fuentes de obtención de noticias en

Entre otros…



https://www.altmetric.com/about-altmetrics/our-sources/news/

Cómo medir otros impactos: • IdUS

• Scopus

• Altmetric

• ImpactStory

• Kudos



Descargas del fichero

Visitas mensuales al documento

Total visitas al documento

Visitas al documento por país

Visitas al documento por ciudad

Estadísticas de uso en idUS

Otros impactos


Datos altmétricos (Altmetric.com)

Citas en Google Scholar

Número de citas en WoS

Estadísticas de uso en idUS

Otros impactos


Ya en

Número de citas en Scopus

Scopus Article Level Metrics

Otros impactos



Otros impactos


Datos de uso

Gestores de referencias

Menciones en noticias y blogs

Datos de medios sociales

Citas


Otros impactos


Citas en Scopus

Datos altmétricos

Percentil en su categoría

https://www.altmetric.com/products/free-tools/bookmarklet/

Marcador Altmetric

Se instala en la barra de marcadores del navegador.

Detecta automáticamente un DOI en la página y presenta las altmétricas para ese artículo.

Permite generar alertas para conocer cambios en las métricas del artículo.

Altmetric.com

Otros impactos


https://www.altmetric.com/products/free-tools/bookmarklet/

Marcador Altmetric

Permite medir cualquier artículo con DOI en una Web.

Altmetric.com

Otros impactos


Marcador Altmetric

El donut de Altmetricmarca la fuente de las altmétricas obtenidas y el peso otorgado a su conjunto.

Altmetric.com

Otros impactos


El score marca el impacto detectado en la Web social.

También marca el percentil en el conjunto de artículos puntuados por Altmetric.

Marcador Altmetric

Altmetric.com

Otros impactos


El número de lectores de Mendeley está separado. Suponen impacto académico.

Marcador Altmetric

Altmetric.com

Otros impactos


Crear alertas

Marcador Altmetric

Altmetric.com

Otros impactos


Marcador Altmetric

Crear alertas

Altmetric.com

Otros impactos


ImpactStory

ImpactStory

Otros impactos


ImpactStory

Otros impactos


ImpactStory

Kudos

Otros impactos


Kudos

Kudos

Kudos

Otros impactos


Gracias.


Por favor, ayúdenos tomándose unos segundos para rellenar

esta encuesta de satisfacción

https://bib2.us.es/formabus/cursos/encuesta-de-satisfaccion9417?id=9413&path=/formabus/cursos/c-94131361824840

Gracias.

Imágenes con licencia CC0 obtenidas de http://www.publicdomainpictures.net/

Se permite cualquier explotación de la obra,incluyendo una finalidad comercial, así como la creación de obrasderivadas, la distribución de las cuales también está permitidasin ninguna restricción.

Más información:

Víctor M. Moya-Orozco

@vicmoyoro

[email protected]

http://www.publicdomainpictures.net/

https://twitter.com/vicmoyoro

mailto:[email protected]

Presentación de PowerPoint - Universidad de Sevilla · 2019-05-21 · Biblioteca Ciencias de la...

Documents

Transcript of Presentación de PowerPoint - Universidad de Sevilla · 2019-05-21 · Biblioteca Ciencias de la...