Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación16 de mayo de 2011

Manu Ruiz de LuzuriagaOficina de ReferenciaBibliotecaUniversidad Pública de [email protected]

mailto:[email protected]

mailto:[email protected]

Evaluación de la investigación

En las modernas economías de mercado, aparece como un

objetivo prioritario el impulso de la investigación y el

desarrollo de la ciencia. Para conseguir estos objetivos, se hace imprescindible conocer,

medir y evaluar la investigación.

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 2

Conocer el valor de la investigación de la unidad de análisis (país, universidad, departamento) y ver su evolución en el tiempo

Comparar la investigación en la unidad de análisis con otras unidades y tender a emular las mejores prácticas (benchmarking)

Sirve de apoyo para una mejor asignación de los recursos en los sistemas de ciencia y tecnología

Sirve de base a decisiones políticas tendentes a mejorar la investigación


La evaluación de la investigación hace necesarios unos indicadores para



1930• Se realizan en la Unión Soviética los primeros intentos de medir la investigación

1940• Comienza la recopilación de datos estadísticos sobre la investigación en Estados Unidos

1941-

1945.

• El Proyecto Manhattan que sirvió para desarrollar la bomba atómica sirve para que se tome conciencia de la importancia de la investigación científica.

1942

• Merton publica The Normative Structure of Science. Formula el llamado Efecto Mateo para la ciencia. Define el conocimiento científico como comunal, universal, desinteresado y escéptico.

1945

• Vannervar Bush realiza el informe Science, Endless Frontier, donde indica que la investigación es fundalmental para la supervivencia nacional, por razones económicas y militares. Recomienda la creación del futuro NSF.

1947

• John R. Steelman realiza lo que se conoce por Steelman Report, titulado Science and public policy : a report to the President que sienta las bases de la política científica de los Estados Unidos.

1950

• Se crea la National Science Foundation (NSF) de Estados Unidos, que comienza a enviar periódicamente una encuesta a las empresas para recopilar datos de la investigación desarrollada


http://en.wikipedia.org/wiki/Manhattan_Project

http://s07.middlebury.edu/PHIL0214A/Merton%20Normative%20Structure%20of%20Science.doc

http://www.garfield.library.upenn.edu/merton/matthew1.pdf

http://www.nsf.gov/about/history/vbush1945.htm

http://hdl.handle.net/2027/mdp.39015017123830



Decada de los 50

• La mayoría de las economías de libre mercado recogen datos sobre la investigación, generalmente por medio de encuestas. La diversidad de estas encuestas hacía difícil la comparación de datos entre los diferentes países.

Decada de los 50-60

• Guerra Fría y Carrera Espacial. Impulso a la ciencia, consideración de la importancia de la investigación, estudios teóricos e intentos de modelización de la ciencia.

1960

• Se funda la OCDE (Organización para la cooperación y el Desarrollo Económico).

1962

• Khun publica The Structure of Scientific Revolutions, define el paradigma y otra forma de entender la ciencia.

1963

• La OCDE toma a su cargo la normalización de las estadísticas referidas a I+D. En Frascati se reunen expertos en estadísticas de los países de la OCDE, y de esa reunión surge el documento Metodología normalizada propuesta para las encuestas sobre investigación y desarrollo experimental. Este documento se conoce como Manual de Frascati, cuya sexta edición es de 2002.

1984.

• La OCDE comienza a publicar la serie Science and Technology: Indicators Reports, sustituidos en 1988 por los Main Science and Technology Indicators, a los que sigue un amplio número de publicaciones sobre I+D.


http://www.oecd.org/

http://www.exactas.org/modules/UpDownload/store_folder/2_-_FISICA/T.S.Kuhn.-.La.Estructura.de.las.Revoluciones.Cientificas.pdf

http://www.micinn.es/stfls/MICINN/Investigacion/FICHEROS/ManuaFrascati-2002_sp.pdf

http://www.micinn.es/stfls/MICINN/Investigacion/FICHEROS/ManuaFrascati-2002_sp.pdf

http://www.oecd-ilibrary.org/science-and-technology/data/oecd-science-technology-and-r-d-statistics/main-science-and-technology-indicators_data-00182-en?isPartOf=/content/datacollection/strd-data-en

http://www.oecd-ilibrary.org/science-and-technology/data/oecd-science-technology-and-r-d-statistics_strd-data-en



1989

•Suplemento del Manual de Frascati. Estadísticas de I+D y medida de los resultados en enseñanza superior. Se añadirá al Manual de Frascati en las siguientes ediciones.

1990

•TBP Manual. Proposed Standard Method of Compiling and Interpreting Technology Balance of Payments Data. Manual de Balanza de Pagos Tecnológicos.

1992

•Manual de Oslo publicado por la OCDE. Guía para la recogida e interpretación de datos sobre innovación tecnológica.

1993

•La UNESCO comienza a publicar el World Science Report. Más adelante, en 1999, se completará con el World Social Science Report, que ahora lo hace con el International Social Science Council.

1994

•Manual de estadísticas de patentes publicado por la OCDE. Utilización de los datos de las patentes como indicadores de ciencia y tecnología.

1994

•EUROSTAT presenta el European Report on S&T Indicators. Posteriormente aumentara la cobertura de ciencia y tecnología. Como novedad, en 2008, ha publicado Science, technology and innovation in Europe en formato guía de bolsillo.

1995

•Manual de Canberra publicado por la OCDE. Manual sobre la medida de recursos humanos en ciencia y tecnología.

1996

•La UNESCO comienza a publicar The State of Science and Technology in the World, que se mantiene hasta 2001. Pasa a convertirse en el Informe de la UNESCO sobre la Ciencia, con edición en español.

2000

•Casi todos los países occidentales desarrollan su propio observatorio de Ciencia y Tecnología. En España FECYT en 2001. Publica regularmente Análisis sobre ciencia e innovación en España, y Indicadores bibliométricos de la actividad científica española.

http://www.oecd-ilibrary.org/science-and-technology/proposed-standard-method-of-compiling-and-interpreting-technology-balance-of-payments-data_9789264065567-en

http://www.conacyt.gob.sv/Indicadores%20Sector%20Academcio/Manual_de_Oslo%2005.pdf

http://www.unesco.org/new/en/natural-sciences/science-technology/prospective-studies/unesco-science-report/

http://www.unesco.org/new/en/natural-sciences/science-technology/prospective-studies/unesco-science-report/

http://www.worldsocialscience.org/

http://www.foroconsultivo.org.mx/libros_editados/manual_de_estadisticas.pdf

http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home/

ftp://ftp.cordis.europa.eu/pub/indicators/docs/3rd_report.pdf

http://epp.eurostat.ec.europa.eu/portal/page/portal/science_technology_innovation/data/database

http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS-32-10-225/EN/KS-32-10-225-EN.PDF

http://www.oecd.org/dataoecd/34/0/2096025.pdf

http://unesdoc.unesco.org/images/0013/001318/131841e.pdf

http://unesdoc.unesco.org/images/0018/001898/189883s.pdf

http://www.fecyt.es/fecyt/home.do

http://icono.fecyt.es/contenido.asp?dir=05)Publi/AA)ciencia

http://icono.fecyt.es/contenido.asp?dir=05)Publi/AA)IBACE

7Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación

¿Qué se puede medir / evaluar?

Unidad de análisis / Sistema de investigación

Entorno

Población

PIB

Presupuesto

Input

Recursos humanos

Recursos económicos

Output

Patentes

Impacto

Innovación



Indicadores de financiación / inversión

Porcentaje del presupuesto dedicado a I+D

Gasto de I+D en la industria

Gasto de I+D en la administración

Gasto de I+D en la enseñanza superior

Indicadores de recursos humanos

Personal dedicado a I+D

Proporción de mujeres sobre el total de investigadores

Proporción de investigadores de otros países

Investigadores jóvenes


Es un análisis fundamentalmente

económico y contable.

Sólo mide los outputs y el impacto industrial y

económico.

No aparecen outputs e impacto social y científico.

Aplicable a países, grupos de países y regiones.

Si se extrapola a universidades es poco

relevante.

Aplicable a ciertos campos de ciencia y tecnología.

No es relevante para ciencias sociales y

humasnidades

Sigue un modelo lineal, que presupone que la

investigación adoptada por el mercado es siempre

positiva para la sociedad.

¿Qué se puede medir / evaluar?Características de este modelo

10

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación


Unidad de análisis / Sistema de investigación

Entorno

Población

PIB

Presupuesto

Input

Recursos humanos

Recursos económicos

Output

Patentes

Publicaciones científicas

Impacto

Innovación

Impacto social

Impacto científico


Se va a llamar ciempiés: bibliometría, cienciometría, infometría…

1896

• Trabajo de Campbell, que usa métodos estadísticos para medir la dispersión de las publicaciones

1917

• Trabajo de Cole & Eales, que estudia el crecimiento de la literatura en anatomía comparada.

1923

• Trabajo de Hulme, que usa la cuenta de documentos para explicar la historia de la ciencia y la tecnología. Usa el término ‘Statistical bibliography’

1926

• Lotka formula la Ley de Lotka. La primera ley bibliométrica.

1934

• Bradford formula la Ley de Bradford, segunda ley de la bibliometría.

1934

• Paul Otlet propone el término 'bibliometrie' para la "medición de los libros".


1948

• Ranganathan propone el termino 'librametry' como aplicación de técnicas estadísticas y matemáticas a la gestión de los servicios bibliotecarios. (Citado por Sengupta 1992)

1949

• Zipf formula la Ley de Zipf, la tercera ley de la bibliometría.

1955

• Eugene Garfield publica su artículo A Citation Index for Science, artículo seminal del ISI, y de los Citation Index.

1961

• Se publica Little Science, Big Science, por Derek J. de Solla Price. Formula la teoría del crecimiento exponencial de la ciencia. Posteriormente describirá los colegios invisibles y la Ley de Price. Es el padre de la expresión ‘Publish or Perish’

1966

• Dobrov publica Nauka o Nauke. Literalmente ‘Ciencia de la Ciencia’, que propone el estudio científico de la ciencia

1969

• Nalimov y Mulchenko publican su obra Naukometriya, el equivalente ruso a 'scientometrics'


http://garfield.library.upenn.edu/papers/science1955.pdf

http://www.garfield.library.upenn.edu/nalimov/measurementofscience/book.pdf



1969

• Pritchard, en su artículo Statistical bibliography or bibliometrics? propone el término 'bibliometrics' para sustituir a 'statistical bibliography'.

1970

• LISA, la principal base de datos (entonces servicio de resúmenes) sobre bibliotecas, información y documentación, incluye ‘bibliometrics' como encabezamiento.

1972

• Eugene Garfield publica su artículo Citation analysis as a tool in journal evaluation, que será el origen de los Journal Citation Reports, también producidos por el ISI.

1978

• Se funda la revista 'Scientometrics‘ por Tibor Braun. Nalimov es el ‘Consulting Editor'. La revista pone en su cabecera que mide 'all quantitative aspects of the science of the science, communication in science, and science policy'.

1979

• Nacke propone el término 'informetrics', que englobaría grandes partes de scientometrics y bibliometrics, y algunas nuevas como los usos y usuarios de la información, y la recuperación de la información.

1980

• El término 'bibliometrics' aparece en la Library of Congress Subject Heading.

2007

• Surge la revista 'Journal of Informetrics'. De su Editorial Board se infiere que pretende abarcar toda la bibliometría (incluida la librametry) y la mayor parte de la cienciometría. Pretende abarcar investigaciones ‘duras’, de tal modo que en SCIMAGO no se incluye en la Library Science, sino en Mathematics Statistics and Probability.

http://dx.doi.org/10.1108/eb026482

http://search.proquest.com/lisa/productfulldescdetail

http://www.garfield.library.upenn.edu/essays/V1p527y1962-73.pdf

http://www.accesowok.fecyt.es/jcr

http://www.springerlink.com/content/101080/

http://www.sciencedirect.com/science/journal/17511577

http://dx.doi.org/10.1016/S1751-1577(11)00020-4

http://www.scimagojr.com/

http://www.scimagojr.com/journalrank.php?category=2613





Publicación científica

Scientometrics

BibliometricsInformetrics

Librametrics



Recuperación de la información Almacenamiento de la información

Sistemas de información Publicación no académica Medios de comunicación Web

Protocolos OCDE Recursos económicos Recursos humanos Tecnología

Estudios de usuarios Rendimiento de servicios



«Hay que indicar que todos estos conceptos [bibliometría, informetría, cienciometría, bibliotecometría] son suplementarios y complementarios los unos de los otros. Un análisis cuidadoso de los términos nos revelará que la principal distinción entre ellos radica en lo que acompaña a «-metría», es decir, a la técnica de medición. Por ejemplo, si aplicamos técnicas estadístico-matemáticas a la organización y servicios bibliográficos, obtenemos bibliometría. Si aplicamos esas ténicas para organizar una biblioteca y sus servicios, generamos bibliotecometría (librametrics). Asimismo, cuando el análisis estadístico-matemático es aplicado a los sistemas de información y sus servicios, obtenemos infometría. Por otra parte, cuando estas técnicas de medida son usadas en la organización de la ciencia, obtenemos cienciometría.»

(Sengupta 1992)



• Science of Science• (Historia, filososfía y

economía de la ciencia)

• Information Science

• (Documentación)

• Library Science• (Biblioteconomía)

• Bibliography• (Bibliografía)

Scientometrics Informetrics

LibrametricsBibliometrics


Las leyes bibliométricas

Ley de Lotka (1926)

• El número de autores, An, que publican n trabajos sobre una materia es inversamente porporcional al cuadrado de n.

Ley de Bradford (1934)

• Si las revistas científicas se ordenan en secuencia decreciente de productividad de artículos sobre un tema dado, éstas pueden dividirse en un núcleo de revistas dedicadas más en particular al tema y varios grupos o zonas conteniendo el mismo número de artículos que el núcleo, donde el número de revistas en el núcleo y las zonas sucesivas estará en la relación de 1 : n : n2:n3

Ley de Zipf (1949)

• En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente.

Ley de Price (1961)

• Crecimiento exponencial de la ciencia. La información científica experimenta un crecimiento exponencial, de tal manera que se duplica en un plazo aproximado de 10-15 años.


Las leyes bibliométricasLey de Lotka

Ley de Lotka• El número de autores, An, que publican n trabajos

sobre una materia es inversamente proporcional al cuadrado de n.

Se formula:• An = A1/n2

Explicación•An es el número de autores que corresponden a determinado número de artículos aplicando la Ley de Lotka (autores esperados)•A1 son el número de autores con un solo trabajo.• n es el número de artículos para el que queremos calcular los autores esperados (An).


Las leyes bibliométricas

41 27 25 24 20 15 14 13 12 11 10 9 8 7 6 5 4 3 2 10

20

40

60

80

100

120

140

160

180

Autore reales

Autore esperados

Artículos Autores reales Autores esperados41 1 027 1 025 1 024 1 020 1 015 2 114 2 113 1 112 1 111 4 110 2 29 2 28 6 37 4 36 7 55 11 74 15 103 19 182 32 411 163 163

Artículos de investigadores de la UPNA en el área de Food ScienceISI Web of Sciencey = 163/x2


Las leyes bibliométricasLey de Bradford

•Si un conjunto de revistas se dispone en orden decreciente, de acuerdo con la cantidad de artículos que contengan sobre un tema dado, éstas se pueden dividir en un núcleo de publicaciones más específicamente dedicadas al tema y en varias zonas que agrupan aproximadamente igual número de artículos que el núcleo, mientras que los conjuntos de revistas que es necesario vaciar aumentan en progresión geométrica del tipo 1:n:n2:n3...

Ley de Bradford

•No tiene una expresión matemática clara, y varían tanto los tamaños del núcleo como los multiplicadores, aunque la tendencia siempre es la mismaFórmula•Para los bibliotecarios es la ley bibliométrica más útil, pues proporciona un modelo sobre la distribución de la literatura sobre un tema.Utilidad•80% - 20%•Artículos progresión aritmética; revistas progresión geométrica

Otras formulaciones



Nº revistas Nº Artículos

por revista

Revistas acumuladas,

r

Artículos acumulados,

R(r)

1 22 1 22

1 18 2 40

1 15 3 55

2 13 5 81

2 10 7 101

1 9 8 110

3 8 11 134

3 7 14 155

1 6 15 161

7 5 22 196

2 4 24 204

13 3 37 243

25 2 62 293

102 1 164 395

Datos originales de Bradford sobre revistas de geofísica en 1934



0

200

400

600

800

1000

1200

1400

1600

1 10 100

r, revistas

R(r

), a

rtíc

ulo

s

Inflexión de Groos

Núcleo

Fracción recta



Revistas Artículos % revistas % Artículos6 6841 0,42% 9,93%

16 13714 1,11% 19,90%32 20641 2,22% 29,95%53 27347 3,68% 39,69%82 34266 5,70% 49,73%

120 41049 8,34% 59,57%182 47915 12,65% 69,53%287 54788 19,94% 79,51%474 61678 32,94% 89,51%

1439 68910 100,00% 100,00%

Uso de las revistas de Science Direct en la UPNA, en 2010

1 10 100 1000 100000

10000

20000

30000

40000

50000

60000

70000

80000

Revistas

Núcleo

Fracción recta

Inflexión de Groos

r1 r2 r3 r4


Las leyes bibliométricasLey de Zipf

Ley de Zipf

• En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente.

Fórmula

• Fn = C/n

Explicación

• Fn es la frecuencia de un término situado en el lugar n por orden de frecuencia• C es una constante fijada empíricamente• N es el orden del término



Términos Apariciones

1 601

10 2366

100 4804

1000 7083

1605 7688

1 10 100 1000 100000

1000

2000

3000

4000

5000

6000

7000

8000

9000

f(x) = 1006.29075203789 ln(x) + 178.138426201346R² = 0.998779449325994

Términos

Apa

rici

ones

Aplicación de la Ley de Zipf al artículo:

Puente Lanzarote, L., del Campo Hilario, C., & Ruiz de Luzuriaga Peña, M. Indicadores de rendimiento para la evaluación de un servicio de bases de datos en línea, 2001. In Scire: Representación y organización del conocimiento. Universidad de Zaragoza. pp.89-114.



Término Apariciones

de 601

el 324

la 263

en 222

que 213

los 185

del 173

y 148

se 136

servicio 101

a 100

las 96

un 93

indicador 85

por 81

indicadores 71

para 71

con 65

una 64

sabdl 56

como 53

es 53

no 49

o 49

rendimiento 49

gasto 47

evaluación 42

número 42

consultas 39


al 35

usuario 35

satisfacción 33

datos 32

lo 32

valor 31

usuarios 30

tiempo 28

registros 27

este 25

su 25

directo 24

consulta 23

entre 22

resultados 22

sobre 22

eficacia 21

son 21

coste 20

e 20

objetivos 20

servicios 20

unos 20

b 19

pertinentes 19

siendo 19

medir 18

recursos 18

año 17


modelo 17

si 16

total 16

campo 15

productos 15

aplicación: 14

bases 14

cada 14

definición: 14

interpretación: 14

método: 14

nos 14

objetivo: 14

otros 14

referencia 14

todos 14

análisis 13

calidad 13

c 12

estadísticas 12

fuentes 12

general 12

impacto 12

información 12

natural 12

nivel 12

principio 12

pueden 12


Las leyes bibliométricasLey de Price


Las leyes bibliométricasLey de Price

1992-2004

2005 2006 2007 2008 2009 20100

500

1000

1500

2000

2500

3000

3500

4000

f(x) = 1468.75502178248 exp( 0.121202347931047 x )R² = 0.998248551242577

Artículos UPNA en ISI W of S

Artículos UPNAExponential (Artículos UPNA)


Indicadores bibliométricos

Indicadores de actividad Número de publicaciones Distribuciones (idioma, tipo de documento)

Indicadores de especialización Temática

Indicadores de calidad de las publicaciones Criterios de calidad

Indicadores de visibilidad Presencia en bases de datos Difusión Open Access

Indicadores de colaboración Colaboración internacional Colaboración institucional Coautoría

Indicadores de impacto Citas Factor de impacto

Indicadores de uso Usage Factor

Indicadores basados en web 2.0 Indicadores de enlaces Sistemas de recomendación

Indicadores relacionales Primera generación Segunda generación

Visibilidad web

Repositorios



De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF]

https://miaulario.unavarra.es/access/content/group/32d65dde-fdc4-47d7-bf41-5cd91f8e60a5/3%C2%AA%20sesi%C3%B3n/indicadores_bibliometricos_2008.pdf



Citas

• Menciones que recibe el trabajo analizado de otros trabajos posteriores

Referencias

• Menciones que se hacen en el trabajo analizado a otros trabajos anteriores

Factor de impacto

• Razón entre las citas recibidas en un año por los artículos de la unidad de análisis publicados en los dos años anteriores y el número de artículos publicados en los dos años anteriores



SJR

• SCImago Journal Rank• Es una medida del impacto, influencia o prestigio de una revista. Expresa la razón entre el número ponderado de citas

recibidas en el año seleccionado y el número de trabajos publicados en la revista en los tres años anteriores.• SCImago es un grupo de investigación formado por el Consejo Superior de Investigaciones Científicas (CSIC), las

universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares, dedicado al estudios del análisis, representación y recuperación de la información.

• GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. arXiv:0912.4141v1. [PDF]

http://www.scimagojr.com/index.php





http://arxiv.org/ftp/arxiv/papers/1005/1005.4906.pdf



A favor de citas y factor de impacto

• Al día de hoy es la mejor herramienta, sino la única, para trabajar con la dimensión cualitativa de la investigación

• Es un indicador númerico, fácilmente comprensible y reproducible • Los sesgos que pueda tener se pueden corregir poniendo en contexto

y ponderando



En contra de citas y factor de impacto

• En general, se ha transformado un método para medir el impacto de un artículo o una revista en la comunidad científica, en un sistema de validación de la ciencia, con todo lo que ello conlleva, por parte de editores, autores e instituciones

• Distintas disciplinas tienen distintos hábitos de citación• Sesgo de cobertura hacia revistas anglosajonas. En 2001: SCI: USA 2200 revistas, UK 1171, FR 148, IT 69, SP 26• Aunque pueda ser valido para disciplinas de ciencia y tecnología, cuyos estudios tienen vocación universal y la publicación se concentra en un número abarcable

de revistas, no lo es tanto para ciencias sociales y humanidades, con una producción mucho más dispersa y abundancia de artículos y revistas de vocación local• Un número relativamente pequeño de artículos altamente citados da un sesgo desproporcionado. 15% de los artículos 50% de las citas. 50% de los artículos 90%

de las citas• FI tiene poca capacidad predictiva• Los reviews son muy citados. Las revistas con muchos reviews son muy citadas• El FI favorece a las investigaciones en campos con obsolescencia muy rápida• Citation Cartels. Se cita indiscriminadamente a uno mismo y a los colegas• Su control está en manos de empresas privadas, con fuertes intereses en el sector editorial



Basados en citas

Número de citas

Promedio de citas por artículo

Impacto normalizado. Promedio de citas por artículo de la unidad de análisis dividido por el promedio de citas por artículo mundial.

Tasa de documentos citados y no citados

Tasa de autocitación

Trabajos altamente citados (>50)

Indicadores de impacto



Basados en factor de impacto

Impacto normalizado.

FI esperado

Tasa de citación: FI esperado/FI observado

Índice de atracción: relaciona el FI en una disciplina cn el FI del resto.

FI ponderado. Toma en cuenta el FI de varias disciplinas

FI relativo. Compara el FI con una unidad mayor

Potencial investigador. FI y producción

Distribución por cuartiles o decílica

Posición normalizada. Posición que ocupa una revista en relación al total. Entre 0 y 1

Impacto potencial: C1-4 = 10%, 20%, 30% y 40%

Porcentaje de publicación en revistas TOP3

Indice H

Eigenfactor

Indicadores de impacto



SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF]

http://www.uksg.org/sites/uksg.org/files/FinalReportUsageFactorProject.pdf



Medicine & Life Science JUFIF

0.00

500.00

1,000.00

1,500.00

2,000.00

2,500.00

0 5 10 15 20 25 30 35

Impact Factor

Jou

rnal

Usa

ge

Fac

tor

Publication 2008-09 Usage Period 1-24





Humanities JUFIF

0.00

200.00

400.00

600.00

800.00

1,000.00

1,200.00

0 0.5 1 1.5 2 2.5 3 3.5 4

Impact Factor

Jou

rnal

Usa

ge

Fac

tor

Publication 2008-09 Usage Period 1-24





Indicadores basados en la web 2.0

• Se ha propuesto sistemas de medida de la investigación haciendo entrar en juego sistemas de la red social. Se trataría tanto de utilizar la web 2.0 para medir y evaluar las publicaciones tradicionales como del surgimiento de nuevos sistemas de comunicación científica (blogs científicos, redes sociales científicas…)

Enlaces

• La equivalencia de un enlace con una mención o cita provoca que algunos estudios hablen de confluencia de la web semántica y estructurada y la posibilidades de aplicar el análisis de enlaces al análisis de la producción científica.

Sistemas de recomendación

• Por un lado se trataría de aprovechar el potencial de las redes sociales científicas, como CiteUlike, Connotea o Mendeley.• También se especula con la posibilidad de publicar el contenido de lo peer reviews• Otros abogan por sistemas basados en comentarios de los lectores• También se ha mencionado la posibilidad de crear un “Blogs Citation Index”

Bibliografía

• BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF]• TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8th

International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le Rouet, May 20-23. [PDF]

http://www.citeulike.org/

http://www.connotea.org/

http://www.mendeley.com/

http://dx.doi.org/10.1108/10650750810898200

http://discovery.ucl.ac.uk/8279/1/8279.pdf



Indicadores relacionados con visibilidad web

• Todavía en desarrollo y sin apenas implantación• Es discutible su validez como medida de la investigación, pero exiten estudios que

tratan “de conocer la presencia, tamaño, visibilidad e impacto de una universidad a través de su dominio web, como indicadores de lo bien o mal que ésta se comunica”.

• ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): 246-278 doi: 10.3989/redc.2010.2.740 [PDF]

http://dx.doi.org/10.3989/redc.2010.2.740



Indicadores relacionados con repositorios

• Todavía sin desarrollar, aunque es de esperar que en el futuro se tome en cuenta• Ranking Web de Repositorios del Mundo• Registry of Open Access Repositories (ROAR)• Directory of Open Access Repositories (OpenDOAR)

Ley 10/2011 de 13 de mayo de 2011, de la ciencia, la tecnología y la innovación.

• Artículo 37. Difusión en acceso abierto.• 1. Los agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación impulsarán el desarrollo de repositorios, propios o compartidos, de acceso abierto a las publicaciones de su personal de investigación, y

establecerán sistemas que permitan conectarlos con iniciativas similares de ámbito nacional e internacional.• 2. El personal de investigación cuya actividad investigadora esté financiada mayoritariamente con fondos de los Presupuestos Generales del Estado hará pública una versión digital de la versión final de los contenidos

que le hayan sido aceptados para publicación en publicaciones de investigación seriadas o periódicas, tan pronto como resulte posible, pero no más tarde de doce meses después de la fecha oficial de publicación.• 3. La versión electrónica se hará pública en repositorios de acceso abierto reconocidos en el campo de conocimiento en el que se ha desarrollado la investigación, o en repositorios institucionales de acceso abierto.• 4. La versión electrónica pública podrá ser empleada por las Administraciones Públicas en sus procesos de evaluación.• 5. El Ministerio de Ciencia e Innovación facilitará el acceso centralizado a los repositorios, y su conexión con iniciativas similares nacionales e internacionales.• 6. Lo anterior se entiende sin perjuicio de los acuerdos en virtud de los cuales se hayan podido atribuir o transferir a terceros los derechos sobre las publicaciones, y no será de aplicación cuando los derechos sobre los

resultados de la actividad de investigación, desarrollo e innovación sean susceptibles de protección.

http://repositories.webometrics.info/index_es.html

http://roar.eprints.org/index.php

http://www.opendoar.org/



Indicadores relacionales

Indicadores relacionales de primera generación

• Redes de coautoría (científicos, universidades, países)• Redes de cocitación (científicos, revistas, categorías)

Indicadores relacionales de segunda generación

• Palabras asociadas• Mapas cognitivos de temas e impacto• Mapas cognitivos de temas y autores



Redes de cocitación en España 2008-2009. Construido con SCImago Map Generator


Rankings de universidades


Los criterios utilizados son, en su mayor parte, bibliométricos

Pueden utilizar una conjunto de criterios que, una vez codificados estructuran la clasificación, o pueden basarse en un solo criterio.

No analizamos los rankings que suelen aparecen en la prensa basados en criterios subjetivos como encuestas, sondeos de opinión…



A favor

• Permiten una comparación rápida entre instituciones, útil, sobre todo para no especialistas en bibliometría

• Permiten detectar puntos débiles de la institución• Permiten detectar las mejores prácticas

En contra

• Son una abstracción de una realidad bastante compleja• Un profano puede no interpretar de forma correcta los resultados: tendría que conocer los indicadores en los que se basa y las instituciones que se analizan• A veces se extrapola la clasificación a realidades distintas de lo que mide (por ejemplo, si mide la investigación, no será válido para la docencia)• Tienen muchos sesgos: por los indicdores utilizados y por la vocación de las instituciones (educación-investigación; ciencias-humanidades)• Para un conocedor de los indicadores bibliométricos no aportan gran cosa, puesto que se basan en ellos, sólo el presentar resultados de manera conjunta• Hay críticas porque se les está dando demasiada importancia en ámbitos de decisión y financiación• No parece útil para comparar unidades de investigación pequeñas



Nombre• Ranking Web de Universidades del Mundo

Productor• Laboratorio de Cibermetría (CSIC)• España

Indicadores• Tamaño: Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y Exalead• Visibilidad: El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden obtener de forma consistente desde Yahoo Search, Live Search y Exalead• Ficheros ricos: .PDF . PS . DOC .PPT• Google Scholar: Los resultados obtenidos de la base de datos del Google Académico comprenden artículos, informes y otro tipo de documentos académicos

Ambito• Internacional

Número de instituciones• 12 000

UPNA• Sí

Desagregación• No

http://www.webometrics.info/index_es.html



Nombre• Academic Ranking of World Universities (ARWU)• Shangai Jiao Tong University Ranking• Ranking de Shangai

Productor• Universidad Jiao Tong de Shanghái• China

Indicadores• Premios Nobel o Medallas Fields que ha tenido la universidad (10%)• Premios Nobel o Medallas Fields activos (20%)• Número de investigadores altamente citados (20%)• Número de artículos publicados en Science y Nature (20%)• Número de trabajos en SCI y SSCI (20%)• Puntuación de todos los indicadores anteriores dividida entre el número de académicos de tiempo completo (10%).


Número de instituciones• 500

UPNA• No

Desagregación• Por áreas y materias

http://www.arwu.org/index.jsp















Nombre• Leiden Ranking

Productor• Centre for Science and Technology Studies (CWTS), Leiden University• Holanda

Indicadores• Número de publicaciones• Impacto normalizado (crown indicator y alternative)• Potencial investigador• Promedio de citas por artículo



UPNA• No

Desagregación• Por indicador

http://socialsciences.leiden.edu/cwts/products-services/leiden-ranking-2010-cwts.html



Nombre• Scimago Institutions Rankings

Productor• Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares)• España

Indicadores• Número de publicaciones• Ratio de colaboración internacional• Impacto normalizado• Tasa de publicaciones en Q1 de SJR

Ambito• Internacional e Iberoamérica


UPNA• Sí

Desagregación• No

http://www.scimagoir.com/





Nombre• Indicadores bibliométricos de la actividad científica española

Productor• FECYT y Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares)• España

Indicadores• Indicadores de producción• Indicadores de especialización• Indicadores de impacto

Ambito• España


UPNA• Sí

Desagregación• Por área científica, comunidades autónomas, universidades






Nombre• Ranking ISI de las universidades españolas según campos científicos

Productor• Grupo EC3: Evaluación de la Ciencia y de la Comunicación Científica ( Universidad de Granada – Universidad de Navarra)• España

Indicadores• Número de documentos• Número de citas• Índice H• Tasa de documentos en Q1• Promedio de citas por documento• Tasa de documentos altamente citados (primer decil en su materia entre todas las universidades)

Ambito• España


UPNA• Sí

Desagregación• Por campo científico

http://www.rankinguniversidades.es/



Nombre• QS World University Ranking• Times Ranking

Productor• The Times & QS Quacquarelli Symonds Limited• United Kingdom

Indicadores• 60% a la "calidad de la investigación“• 10% a la capacidad de que un graduado obtenga empleo• 10% a la "presencia internacional"• 20% al cociente estudiantes/académicos



UPNA• No

Desagregación• Por materias

Tipología• Ranking

http://www.topuniversities.com/university-rankings/world-university-rankings








Nombre• CHE University Ranking

Productor• Semanario Die Zeit• Alemania

Indicadores• Oferta académica• Profesorado• Equipamiento• Orientación internacional• Orientación al mercado de trabajo• Opinión• Investigación: Patentes, publicaciones, citas, Tesis, subvenciones de terceros• Ambiente universitario de la ciudad

Ambito• Alemania, Austria y Suiza


UPNA• No

Desagregación• Por materias

Tipología• Ranking

http://ranking.zeit.de/che2011/en/




Bibliografía

BANKS, M. A.; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF]

BRADFORD, S. C. (1934). Sources of information on specific subjects. Engineering, 137 : 85–86.

BUSH, V. (1945). Science, The Endless Frontier: A Report to the President on a Program for Postwar Scientific Research. Reprinted by the National Science Foundation, Washington, DC, 1990. [PDF]

CALLON, M; COURTIAL, J. P.; Penan, H. (1995). Cienciometría: el estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: TREA. [Ver en catálogo BUPNA]

CAMPBELL, F. B. F. (1896). The Theory of the National and International Bibliography: with Special Reference to the Introduction of System in the Record of Modern Literature. Library Bureau, London, England.

COLE, F. J.; EALES N. B. (1917). The history of comparative anatomy. Part I: A statistical analysis of the literature . Science Progress (London), 11 : 578–596.

DE MOYA ANEGÓN, F. et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF]

http://dx.doi.org/10.1108/10650750810898200


http://brocar.unavarra.es/cgi-bin/sb3spa?C4=N.MARC&C5=09700058528





Bibliografía

DOBROV, G. M. (1966). Nauka o Nauke. Kiev, Naukova.

GARFIELD, E. (1955). A citation Index for Science: A New Dimension in Documentation through Association of Ideas. Science, 122 (3159) : 108-11 [PDF]

GARFIELD, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (60) : 471-479 [PDF]

GONZÁLEZ-PEREIRA, B., GUERRERO-BOTE, V.P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. arXiv:0912.4141v1. [PDF]

HULME, E. W. (1923). Statistical bibliography in relation to the growth of modern civilization. Grafton & Co., London, pp. 29–44. [PDF]

KAROLINSKA INSTITUTET BIBLIOMETRICS PROJECT GROUP (2008). Bibliometrics: Publication Analysis as aa tool for science mapping and research assessement. Stockholm: Karolinska Institutet. [PDF]

KUHN, T. S. (1962). The Structure of Scientific Revolutions. Chicago: University of Chicago Press. [PDF]

http://garfield.library.upenn.edu/papers/science1955.pdf

http://www.garfield.library.upenn.edu/essays/V1p527y1962-73.pdf

http://arxiv.org/ftp/arxiv/papers/1005/1005.4906.pdf

http://ia600401.us.archive.org/33/items/statisticalbibli00hulmuoft/statisticalbibli00hulmuoft.pdf

http://ki.se/content/1/c6/01/79/31/introduction_to_bibliometrics_v1.3.pdf

http://www.exactas.org/modules/UpDownload/store_folder/2_-_FISICA/T.S.Kuhn.-.La.Estructura.de.las.Revoluciones.Cientificas.pdf


Bibliografía

LOTKA, A. J. (1926). The frequency distribution of scientific productivity. Journal of the Washington Academy of Science, 16 (12) : 317–323.

MALTRÁS BARBA, B. (2003).Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: TREA. [Ver en catálogo BUPNA]

MERTON, R. K. (1942). The Normative Structure of Science. In: Merton, Robert K. (1979-09-15). The Sociology of Science: Theoretical and Empirical Investigations. Chicago, IL: University of Chicago Press [PDF]

MERTON, R: K. (1968). The Matthew Effect in Science. Science, 159 (3810) : 56-63. [PDF]

NACKE, O. (1979). Informetrie: eine neuer Name für eine neue Disziplin. Nachrichten für Documentation, 30 (6) : 219-226

OTLET, P. (1934). Traitée de Documentation. Le Livre sur le Livre. Theorie et Pratique. Van Keerberghen, Brussels. (BUPNA PISO 1º A 300-9-1) [Ver en catálogo BUPNA]

PRICE, D. J. de S. (1963). Little Science, Big Science. New York: Columbia University Press


http://s07.middlebury.edu/PHIL0214A/Merton%20Normative%20Structure%20of%20Science.doc

http://www.garfield.library.upenn.edu/merton/matthew1.pdf





Bibliografía

PRICE, D. J. de S. (1965). Networks of Scientific Papers. Science 149 (3683) : 510-515

PRICE, D. J. de S. (1967). Nations can Publish or Perish. International Science and Technology 70 : 84-90

NALIMOV, V. V.; MULCHENKO Z. M. (1969). Measurement of Science. Study of the Development of Science as an Information Process [PDF]

ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): 246-278 doi: 10.3989/redc.2010.2.740 [PDF]

PRITCHARD, A. (1969). Statistical bibliography or bibliometrics?. Journal of Documentation, 25 : 348–349. [PDF]

REHN, C; KRONMAN, U.; WADSKOG, D. (2007). Bibliometric indicators: definition and usage at Karolinska Institutet. Stockholm: Karolinska Institutet. [PDF]

REHN, C; KRONMAN, U. (2008). Bibliometric habdbook for Karolinska Institutet. Stockholm: Karolinska Institutet [PDF]

http://www.garfield.library.upenn.edu/nalimov/measurementofscience/book.pdf

http://dx.doi.org/10.3989/redc.2010.2.740

http://dx.doi.org/10.1108/eb026482

http://ki.se/content/1/c6/01/79/31/Bibliometric%20indicators%20-%20definitions_1.0.pdf

http://ki.se/content/1/c6/01/79/31/bibliometric_handbook_karolinska_institutet_v_1.05.pdf


Bibliografía

SCHOLZE, F. (2007). Measuring research impact in an open access environment. LIBER 36th Annual Conference, Warsaw, 3-7 July 2007. [PDF]

SENGUPTA, I. N. (1992). Bibliometrics, informetrics, scientometrics and librametrics: an overview . Libri, 42 : 75–98. [PDF]


STEELMAN J. R. (1947). Science and Public Policy. Washington, DC: Government Printing Office. [PDF]

TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8th International conference on the Design of Cooperative Systems (COOP ‘08) , Carry-Le Rouet, May 20-23. [PDF]

ZIPF, G. K. (1949). Human behavior and the principle of least effort, Addison-Wesley, Reading, MA.

http://elib.uni-stuttgart.de/opus/volltexte/2007/3234/pdf/liber_2007.pdf

https://miaulario.unavarra.es/access/content/group/32d65dde-fdc4-47d7-bf41-5cd91f8e60a5/3%C2%AA%20sesi%C3%B3n/3101969.pdf


http://hdl.handle.net/2027/mdp.39015017123830

http://discovery.ucl.ac.uk/8279/1/8279.pdf

Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación

Education

Transcript of Herramientas bibliográficas e indicadores bibliométricos para evaluar la investiagación