Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la...
-
Upload
ana-revuelta-juarez -
Category
Documents
-
view
216 -
download
0
Transcript of Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la...
![Page 1: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/1.jpg)
Mitos y realidades sobre los indicadores bibliométricos y sus
usos para la evaluación de la producción científica
latinoamericana
Dra. Sandra MiguelUniversidad Nacional de La Plata, Argentina
III Jornada Uruguaya de Bibliotecología e InformaciónMontevideo, 10 de octubre de 2013
![Page 2: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/2.jpg)
Organización de la exposición Breve explicación sobre el origen y utilidad
de los indicadores científicos
Ejemplos de indicadores
Principales controversias
Conclusiones y reflexiones finales
![Page 3: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/3.jpg)
Evaluación de la actividad científica
No es nueva y se circunscribe primeramente a la propia comunidad científica revisión de pares
Desde mitad siglo XX
• Investigación es cada vez más costosa
• Los presupuestos cada vez más limitados
• Necesidad de instrumentos de evaluación para establecer prioridades y criterios de financiamiento
Demanda de INDICADORES de apoyo a la toma de decisiones
![Page 4: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/4.jpg)
Indicadores científicos
Inversión
Recursos humanos
Infraestructura
Conocimientos
Productos tecnológicos
Servicios
Impacto científico
Desarrollo económico
Solución a problemas sociales
![Page 5: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/5.jpg)
Indicadores científicos Indicadores de entrada (input)
◦ Cuentan con manuales y recomendaciones consensuadas internacionalmente (p.e. Manual Frascati)
Indicadores de salida (output y outcome)◦ Todavía no tienen definiciones y modos de
cálculo estandarizados Es el caso de los indicadores bibliométricos
![Page 6: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/6.jpg)
Son medidas objetivas, cuantificables y verificables sobre los resultados científicos que son comunicados en forma de publicaciones (Spinak, 2001)
Indicadores bibliométricos
![Page 7: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/7.jpg)
Se basan en el recuento de características cuantificables de las publicaciones
Tipo de documentoTítuloAutor (es)Lugar (es) de trabajo (Institución y País)FuenteAñoIdiomaPalabras claveReferencias bibliográficas y citas
![Page 8: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/8.jpg)
Grupos de indicadores bibliométricos
Actividad de publicación
Actividad de citación
Redes de cooperación
Transferencia tecnológica, otros
impactos, etc.
![Page 9: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/9.jpg)
Si se calculan de la misma manera y usando las mismas fuentes de datos
Permiten describir y monitorear el estado y evolución de la producción científica de diferentes agregados y en diferentes niveles geográficos, institucionales, temporales, sectoriales, temáticos, etc. (Okubo, 1997)
![Page 10: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/10.jpg)
• Regiones geográficas• Países• Campos científicos
Niveles de análisis
NIVEL
MACRO
MESO
MICRO
• Instituciones• Revistas
• Grupos de investigación• Investigadores
![Page 11: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/11.jpg)
Fuentes de datos para fines bibliométricos
Fuentes primarias◦ Tesis◦ Actas de congresos◦ Etc.
Fuentes secundarias◦ Bibliográficas
Bases de datos Catálogos Etc.
◦ Administrativas Sistemas de gestión de información científica (ej:
sistemas de gestión de curriculum vitae)
![Page 12: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/12.jpg)
Algunos ejemplos
![Page 13: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/13.jpg)
Ejemplos del portal SJR
www.scimagojr.com
![Page 14: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/14.jpg)
Indicadores bibliométricos de países ALC (1996-2011)
![Page 15: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/15.jpg)
Indicadores bibliométricos de Uruguay (Fuente: SJR)
![Page 16: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/16.jpg)
Comparación indicadores bibliométricos de países
![Page 17: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/17.jpg)
Comparación indicadores bibliométricos de países
![Page 18: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/18.jpg)
Comparación indicadores bibliométricos de países
![Page 19: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/19.jpg)
Volumen y evolución de la producción científica de una región, país, institución, disciplina, grupo, etc.
Temáticas más o menos investigadas
Productividad de los autores, instituciones y países
Redes de colaboración entre científicos, instituciones y países
Impacto o influencia de las publicaciones en la generación de nuevos conocimientos, en la innovación, etc.
![Page 20: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/20.jpg)
Principales controversias sobre el uso de los indicadores bibliométricos
Ideológica
RegionalDisciplinar
![Page 21: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/21.jpg)
Ideológica: Calidad vs Cantidad Rechazo a la cuantificación
Los criterios de evaluación han de ser “cualitativos” (subsidiariamente cuantitativos)
La evaluación de la investigación realizada por personas e instituciones debe seguir basándose, más que en criterios cuantitativos de producción, en un análisis cualitativo pormenorizado de una selección de publicaciones realizada por las propias personas evaluadas.
![Page 22: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/22.jpg)
Disciplinar (Cs sociales vs Cs naturales)
Diferentes comportamientos de publicación y citación
Preponderancia de artículos de revistas en Cs naturales vs la preferencia de libros u otras monografías en Cs sociales y humanas
Resultados diferentes de las publicaciones en otras disciplinas aplicadas
![Page 23: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/23.jpg)
Críticas al uso de Web of Science y Scopus para la obtención de indicadores bibliométricos de la producción científica latinoamericana
1. Subrepresentación de la producción científica latinoamericana en esas fuentes
2. Sesgos a revistas anglosajonas, idioma inglés y temas no locales
Regional (Centro - Periferia)
![Page 24: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/24.jpg)
Producción científica mundial por grandes áreas geográficas, 1997-2007
(Essencial Science Indicators, Thomson Reuters
![Page 25: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/25.jpg)
Inversión mundial en I+D en PPC, por bloques geográficos seleccionados (2001 y 2010)
RICYT. El Estado de la Ciencia 2012
![Page 26: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/26.jpg)
Investigadores EJC por bloques geográficos seleccionados ( 2001 y 2010)
RICYT. El Estado de la Ciencia 2012
![Page 27: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/27.jpg)
Evolución del número de publicaciones en el Science Citation Index (SCI) 2001-
2010
RICYT. El Estado de la Ciencia 2012
![Page 28: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/28.jpg)
Evolución del número de publicaciones en
Scopus países seleccionados, 1996 y 2012
País 1996 2012 % crecimiento
1 Colombia 557 5576 901,1
2 Brasil 8698 55803 541,6
3 Perú 168 1023 508,9
4 Chile 1709 8111 374,6
5 Uruguay 258 1029 298,8
6 México 4529 16250 258,8
7 Cuba 735 2126 189,3
8 Argentina 4051 11041 172,5
9 Puerto Rico 460 817 77,6
10 Venezuela 994 1728 73,8
![Page 29: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/29.jpg)
Incorporación de revistas iberoamericanas en Scopus
0
50
100
150
200
250
300
350
400
0
10
20
30
40
50
60
70
80
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
Bras
il y
Espa
ña
Méx
ico,
Arg
enti
na, C
hile
, Col
ombi
a, C
uba,
V
enez
uela
y P
ortu
gal
MEX ARG CHL COL CUB VEN PRT BRA ESP
Incorporación de revistas iberoamericanas en Scopus
![Page 30: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/30.jpg)
Producción científica latinoamericana en Scopus, SciELO y RedALyC 2005-2009 (Miguel, 2011)
![Page 31: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/31.jpg)
30.000 peer-
reviewed journals
17.000
Scopus10.000
Web of Science
20.500
12.000
SCiELO
1.066
Redalyc
869
![Page 32: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/32.jpg)
¿Sesgos de procedencia de revistas?
0,00
5,00
10,00
15,00
20,00
25,00
30,00
UN
ITE
D S
TA
TE
S
UN
ITE
D K
ING
DO
M
NE
TH
ER
LAN
DS
GE
RM
AN
Y
CH
INA
JAP
AN
FR
AN
CE
CA
NA
DA
ITA
LY
SW
ITZ
ER
LAN
D
RU
SS
IAN
FE
DE
RA
TIO
N
IND
IA
AU
ST
RA
LIA
PO
LAN
D
SP
AIN
BR
AZ
IL
AU
ST
RIA
CZ
EC
H R
EP
UB
LIC
SIN
GA
PO
RE
CR
OA
TIA
TU
RK
EY
NO
RW
AY
DE
NM
AR
K
NE
W Z
EA
LAN
D
BE
LGIU
M
KO
RE
A, R
EP
UB
LIC
OF
IRE
LAN
D
TA
IWA
N
HU
NG
AR
Y
SO
UT
H A
FR
ICA
ME
XIC
O
SW
ED
EN
FIN
LAN
D
ISR
AE
L
GR
EE
CE
SLO
VA
KIA
IRA
N
SLO
VE
NIA
HO
NG
KO
NG
VE
NE
ZU
ELA
AR
GE
NT
INA
UK
RA
INE
BU
LGA
RIA
RO
MA
NIA
CH
ILE
PA
KIS
TA
N
Scopus Ulrich's
Scopus vs. Ulrich's CoreR2 = 0,9505
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
0 1000 2000 3000 4000
UNITED KINGDOM
GERMANY
NETHERLANDS
![Page 33: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/33.jpg)
¿Sesgos temáticos?
0
10
20
30
40
50
60
70
% r
evis
tas
Scielo Redalyc Scopus
Revistas ALC Total revistas SCOPUS
¿Sesgos temáticos?
Miguel, 2011
![Page 34: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/34.jpg)
¿Sesgos temáticos?
Elaboración propia en base a Scopus
![Page 35: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/35.jpg)
Caso: Producción científica de la Universidad Nacional de La Plata, Argentina (2006-2010)
¿Sesgos idiomáticos?
Ciencias exactas y naturales
0
20
40
60
80
100
120
% p
rodu
cció
n
Español
Ingles
Ciencias sociales
0
20
40
60
80
100
% p
rodu
cció
n
Español
Ingles
![Page 36: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/36.jpg)
Algunas conclusiones y reflexiones finalesSobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana se vienen diciendo muchas cosas desde hace más de 30 años. La realidad hoy es que,
ALC está incrementando la producción y ganando visibilidad regional y mundial
Es necesario relativizar algunas afirmaciones en torno a la sub-representación de ALC en las fuentes internacionales desde lo geográfico, temático e idiomático
La producción científica de ALC no está representada totalmente en ninguna fuente
![Page 37: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/37.jpg)
Algunas conclusiones y reflexiones finales
Es necesario superar barreras ideológicas. Los indicadores bibliométricos no se contraponen a las valoraciones de calidad que realizan los pares; la complementan y permiten realizan contrastes, evitando subjetividades y sesgos ajenos a los intereses científicos.
Es necesario superar barreras disciplinares y contar con
fuentes de información completas que incluyan también
los libros, y otros tipos documentales
![Page 38: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/38.jpg)
Es necesario avanzar en el desarrollo de fuentes regionales como las de Latindex, SciELO y Redalyc para disponer de fuentes de indicadores que complementen los obtenidos desde las tradicionales BBDD internacionales.
Aunque deben mejorarse las posibilidades de búsqueda y exportación de registros para fines bibliométricos.
Los cv y los repositorios digitales también pueden convertirse en posibles fuentes, si se adecuaran para fines bibliométricos.
Algunas conclusiones y reflexiones finales
![Page 39: Mitos y realidades sobre los indicadores bibliométricos y sus usos para la evaluación de la producción científica latinoamericana Dra. Sandra Miguel Universidad.](https://reader036.fdocuments.ec/reader036/viewer/2022081603/56a188a41a28abe545957933/html5/thumbnails/39.jpg)
Muchas gracias!!
Dra. Sandra Miguel
Prosecretaria de Políticas en Ciencia y Técnica, Universidad Nacional de La Plata, Argentina