Uso y abuso del Factor de Impacto Félix de Moya Anegón Grupo SCIMAGO Universidad de Granada...
-
Upload
nieves-pozo -
Category
Documents
-
view
7 -
download
0
Transcript of Uso y abuso del Factor de Impacto Félix de Moya Anegón Grupo SCIMAGO Universidad de Granada...
Uso y abuso del Uso y abuso del FFactor de actor de IImpactompacto
Félix de Moya AnegónFélix de Moya Anegón
Grupo SCIMAGOGrupo SCIMAGO
Universidad de GranadaUniversidad de Granada________________________
COLCIENCIAS, Bogotá, Diciembre 2005COLCIENCIAS, Bogotá, Diciembre 2005
Factores que influyen en el FIFactores que influyen en el FI
El campo científico y dentro de cada El campo científico y dentro de cada uno el nivel de generalizaciónuno el nivel de generalización
La antigüedad del trabajoLa antigüedad del trabajo La La relevancia socialrelevancia social del trabajo a del trabajo a
través de sus autores y/o revistatravés de sus autores y/o revista El tipo de documentoEl tipo de documento La La ventana de citaciónventana de citación La cobertura de la fuente (WOS-ISI)La cobertura de la fuente (WOS-ISI)
Arbitradas (±29000)*
ISI-WOS (±8000)
SCOPUS (±14200)
Revistas arbitradas en el mundoRevistas arbitradas en el mundo
(*) Fuente UlrichsWeb
Representación del FIRepresentación del FI
Influencias y sesgos en el cálculo del FIInfluencias y sesgos en el cálculo del FI
El periodo de observación afecta al resultadoEl periodo de observación afecta al resultado La tasa media de citación evoluciona de manera La tasa media de citación evoluciona de manera
distinta según la revista (fuente: 1980)distinta según la revista (fuente: 1980)
Impacto de los diferentes tipos de Impacto de los diferentes tipos de documentosdocumentos
# Journal Impact FactorTotal Articles Reviews Letters
1 SCIENCE 32.86 42.30 145.35 0.41
2 NATURE 32.88 49.73 96.07 3.93
3 LANCET 5.25 17.55 14.68 1.99
4 CELL 75.68 74.82 78.63 75.64
5 ANGEW CHEM INT ED 11.01 9.37 32.03 19.00
6 J ACQ IMMUN DEFIC SYND HUM R 4.05 4.64 39.00 1.04
7 INT J RAD ONCOL BIOL PHY 3.52 4.15 35.00 0.37
8 J PHYS CONDENS MATTER 2.72 2.47 9.57 3.99
FI por tipos de documentosFI por tipos de documentos
Influencia de los campos científicosInfluencia de los campos científicos
Tasa media de citación por campos científicos(fuente: 1996, ventana de citación: 1996-1998)
• Ingenierías 1.12• Matemáticas 1.46• Química analítica 3.00• Física de estado sólido 3.06• Neurociencias 4.54
Las medidas basadas en citación son – sin nomalización – inapropiadas para el análisis comparado de campos científicos.
La única forma posible de compensar las diferencias temáticas es una correcta normalización y la apliacción exacta del mismo período fuente y ventana de citación a todos los documentos objeto de análisis.
Los indicadores de citación pueden calcularse usando una referencia estandar basada en las revistas de las materias en las que los trabajos objeto de estudio han sido publicados:
Obstáculo: La asignación de categoría no es única por revista
• Relative Citation Rate (RCR): Cites per paper (CPP) / Journal Citation Score (JCS)
• Normalised Mean Citation Rate (NMCR): (CPP) Cites per paper / (FCS) Field Citation Score
• Factor de Impacto Tipificado: Distancia a la media del FI en la categoría / la desviación estandar de la distribución de impactos de la categoría temática
Sobre el papel del FISobre el papel del FI El FI de Garfield/ISI se ha convertido en factor crítico de la El FI de Garfield/ISI se ha convertido en factor crítico de la
investigación en bibliometría/ciencia de la informacióninvestigación en bibliometría/ciencia de la información El FI se usa frecuentemente en diferentes ámbitos y ha El FI se usa frecuentemente en diferentes ámbitos y ha
adquirido un sólida posición en el mercado de la adquirido un sólida posición en el mercado de la información científicainformación científica
Es fácil de calcular y fácil de interpretar, aunque es Es fácil de calcular y fácil de interpretar, aunque es frecuente que se haga un uso inapropiado del indicadorfrecuente que se haga un uso inapropiado del indicador
En origen, sólo representa la media de citas por trabajo en En origen, sólo representa la media de citas por trabajo en una revista y para un período concretouna revista y para un período concreto
Se puede considerar que por encima de cualquier otra cosa Se puede considerar que por encima de cualquier otra cosa mide la visibilidad internacional de los resultados de mide la visibilidad internacional de los resultados de investigación publicadosinvestigación publicados
Sin embargo, es posible su aplicación con las debidas Sin embargo, es posible su aplicación con las debidas cautelas para analizar dominios científicoscautelas para analizar dominios científicos
Problemas con el uso del FIProblemas con el uso del FI
La popularidad del FI radica en su La popularidad del FI radica en su comprensibilidad, aparente reproductibilidad y comprensibilidad, aparente reproductibilidad y estabilidadestabilidad
Esta misma popularidad está en el origen de Esta misma popularidad está en el origen de muchos de sus usos. El FI se usa con frecuencia muchos de sus usos. El FI se usa con frecuencia para sustituir la ausencia de información de para sustituir la ausencia de información de citacióncitación
Aunque se supone que mide el impacto de las Aunque se supone que mide el impacto de las revistas, está afectado por factores que nada se revistas, está afectado por factores que nada se relacionan con la relevancia científica de las relacionan con la relevancia científica de las mismasmismas
Aunque es una media, el tamaño de las revistas Aunque es una media, el tamaño de las revistas le afectale afecta
Problemas con el uso del FI (cont.)Problemas con el uso del FI (cont.)
La falta de ponderación de las citas La falta de ponderación de las citas recibidas por una revista es una limitación recibidas por una revista es una limitación reiterada por muchos especialistasreiterada por muchos especialistas
Existe un cierto sesgo en favor de las Existe un cierto sesgo en favor de las revistas con artículos mas extensosrevistas con artículos mas extensos
Como la obsolescencia de las ciencias es Como la obsolescencia de las ciencias es variable la ventana de citación de dos variable la ventana de citación de dos años favorece a unas y perjudica a otrasaños favorece a unas y perjudica a otras
No es adecuada la delimitación de No es adecuada la delimitación de documento citable documento citable
Incorrecta identificación de los Incorrecta identificación de los documentos citados (no normalizados)documentos citados (no normalizados)
Visibilidad Visibilidad versusversus FI FI
Publicar en una revista con mucho FI Publicar en una revista con mucho FI asegura visibilidad pero no alta citación asegura visibilidad pero no alta citación necesariamentenecesariamente
En muchos campos científicos es más En muchos campos científicos es más importante llegar a la audiencia adecuada importante llegar a la audiencia adecuada que tener muchaque tener mucha
El FI no puede medir todos los aspectos El FI no puede medir todos los aspectos que deben ser tenidos en cuenta en los que deben ser tenidos en cuenta en los procesos de evaluación de la investigación procesos de evaluación de la investigación tanto tanto ex-anteex-ante como como ex-postex-post
El mito del reconocimiento tardíoEl mito del reconocimiento tardío
Un argumento reiterado sobre las limitaciones de los indicadores basados en citación es que trabajos importantes nunca recibieron citas en principio sino muchos después de su aparición. Citas que se realizan una vez cerrada la ventana de citación usada para calcular el FI
Existe evidencia suficiente de que un trabajo que no ha sido citado cinco años después de ser publicado, veinte después tampoco lo es. Incluso en áreas con tasas de obsolescencia muy altas
Sólo 1,3 trabajos de cada 10.000 fueron olvidados al comienzo y reconocidos más tarde
Mal uso y abuso de los indicadores Mal uso y abuso de los indicadores bibliométricosbibliométricos
La política científica induce cambios en las pautas La política científica induce cambios en las pautas de comunicación científica, especialmente los de comunicación científica, especialmente los sistemas de incentivossistemas de incentivos
El uso inadecuado de los indicadores El uso inadecuado de los indicadores bibliométricos puede generar efectos perversos bibliométricos puede generar efectos perversos en el desarrollo de un sistema CyTen el desarrollo de un sistema CyT
El uso de referencias pertenecientes a otros El uso de referencias pertenecientes a otros dominios científicos o simplemente inadecuadas dominios científicos o simplemente inadecuadas provoca actitudes defensivas en los provoca actitudes defensivas en los investigadores o desercionesinvestigadores o deserciones
La coautoría, la autocitación, las listas La coautoría, la autocitación, las listas categorizadas de revistas, la no ponderación de categorizadas de revistas, la no ponderación de las citas…, en definitiva, la falta de control sobre las citas…, en definitiva, la falta de control sobre el proceso de generación de indicadoresel proceso de generación de indicadores
Proceso de reinterpretación del concepto de citación y de Proceso de reinterpretación del concepto de citación y de sus consecuenciassus consecuencias
Indicador del usode la información
Sistema de Incentivos/Medidas de calidad
Evaluación de la Investigación/Política científica
Bibliometría/Ciencia de la Información
citación
No citadoNo citado: Información no usada: Información no usadaMuy citadoMuy citado:: Buena aceptación Buena aceptaciónAutocitadoAutocitado: Parte de la comunicación: Parte de la comunicación
científicacientífica
interpretación
reinterpretaciónrepercusión(posibles cambios en las actitudes de los citantes)
No citadoNo citado:: Baja calidadBaja calidadMuy citado:Muy citado: Alta calidad Alta calidad AutocitadoAutocitado: Manipulación del impacto: Manipulación del impacto
Tomado de: W. Glänzel and K. Debackere
Evaluar siempre mejorEvaluar siempre mejor Disponer de indicadores, estudiar sus sesgos y Disponer de indicadores, estudiar sus sesgos y
minimizar sus efectos negativos debe ser una minimizar sus efectos negativos debe ser una constanteconstante
Favorecer la competencia por la visibilidad y la Favorecer la competencia por la visibilidad y la reconocimiento a través del sometimiento a la reconocimiento a través del sometimiento a la revisión por pares es mejor que su contrario para revisión por pares es mejor que su contrario para el sistema de generación de conocimientoel sistema de generación de conocimiento
Sin embargo, publicar en revistas con alto FI hace Sin embargo, publicar en revistas con alto FI hace invisibles estos resultados de investigación a invisibles estos resultados de investigación a quienes no tienen acceso. La visibilidad se quienes no tienen acceso. La visibilidad se alcanza entre quienes pueden pagar la alcanza entre quienes pueden pagar la informacióninformación
El ciclo del impacto investigadorEl ciclo del impacto investigador
El El acceso abiertoacceso abierto a los resultados de investigación a los resultados de investigación
maximizamaximiza
elel accesoacceso a la investigación a la investigación
maximiza (y acelera) maximiza (y acelera)
elel impactoimpacto
(por tanto también la (por tanto también la productividadproductividad
y el y el progresoprogreso investigador investigador
y su y su reconocimientoreconocimiento))
Tomado de: Tim Brody y Stevan Harnad
L im ited A ccess: L im ited R esearch Im pact
Refereed “Post-Print” Accepted, Certified, Published by Journal
Impact cycle begins:Research is done
Researchers write pre-refereeing
“Pre-Print”
Submitted to Journal
Pre-Print reviewed by Peer Experts – “Peer-Review”
Pre-Print revised by article’s Authors
Researchers can access the Post-Print if their university has a subscription to the Journal
12-1
8 M
on
ths
New impact cycles: New research builds on existing research
New impact cycles: New research builds on existing research
Researchers can access the Post-Print if their university has a subscription to the Journal
Refereed “Post-Print” Accepted, Certified, Published by Journal
Impact cycle begins:Research is done
Researchers write pre-refereeing
“Pre-Print”
Submitted to Journal
Pre-Print reviewed by Peer Experts – “Peer-Review”
Pre-Print revised by article’s Authors
M axim ized R esearch A ccess and Im pact Through S e lf-A rch iv ing
Pre-Print is self-archived in
University’s Eprint Archive
Post-Print is self-archived in
University’s Eprint Archive12
-18
Mo
nth
s
New impact cycles:Self-archived
researchimpact is greater (and
faster) because access is maximized
(and accelerated)
Current Journal Tally: 93% of journalshave already given their official green light to self archiving
FULL-GREEN = Postprint 69% PALE-GREEN = Preprint 24%
GRAY = neither yet 7%
Publishers to date: 126Journals processed so far: 8630http://romeo.eprints.org/stats.php