Obtención de Indicadores Bibliométricos a Partir de la Utilización de las Herramientas

Tradicionales de Información

Jane M. Russell jrussell@servidor.unam.mx

Centro Universitario de Investigaciones Bibliotecólogicas Universidad Nacional Autónoma de México

Objetivo

Reflexionar sobre lo logrado hasta el momento en la construcción de indicadores bibliométricos utilizando herramientas tradicionales ante el reto de desarrollar indicadores novedosos de producción científica basados en las nuevas formas de la comunicación científica entre especialistas.

Indicadores Bibliométricos

•AntecedentesAntecedentes

•Sustento TeóricoSustento Teórico

•FortalezasFortalezas

•DebilidadesDebilidades

•Consideraciones TécnicasConsideraciones Técnicas

•Contexto LatinoamericanoContexto Latinoamericano

Antecedentes

La recolección de información sobre actividades de C y T se vuelve importante en el período posterior a Segunda Guerra Mundial.

Hasta mediados de los 70s surgen los indicadores bibliométricos con el desarrollo masivo de las bases de datos bibliográficas.

Indicadores Bibliométricos

Los indicadores de C y T miden aquellas acciones sistemáticas relacionadas con la generación, difusión, transmisión y aplicación de conocimientos científicos y tecnológicos.

Los indicadores bibliométricos constituyen la herramienta más utilizada por medir el producto de la investigación científica.

Indicadores Bibliométricos

En AL los indicadores convencionales han sido utilizados principalmente para demostrar el desarrollo de la C y T sobre todo comparando países.

El debate principal en AL se ha centrado alrededor de cuáles son los indicadores más apropiados a las características de la región, en un contexto en que la normalización internacional es una necesidad evidente.

Sustento Teórico

Su construcción se hace a partir del papel central que juegan los artículos científicos en el ciclo de publicación y comunicación de la ciencia.

Se fundamenta en gran medida en el modo de organización y funciones de las revistas científicas vistas como paquetes intelectuales.

Proyecto terminado

Proyecto iniciado

Informespreliminares

Manuscrito

enviadoa revisión

Citasen la

literatura

MODELO TRADICIONAL

Artículo en índices

yresúmene

s

Informes de conferencias

Artículo enCurrent Contents

Garvey & Griffith 1970’s

Artículo en

revisiones

anuales

Memorias de conferencias

Artículo Artículo publicadpublicad

ooen en

revistarevista

Indice de memorias de conferencias

Seminarios,coloquios

Distribución de preimpresos

Aparece en lista de trabajos aceptados

aplicable a varios niveles (individuos, grupos, instituciones, países).

costo de generar resultados significativos es relativamente bajo.

son métodos establecidos y validados.

Fortalezas – Estructura*

*Geisler, E. (2000). The Metrics of Science and Technology. Westport, CT, Quorum Books..

permite la evaluación cuantitativa (artículos y citas) y la cualitativa o cuasi-cualitativa a través del análisis de las revistas “core” y sus impactos relativos.

usa un enfoque sin complicaciones basado en pocos supuestos.

Fortalezas - Medición

aplicable a cualquier área de C y T donde los resultados se dan a conocer a través de publicaciones y los impactos a través de citas.

a través del análisis de citas se identifica el papel de determinados investigadores e instituciones en el desarrollo de la ciencia.

permite la identificación de tendencias y desarrollos en C y T.

reconocida por las comunidades C y T como una metodología válida para medir la producción del conocimiento e innovaciones.

Fortalezas - Representación

los artículos publicados es uno de los indicadores de la producción científica.

los artículos publicados en revistas arbitradas y el análisis de sus citas dejan de lado la producción y contribuciones intelectuales a través de publicaciones técnicas, así como de trabajos en proceso.

Debilidades y Problemática - Alcance

el análisis de citas mide influencia, no calidad.

comparación entre disciplinas es arriesgada y díficil de validar por las diferencias en las formas de hacer y publicar ciencia en las diferentes áreas.

cuando se limita al conteo de artículos y citas no se toman en cuenta las diferencias en las características de las áreas establecidas y los campos emergentes.

Debilidades y Problemática - Medición

no hay normas para los conteos de publicaciones y citas que permiten su validación como mediciones de calidad.

la única norma es con respecto a un pequeño grupo “élite” de científicos con un alto grado de influencia dentro de la comunidad científica.

las citas son altamente selectivas y refieren a una ventana en el tiempo de unos cuantos años.

Debilidades y Problemática -Generabilidad

cantidad importante de autocitas y citas entre “cuates” debido a la naturaleza “incestuosa” del pequeño grupo de autores más prolíficos.

preferencia de parte de los revisores de manuscritos para publicación por determinados científicos, grupos, temas, regiones geopolíticas.

la selección del grupo de revistas “core” a incluir en el análisis o de las bases de datos.

Debilidades y Problemática - Sesgos

La bibliometría como forma sesgada de la métrica evaluativa. Problema radica en la interpretación de los datos.Creación de escenarios para la evaluación de calidad de acuerdo con los patrones de publicación y citación de cada campo científico.Los indicadores bibliométricos adquieren relevancia únicamente en combinación con indicadores cualitativos, como son los valores de juicio de los pares.

Fortalezas y Debilidades: Sumario

Consideraciones Técnicas •La falta de normalización de campos como son los de autor y institución.

• Los campos de los artículos se asignan casi siempre de acuerdo con las disciplinas de las revistas.

• La ausencia de campos relevantes como de género, tipo de institución.

• El limite al número de registros que se pueden bajar de algunos servicios de información en Internet.

Consideraciones Técnicas

· La falta de actualización de los datos en · La falta de actualización de los datos en medios como son los CD-ROMs. medios como son los CD-ROMs.

• Los resultados basados en la indagación de Los resultados basados en la indagación de una sola base de datos. una sola base de datos.

• Los “Citation Indexes” del ISI son las únicas Los “Citation Indexes” del ISI son las únicas bases con citas, las cuales tienen poca bases con citas, las cuales tienen poca visibilidad de la producción de América visibilidad de la producción de América Latina, especialmente en las ciencias Latina, especialmente en las ciencias aplicadas, sociales y humanidades. aplicadas, sociales y humanidades.

Criterios Esenciales de las Revistas para incluir en un Análisis Bibliométrico

• Cumplen con el perfil de una revista arbitrada (con comité editorial de alta calidad).

• Publicación continua para formar una reserva de conocimiento acumulado en la disciplina.

• Cumplen con su periodicidad para asegurar la publicación oportuna de trabajos.

• Proceso riguroso de arbitraje.

• Porcentaje de aceptación de trabajos relativamente bajo.

• Cumplen con las normas de formato y contenido de las publicaciones científicas.

• Cubren un área específica de una disciplina o se declaran revistas interdisciplinarias.

Contexto Latinoamericano• Falta de bases de datos que recogen la

producción editorial de América Latina, adecuadas para la construcción de indicadores bibliométricos a nivel regional.

• Deficiencias de las revistas regionales como fuentes de datos para la construcción de indicadores bibliométricos.

• Promesa de los nuevos programas LA, como son SciELO y Latindex en la construcción de indicadores bibliométricos confiables para la región.

2o TALLER LATINOAMERICANO SOBRE LOS RECURSOS Y LAS POSIBILIDADES DE LA PUBLICACIÓN ELECTRÓNICA

Valparaíso, Chile, 14-15 enero 2004

Aumentar la cultura sobre los indicadores bibliométricos y cienciométricos actuales para que su aplicación sea correcta en su debido contexto y no se produzcan aberraciones.

En este sentido hay que romper el actual círculo vicioso centralizado en ISI y evolucionar hacia otro modelo descentralizado que no desfavorezca la ciencia de determinadas zonas e idiomas.

Asimismo, deben tomarse medidas ante gobiernos, asociaciones, profesionales, etc., para que se instituya un modelo alternativo de valorar la producción científica, de manera que la ciencia no escrita en inglés tenga la consideración que se merece en el contexto mundial. No pueden existir vías de "segunda clase" para la ciencia.