Criterios, metodologías y herramientas para la evaluación de las publicaciones científicas

españolas en Humanidades

Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación

Madrid, 23-25 de marzo de 2010

España en estado de excitación evaluativa

El laberinto de lasherramientas para la evaluación de las

publicaciones científicas españolas

Libros

Revistas

Todo

Nada

10%

25%

65%

Libros

Revistas

Revistas

10%

25%

65%

Libros

Revistas

Los criterios

Indicios de calidad de los librosCNEAI, ANECA, ANEP

Criterios CNEAI ANECA

ANEP

Número de citas generadas (cantidad y calidad) Prestigio de la editorial, los editores, la colección en la

que se publica la obra CCSS

Reseñas en las revistas científicas especializadas Riguroso proceso de selección y evaluación de originales Que no estén publicados por la misma institución en la que

trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1

Traducciones de la propia obra a otras lenguas PCD

Inclusión en bibliografías independientes del autor y su entorno

Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias

Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)

JURID.

Obras de referencia imprescindibles en los estudios grado y postgrado

HUM

Poseer ISBN (imprescindible)

Indicios calidad revistas científicas CNEAI, ANECA, ANEP

Criterios CNEAI ANECA ANEP

Inclusión de las revistas en bases de datos internacionales

Preferentes: Arts and Humanities Citation Index y Social Science Citation Index

Similares: FRANCIS, International Bibliography of the Social Sciences (IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, Library and Information Science Abstracts, Philosopher’s Index, Répertoire Bibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/Linguistic Bibliography

Podrán considerarse bases de datos a determinar por el comité asesor INRECS, LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad similar a los JCR y satisfagan criterios calidad editorial Apéndice 1)

Satisfacer criterios de calidad editorial Estar acreditada por la FECYT Clasificación alta en los listados del European

Reference Index for the Humanities (ERIH) de la ESF

Criterios calidad editorial revistas científicas

Criterios CNEAI ANECA ANEP

Identifica los miembros de los Comités Editoriales y Científicos

Cuenta con Instrucciones a Autores detalladas Traduce el sumario, títulos de los artículos, palabras

clave y resúmenes al inglés, en caso de revistas y actas de Congresos

Informa sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo los criterios, procedimiento y plan de revisión de los revisores o jueces

Periodicidad de las revistas y regularidad Emplea el anonimato en la revisión de manuscritos Comunica a los autores la decisión editorial de forma

motivada

Criterios calidad editorial revistas científicas

Criterios CNEAI ANECA ANEP

Cuenta con un Consejo de Redacción efectivo Cuenta con un Consejo Asesor efectivo Al menos el 75% de los artículos son trabajos que

comunican resultados de investigación originales

Al menos el 75% de los autores son ajenos a los Comités Editoriales

Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista

La tasa de aceptación de trabajos es igual o menor al 60%

Preguntemos a los científicos

Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios

Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369

1

Opinión científicos españoles

2

3

4

Encuesta calidad revistas españolas de Humanidades y Ciencias Sociales

2009

Muy idóneo 5 – Poco 1Valore la idoneidad de los siguientes criterios para reflejar la calidad de una revista científica

Muestra: 2.301 profesores e investigadores españoles de Humanidades

Las herramientas

RESH y DICERESH y DICE

Difusión y Calidad Editorial de las Revistas Españolas de Humanidades yCiencias Sociales y Jurídicas

Revistas Españolas de Ciencias Sociales y Humanas: Valoración integrada e índice de citas

UN MISMO PRODUCTO CON DIFERENTES CARAS. DICE ES UN SUBPRODUCTO ELABORADO A PARTIR DE RESH A PETICIÓN DE LA ANECA

± 1.000 revistas españolas

RESH y DICERESH y DICE

● BASES DE DATOS

● PERIODICIDAD

● EVALUADORES EXTERNOS

● APERTURA DEL CONSEJO EDITORIAL

● APERTURA EXTERIOR DE LOS AUTORES

● ÍNDICE DE VALORACIÓN A+B

● ÍNDICE DE IMPACTO MEDIO (sin actualizar)

● CRITERIOS LATINDEX

Metodología de evaluación en RESH y DICE

Citas 1999-2003

      Parámetros de calidadPuntuación máxima

1   Años vida de la revista 10  

2   Cumplimiento de la periodicidad 13  

3   Criterios Latindex 13  

4   Revisores externos 16  

5   Índice A + B 16  

6   IIM 16  

7   BBDD 16      Total 100  

1. Años de vida de la revista

  20 años o más = 10 puntos  de 10 a 19 años = 5 puntos  de 5 a 9 años = 3 puntos

2. Cumplimiento de la periodicidad Sí cumple = 13 puntos No cumple = 0 puntos

3. Criterios Latindex    25 criterios o más = 13 puntos   de 20 a 24 criterios = 9 puntos   de 15 a 19 criterios = 5 puntos   menos de 15 criterios = 0 puntos

4. Revisores externos Sí cuenta con revisores externos = 16 puntos No cuenta con revisores externos = 0 puntos

  5. Índice A + B: encuesta opinión científicos (Índice A+B x 16)/100 Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos

Tipo de base de datos A B C SD

Especializada del área 6 3 1,5 0,75

Especializada en otra área 3 1,5 0,75 0,35

Multidisciplinar 6 3 1,5 0,75

7. Bases de Datos

El catálogo LatindexEl catálogo Latindex

Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe España y Portugal

OJO tiene dos productos

- DIRECTORIO: 16.963 revistas. Información básica normalizada

- CATÁLOGO: 3.381 revistas. Selección de revistas clasificadas según el cumplimiento de unos criterios de calidad

!

!

Características básicas

1 Mención del cuerpo Editorial

2 Contenido

3 Antigüedad mínima 1 año

4 Identificación de los autores

5 Lugar de edición

6 Entidad editora

7 Mención del Director

8 Mención de la Dirección

Características de presentación de la revista

9 Páginas de presentación

10 Mención de periodicidad

11 Tabla de contenidos (Indice)

12 Membrete bibliográfico al inicio del artículo

13 Membrete bibliográfico en cada página

14 Miembros del consejo editorial

15 Afiliación institucional de los miembros del consejo editorial

16 Afiliación de los autores

17 Recepción y aceptación de originales

Para ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista

Características de los contenidos

26 Contenido original

27 Instrucciones a los autores

28 Elaboración de las referencias bibliográficas

29 Exigencia de originalidad

30 Resumen

31 Resumen en dos idiomas

32 Palabras clave

33 Palabras clave en dos idiomas

Características de gestión y política editorial

18 ISSN

19 Definición de la revista

20 Sistema de arbitraje

21 Evaluadores externos

22 Autores externos

23 Apertura editorial

24 Servicios de información

25 Cumplimiento de periodicidad

ÍNDICES DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICASREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

¿Qué son?

Índices bibliométricosÍndices estadísticos basados en recuentos de referencias

bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e

instituciones españolas

● CRITERIOS DE SELECCIÓN: pervivencia, calidad de editorial, opinión profesores e impacto internacional

● ÍNDICE DE IMPACTO: calculado de forma anual siguiendo la fórmula canónica de Eugene Garfield (Thomsom ISI), con un fino retoque

● ÍNDICE DE IMPACTO ACUMULADO: promedio de citas histórico (1994-2008), década y quinquenio

1.095 revistas243.534 artículos

62.026 citas

¿Qué son?

Índices de impacto

Índices de citas

Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios bibliográficos y catálogos.

A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice Compuesto de Difusión Secundaria)

27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación, economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia, política, psicología, religión, sociología

ICDS (Índice Compuesto de Difusión Secundaria)

Los procedimientos

Análisis calidad editorial

• Mide• Calidad informativa• Gestión proceso editorial• Organización y estructura editorial

• Mide• Calidad informativa• Gestión proceso editorial• Organización y estructura editorial

• Fiabilidad y validez de los resultados

– Cambios en la políticas editoriales: exigen actualización constante

– Puede ser recogida sin control en la observación

– Se basa en declaraciones y no en hechos comprobados

Análisis calidad editorial

Sus resultados no correlacionan con los producidos por recuentos de citas, encuestas de opinión o difusión

Análisis calidad editorial

Análisis de la difusión y visibilidad

Mide el grado en que una revista es visible (bases de datos / Internet) y accesible (Biblioteca / Internet)

Mide el grado en que una revista es visible (bases de datos / Internet) y accesible (Biblioteca / Internet)

Fiabilidad y validez

– Cambios en la indización: exige actualización constante de la información

– Los criterios de las bases de datos y sus exigencias en la selección son muy dispares

Análisis difusión y accesibilidad

Encuestas de opinión de los científicos

Miden percepciones más que realidades (calidad percibida), la reputación y el prestigioMiden percepciones más que realidades (calidad percibida), la reputación y el prestigio

• Fiabilidad y validez– Procedimiento reactivo: posible enmascaramiento

y modificación de la opinión de los encuestados– Tasas de respuesta normalmente bajas y no

participación de determinados individuos que pueden generar sesgos en las muestras que pueden cuestionar la representatividad de los resultados

• Sus resultados suelen correlacionar con los producidos por recuentos de citas

Recuentos de citas e índices de impacto

Miden la repercusión científica: la utilidad y la influencia intelectual, no la calidadMiden la repercusión científica: la utilidad y la influencia intelectual, no la calidad

Cuando un científico cita un trabajo anterior lo que formalmente hace es reconocer la utilidad que ha tenido dicho trabajo en la confección del suyo propio y, por ende, es un indicador de influencia. Si se acepta esta premisa los trabajos más citados tienen una influencia mayor en las actividades investigadoras que los que tienen menos citas

Cautela y prudencia con el uso de los datos de citación en las Humanidades

Números “pequeños”: pocas citas.

• Escuálidas comunidades científicas. Falta de masa crítica• Atomización y dispersión temática por la propia naturaleza de las Humanidades

Tiempos largos en la citación

Fiabilidad y validez

Los recuentos de citas son sensibles a múltiples factores

– Tamaño de las comunidades científicas: nº científicos– Temas de los trabajos: nacionales/regionales/locales, modas…– Hábitos de publicación y prácticas de citación de las

comunidades científicas: nº publicaciones por autor, nº referencias por artículo …

– Tipo de trabajos: revisiones, artículos…– Rapidez en la publicación (ventana de citación)

Recuentos de citas e índices de impacto

Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos).

Deben ayudar en la toma de decisiones y no ser aplicados mecánicamente

Las propuestas

Las revistas

EC3

Grupo de investigación

EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es

Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI

Sistema de evaluación integrada de

revistas españolas

OPINIÓN PARES

CALIDAD EDITORIAL

ÍNDICES DE

IMPACTO

CNEAI LATINDEXANECA

DIFUSIÓN

EC3

Grupo de investigación

EEvaluación de la CCiencia y de la CComunicación CCientífica http://ec3.ugr.es

Próximo futuro: noviembre 2010…Y después: el destino es incierto…

Plan Nacional I+D+I (2007-2010). SEJ2007-68069-CO2-01/SOCI

Las Libros

http://www.cindoc.csic.es/

¿Podemos buscar citas a libros y, a partir de ellas, construir sistemas de información?

SÍ¿dónde?

Torres-Salinas, D.; Ruiz-Pérez, R. ; Delgado López Cózar, E. Google Scholar como herramienta para la evaluación científica. El Profesional de la Información. Septiembre-Octubre 2009, vol. 18, núm. 5, p. 501-510

Una reflexión final

¿Qué es la calidad de una publicación científica?

Algo fácil de percibir pero difícil de medir

Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros

Multidimensional

No existen medidas absolutas y directas de la calidad sino indicadores parciales

Recuentos Opiniones

• Nº publicaciones en - Editoriales de prestigio - Revistas de alto nivel

• Nº citas

• Comité de sabios o expertos

• Comunidad científica: los pares• Encuestas de opinión

Los métodos de evaluación más objetivos (los cuantitativos) son los menos relevantes mientras que los

menos objetivos (evaluación por pares) son los más relevantes

Muchas gracias por su atenciónEmilio Delgado López-Cózar

edelgado@ugr.esec3.ugr.es/emilio

Grupo de investigaciónEvaluación de la Ciencia y de la

Comunicación Científicawww.ec3.ugr.es

ec3