Post on 28-Sep-2018
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Criterios de evaluación de la actividad investigadora Humanidades y Ciencias
Sociales en España
Universidad Pública de NavarraPamplona, 20 de mayo de 2008
Emilio Delgado López-CózarProfesor de Metodología de la InvestigaciónFacultad de Comunicación y Documentación
Universidad de GranadaUniversidad de Granada
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Axioma previoHetereogeneidad de la ciencia
los campos científicos
• La naturaleza del conocimiento científico es muy diferente según– Áreas: CyT, CCSS, Humanidades
• Disciplinas: Física, Química, Economía, Derecho, Psicología– Especialidades: Psicobiología, Psicología de la educación…
Filosofía del derecho, Civil, Penal, Financiero…Fundamentos análisis económico, Contabilidad..
• Fundamentos de la investigación: qué es una investigación
• Prácticas de investigación: cómo se hace • Hábitos de comunicación: publicación e información• Procesos de evaluación: cómo se evalúa
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
La evaluación de la investigación
• Necesidad evaluación rendimiento actividad investigadora– Impacto económico y social de la ciencia– Recursos escasos– En ciencia no todos somos iguales
• Tema trascendente y polémico– Condiciona la orientación de la investigación de un país– Condiciona la promoción profesional– Condiciona la posibilidad de investigar– Otorga reconocimiento personal y social
• España en estado de excepción evaluativa– Personas, instituciones (Facultades, Departamentos…), titulaciones
(grado, posgrado, doctorado), programas, proyectos, – Agencias de evaluación: CNEAI, ANECA, ANEP, AEA, ACPUA, AQU,
ACECAU, ACUM, ACUCyL, ACSUC, ACAP, CVAEC…
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Hetereogeneidad de la ciencia los campos científicos
CyT Sociales Humanidades
Objeto de investigaciónRealidad natural
(Objetiva / universal)Realidad humana
(Subjetiva / contextual)
Métodos de investigación Exprimentales Descriptivos / Cualitativos
Evaluación trabajos ex ante Peer Review ¿Peer review?
Evaluación trabajos ex post Impacto Juicios de valor
CONSENSO COGNITIVO
Técnicas análisis datos Cuantitativas Cualitativas
Lenguaje Matemático Lenguaje natural
Organización Grupo Individuo
Medio publicación Revistas Libros
Lenguaje publicación Inglés Lengua vernácula
J
U
R
Í
D
I
C
A
S
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Los hábitos de comunicación científicaLos medios de publicación
5%10%
85%
10%
50%40%
10%
30%
60%
Experimentales
Revistas Libros Otros
Sociales Humanidades
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Biomedicina
Ingenierías
Psicología
Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparingnatural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8):997-1004
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparingnatural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004
Derecho
Psicología
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
59,2
42,333,7
30,627,7
27,126,6
24,122,822,7
21,821,3
49,9
0 10 20 30 40 50 60 70
Psicología
Economía
Documentacion
Derecho
Educación
Historia
Geografía
Sociología
Filosofía
Arte
Filologías
Ciencia Política
Antropología
Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-2001)
Román & Alcaín 2005
*
* 27 revistas Economia 1999-2001 (Velazquez 2003)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Hábitos de publicaciónPorcentaje de profesores que publican en
revistas españolas y extranjeras (2001-2002)
0
10
20
30
40
50
60
70
80
90
100P
siqu
iatr
ía
Psi
colo
gía
Ant
ropl
ogía
Arq
ueol
ogía
yP
rehi
stor
ia
Filo
logí
acl
ásic
a
Filo
logí
aes
paño
la
Urb
anis
mo
Cie
ncia
Pol
ític
a
Soci
olog
ía
Educ
ació
n
Revistas españolas Revistas extranjeras
Alcaín 2002, 2003; Román 2003
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Valoración relevancia de las revistas españolas y extranjeras
Porcentaje de profesores (2001-2002)
0
10
20
30
40
50
60
70
80
90
100P
siqu
iatr
ía
Psi
colo
gía
Ant
ropo
logí
a
Arq
ueol
ogía
y P
rehi
stor
ia
Urb
anis
mo
Filo
logí
aes
paño
la
Filo
logí
acl
ásic
a
Did
ácti
ca d
ela
leng
ua y
liter
atur
a
Did
ácti
ca d
ela
exp
resi
ónm
usic
al
Revistas españolas Revistas extranjeras
Alcaín 2002, 2003; Román 2003
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
89%
11%
59%
41%
Revistas que consideran más relevantes los profesores de
Derecho (2003)
Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para
publicar sus tres últimos trabajos (2003)
Revistas españolas Revistas extranjeras
Alcaín 2004
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
SocialesSociales% citas rev. % citas rev.
esp./total esp./total citascitas
% citas rev. % citas rev. Ext. /total Ext. /total
citascitas
21,5 12,2
18,5
15,7
17,6
13,9
52,3
28,228,2
12,1
11,5
9,0
7,9
6,9
1313
Derecho
Educación
Geografía
Sociología
C. Política
Psicología
PromedioPromedio
HumanidadesHumanidades% citas rev. % citas rev.
Esp./total Esp./total citascitas
% citas rev. % citas rev. Ext. /total Ext. /total
citascitas
Historia 15,9 11,8
Arte 15,2 7,6
Filología 7,7 15,0
Antropología 8,1 13,2
Filosofía 2,8 21,3
PromedioPromedio 13,513,5 14,314,3
Porcentaje citas a revistas españolas y extranjerasRevistas españolas de Humanidades y Ciencias Sociales (1999-2001)
Román & Alcaín 2005
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ANECACriterios evaluación actividad investigadora
profesorado
30 26
12 16
5 52 2
45 52 2
4
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Jurídicas HumanidadesPublicaciones científicas Libros y ClCongresos Transferencia tecnologiaDirección tesis ProyectosOtros méritos
35 35
5 55 54 47 7
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sociales y Juridicas Humanidades
Articulos y libros Congresos y otrosDirección tesis, DEAS… Proyectos y contratosTransferencia
Profesor Contratado Doctor Profesor Universidad Privada
AcreditaciónProfesor Titular de Universidad
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Humanidades
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Humanidades
• Resultados de la investigación (65%)– Publicaciones
• Libros y capítulos de libros: Monografías, Ediciones críticas, Ediciones de documentos y corpus documentales, Traducciones, Capítulos de libros
• Trabajos publicados en revistas científicas• Trabajos publicados en actas
– Contribuciones a congresos– Bibliografías, catálogos y bases de datos
• Actividades relacionadas con la investigación (10%)– Proyectos de I+D+I– Redes temáticas, acciones integradas y proyectos internacionales– Estancias en instituciones académicas de prestigio– Dirección y secretaría de revistas científicas– Edición / coordinación de volúmenes colectivos
• Otros (25%)– Interacción con el entorno y transferencia de conocimiento: contratos, gestión…– Difusión y divulgación de la investigación y actividades de fomento de la cultura
científica: libros divulgación, conferencias…– Actividad formativa: dirección tesis, coordinación programas doctorado…– Otros méritos: premios, comités directivos asociaciones científicas…
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la investigación en
Ciencias Sociales y Jurídicas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ANEP / FECYT 2007Criterios de calidad de la
investigación en Ciencias Sociales y Jurídicas
La valoración de historiales investigadores debe limitarse a considerar resultados de productividad investigadora, y considerar de forma crucial la producción
reciente (últimos 10 años)
• Publicaciones científicas: – Publicaciones periódicas: Revistas ISI, o criterios de calidad de publicaciones similares a
los del ISI.– Publicaciones no periódicas: calidad de la editorial, procesos de evaluación y selección de
manuscritos, e impacto, como número de citas en publicaciones relevantes; artículos en revistas ISI o similares, otras monografías de calidad y análogos.
• Señales externas de reconocimiento a la labor investigadora:– Trabajo editorial en revistas ISI o similares, revisor en revistas ISI o similares,
conferencias invitadas en reuniones científicas regulares, seminarios invitados, pertenencia a comités científicos en I+D, participación en comités de evaluación y actividades de gestión de la investigación.
• Actividades de formación de investigación– Dirección de tesis doctorales en programas de calidad (o equivalente), con especial
atención a la calidad de la producción científica derivada de las tesis.• Participación en proyectos de investigación competitivos, con
especial atención a los resultados publicados• Actividades de desarrollo (transferencia)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Opinión científicos españoles criterios de evaluación de la actividad investigadora para la acreditación
Sociales Juríd. HumanidadesIndicadoresPuntuación Posición
7,40 1
2
3
5
6
7
8
9
10
11
12
14
Miembro de consejo editorial en revista ISI 4,70 15 4,70 25
Libro en editorial sin reconocido prestigio 4,49 18 6,01 12
Otros artículos de revista 4,31 19 5,51 15
7,39
6,87
6,42
6,41
6,28
6,13
6,11
5,85
5,72
5,40
4,78
Puntuación Posición
Libro en editorial de reconocido prestigio 8,48 1
Artículos de revista en Journal Citation Reports (JCR) del ISI 7,14 4
Dirección de proyectos de investigación con financiación externa 7,38 2
Artículos de revista en listados nacionales similares al JCR 6,92 6
Estancias docentes y de investigación en el extranjero 6,86 7
Dirección de tesis doctorales defendidas 6,42 10
Capítulo de libro en editorial de reconocido prestigio 6,97 5
Participación proyectos de investigación con financiación externa 6,56 9
Contribución a congreso internacional 6,86 8
Director de revista en ISI 5,84 14
Dirección académica de trabajos (tesinas, DEA…) 6,12 11
Contribución a congreso nacional 5,40 16
Muestra: 401 Profesores TU y Catedráticos con 1 o 2 tramos(Buela y Sierra 2007)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Indicios de calidad de los librosCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
Riguroso proceso de selección y evaluación de originales
Traducciones de la propia obra a otras lenguas PCDInclusión en bibliografías independientes del autor y su entorno
Obras de referencia imprescindibles en los estudios grado y postgrado HUM
Presencia en bases de datos, repertorios bibliográficos especializados y catálogos de bibliotecas universitarias
JURID.
ANEP
Número de citas generadas (cantidad y calidad)
Prestigio de la editorial, los editores, la colección en la que se publica la obra
CCSS
Reseñas en las revistas científicas especializadas
Que no estén publicados por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1
Acreditar un proceso de selección riguroso mediante evaluadores externos a las Universidades de la Comunidad Autónoma (Derecho)
Poseer ISBN (imprescindible)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Derecho y Jurisprudencia (CNEAI)– Se valorarán los estudios y trabajos que constituyan aportaciones originales
de carácter doctrinal teórico o conceptual :• Que desarrollen nuevas perspectivas del ordenamiento jurídico.• Que supongan investigaciones originales sobre la evolución histórica, social o cultural de las normas.• Que introduzcan propuestas relevantes de perfeccionamiento de las normas en relación con el sistema
jurídico español o internacional. Aquellos que aporten conocimientos e instrumentos conceptuales y analíticos para mejorar la eficacia de las normas jurídicas y el cumplimiento de los objetivos que se persiguen con ellas. Los análisis que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español o internacional.
• Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que tengan por objeto esclarecer los criterios de actuación de los tribunales y su evolución, y los comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho.
• Las obras generales que se reconozcan como de referencia dentro de la disciplina o supongan un progreso en la organización de un campo temático poco estructurado, siempre que se trate de su primera edición
– No se considerarán:• Los libros de texto, programas, apuntes, monografías, casos o supuestos prácticos, libros y los artículos
de divulgación profesional, artículos en revistas de información general. • Las ediciones de textos o las traducciones, salvo que estén precedidas de prólogos o estudios
preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático.
• Las meras recopilaciones legislativas, aunque incluyan anotaciones sobre disposiciones concordantes, complementarias o derogadas.
• Los comentarios de sentencias que sean una mera glosa de las mismas.• Los dictámenes y proyectos
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Filosofía, Filología y Lingüística (CNEAI)
– Se valorarán: • Monografías que sean fruto de la investigación o de la reflexión documentada• Se considerarán como investigación las ediciones críticas, es decir las que
presentan un estudio razonado de la fijación del texto, con la correspondiente mención de las fuentes y variantes textuales.
– No se considerarán:• Libros de texto• Artículos de opinión• Obras de divulgación• Antologías o diccionarios comunes• Ediciones de textos o traducciones salvo que estén precedidas de estudios
preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valorable a su campo temático
• Las actas de congresos, que no respondan a criterios de calidad equiparables a los exigidos para las revistas científicas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Historia y ArteCNEAI
– Deberán reflejar claramente que son fruto de la investigación o de la reflexión documentada
– No se considerarán• Libros de texto, apuntes, obras y diccionarios de divulgación o
artículos de opinión• Ediciones de textos o traducciones salvo que estén precedidas de
estudios preliminares o acompañadas de anotaciones que sean fruto de una investigación personal y hagan una aportación valiosa a su campo temático
• Las catalogaciones que no conlleven estudios históricos o artísticos• Las transcripciones, si no van acompañadas de juicio crítico o
análisis histórico del documento• Los prólogos e introducciones formularios, que no superen la
condición de simples avances de la obra prologada y carezcan de interés crítico per se
• Las actas de congresos.
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Indicios calidad revistas científicasCNEAI, ANECA, ANEP
Criterios CNEAI ANECA
Satisfacer criterios de calidad editorialSociología, Política, Educación, Economía, Geografía, Psicología, Derecho,
Historia, Filosofía, Filología, Lingüística
Clasificación alta en los listados del European Reference Index for theHumanities (ERIH) de la ESF
Filosofía, Filología Lingüística
ANEP
Se valorarán preferentemente los artículos incluidos en revistas recogidas en los “Journal Citation Reports del Social Science Citation Index” y el Science Citation Index (Institute for Scientific Information, -ISI-, Philadelphia, PA, USA)
Sociología, Política, Educación, Economía, Psicología
Inclusión de las revistas en bases de datos internacionalesSociología, Política, Educación, Economía, Geografía, Psicología: BD a
determinar por el comité asesor, Econlit, Catálogo LatindexHistoria: FRANCIS, International Bibliography of the Social Sciences (IBSS), Arts
and Humanities Citation Index y Social Science Citation Index, Bibliography ofthe History of Arts (RLG), Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstracts of Music Literature, etc).
Filosofía, Filología, Lingüística: Arts and Humanities Citation Index y el Social Science Citation Index y otras BD a determinar por el comité asesor, Libraryand Information Science Abstracts, Philosopher’s Index, RépertoireBibliographique, International Bibliography of Periodical Literature in Humanities and Social Sciences (IBZ), Bibliographie Linguistique/LinguisticBibliography
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Criterios calidad revistas científicasCNEAI, ANECA, ANEP I
Criterios CNEAI ANECA ANEP
Informa sobre el proceso que emplea para la evaluación y selección de manuscritos
Cuenta con un Consejo de Redacción efectivo
Cuenta con un Consejo Asesor efectivo
Declara la periodicidad y la cumple
Utiliza el arbitraje científico en la evaluación de originales y lo cumple
Declara emplear doble anonimato en la revisión externa y lo cumple
Comunica a los autores la decisión editorial de forma motivada
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas
Traduce el Sumario de cada número al inglés así como el título de los artículos, las palabras clave y los resúmenes
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Criterios calidad revistas científicasCNEAI, ANECA, ANEP II
Criterios CNEAI ANECA ANEP
Al menos el 50% de los artículos son trabajos que comunican resultados de investigación originales
Al menos el 80% de los autores son ajenos a los Comités Editoriales
Está recogida en la base de datos española del CSIC que le corresponda por su especialidad (ISOC, ICYT, IME)
Al menos el 80% de los autores son ajenos a la organización editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Está indexada en los JCR de las bases de datos de la Web ofKnowledge de Thompson Scientific (SCI, SSCI
Está recogida en la principal base de datos internacional de su especialidad (por ejemplo. CAB Abstracts, SociologicalAbstracts, Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA, ERIC…), o en catálogo Latindex, DICE
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• Miden la calidad informativa, del proceso y la organización editorial, y la difusión y visibilidad
• Problemas de fiabilidad– No existe información compilada y estandarizada– Puede ser recogida sin control en la observación
• Problemas de validez– Se basa en declaraciones y no en hechos
comprobados
• Sus resultados no necesariamente correlacionan con los producidos por recuentos de citas o encuestas de opinión
Análisis calidad editorial
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• Miden la calidad percibida• Problemas de fiabilidad
– Procedimiento reactivo: posible enmascaramiento y modificación de la opinión de los encuestados (escenario, deseabilidad social, aprehensión evaluativa, actuación investigador…)
• Problemas de validez– Tasas de respuesta normalmente bajas– Sesgos en las muestras: no representativas– Tratamiento de la no respuesta
• Sus resultados suelen correlacionar con los producidos por recuentos de citas
Encuestas de opinión
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• Miden la influencia intelectual, no la calidad• Cobertura y fuentes procesadas: los resultados son directamente
proporcionales al número y tipo de revistas procesadas.• Son un simple promedio de las citas obtenidas por los artículos de una revista.
– No son representativos del artículo medio: distribución asimétrica de las citas.
• Dependen:– Tamaño de las comunidades científicas: nº científicos– Naturaleza y tipo de la disciplina científica: básica/aplicada– Hábitos de publicación y prácticas de citación de las comunidades científicas:
nº publicaciones por autor, nº referencias por artículo..– Tipos de trabajos publicados por la revista: revisiones, artículos, cartas…– Rapidez en la publicación de las revistas (ventana de citación)– La fórmula de cálculo: numerador (citas) denominador (trabajos citables)
• Úsese el impacto observado (citas reales) y no el esperado (factor de impacto).
• Impactitis: La obsesión por ser citados conduce a malas prácticas y aviesos comportamientos. (http://www.publicationethics.org.uk)
• Los datos de citación deben ser cuidadosamente usados e interpretados y no deben reemplazar el juicio humano (expertos). Deben ayudar en la toma de decisiones
La repercusión científicaLos índices de impacto
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ÍNDICES DE IMPACTOREVISTAS ESPAREVISTAS ESPAÑÑOLAS DE CIENCIAS SOCIALES Y JUOLAS DE CIENCIAS SOCIALES Y JUÍÍRIDICASRIDICAS
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
¿Qué son?
• Índices bibliométricos– Índices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin de medir el impacto de revistas, artículos, autores e instituciones españolas
– Convenciones internacionales: fórmula ISI– Complementarios no sustitutivos: visión nacional versus
internacional– Índices de impacto ⇒ Índices de citas
• Revistas científicas españolas• Ciencias Sociales / Ciencias Jurídicas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
94%Revistas españolas
6%Revistas ISI
Producción española en Ciencias Sociales y Humanidades
ISOC versus ISI
1980-2004
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Las cifras de IN-RECS/IN-RECJ
Total IN-RECS IN-RECJ
Periodo cubierto 1994- 2001-
Revistas fuente 195 130 65 (32)
Revistas con impacto calculado
924 627 297
Artículos citables 195.496 154.608 40.888
Citas 55.512 43.949 11.563
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Metodología
1. Identificación población de revistas científicas españolas de ciencias sociales (±600) y ciencias jurídicas (± 300)
Fuentes: Latindex, Directorio español de revistas de Ciencias Sociales y Humanidades, Dialnet,
Ulrich´s, REBIUN
Etapas del proyecto
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
2. Distribución revistas por áreas de conocimientoAsegurar representación de todas las especialidades,
entendiendo por tales las reflejadas en las
ÁREAS DE CONOCIMIENTO
– Clasificaciones temáticas asignadas por las propias bases de datos: CDU, UNESCO, Ulrich´s
– Clusters temáticos obtenidos por el método de las palabras asociadas
– Opinión investigadores
– Citas revistas
Etapas del proyecto
Metodología
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
3. Selección de las revistas fuente: ¿qué y cuántas revistas seleccionar para construir el índice de citas?- ¿Por qué ser selectivos? Ley de Bradford- Número de revistas a procesar por área de
conocimiento: Tamaño del campo: número de revistas de cada campo,
tamaño literatura circulante, productividad, número de profesores
- 120 revistas = 20% población revistas españolas Ciencias Sociales
- 65 revistas / 32 revistas = 20/10% población revistas españolas Ciencias Jurídicas.
- El endiablado sistema de citación bibliográfica en Derecho (cita-nota)
Etapas del proyecto
Metodología
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
La Ley de Bradford en ISI (SCI 1988)Distribución citas-revistas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• 22 revistas (2%) reciben el 50% de las citas
• 72 revistas (7%) reciben el 75% de las citas
Distribución Bradford
0
5
10
15
20
25
30
35
1 37 73 109
145
181
217
253
289
325
361
397
433
469
505
541
577
613
649
685
721
757
793
829
865
901
937
973
1009
Revistas
cita
s x
mil
Revistas
La Ley de Bradford en IN-RECS (2003) Distribución citas-revistas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Metodología
Criterios de selección
- Pervivencia o antigüedad Variable según disciplina: 6 a 9 años
- Calidad editorial*- Empleo de un riguroso sistema de selección y
evaluación de originales- Reputación y prestigio del editor y comités editoriales
- Opinión profesores e investigadores españoles (calidad percibida)
- Impacto científico de las revistas españolas a nivel internacional*
Etapas del proyecto
* En Derecho no se han aplicado estos dos criterios
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Servidor EC3
Linux Suse 9.2, base datos postgres,
apache, php, ...
Tablas BD
Selección de revistas fuentepor especialidades
Introducción de los artículos citables
Título, Autor….
Cindoc, Dialnet, CompludocPsicodoc, revista...
Carga en BD
Introducción de la producción de la revista por años
Cindoc, Dialnet, revista electrónica o en papel
Carga en BD
Obtención e introducción de lascitas ISI de las revistas
Carga de citas
Introducción de las citas nacionales de las revistas
Una vez al año
Una vez al año
Una vez al año
SistemáticoCarga de citas
Cálculo de impactos e indicadoresResultados en web
http://ec3.ugr.es/in-recs/http://ec3.ugr.es/in-recj/
Sistemático
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Índice de impacto de las revistas
– Anual (INRECS: 1994- /IN-RECJ: 2001- ) y acumulativo (5 años/histórico: 9 y 13)
– Indicadores: artículos, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, curva de envejecimiento, tasa de autocitación, índice de coautoría.
– Información: Triángulo de citación, evolución de la revista (cuartiles), revistas citadas, artículos citados por la revista, artículos más citados de la revista, especialidades citantes, instituciones citantes, autores citantes, revistas citantes, artículos citantes, perfil bibliométrico: comparación revista / especialidad.
Prestaciones I
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• Artículos más citados de la especialidad– Indicadores: total de citas, citas nacionales e ISI.– Información: rtículos citados y citantes
• Autores más citados de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos
publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.
– Información: relación de coautores; autores citados y autores citantes; filiación autores con los que publica, filiación de los que cita (citados) y de los que le citan (citantes); revistas en las que publica, revistas que cita y que le citan; especialidades en las que publica, especialidades que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación autor / especialidad .
• Instituciones más citadas de la especialidad– Indicadores: artículos publicados en revistas españolas, artículos
publicados revistas primer cuartil, citas (nacionales e ISI), citas por artículo, artículos muy citados, % artículos citados, tasa de autocitación, índice H, índice de coautoría.
– Información: relación de instituciones con quien colabora (publica); instituciones citados y autores citantes; artículos más citados de la institución; artículos citados por la institución y artículos citantes; revistas en las que publica, revistas que cita y que le citan; años en los que publica, años que cita y que le citan; perfil bibliométrico: comparación institución / especialidad.
Prestaciones II
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Impacto revistas españolas de Ciencias Sociales y Jurídicas
2002-2006
• 90 revistas (10%) concentran el 65% de las citas.• 180 revistas (20%) concentran el 80% de las citas• El 30% de las revistas han sido incapaces de
obtener una sola cita en cinco años.• El 59% de las revistas obtuvieron 5 citas en cinco
años (1 por año) • El 90% de las citas proceden de revistas españolas• Sólo el 26% de los artículos son citados• El número medio de citas por artículo es de 0,3
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Revistas españolas de Ciencias Sociales y Humanas:Valoración integrada e índice de citas
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
• Bases de DatosSe presentan las bases de datos internacionales en las que la revista estárecogida.
• Índice Valoración A+BValoración de la revista en función de su contenido científico, a juicio del profesorado universitario y personal investigador del área:
• Índice Impacto Medio (1999-2003)• Criterios Latindex• Evaluadores Externos
Los originales son informados por expertos externos a la entidad editora de la revista, antes de sen aceptados por el Consejo de Redacción.
• PeriodicidadCuando sus ejemplares se editan con un plazo que no supere el doble del anunciado
• Apertura exterior del Consejo Editorial o de RedacciónAl menos un tercio (33%) de los miembros de su Consejo Editorial pertenece a instituciones diferentes a la entidad que edita la revista.
• Apertura exterior de los autoresAl menos el 50% de ellas son de autores cuyas instituciones de trabajo son ajenas a la entidad editora de la revista
¿Qué es?
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Parámetros de calidad Puntuación máxima
1 Años vida de la revista 102 Cumplimiento de la periodicidad 133 Criterios Latindex 134 Revisores externos 165 Índice A + B 166 IIM 167 BBDD 16
Total 100
1. Años de vida de la revista
20 años o más = 10 puntosde 10 a 19 años = 5 puntosde 5 a 9 años = 3 puntos
2. Cumplimiento de la periodicidadSí cumple = 13 puntosNo cumple = 0 puntos
3. Criterios Latindex25 criterios o más = 13 puntosde 20 a 24 criterios = 9 puntosde 15 a 19 criterios = 5 puntosmenos de 15 criterios = 0 puntos
4. Revisores externos Sí cuenta con revisores externos = 16 puntosNo cuenta con revisores externos = 0 puntos
5. Índice A + B (Índice A+B x 16)/100Ej.: Iv A+ B = 81,16 (81,16 x 16) /100 = 12,96 puntos
Tipo de base de datos A B C SD
Especializada del área 6 3 1,5 0,75
Especializada en otra área 3 1,5 0,75 0,35
Multidisciplinar 6 3 1,5 0,75
7. Bases de Datos
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Las cifras de RESH
Total
Revistas valoradas 939
Revistas citantes 208
Período cubierto para las citas 1999-2003
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Subproducto de RESH elaborado para la ANECAIndicadores:
Bases de Datos, Periodicidad, Evaluadores externos, Apertura consejo editorial, Apertura revista
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Sistema de evaluación integrada de
revistas españolas
OPINIÓN PARES
CALIDAD EDITORIAL
ÍNDICES DE
IMPACTO
CNEAIANEP
Agencias autonómicas
ANECA
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Futuro
Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Catálogo LatindexSistema Regional de Información en Línea para
Revistas Científicas de América Latina, el Caribe, España y Portugal
Selección de revistas que han sido clasificadas conforme la aplicación de una serie de criterios de calidad editorial probados y convenidos por el Sistema Latindex
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Las cifras del Catálogo Latindex
Total
Período cubierto 2002-
Arte y Humanidades 511
Ciencias Sociales 1.962
Revistas incluidas 3.098
Revistas españolas 1.077
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Características básicas
1 Mención del cuerpo Editorial
2 Contenido
3 Antigüedad mínima 1 año
4 Identificación de los autores
5 Lugar de edición
6 Entidad editora
7 Mención del Director
8 Mención de la Dirección
Recepción y aceptación de originales
17
Afiliación de los autores16
Afiliación institucional de los miembros del consejo editorial
15
Miembros del consejo editorial14
Membrete bibliográfico en cada página
13
Membrete bibliográfico al inicio del artículo
12
Tabla de contenidos (Indice)11
Mención de periodicidad10
Páginas de presentación9
Características de presentación de la revista
Criterios y metodología de evaluaciónPara ser ingresadas al Catálogo, las revistas deben cumplir con todas las características básicas y con al menos 17 de los restantes parámetros listados. Globalmente cada revista debe cubrir 25 parámetros. Estas características son certificadas mediante revisión de los tres últimos fascículos publicados de cada revista
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Características de los contenidos
26 Contenido original
27 Instrucciones a los autores
28 Elaboración de las referencias bibliográficas
29 Exigencia de originalidad
30 Resumen
31 Resumen en dos idiomas
32 Palabras clave
33 Palabras clave en dos idiomas
Cumplimiento de periodicidad25
Servicios de información24
Apertura editorial23
Autores externos22
Evaluadores externos21
Sistema de arbitraje20
Definición de la revista19
ISSN18
Características de gestión y política editorial
Criterios y metodología de evaluación II
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ERIH European Reference Index for the Humanities
• Listas de buenas revistas europeas de investigación en Humanidades
• Creación paneles de expertos en 15 disciplinas
• Criterios– La selección de los artículos debe basarse en una
política de revisión objetiva (peer-review)– Cumplimiento normas básicas de publicación
• ISSN• Periodicidad: puntualidad en la aparición• Normalización referencias bibliográficas• Dirección completa filiación autores...
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ERIH European Reference Index for the Humanities
• Categoría A (10-25% de todos los títulos): – Nivel muy alto de internacionalidad– Alta reputación entre los investigadores de un campo– Regularmente citada en todo el mundo
• Category B:– Nivel medio de internacionalidad– Buena reputación entre los investigadores de un campo
• Category C:– Publicaciones europeas– Publicaciones de nivel local o regional– Audiencia local o regional pero con citas fuera de su país de
publicación
Internacionalidad: Procedencia autores y lectores de ámbito internacional, elevado control del contenido científico (peer review), amplio consenso en el campo sobre su estatus y visibilidad internacional, comité editorial internacional, muy selectivo en la publicación, estricta puntualidad en la publicación
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
ERIH European Reference Index for the Humanities
• Marzo de 2007: 7 listas publicadas (Anthropology, Gender Studies, History and Philosophy of Science, Linguistics, Musicology, Philosophy, Religious Studies and Theology)
• Junio de 2007: 4 listas (Archaeology, Classical Studies, History, Pedagogical & Educational Research)
• Octubre 2007: 4 listas (Art & Art History, Literature, Oriental & African Studies, Psychology)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
European Reference Index for the HumanitiesAlgunos resultados
España Principales paise
Arqueología 10 2,4 UK (20%), Finlandia (10,5), Dinamarca (10)
Estudios clásicos 23 9,1 Italia (26,3), Dinamarca (13,5), Francia (9,6)
Hª y Filosofia de la ciencia 8 4,2 UK (20,5), USA (18,1), Holanda (13,9)
Filosofia 11 3,6 UK (16,7), USA (15,7), Holanda (14,7), Dinamarca (12,7)
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Las bases de datos de Thomson Scientific
• Productor: Thomson Scientific (antiguo ISI)• WOS (Web of Science): Resultado de la unión de tres bases de datos bibliográficas
• Science Citation Index (SCI). 1945-• Social Science Citation Index (SSCI) 1956-• Arts & Humanities Citation Index (A&HCI) 1975-
• 9.000 revistas en el WOS• 1 millón artículos/año. 35 millones desde 1900 hasta hoy• 25 millones de referencias bibliográficas/año
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Lagunas bases de datos ISI
• Sesgo a favor de las ciencias básicas y experimentales:• 61% Ciencia y Tecnología• 21% Ciencias Sociales• 18% Humanidades
• Sesgo a favor de las publicaciones anglosajonas ♠• Infrarepresentación de la ciencia española
• No indiza ninguna revista de las 323 revistas españolas de Ciencias Jurídicas • Indiza sólo 12 de las 600 revistas científicas españolas de Ciencias Sociales
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
España en el Web of Science
Revistas Españolas WOS
22
31
72
0
10
20
30
40
50
60
70
80
>1995 >2000 >2007
Años
Rev
ista
s
Trabajos Españoles WOS
86788
127764
172435
020000400006000080000
100000
120000140000160000180000200000
>1992-96 >1997-01 >2002-06
Periodos
Trab
ajos
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
H. Moed 2007Metrics for the Humanities?
How do existing and emerging systems deal with Humanities?
The future of research assessment exercises lies in the intelligent combination of metrics and peer review
ERIH Stakeholder meeting: “Making quality visible: A European Reference Index for the Humanities (ERIH) to better access and assess European Humanities research”. European Science Foundation (ESF) / EC3: Evaluación de la ciencia y de la comunicación científica. Universidad de Granada. Granada 18-20 November 2007.
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Universidades públicasDistribución porcentual de los profesores numerarios por tramos
de investigación y grandes áreas (1989 – 2005)
Nuncapresentado
Evaluado yno concedido
Total sintramos
HUMANIDADES 22 10 32
CIENCIAS SOCIALES Y JURÍDICAS 39 14 53
CIENCIAS EXPERIMENTALES 17 7 24
CIENCIAS DE LA SALUD 27 13 40
TECNOLOGÍA E INGENIERÍA 46 10 56
NACIONAL 31 11 42
Fuente de datos: CNEAI
edelgado@ugr.es
EC3
Grupo de investigación EEvaluación de la CCiencia y de la CComunicación CCientífica
http://ec3.ugr.es
Universidades públicasDistribución porcentual de los profesores numerarios por tramos
de investigación y campos científicos (1989 – 2005)
Fuente de datos: CNEAI
Nunca presentado
Evaluado y no concedido
Total sin tramos
MATEMÁTICAS Y FÍSICA 29 8 37QUÍMICA 5 5 10BIOLOGÍA CELULAR Y MOLECULAR 2 3 5CIENCIAS BIOMÉDICAS 27 14 41CIENCIAS DE LA NATURALEZA 13 10 23INGENIERÍAS Y ARQUITECTURA 45 10 55CIENCIAS SOCIALES, POLÍTICAS, DEL COMPORTAMIENTO Y DE LA EDUCACIÓN
38 18 56
CIENCIAS ECONÓMICAS Y EMPRESARIALES 50 14 64DERECHO Y JURISPRUDENCIA 18 11 29HISTORIA Y ARTE 20 9 29FILOSOFÍA, FILOLOGÍA Y LINGÜÍSTICA 20 10 30