COMO BUSCAR EVIDENCIASCIENTIFICAS PARA LA

ACREDITACIONde calidad de la investigación

Julio Alonso ArévaloUniversidad de Salamanca

Correo-e: alar@usal.es

Agencias de Evaluación

http://www.acsucyl.eshttp://www.aneca.es/

NACIONAL REGIONAL

La Agencia Nacional de Evaluación de la Calidad y Acre ditación (ANECA)es una fundación estatal que tiene como objetivo contribuir a la mejora de la calidad del sistema de educación superior mediante la evaluación, certificación y acreditación .

ANECA lleva a cabo su actividad a través de diferentes 3 programas:

� Evaluación de enseñanzas e instituciones

� Evaluación del profesorado

�Evaluación institucional

• La Agencia para la Calidad del Sistema Universitario de Castilla y León (ACSUCyL) es el órgano de evaluación externa de la calidad universitaria en el ámbito de la Comunidad Autónoma de Castilla y León.

• ACSUCYL nace en el contexto de la Ley Orgánica 6/2001 de Universidades (LOU),

• Con el objetivo de PROMOVER LA MEJORA DE LA CALIDAD DEL SISTEMA

‘Evaluación para la contratación’ y la ‘Acreditación”

• EVALUACIÓN PARA LA CONTRATACIÓN : para el acceso a las figuras de profesor universitario contratado (profesor contratado doctor, profesor ayudante doctor, profesor colaborador y profesor de universidad privada) establecidas en la LOMLOU. Esto lo hace la ANECA y otras agencias autonómicas . Son las categorías de profesorado que no son funcionarios.

• Acreditación nacional para el acceso a los cuerpos docentes universitarios (Programa ACADEMIA): evalúa el perfil de los solicitantes para el acceso a los cuerpos de funcionarios docentesuniversitarios (Profesores Titulares de Universidad y Catedráticos de Universidad). Esto sólo lo puede hacer la ANECA (así lo estipula la LOMLOU)

Acreditaciónpara cuerpos docentes universitarios

El RD 1312/2007, de 5 de octubre, establece la ACREDITACION NACIONAL para el acceso a cuerpos docentes universitarios.

Requisitos:

Título de Doctor ACREDITACIÓN

CRITERIOS DE ACREDITACIÓN

El RD 1312/2007 establece los criterios de evaluación en el Anexo.

Se estructuran en cuatro grandes bloques:

1. Actividad investigadora .2. Actividad docente o profesional.3. Formación académica.4. Experiencia en gestión y admin.

PUNTUACIÓN Por cuerpos

TITULARESPuntos

5040

5 5Investigacion

Docencia

Formación

Gestión

CATEDRÁTICOSPuntos

5535

10

Investigación

Docencia

Gestion

Titulares

Catedráticos

Actividad investigadora

¿QUE VALORA?

ANECA “ Principios y orientaciones para la Aplicación de los Criterios de Evaluación”

Requiere que los solicitantes acrediten una actividad investigadora intensa, que haya dado lugar a resultados reflejados en publicaciones… que representen una innovación o avance en su campo o que hayan tenido un impacto económico o social significativo…

Actividad investigadoraPuntuación

El máximo de dos valores numéricos : el obtenido en la evaluación, y el resultado de multiplicar por 15 el número de sexenio

Cada sexenio se puntúa 15 puntos.

+ Resultado de la

evaluación

Sexenio 5 contribuciones de calidad en 6 años

Carácter internacionalReferencia en su ámbito

Libros completos, como los capítulos de libro con ISBNTb. las traducciones, prólogos, reseñas

4-Congresos y conferencias3 -Libros y capítulos de libro

Reconocimiento científico de la revista en su área

• Journal Citación Reports, • Social Siciences Cittion Index• Latindex• Otros ámbitos DICE

2. -Publicaciones científicas no indexadas

1-Publicaciones científicas indexadas

VALORACION CALIDAD INVESTIGADORA Aneca

Evaluación

Las Agencias de Evaluación y entidades financieras necesitan una medida objetiva de la calidad de las publicaciones.

… consecuentemente existeuna demanda

de medidas de este tipo

Dos Mediciones

1. Colectiva . Índices de Impacto

2. Individual . Citas recibidas

Dos Mediciones

1. Colectiva . Índices de Impacto

2. Individual. Citas recibidas

Evaluación de revistas

EL FACTOR DE IMPACTO

Eugene Garfield

Factor de ImpactoFactor de Impacto es una medida de la importancia de una

publicación científica

Cada año es calculada por el ISI o Institute for ScientificInformation publicadas en un informe de citas llamado

EL FACTOR DE IMPACTO TIENE UNA INFLUENCIA ENORME, …

PERO CONTROVERTIDA.

Argumentos a favor y en contra

Cobertura internacional amplia con más de 8.400 publicaciones de 60 países.

• Los resultados son publicados y disponibles (FEYCIT)

• Es fácil de usar y entender .

El número de las citas no mide realmente la calidad de la publicación , pero sí la cantidad de publicaciones

• El periodo de cálculo es muy corto 2 años

• La naturaleza de los resultados en distintas áreas de investigación

• Poca representación de otros idiomas, países , áreas temáticas…

A favor…

En contra…

CálculoEl factor de impacto de una revista es la media de veces que en un año determinado fueron citados los artículos publicados por esta revista en los dos años anteriores .

ISI Journal Citation Report

http://www.accesowok.fecyt.es/login/

Entrar en WEB of KNOWLEDGEElegir Bases de datos

JOURNAL CITATION REPORT

Elegir ÁREA DE CONOCIMIENTOOrdenar por Factor de Impacto

Revistas de EDUCACIONPor Factor de Impacto

Dos Mediciones

1. Colectiva. Índices de Impacto

2. Individual . Citas recibidas

Buscar citas recibidas

por un autor

Buscar citas recibidas

por Ruipérez

http://www.latindex.unam.mx/

• Latindex -Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, Es paña y Portugal- es producto de la cooperación de una red de instituciones

• La misión del Sistema es difundir, hacer accesible y elevar la calidad de las publicaciones científicas seriadas producidas en la región

– Desarrollar un sistema de información para consultar datos de las publicaciones científicas seriadas de Iberoamérica y el Caribe

– Lograr una compilación de calidad de la información publicada

– Establecer criterios y estándares de calidad

Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y

Ciencias Sociales y Jurídicas

Permiten calcular el impacto de cada revista en su entorno disciplinar mas próximo.

utiliza esta base de datos como referencia en

sus procesos de evaluación de profesorado.

Se puede buscar por áreas temáticas

Para saber el cuartílque ocupa en su

grupo de materias debemos picar sobre

CRIT LATCriterios Latindex

Cumplidos

¿Qué son los cuartiles?

Si encontramos 180 revistas sobre EDUCACION en DICE

Las dividimos entre 4

180 / 4 = 45

1-45 – 1er cuartíl

45-90 .. 2º cuartíl

90-135 - 3er. Cuartíl

145-180 – 4º cuartíl

2o. cuartil

1er. cuartil

3er. cuartil

European Reference Index for the Humanities (ERIH)

ERIH 'initial' lists

ERIH : www.esf.org/erih

European Reference Index for the Humanities

(ERIH)ERIH 'initial' lists

BOCYL 28 de septiembre 2009

ACSUCyl

ÍNDICE DE IMPACTOREVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES

EC³Grupo de investigación Evaluación de la ciencia y de la comunicación científica

Universidad de Granada

http://ec3.ugr.es/in-recs/

Valorado por la ANECA

Es un índice bibliométrico que ofrece información estadística a partir del recuento de las citas bibliográficascon el fin de determinar la relevancia, influencia e impacto científico de las revistas españolas de ciencias SOCIALES

La base de datos IN-RECS se alimenta a partir de la indización de las referencias bibliográficas citadas en los artículos publicados en 146 revistas españolas (Antropología, Biblioteconomía y Documentación, Economía, Educación, Geografía, Sociología, Psicología Urbanismo) 59.072

Citas

174.123Artículos citables

748Revistas con impacto calculado

146Revistas fuente

1994-Periodo cubierto

IN-RECS

IN-RECS permite:

• Saber cual es el impacto científico de una revista , su evolución y su posición respecto al resto de las revistas de la especialidad

• Conocer cuales son las publicaciones que citan a una revista y cuales son las citadas

• Saber cuales son los artículos más citados de una especialidad

•Conocer el impacto científico de los autores que publican en las revistas españolas

• Saber cuales son las instituciones más citadas en cada especialidad

Revistas de educación Con más citas

2004-2008

Índice de Impacto de Infancia y Aprendizaje

Búsqueda por autor

Búsqueda por autor

Encontrar EVIDENCIAS para …

Agencia Española ISBNhttp://www.mcu.es/libro/CE/AgenISBN.html

Documentar los libros con ISBN

http://dialnet.unirioja.es

OTRAS ALTERNATIVAS…

Otras alternativas

Indice h de Hirschhttp://arxiv.org/abs/physics/0508025

índice h de Hirsch

Su cálculo es sencillo, consiste en ordenar los documentos de un

investigador en orden descendente de número de citas recibidas,

numerarlos e identificar el punto en el que el número de orden coincida

con el de citas

Jorge E. Hirsch , catedrático de física de la Universidad de California publicó a mediados de 2005 un trabajo donde proponía un nuevo y sencillo índice para evaluar la carrera de un investigador: el índice h (h-index).

Indice H

• Ventajas : El índice h permite evaluar en un solo indicador una medida de calidad y otra del impactode la producción científica.

• Inconvenientes : No permite comparar investigadores de diferentes áreas científicas

En este caso el índice h es 4. Al seguir la lista de los artículos, de mayor a menor citas, encontráis una línea verde horizontal que divide las citas. Es el último que tiene un número de citas igual o superior a su ordinal

Elsevier

SCOPUShttp://www.scopus.com/scopus/home.url

http://www.scimagojr.com/

Félix Moya-AnegónCSIC Research ProfessorInstituto de Políticas y Bienes Públicos (IPP) - Centro de Ciencias Humanas y Sociales Consejo Superior de Investigaciones Científicas - CSICUnidad Asociada Grupo SCImagofelix@ugr.es | Felix.deMoya@cchs.csic.es | felix@ugr.csic.eswww.ugr.es/~felix | www.iesam.csic.es/Pi-esp/moya_felix.html

SCImago Journal & Country Rank un indicador alternativo al factor de impacto , que basa su funcionamiento en el algoritmo PageRank .

Es un portal que incluye las revistas científicas y los indicadores científicos por PAISES

Cobertura Scopus ® a partir de 1996.

El acceso a este índice es gratuito

Factores que incluye SJR

El índice H

Número total de citas por revista

Número total de documentos revista

Número de citas por documento

Es un índice más pondera incluye 4 factores respecto a ISi que incluye 2

CálculoIndicador que expresa el número de enlaces que recibe una revista a través de la citación ponderada de sus documentos en relación con el número de documentos publicados durante el año por cada publicación

Permite hacer un ránking por países "Country indicators”

• SCImago ha desarrollador The Atlas of Science projectconseguir una representación gráfica de la investigación científica

SJR revistas Educación

SJR Revistas Educación españolas

Mapas científicos por PaísesSPAIN

RESH: Revistas Españolas de Ciencias Sociales y Hum anas

http://resh.cindoc.csic.es/index.php

• Podemos encontrar el índice de impacto de las Revistas españolas de Ciencias Socaiales y Humanas.

• Se trata de un Portal libre elaborado por el CINDOC (CSIC)

• RESH, es el primer ranking multicriterio para las revistas españolas de Ciencias Sociales y Humanas

• Presenta en primer lugar los Índices de Citas correspondientes a los años 1999 al 2003 a través de los cuales puede valorarse el uso y la influencia de cada una de las revistas que aparecen citadas

Además, con el fin de establecer un "ranking" de las revistas de cada especialidad o área de conocimiento se ha procedido a ponderar otros criterios de calidad , tanto editoriales como de visibilidad internacional , que ofrecen una "valoración integrada" de cada una de estas revistas

http://www.citebase.org/

• Citebase es el principal resultado práctico de la iniciativa OpCit Project , desarrollada bajo la inspiración de Stevan Harnad y Tim Brody entre otros.

• Pertenece al género de los proveedores de servicios , en el mundo del acceso abierto (Basado en el protocolo OAI-PMH y Experimental

http://citeseer.ist.psu.edu/

Searching 767,558 documents.

La meta de CiteSeer eran la búsqueda y captura activa de documentos académicos y científicos en el WEB para ser indexados usando el método autónomo de análisis de citas; y así permitir las búsquedas por cita o por la clasificación de los documentos basado en el análisis de citas

Universidad Nacional Autónoma de MéxicoCoordinación de Humanidades

Humanindex

El Índice de Citas en Humanidades y Ciencias Social es (Humanindex)

Es un Sistema de Información Académica que tiene como finalidad identificar la producción científica generada en todas y cada una de las instituciones pertenecientes al Subsistema de Humanidades y Ciencias Sociales de esta Universidad, para de contribuir a una mayor difusión, impacto y visibilidad de esta producciónhttp://www.humanindex.unam.mx/humanindex/frm.home.php

Universidad Nacional Autónoma de MéxicoCoordinación de Humanidades

http://scholar.google.es/

A hombros de gigantes

Los Índices de Popularidad

Gestores de Referencias sociales

• Son gestores de referencias personales en la webque permiten compartir nuestras referencias a través de una red social

• La funcionalidad básica de estas herramientas es simple: cuando un investigador ve un documento en la Web que le interesa, pueden hacer clic en un botón que se instala en el navegador y tener un vínculo a este documento agregado a su colección personal en el gestor

• Es el caso del servicio CiteGeist donde nos aparecen los artículos mas populares subidos a Citeulike ordenados por cuántas veces son compartidas con el resto de investigadores.

• Parece razonable que si estoy trabajando sobre un tema y esa referencia ha sido compartida por centenas de investigadores especialistas en ese campo, ese documento será de obligado conocimiento . Al menos si no se trata de una medida de calidad sí lo es de popularidad.

Es el caso del servicio CiteGeistdonde nos aparecen los artículos mas populares

subidos a Citeulikeordenados por cuántas veces

son compartidas con el resto de investigadores

Índices de Popularidad

Hasta hace poco los servicios web que se han ocupado del tema de la calidad científica en el contexto Internet, como los casos de CiteSeer, o Google Scholar, se han centrado en las citas, que es el indicador estándar de la calidad

Sin embargo…. “... es previsible que los índices de popularidad recogidos por los gestores de referencias sociales se conviertan en un factor tan importante como las citas para la evaluación de contenido científico”.

Taraborelli,

Índices de Popularidad

• Fundamentalmente porque las medidas de popularidad de los datos se extraen de la conducta natural de los usuarios , pues cuando recogen un artículo a su gestor personal es porque están interesados en leerlo, y no para que ese artículo mejore su popularidad

• Estos índices de popularidad al basarse en patrones de comportamiento en la utilización del servicio , tienen un valor más objetivo que el de votación -tipo Facebook- que está más sujeto a favoritismos, intereses y manipulaciones

Ver tambien

¿CÓMO CUMPLIMENTAR EL APARTADO "INDICIOS DECALIDAD" DE UNA PUBLICACIÓN CIENTÍFICA EN EL

MODELO DE CV? por Jesus Lopez Lucashttp://psi.usal.es/biblioteca/jcr.asp

Buscar evidencias científicas para la Acreditación

de calidad de la investigación

Julio Alonso ArévaloUniversidad de Salamanca

Correo-e: alar@usal.es