DEA: Modelo Evaluacion SECABA

Evaluación de Calidad de Bibliotecas: Un Modelo y su Aplicación en Bibliotecas Jurídicas

Evaluación de Calidad de Bibliotecas:

Un Modelo y su Aplicación en

Bibliotecas Jurídicas

Diploma de Estudios Avanzados Departamento de Biblioteconomía y Documentación

Universidad de Granada

Septiembre 2007

Belén Ávila Fernández

Director: Dr. Enrique Herrera Viedma


PLANTEAMIENTO GENERAL

OBJETIVOSOBJETIVOS

• Desarrollar un modelo de evaluación de calidad que pueda aplicarse a bibliotecas especializadas jurídicas

• Aplicación de este modelo en la BTSJA y posteriormente en la Red de Bibliotecas Judiciales

• Implementación del modelo en la herramienta SECABA (parte subjetiva)

• Aplicación del modelo en la Biblioteca del TSJA (objetiva-subjetiva)

• Análisis de los resultados y Conclusiones Generales

• Estudio de los modelos y propuestas existentes sobre evaluación de calidad en bibliotecas

• Estudio del estado de la cuestión en el ámbito de las bibliotecas especializadas jurídicas

• Propuesta y definición de un modelo de evaluación de calidad de bibliotecas

METODOLOGÍAMETODOLOGÍA


MÉTODO: HACIA LA MODELIZACIÓN EN LA BIBLIOTECA


EVALUACIÓN DE CALIDAD EN BIBLIOTECAS

CALIDADCALIDAD• La calidad es una filosofía o una forma de gestión de servicios y

organizaciones que introduce el concepto de mejora continua y que afecta a todas las personas y a todos los procesos

• Sociedades desarrolladas + exigentes + demanda de servicios de calidad (ciudadanos / Administración)

• Bibliotecas deben responder a esta demanda. La Biblioteca será de calidad en la medida que responda a las necesidades informativas de sus usuarios.

• España solo bibliotecas universitarias están midiendo la calidad servicios (ANECA) recibir subvenciones de la Administración


MODELOS DE EVALUACIÓN DE CALIDADDos corrientesDos corrientes:: • Evaluación objetiva, basada en criterios cuantitativos: datos-

procesamiento-indicadores• Evaluación subjetiva, basada en criterios cualitativos: estudios de

satisfacción de usuarios

Nuestra propuesta: evaluación basada en ambos criterios

Clasificación de los Modelos de EvaluaciónClasificación de los Modelos de Evaluación::

Criterios objetivos Metacriterios (sintéticos)Criterios subjetivos Técnicas Benchmarking (localizar buenas prácticas)

Criterios digitales

Instituciones que trabajan en desarrollo de modelos de calidadInstituciones que trabajan en desarrollo de modelos de calidad: :


MODELOS DE EVALUACIÓN DE CALIDAD


EVALUACIÓN EN BIBLIOTECAS ESPECIALIZADAS

• En general, la evaluación y los procesos de gestión de calidad de bibliotecas especializadas no es una práctica habitual

• Escasez estudios (solo Biblioteca Corte Suprema Canadá)

Motivación para Evaluar BTSJAMotivación para Evaluar BTSJA:• Interés personal y profesional en

este campo

• 2001-2005: primeros intentos de evaluar la BTSJA

• 2006: colaboración con grupo SECABA; retomar estudios de doctorado; plantear una evaluación de la BTSJA basada modelo que definimos (indicadores, por primer vez, opinión de los usuarios)

Evaluaciones de la Biblioteca: 2001-2006


MODELO DE EVALUACIÓN QUE PROPONEMOS

Dos componentes relacionadosDos componentes relacionados:

• una base teórica: asumimos lo + interesente de los modelos analizados y fundamentalmente basándonos en los resultados obtenidos en nuestros trabajos de evaluación

• una aplicación práctica del modelo

que definimos en una biblioteca (en este caso en una especializada en derecho)

CaracterísticasCaracterísticas:

• Imbricación teoría-práctica

• Basado en criterios cuantitativos (evaluación objetiva a partir de indicadores de primer y segundo nivel)

• Basado en criterios cualitativos (estudios de satisfacción de usuarios)

• Modelo orientado a los usuarios

• Implementado con herramienta automática diseñada por SECABA

• Sea aplicable en su totalidad o en parte tanto en una biblioteca física-tradicional, como en una biblioteca virtual-digital


NUESTRO MODELO: ASPECTOS CUANTITATIVOS

• Lectura de la BIBLIOTECA como un SISTEMA:

• Indicadores para MEDIR los elementos de la biblioteca y sus relaciones

• Diseño y Cálculo de NUEVOS INDICADORES (Segundo Nivel)


EVALUACIÓN OBJETIVA: INDICADORES DE 1er NIVEL (1)

INDICADORES DE ENTRADA

• Euros por habitante para adquisiciones• Gasto por revista en papel suscrita• Gasto en personal por habitante• Volúmenes añadidos per cápita total

• Vol. añadidos a colección pc (Libros)• Vol. añadidos a colección pc (Revistas papel)• Vol. añadidos a colección pc (Revistas-e)



INDICADORES DE ENTIDAD

• Volúmenes per cápita• Volúmenes por habitante (Libros)• Volúmenes por habitante (Revistas papel)• Volúmenes por habitante (Revistas electrónicas)• Títulos de revistas por 100 habitantes

• Títulos de revistas (papel) por 100 habitantes• Títulos de revistas (electrónicas) por 100 habitantes

• Bases de datos por 100 habitantes• Tasa de crecimiento de la colección• Tasa de crecimiento de la colección papel• Tasa de crecimiento de la colección digital• Índice de profesionalidad• Habitantes por personal de la biblioteca



INDICADORES DE SALIDA

• Porcentaje de usos (Modo de acceso a la biblioteca)• Porcentaje de usos (Procedencia)• Media de artículos-e bajados por revistas-e• Circulación per cápita total

• Circulación por habitante – Papel• Circulación electrónica per cápita

• Artículos electrónicos bajados per cápita• Artículos electrónicos bajados per cápita – La Ley• Artículos electrónicos bajados per cápita – Westlaw-Aranzadi

• Circulación por trabajador• Tasa de rotación (Total de la colección)

• TR colección papel (Libros y volúmenes revistas papel)• TR colección digital (Volúmenes electrónicos)

• Porcentaje de circulación


EVALUACIÓN OBJETIVA: INDICADORES DE 2º NIVEL

INDICADORES DE SEGUNDO NIVEL

• Operatividad • Operatividad de la colección

• Operatividad del gasto para adquisiciones

• Esfuerzo (S)• Esfuerzo en circulación

• Esfuerzo del gasto para adquisiciones

• Formulación del Sistema

• Potencia del sistema P(Sis)


NUESTRO MODELO: ASPECTOS CUALITATIVOS

• Basado en LibQUALBasado en LibQUAL: : estándarestándar para medir el grado de satisfacción de para medir el grado de satisfacción de los usuarios con los servicios que ofrecen las bibliotecas; los usuarios con los servicios que ofrecen las bibliotecas; universalidaduniversalidad de la encuesta-de la encuesta-validaciónvalidación

• Permite conocer la AdecuaciónAdecuación: (A=valor observado – valor mínimo)• Permite conocer la SuperioridadSuperioridad: (S=valor observado – valor deseado)

Objetivos:Objetivos:• Fomentar una cultura de excelencia en la prestación del servicio bibliotecario.• Ayudar a las bibliotecas en el mejor conocimiento de lo que los usuarios

perciben como (servicios de) calidad• Recoger e interpretar retroalimentación de los usuarios a lo largo del tiempo. • Identificar las buenas prácticas en los servicios de bibliotecas.• Mejorar las destrezas analíticas de los bibliotecarios para interpretar y actuar

según datos.

• Planteamos una ADAPTACIÓN de LIBQUAL y su IMPLEMENTACIÓN en herramienta SECABA (tabula, procesa datos)

• Visualización gráfica de la información de LibQUAL es diseñada por SECABA • Nuevas mediciones DM-Score (Adecuación/Zona de Tolerancia)*100


ENCUESTA en BTSJA: VALOR AFECTIVO DEL SERVICIO

• Af 1: El personal le inspira confianza.

• Af 2: El personal le ofrece atención personalizada.

• Af 3: El personal es siempre amable.

• Af 4: El personal muestra buena disposición para responder a las preguntas planteadas.

• Af 5: El personal tiene conocimiento y es capaz de responder a las preguntas que se le formulan.

• Af 6: El personal es atento con las necesidades del usuario.

• Af 7: El personal comprende las necesidades de sus usuarios.

• Af 8: El personal manifiesta voluntad de ayudar a los usuarios.

• Af 9: El personal muestra fiabilidad en el tratamiento de los problemas del servicio manifestadas por los usuarios.


ENCUESTA en BTSJA: LA BIBLIOTECA COMO ESPACIO

• Es 1: El espacio de la biblioteca ayuda al estudio y al aprendizaje.

• Es 2: El espacio de la biblioteca es tranquilo para el trabajo individual.

• Es 3: El espacio de la biblioteca es un lugar confortable y acogedor.

• Es 4: El espacio de la biblioteca es un lugar para el estudio, el aprendizaje o la investigación.

• Es 5: Existen espacios colectivos para aprendizaje y estudio en grupo.


ENCUESTA en BTSJA: CONTROL DE LA INFORMACIÓN

• CI 1: El acceso a los recursos electrónicos es factible desde mi casa o despacho.

• CI 2: El sitio web de la biblioteca permite encontrar información por uno mismo.

• CI 3: Los materiales impresos de la biblioteca cubren las necesidades de información que tengo.

• CI 4: Los recursos digitales cubren las necesidades de información que tengo.

• CI 5: El equipamiento es moderno y me permite un acceso fácil a la información que necesito.

• CI 6: Los instrumentos para la recuperación de información (catálogos, bases de datos,...) son fáciles de usar y me permiten encontrar por mi mismo lo que busco.

• CI 7: Puedo acceder fácilmente a la información para usarla y procesarla en mis tareas.

• CI 8: Las revistas en versión electrónica y/o impresa cubren mis necesidades de información.


ENCUESTA en BTSJA: PREGUNTAS LOCALES

1. En su opinión, la información suministrada por la biblioteca a través de los Boletines Informativos Digitales (BID) es...

2. Cuando realiza una petición de información, ¿cree que la documentación que le proporciona la Biblioteca está…? actualizada y adecuada?

3. ¿Por qué prefiere usar el correo electrónico para hacer peticiones de información a la biblioteca?

4. ¿Qué tipo de información (recursos electrónicos) cree usted que debería suministrar la biblioteca?

5. ¿Qué revistas jurídicas considera de interés y le gustaría que la Biblioteca del TSJA tuviera suscripción?

6. ¿Es usuario/a de alguna otra Biblioteca Judicial?


IMPLEMENTACIÓN DEL MODELO en BTSJA – OBJETIVA (1)Resultados / Conclusiones

Correlación entre los S en entradas (adq.) y S en salidas (circu): 0.95


IMPLEMENTACIÓN DEL MODELO en BTSJA – OBJETIVA (2) Resultados / Conclusiones

• Representación: 4 espacios: mejor escenario Biblioteca C (-+)

• La razón del esfuerzo negativo en salidas (circulación) de la Biblioteca del TSJA, lo explicamos por el esfuerzo negativo en entradas (adquisiciones). Si las adquisiciones pasaran a tener esfuerzo positivo, nuestra predicción sería que el esfuerzo en circulación también pasaría a ser positivo.


IMPLEMENTACIÓN DEL MODELO en BTSJA – OBJETIVA (3) Resultados / Conclusiones

• Biblioteca C sistema sin potencia • Biblioteca TSJA sistema con potencia • Biblioteca B sistema dispotente


IMPLEMENTACIÓN DEL MODELO en BTSJA – SUBJETIVA (1)Resultados Generales

•Los usuarios de la BTSJA valoran positivamente el servicio, es decir, están satisfechos con el servicio que les ofrece la biblioteca.

•AdecuaciónAdecuación en tres dimensiones.

•Sorprende que el servicio genere SuperioridadSuperioridad en la dimensión Valor Afectivo (0.34). Valor observado por los usuarios está por encima de lo que desea, es decir lo observado supera sus expectativas.


IMPLEMENTACIÓN DEL MODELO en BTSJA – SUBJETIVA (2) Resultados Tipología de Usuarios

Resultados HOMBRES Resultados MUJERES


CONCLUSIONES GENERALES – Modelo de Biblioteca

La Biblioteca es Modelizable…La Biblioteca es Modelizable…

• La correlación obtenida entre el esfuerzo en adquisiciones y el esfuerzo en circulación, es decir, que las salidas de los sistemas se ven afectadas por las entradas que recibe, nos reafirma en nuestra idea de que la biblioteca es modelizablemodelizable.

• En evaluación subjetiva hay correlación entre el Valor Afectivo del Servicio con el Control de la Información. Estas dos variables están relacionadas, y que de nuevo el incremento o decrecimiento de una afecta al incremento o decrecimiento de la otra. Esta conclusión confirma, al igual que la anterior conclusión, que la biblioteca es modelizablemodelizable.


CONCLUSIONES GENERALES – Modelo Evaluación (1)

Sobre aplicación del Modelo en la BTSJA…Sobre aplicación del Modelo en la BTSJA…

• Comparando con evaluaciones anteriores, la APLICACIÓN del MODELO en la BTSJA ofrece una evaluación más consistente, tiene más resolución, refleja con más transparencia y coherencia el objeto de estudio

• COHERENCIA entre las conclusiones objetivas y subjetivas (potencia-superioridad). La evaluación objetiva y subjetiva no son excluyentes.

• La BTSJA es eficiente, a pesar de que el entorno (Administración) no esta proporcionando suficiente alimentación o entradas al sistema. El entorno no está ahora mismo favoreciendo al sistema.

• La gestión de la Red de Bibliotecas Judiciales deja mucho que desear


CONCLUSIONES GENERALES – Modelo Evaluación (2)

Sobre el Modelo que planteamos…Sobre el Modelo que planteamos…

• El MODELO que presentamos ES VÁLIDOVÁLIDO (da información, localiza puntos fuertes y débiles, buenas prácticas, etc.) pero todavía incompleto y, por tanto, MEJORABLE.

• La Red de Bibliotecas Judiciales creemos que debe dar ya el salto hacia la calidad (innovación, servicios orientados a los usuarios, funcionamiento por objetivos, búsquedas de buenas prácticas, asignación de entradas con fundamento, etc.).

• Puesto que esta experiencia ha sido exitosa en la aplicación en una biblioteca de la Red de Bibliotecas Judiciales del CGPJ, pensamos que se puede extrapolar a la totalidad de la redse puede extrapolar a la totalidad de la red.


Evaluación de Calidad de Bibliotecas:

Un Modelo y su Aplicación Práctica

en una Biblioteca Jurídica

Diploma de Estudios Avanzados Departamento de Biblioteconomía y Documentación

Universidad de Granada

Septiembre 2007

Belén Ávila Fernández

Director: Dr. Enrique Herrera Viedma

DEA: Modelo Evaluacion SECABA

Education

Transcript of DEA: Modelo Evaluacion SECABA