SISTEMA DE INDICADORES PARA LA EVALUACIÓN DE LA

ESTRATEGIA DE CULTURA Y DESARROLLO

TÉCNICAS CUANTITATIVAS, ECONOMÍA DE LA CULTURA Y DESARROLLOValencia, 1 al 5 de julio de 2013

CONTENIDO

Introducción.

Implementación de la técnica Delphi.

Selección de indicadores.

Sistema Básico de Indicadores para la evaluación y elseguimiento de la ECD.

Implementación de la técnica Delphi.

Selección de indicadores.

INTRODUCCIÓN

El Documento de Estrategia Sectorial-Cultura y Desarrollo (DES-C)(AECID, 207)Línea Estratégica Objetivo principal

FormaciónFormación de capital humano para la gestión cultural con énfasis en proyectos de cultura y desarrollo.

Política Dimensión política de la cultura en su contribución al desarrollo.

Economía Dimensión económica de la cultura en su contribución al desarrollo.

Educación Relación y complementariedad entre Educación y Cultura.

Patrimonio Gestión sostenible del Patrimonio Cultural para el desarrollo.

Comunicación Relaciones entre Comunicación y Cultura con impacto en el desarrollo.

Derechos Culturales

Impulso a los procesos de reconocimiento de los Derechos Culturales.

INTRODUCCIÓN

Año 2007. La AECID promueve un proceso de construcción de indicadores para evaluar la implementación de la ECD.Año 2009. Cómo evaluar proyectos de cultura para el desarrollo (AECID, 2009).

Diseño de una metodología de trabajo para la creación de indicadores de evaluación y la definición de un total de 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo implementadas en el marco de la ECD.

Años 2009-2010. Continuó el proceso de diseño de un sistema de indicadores.

INTRODUCCIÓN

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Linston y Turoff (1975) definen la técnica Delphi “as a method for structuring a group communication process so that the process is effective in allowing a group of individuals, as a whole, to deal with a complex problem”.Anonimato de los participantes. Ningún miembro del panel de expertos debe conocer quiénes son los otros integrantes del grupo.

Iteración y realimentación controlada. se consigue al presentar en sucesivas rondas el mismo cuestionario. Respuesta del grupo en forma estadística. En la respuesta final debe estar representada la opinión de todos y cada uno de los participantes y no sólo el punto de vista de la mayoría.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Fase final: estuvo orientada al tratamiento y análisis estadístico de la información recopilada y la realización de un informe final.

Fase inicial: se formó el equipo encargado de la coordinación y supervisión del Delphi, se definió claramente el contexto y objetivo de la investigación, se seleccionaron los expertos y se confeccionó el catálogo de indicadores a someter a la evaluación. Fase exploratoria: comprendió el diseño de los diferentes cuestionarios a implementar en las sucesivas rondas, el seguimiento de su cumplimentación por parte de los participantes y el análisis de los resultados obtenidos en cada una de las rondas.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

El Delphi es, en esencia, “a series of sequential questionnaires or ‘rounds’, interspersed by controlled feedback, that seek to gain the most reliable consensus of opinion of a group of experts” (Powell, 2003).

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Dificultades encontradas en el proceso:

• Catálogo de indicadores a evaluar:

• Elevado número de indicadores a evaluar por cada experto. Puede afectar a la tasa de respuesta.

• Uso de una herramienta que:

• Permitiese manejar eficiente una gran cantidad de datos

• Facilitase su posterior tratamiento.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Diseño de cuestionarios online mediante LimeSurvey.Proporcionó las herramientas necesarias para realizar un seguimiento individualizado de la cumplimentación de los cuestionarios.

Inactividad:

• Email a los expertos invitando a participar.

• Email personalizado recordando el objetivo del proyecto.

• Llamada telefónica para conocer los motivos de la no participación (sobrecarga de trabajo, extensión del cuestionario).

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

(i) indicadores procedentes de estadísticas publicadas por las Oficinas de Estadística y Ministerios de Cultura de los países socios de la cooperación española

(ii)indicadores construidos a partir de variables relevantes recogidas en la Memoria de Actividades de la Dirección General de Relaciones Culturales y Científicas.

El catálogo final de indicadores culturales que se somete a la evaluación de los expertos estuvo formado por un total de 508 indicadores.

Catálogo inicial: 312 indicadores culturales para la evaluación de las acciones de cultura y desarrollo.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Línea estratégica Número de expertosFormación 18Política 17Economía 17Educación 19Patrimonio 16Comunicación 17Derechos Culturales 12

Panel de expertos: Responsables de proyectos, directores y técnicos de los CEE, técnicos y directores de cultura de la DRCC, técnicos de la Dirección General de Planificación y Evaluación de Políticas de Desarrollo, expertos participantes en la primera etapa del proyecto, consultores independientes y universidades.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Rondas Delphi:

La recopilación de datos se realizó mediante la cumplimentación de cuestionarios online diseñados con LimeSurvey.

Cada indicador se evaluaba en una escala Likert de 7 puntos en base a tres criterios:

Relevancia, Especificidad, Factibilidad

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Relevancia: Grado de importancia y utilidad que tiene el indicador para medir potencialmente el fenómeno observado, posibilitando la toma de decisiones por parte del usuario.

Especifidad: En qué medida la variación del indicador responde efectivamente a variaciones del fenómeno que se desea monitorizar y minimiza el efecto de factores exógenos en su variación.Factibilidad: Posibilidad de fijar un valor deseado para el indicador, es decir, en qué medida es posible asignar un objetivo cuantificable basado en el indicador evaluado.

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Se realizaron dos rondas:

Ronda 1. Duración de 3 semanas. Tasa respuesta: 70,69%.

Ronda 2. Duración de 6 semanas.

• Cuestionarios, personalizados para cada experto

• Mantener la evaluación realizada en la ronda anterior

• Mostrar las principales medidas estadísticas (mediana y recorrido intercuartílico) de los resultados globales

• Permitir al experto mantener o modificar su valoración inicial al comparar ésta con la información estadística facilitada acerca de la respuesta del conjunto de expertos

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

IMPLEMENTACIÓN DE LA TÉCNICA DELPHI

Línea estratégicaCuestionarios

cumplimentadosTasa de

respuestaFormación 11 90%Política 12 100%Economía 9 75%Educación 10 77%Patrimonio 8 80%Comunicación 13 81%Derechos Culturales

11 100%

Total 74 86%

Tasa de respuesta respecto del total: 63,38%.

SELECCIÓN DE INDICADORES

La aproximación metodológica al análisis de resultados del Delphi para la selección de indicadores que definirán el Sistema Básico se ha fundamentado en:

• La tipología de los indicadores.

• La definición de un índice sintético de operatividad relativa.

SELECCIÓN DE INDICADORES

Tipología de los indicadores

Strategic goals

Main goals

Specific goals

Activities

Operacional goals

Stra

tegi

c Sy

stem

B

asic

Sys

tem

Context

Inputs

Processes

Medium-term results

CIPP

Man

agem

ent

Res

ults

Mon

itori

ng E

valu

atio

n

PL

AN

NIN

G

Techical proposals

Policy Long-term results

LFA

Effects

Impact

Resources

Products (Short-term

results)

Activities

Purposes

Components

SELECCIÓN DE INDICADORES

Tipología de los indicadores del Sistema BásicoIndicadores de recursos: permiten conocer la

naturaleza y cuantía de los factores que directa o indirectamente se utilizan para llevar a término una intervención para alcanzar el propósito especificado en el proyecto.Indicadores de proceso: permiten medir la realización de acciones, procesos, actividades o actuaciones programadas a partir de los recursos disponibles. Indicadores de producto: aportan información acerca de la cantidad y calidad de producto, bienes o servicios que se generan a partir de las actividades programadas, los procesos realizados o las acciones implementadas.

SELECCIÓN DE INDICADORES

Índice de operatividad relativo

IOR(Ij) = (wR Rj + wE Ej + wF Fj)

Para un indicador cualquiera del sistema, denotado por Ij, la formulación general del índice de operatividad relativa IOR(Ij) puede escribirse como:

Determinación de las ponderaciones:

• Análisis Multivariante.

• Pesos fijos para cada criterio basado en el valor modal dado por los expertos.

SISTEMA BÁSICO DE INDICADORES PARA LA EVALUACIÓN Y EL SEGUIMIENTO DE LA ECD.

Restricción:

Todas las acciones prioritarias incluidas en las diversas líneas estratégicas consideradas aporten indicadores a la selección.

Selección de indicadores basada no sólo en el valor del IOR sino también, específicamente, en las puntuaciones asignadas por los expertos con respecto al criterio de factibilidad

Establecimiento de un valor mínimo o umbral de factibilidad diferente por actuación prioritaria que delimita qué indicadores son los más factibles.

SISTEMA BÁSICO DE INDICADORES PARA LA EVALUACIÓN Y EL SEGUIMIENTO DE LA ECD.

El umbral de factibilidad, que es específico para cada actuación prioritaria, se define de manera que permita retener al menos dos indicadores entre los correspondientes a cada actuación prioritaria.

Actuación

prioritaria

Factibilidad promedio Umbral

defactibilid

ad

Númeroindicador

esMáximo Mínimo

AP-1 5,45 3,90 5,2 2

AP-2 5,45 3,90 5,2 2AP-3 5,27 3,90 5,1 2AP-4 5,09 4,27 4,9 2

Umbrales de factibilidad en la línea estratégica: Derechos Culturales.

SISTEMA BÁSICO DE INDICADORES PARA LA EVALUACIÓN Y EL SEGUIMIENTO DE LA ECD.

Para cada actuación prioritaria se seleccionan los dos indicadores con Índice de Operatividad

Relativo (IOR) más elevado entre aquellos que superan el umbral de factibilidad calculado para la

actuación prioritaria.

Sistema Básico de Seguimiento y EvaluaciónIntegrado por un total de 80 indicadores

SISTEMA BÁSICO DE INDICADORES PARA LA EVALUACIÓN Y EL SEGUIMIENTO DE LA ECD.

código Indicador IOR

B73 Variación porcentual de estudios realizados sobre legislación cultural que promueva el respeto de los derechos culturales

5,295

B74Variación porcentual de países socios cuyas autoridades participan oficialmente en foros internacionales vinculados con los derechos culturales 5,114

B75Variación porcentual de organizaciones del tercer sector dedicadas a la planificación, gestión y difusión de la cultura como instrumento de promoción del desarrollo sostenible 5,682

B76 Variación porcentual de poblaciones menores de 50.000 habitantes, beneficiarias de planes de equipamiento cultural en países socios

5,250

B77 Variación porcentual de convenios comerciales internacionales firmados por las autoridades españolas respetuosos con la convención para la diversidad cultural

4,995

B78Variación porcentual de convenios y tratados comerciales firmados por las autoridades de los países en los que se ha intervenido que recogen explícitamente la convención para la diversidad cultural 5,341

B79Variación porcentual de acciones para garantizar la igualdad de oportunidades en la participación en la vida cultural y asegurar la libertad de expresión y de comunicación, la acción cultural y la expresión de la creatividad

5,091

B80Variación porcentual de la presencia en Centros Culturales de formas y expresiones no convencionales de cultura cotidiana, vinculadas a culturas minoritarias y a grupos tradicionalmente excluidos de la sociedad

5,205

Se han descrito las principales acciones desarrolladas orientadas a la obtención de un Sistema Básico para el seguimiento y evaluación de la Estrategia en Cultura y Desarrollo de la Cooperación Española.

Este sistema, integrado por un total de 80 indicadores, se ha concebido como un instrumento práctico, manejable y selectivo atendiendo a los destinatarios potenciales del mismo, tanto responsables y técnicos que diseñan la estrategia como los agentes que participan en su implementación, incluyendo expresamente el personal de los Centros Culturales en el Exterior y de las Oficinas Técnicas de Cooperación.

CONCLUSIÓN.