La evaluación de las políticas públicas
65
[en] initiative for socio-economic analysis and knowledge [es] iniciativa para el análisis y el conocimiento socioeconómico [eu] ikerketa eta ezagutza sozioekonomikorako ekimena La evaluación de las políticas públicas Imanol Lizarraga Álvarez 8/6/2021 WORKSHOP 3, Sesión I: Fundamentos de la Evaluación II Ciclo de Workshops Observatorio de la Realidad Social
Transcript of La evaluación de las políticas públicas
[en] initiative for socio-economic analysis and knowledge[es] iniciativa para el análisis y el conocimiento socioeconómico[eu] ikerketa eta ezagutza sozioekonomikorako ekimena
La evaluación de las políticas públicas
Imanol Lizarraga Álvarez
8/6/2021
WORKSHOP 3, Sesión I: Fundamentos de la Evaluación
II Ciclo de Workshops Observatorio de la Realidad Social
La evaluación de las políticas públicas
¿Quién soy y por qué estoy aquí?
La evaluación de las políticas públicas
3
¿Qué hacemos en ISEAK?
La evaluación de las políticas públicas
4
¿En qué ámbitos?
5
La evaluación de las políticas públicas
Sesión IFundamentos de
la evaluación
Sesión IIDatos,
principio de causalidad y retos
Sesión III
Métodos de evaluación
y conclusiones
6
La evaluación de las políticas públicas
Sesión I
Fundamentos de la evaluación
7
Definición y objetivos
de la evaluación
La evaluación
integral
Enfoques de la
evaluación
Temas a tratar
8
Definición y objetivos
de la evaluación
La evaluación
integral
Enfoques de la
evaluación
Temas a tratar
¿De qué se habla cuando se habla
de evaluación?
9
10
La evaluación de las políticas públicas
1
1 Fuente: Real Academia Española de la Lengua, RAE
11
La evaluación de las políticas públicas
“La evaluación de políticas públicas es un proceso sistemático y razonado de
generación de conocimiento, a partir de la recopilación, análisis e interpretación de
información, encaminado a la compresión global de una intervención pública —sea
ésta una política, plan, programa o norma—, para alcanzar un juicio valorativo,
basado en evidencias, respecto de su diseño, puesta en práctica y efectos
(resultados e impactos)”
Ministerio de Política Territorial y Función Pública, Gobierno de España
12
La evaluación de las políticas públicas
Ministerio de Política Territorial y Función Pública, Gobierno de España
proceso sistemático
conocimiento
intervención pública
basado en evidencias
pertinencia
eficiencia
eficacia
metódico
creíbleútil
sostenibilidad
prioridades
recursos
rendición de cuentas
transparencia
OCDE Comisión Europea
13
La evaluación de las políticas públicas
Términos a conocer
Objetivos generales, específicos y operativos
Estrategia
Acciones
Relación lógica
Necesidades
Problemas sociales
Programas, políticas
Resultados
14
La evaluación de las políticas públicas
0
25000
50000
75000
100000
1900 1950 2000 2050 (?¿)
Cantidad de datos por año
(cualquier parecido con la realidades mera coincidencia)
15
La evaluación de las políticas públicas
Diseño Implementación Resultados Impacto
!"#$%&'()
*+,"$-$+.%&
/0)1")2$3.
Fases de la evaluación integral
16
La evaluación de las políticas públicas
Protagonistas de la evaluación
Decisores
Gestores
Evaluadores
Beneficiarios
Aconsejan
Participan y confían en el servicio público
Ofrecen buenos servicios públicosProveen información veraz
Ayudan a la ciudadaníaOfrecen la información
necesaria
17
La evaluación de las políticas públicas
Según el método de
investigación
Tipos de evaluación
Evaluación descriptiva
Evaluación analítica
Según quién evalúe
Evaluación interna
Evaluación externa
Evaluación mixta
18
La evaluación de las políticas públicas
Según la perspectiva
temporal
Tipos de evaluación
Evaluación ex ante
Evaluación intermedia
Evaluación ex post
EX ANTE
Fase de diseño yplanificación
INTERMEDIA
Fase de implementacióny seguimiento
EX POST
Fase posterior
19
La evaluación de las políticas públicas
Evaluabilidad de un programa, política o proyecto
Necesidades específicas
Objetivos concretos,
claros y realistas
Una relación lógica
Acciones, presupuesto,
personal
Seguimiento y control
Datos, datos, DATOS
20
La evaluación de las políticas públicas
Inversión en aprendizaje
Conocimiento útil
Beneficios de la evaluación
Mejor toma de decisiones
Mejora transparencia y rendición de
cuentas
Participación y motivación
Eficiencia y gestión
innovadora
21
Definición y objetivos
de la evaluación
La evaluación
integral
Enfoques de la
evaluación
Temas a tratar
22
Definición y objetivos
de la evaluación
La evaluación
integral
Enfoques de la
evaluación
Temas a tratar
El concepto central: la evaluación integral
23
24
La evaluación de las políticas públicas
Diseño y planificación
Implementación Resultados Impacto
EX ANTE INTERMEDIA EX POST
Fase de diseño yplanificación
Fase de implementacióny seguimiento Fase posterior
25
La evaluación de las políticas públicas
La importancia de los indicadores
Fase de diseño
Fase de implementación
Ejemplos.
• ¿A qué proporción de los potenciales beneficiarios se busca cubrir?
• ¿Están todos los grupos bien representados?
• ¿Cuánto dinero se estima será necesario gastar por cada participante?
Ejemplos. • ¿Se está gastando todo lo
presupuestado?
• ¿A cuántas personas se está llegando?
26
La evaluación de las políticas públicas
La importancia de los indicadores
Resultados
Impacto
Ejemplos.
• ¿Se están cumpliendo los objetivos iniciales?
• ¿Están los gestores y participantes satisfechos?
Ejemplos. • ¿Está mejorando el programa la situación
de los participantes y su entorno?
• ¿Hay efectos secundarios no esperados?
27
Evaluación de las políticas públicas
• Impacto • Contrafactual • Microsimulaciones
• Coste-Beneficio
• Gestión• Presupuesto• Eficacia• Cobertura
• Contexto• Pertinencia• Relevancia• Coherencia• Complementariedad
Diseño Implementación Resultados Impacto
• Eficiencia• Equidad• Satisfacción• Sostenibilidad
Evaluación de diseño (ex ante)
28
29
La evaluación de las políticas públicas
Contexto Pertinencia Relevancia Coherencia Complementariedad
Diversos indicadores complementarios a tener en cuenta:
Diseño Implementación Resultados Impacto
30
La evaluación de las políticas públicas
Análisis de contexto
Cómo funcionan los
mercados
DescriptivosPotenciales
participantes
Bibliografía académica
DAFO
31
La evaluación de las políticas públicas
Análisis de pertinencia
Objetivos
Necesidades y problemas
AccionesConsistencia
Información siempre actualizada
Combustible:
Requiere
32
La evaluación de las políticas públicas
Análisis de relevancia
Valora el papel de la política en el marco general en el que esta se desarrolla
¿Se prevé un impacto significativo?
Objetivo 1: identificar políticas con
mayor capacidad tractora
Objetivo 2: descartar políticas con alto
peso muerto
33
La evaluación de las políticas públicas
Análisis de coherencia
Analiza y contrasta la lógica de la intervención
Recursos monetarios
Recursos en personal
Objetivos y estrategia
Cadena lógica correcta
Impacto esperado
Resultados buscados
?
34
La evaluación de las políticas públicas
Análisis de complementariedad
¿Está la política en evaluación alineada con el resto de las políticas y
programas con los que se puede relacionar o que afectan a una misma
necesidad?
Comparación entre administraciones
Comparación entre regiones/países modelo
Detectar obstáculos y
sinergias con otras políticas
35
La evaluación de las políticas públicas
¿Qué aporta la evaluación de diseño?
La evaluación de diseño permite:
Corregir un mal diseño inicial
Reorientar objetivos Identificar puntos débiles
Evaluación de implementación (intermedia)
36
37
La evaluación de las políticas públicas
Diversos indicadores complementarios a tener en cuenta:
Análisis presupuestario
Análisis de gestión interna
Eficacia y cobertura
Diseño Implementación Resultados Impacto
38
La evaluación de las políticas públicas
Análisis de gestión interna
Estructura organizativa ágil y
efectiva
Barreras encontradas
Grado de implementación
Bases, convocatorias, documentos
Personal adecuado
39
La evaluación de las políticas públicas
Análisis presupuestario
Grado de ejecución del presupuesto
¿Está siendo suficiente el presupuesto asignado?
Distribución de recursos planeada
40
La evaluación de las políticas públicas
Análisis de eficacia
Grado de cumplimiento
V/0?
Evalúa el grado en que una medida alcanza los objetivos establecidos en un periodo
de tiempo con independencia de los costes.
<50%, bajo 50-80%, medio >80%, alto
41
La evaluación de las políticas públicas
Análisis de cobertura
Cobertura de objetivos
Evalúa el grado en que una medida alcanza a una parte o toda la población objetivo
del programa en cuestión.
Colectivos infra-
representados
Factores tras la participación
Escalabilidad
42
La evaluación de las políticas públicas
¿Qué aporta la evaluación de implementación?
La evaluación de implementación permite:
Corregir sobre la marcha
Reorientar presupuesto
o reasignar personal
Mejorar gestión interna y eficacia
43
La evaluación de las políticas públicas
Bonus track: la recogida de información
La recogida de toda la información posible durante la fase de implementación
será vital para las fases posteriores.
Para interesados: cómo planificar una buena recogida de información : Workshop Sesión II
Encuestas, cuestionarios,documentos internos
Bases de datosinformatizadas propias
Bases de datosadministrativas o de terceros
Preguntas, ruegos y cuestiones varias
44
Evaluación de resultados (ex post)
45
46
La evaluación de las políticas públicas
Diversos indicadores complementarios a tener en cuenta:
EficienciaEficacia Equidad
Diseño Implementación Resultados Impacto
Satisfacción Sostenibilidad
47
La evaluación de las políticas públicas
Análisis de eficacia
Objetivos del programa
Eficacia en implementación
Eficacia en resultados?
Se evalúa si se están logrando los objetivos iniciales:
• Evolución de indicadores clave
• Cobertura final
• ¿Se pueden atribuir los cambios a la política?
48
La evaluación de las políticas públicas
Análisis de eficiencia
Objetivos del programa
Eficiencia en implementación
Eficiencia global del programa
MENOS RECURSOS
Se evalúa si se están logrando los objetivos iniciales con la mayor eficiencia posible:
• Coste por unidad/inversión por unidad
• Análisis de estrategias alternativas
• Reasignación de presupuesto y personas entre diferentes tareas
49
La evaluación de las políticas públicas
Análisis de equidad y satisfacción
¿Se ha tratado de igual modo a los diferentes colectivos? ¿Ha sido olvidado algún grupo? ¿Han
tenido todos las mismas oportunidades?
Se deben evaluar las opiniones de participantes y gestores para conocer los puntos a mejorar.
50
La evaluación de las políticas públicas
Análisis de sostenibilidad
¿Es sostenible en el tiempo?
¿Se puede comprometer una parte estable del presupuesto a este fin?
¿Se puede comprometer una parte estable del personal a este fin? ¿Es un problema que se
mantendrá a medio/largo plazo?
Evaluación de impacto (ex post)
51
52
La evaluación de las políticas públicas
La evaluación de impacto trata de asignar y cuantificar determinados outcomes o resultados
a las acciones enmarcadas en la política o programa
Diseño Implementación Resultados Impacto
Medir con exactitud y robustez el impacto del programa en la población objetivo
53
La evaluación de las políticas públicas
La evaluación de impacto
HipótesisDatos,
metodología, supuestos
Estimación de impacto
En la evaluación de impacto, se utilizan los datos disponibles del programa para estudiar las hipótesis,
relacionadas con los objetivos iniciales. Con datos suficientes y adecuados, se podrá estimar el impacto
de la política (o se probará su ausencia de impacto).
Contrafactuales
54
55
La evaluación de las políticas públicas
El contrafactual y los grupos de control
Sin embargo, surge un problema: ¿cómo saber cuál hubiera sido el resultado sin la política en cuestión?
Construyendo grupos de tratamiento y control
Grupo potencial Grupo
tratamiento
Grupo control
56
La evaluación de las políticas públicas
La evaluación de impacto
Out
put
10
12
14
16
18
Tiempot0 t1 t2 t3 t4
ImpactoTratamiento
Control
Contrafactual
57
La evaluación de las políticas públicas
Evaluaciones experimentales y
cuasi-experimentales
Evaluación experimental
Evaluación cuasi-
experimental
Selección aleatoria de participantes
Grupos de tratamiento y control aleatorios
Supuesto suave: misma distribución de características
Selección inmoral o imposible
Grupos de control no aleatorizados
Supuestos más restrictivos: sesgo de selección
58
La evaluación de las políticas públicas
Métodos cuasi-experimentales
Matching o emparejamiento
Regresión discontinua
Criterio deelegibilidad
Diff in diff
Ejemplo
59
Evaluación del contrato en prácticas
Microsimulaciones
60
Sesión II Workshop
61
La evaluación de las políticas públicas
Análisis de coste-beneficio
Costes Beneficios
¿Se justifica la política en cuestión
teniendo en cuenta los costes derivados
de la gestión, el personal y el presupuesto
y los beneficios cuantificados?
62
Definición y objetivos
de la evaluación
La evaluación
integral
Enfoques de la
evaluación
Temas a tratar
63
La evaluación de las políticas públicas
Cuantitativo Cualitativo
Análisis objetivo Análisis subjetivo
Análisis de datos/ estadístico Recoge aspectos no cuantificables
Bases de datos Entrevistas con los sujetos de estudio
Resultados extrapolables y replicables Resultados no extrapolables
Preguntas específicas Perspectiva holística
Tipos de análisis
Muchas gracias
por su atención
64
65
initiative for socio-economic analysis and knowledge
www.iseak.eu
@iseak_eu
