Introducción Por qué evaluar Tipos de evaluación. Por qué... · ¿Qué es un buen programa? ......
50
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Transcript of Introducción Por qué evaluar Tipos de evaluación. Por qué... · ¿Qué es un buen programa? ......
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Clase 1 ¿Por qué evaluar impacto?
2
Ryan Cooper
@ryancooper_b
J-PAL LAC
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Horario Inicio Fin Miércoles 19 de marzo Jueves 20 de marzo Viernes 21 de marzo
8:30:00 8:45:00 Registro de participantes
8:45:00 9:00:00 Repaso del día anterior Repaso del día anterior
9:00:00 10:00:00 Bienvenida y palabras de introducción Clase 4
Evaluaciones Experimentales II: ¿Cómo implementarlas?
Caso de estudio 3: ¿Cómo aleatorizar?
10:00:00 10:30:00 Evaluación inicial de conocimientos CLAUDIA MARTÍNEZ PROFESORES AYUDANTES
10:30:00 10:45:00 Coffee Break
10:45:00 12:00:00
Clase 1 ¿Por qué evaluar impacto?
Caso de estudio 2: Identificando el contrafactual
Taller: Elaborando Términos de
Referencia
RYAN COOPER PROFESORES AYUDANTES THOMAS VARGAS
12:00:00 13:15:00
Clase 2 Midiendo efectos causales
Clase 5 Tamaño muestral y
poder estadístico
Clase 8 Aspectos operativos de una
evaluación de impacto
CLAUDIA MARTÍNEZ FRANCISCO GALLEGO NICOLE CARPENTIER
13:15:00 14:30:00 Almuerzo
14:30:00 15:45:00
Caso de estudio I: Teoría de Cambio
Clase 6 Amenazas y análisis
Clase 9 De la evidencia a la acción
PROFESORES AYUDANTES LEIGH LINDEN CLAUDIA MACÍAS
15:45:00 16:00:00 Coffee Break Evaluación final de conocimientos
16:00:00 17:15:00
Clase 3 Evaluaciones Experimentales I: ¿Por qué
hacerlas?
Clase 7 Evaluación de principio a fin Cierre de curso y entrega de
diplomas
FRANCISCO GALLEGO LEIGH LINDEN
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Objetivos
Después de esta sesión los participantes
serán capaces de:
Definir lo que es una evaluación de impacto.
Señalar el valor de la evaluación de impacto.
Distinguir entre evidencia descriptiva y
causal.
Identificar algunos criterios de evaluabilidad.
Saber cuándo evaluar impacto.
4
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Esquema de presentación
5
1. Introducción
2. ¿Por qué evaluar impacto?
3. Tipos de evaluación.
4. ¿Cuándo realizar evaluación de impacto?
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
6
1. Introducción
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
7
¿Qué programas implementar?
Piense en un programa o política que fue
implementado en su país.
¿Es un buen programa?
La gran pregunta: ¿Qué es un buen programa?
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Piense en un programa o política que fue implementado en en su país. ¿Es un buen programa?
A. Sí
B. No
C. No sé
8 A. B. C.
0% 0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
La gran pregunta
¿Es un buen programa?
Premisa: La mayoría de los programas sociales tienen
una intención genuina de mejorar las condiciones de
vida de la población participante.
Realidad: Generalmente es difícil saber.
9
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Cómo se hace política?
10
Programas y Políticas Sociales
Ideología
• Propia
• Externa
Apoyo
• Presupuesto
• Político
• Capacidad Conocimiento
• Evidencia
• Experiencia
• Personal
• Colectiva
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
11
Para obtener evidencia:
evaluar impacto.
Evaluación Evidencia Programas y
Políticas Sociales
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
12
2. ¿Por qué evaluar impacto?
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Por qué evaluar impacto?
A. Asignación
recursos.
B. Innovación.
C. Estabilidad política.
D. Las 3 anteriores.
A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿ Cuál de estos elementos le da más valor a la evaluación de impacto?
A. Transparencia y
Control
B. Innovación Social
C. Los 2 son valores
similarmente
importantes
A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Quién debería beneficiarse + de una evaluación de impacto?
A. Encargados del programa.
B. Autoridades de actual gobierno.
C. Autoridades de futuro gobierno.
D. Ciudadanos.
A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Por qué evaluar impacto?
Una buena evaluación puede ayudar a:
Identificar políticas costo efectivas;
Comparar Costo efectividad de componentes
Demostrar utilidad de nuevas ideas
Descubrir beneficios no planificados.
Descubrir efectos secundarios.
16
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Por qué evaluar impacto?
17
3 problemas
Asignación presupuestaria coja
Innovación débil o nula
Política polarizada – Democracia frágil
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Por qué evaluar un programa?
18
¿Qué pasaría si tuviéramos evidencia suficiente
para contestar preguntas?
Asignación presupuestaria basada en evidencia
Innovación
Mejores procesos políticos
Expandir las intervenciones más costo-efectivas
Descubrimiento de nuevas ideas efectivas
Mayor costo de utilizar argumentos extremos y menor
polarización política
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Cuánta evidencia tenemos?
19
57 evaluaciones de impacto experimentales
(RCTs) en Latinoamérica y el Caribe
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Efectivamente no hay evidencia?
20
RCTs en Ciencias Naturales: 709.963
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Medir impacto fuera del laboratorio es complejo
Confiabilidad del impacto estimado
Estrategia de identificación adecuada y bien
justificada.
• ¿Estamos aislando el efecto del programa de otros
elementos relevantes?
• ¿Estamos comparando manzanas con manzanas?
• ¿Cuál es la estrategia de identificación causal?
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Tipo de Escuela Puntaje académico
Aporte Padres
Educación Padres Ingresos
Salud
Pre-Básica
-0.2
6.8
7.4
13.4
8.1
16.6
18.2
NO OBSERVABLES
Medir impacto fuera del laboratorio es complejo
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Por qué tenemos tan poca evidencia?
23
Ciencias
naturales Diversos actores en las
ciencias sociales
Académicos
Tomadores de
decisiones /
Políticos
Implementadores
Problemas de agencia
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
24
3. Tipos de evaluación
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Tipos de evaluación
25
Evaluación
Evaluación de
Programas
Evaluación de Impacto
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Tipos de evaluación
26
Evaluación
Evaluación de
Programas
Evaluación de Impacto
Monitoreo
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Cuál es la diferencia entre Evaluación Impacto y Monitoreo? A. Ninguna. Son palabras
distintas para hablar de la
misma cosa.
B. El monitoreo describe, la
evaluación impacto
separa efecto causal.
C. El monitoreo es para la
gestión, la evaluación
para la rendición de
cuentas.
D. No sé.
E. Otro A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS
de impacto se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo, ¿cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
28
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Programa de Mejoramiento de Viviendas
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Implementado por TECHO, una ONG con
presencia en todo Latinoamérica.
El programa proporcionó viviendas mejoradas a
personas viviendo en asentamientos precarios.
Implementado por voluntarios jóvenes con la
ayuda de la comunidad beneficiada.
El programa de viviendas se implementó en
asentamientos en México, El Salvador y Uruguay
entre 2007 y 2010.
30
Programa: Mejoramiento de Viviendas
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
teoría,
podemos
resolver el
problema?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
31
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
TEORÍA,
podemos
resolver el
problema?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
32
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Programa: Mejoramiento de Viviendas
33
Necesidades Intervención Productos Resultados Intermedios
Impactos
Vivienda
básica:
Techo, piso,
muros,
privacidad.
Voluntarios
Materiales de
construcción
Viviendas
mejoradas
Mejor calidad
de vida
Salud física y
mental
Seguridad
contra el robo
Protección
contra la lluvia
Acumulación
de capital
Ambientes más
saludables
Mejores
oportunidades
de trabajo
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
teoría, podemos
resolver el
problema?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
34
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Proceso (y/o Resultados) vs. Impacto
Evaluación Procesos
1. Ojalá todo
2. Complejidad técnica baja
3. Rendición de Cuentas
4. Retroalimentación CP
5. Utilidad para proyecto
Evaluación de Impacto
1. Ser selectivo
2. Complejidad técnica alta
3. Conocimiento
4. Retroalimentación LP
5. Bien Público
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
teoría, podemos
resolver el
problema?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron de
impacto? ¿En
qué magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
36
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de impacto
Ahora que ya hemos construido las
viviendas y las hemos entregado a las
familias de los asentamientos…
¿Hemos terminado?
No, porque no sabemos cuál fue el
impacto, para las familias, de recibir las
viviendas.
¿Contribuyó el programa a la
calidad de vida, salud, empleo?
¿En qué magnitud?
37
Evaluación de Impacto
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
El impacto de un programa es la diferencia entre:
38
Los resultados que los
participantes del
programa obtienen.
V/S
¿ C ó m o m e d i r i m p a c t o ?
Contrafactual
Los resultados que esos
mismos participantes
hubieran obtenido si no
hubiesen participado en
el programa.
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de impacto: medir eficiencia
Las evaluaciones de impacto miden la contribución de un programa.
Puede responder las siguientes preguntas: ¿Cuál es el impacto del programa? (Magnitud)
¿Cuáles son los elementos o componentes más importante para producir ese impacto?
¿Cuál es la estrategia más efectiva o costo efectiva?
¿Deberíamos atacar un problema a la vez o a muchos simultáneamente?
¿Se pueden generalizar los resultados de una evaluación de una a otra?
¿Cuáles son los procesos fundamentales que generan cambios en resultados?
39
Evaluación de Impacto
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
En El Salvador, México y Uruguay, el programa mejora significativamente
la calidad de la vivienda en las siguientes áreas en relación al grupo de
control:
Número de cuartos: 5.78%***
Número de cuartos con pisos de
buena calidad: 41.33%***
Proporción de cuartos con
paredes de buena calidad:
50.09%***
Proporción de cuartos con
techos de buena calidad:
37.56%***
Proporción de cuartos con
ventana: 46.98%*** * Significativo al 10% ** Significativo al 5%
*** Significativo al 1%
Resultados
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
No se encontró impacto significativos en los siguientes
indicadores de inversiones para el mejoramiento de la
calidad de la vivienda:
Acceso a agua: -3.21%
Conexión eléctrica: -2.75%
Usa cocina de gas o querosene:
-7.62%
Tiene baño propio: -3.54%
* Significativo al 10% ** Significativo al 5%
*** Significativo al 1%
Resultados
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Cuando medimos el número de personas que recibieron una vivienda, ¿qué estamos evaluando?
A. El impacto
B. La necesidad
C. El proceso
D. El resultado
intermedio
A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Evaluación de
Necesidades
Evaluación Teórica de Programas
Evaluación de
Procesos
Evaluación de Impacto
Análisis Costo-
Efectividad
¿Cuál es el
problema?
¿Cuál es el
OBJETIVO del
Programa?
¿Cómo, en
teoría, podemos
resolver el
problema?
¿Las METAS se
cumplieron?
¿El programa
funciona como
fue planificado?
¿Los
OBJETIVOS se
cumplieron?
¿En qué
magnitud?
Dadas la magnitud
y el costo ¿Cómo
se compara este
programa con
otras alternativas?
Componentes de una evaluación
43
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Análisis Costo-Efectividad
Análisis Costo-Efectividad (ACE):
Tomar el impacto de un programa y dividir
por el costo del programa, generando
estadísticas tales como: el número de casos
de diarrea prevenidos por dólar invertido.
44
Análisis Costo-
Efectividad
Ejemplo: TECHO
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Es un punto de
partida para
discusiones de
política pública
basadas en
evidencia.
45
10
The analysis shows that the cost-effectiveness of programs to in cr ease children’s ti me in sc hool
varies widely, with informational campaigns in the Dominican Republic and Madagascar and
school-based deworming in Kenya providing the greatest value for money among the programs
examined here. Both of these programs can be delivered inexpensively and cause large increases
in student attendance and enrollment. Programs that reduce the costs of schooling through
subsidies or provide incentives conditional on attendance also increase time in school, but at a
higher cost, and conditional cash transfer programs are not as cost-effective as a program to
Análisis Costo-Efectividad
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
46
4. ¿Cuándo realizar una evaluación de impacto?
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¿Cuándo realizar una evaluación de impacto?
A. Nunca.
B. Siempre.
C. La mayor parte de las veces.
D. ¿Cuando hay una pregunta de política
pública relevante sin respuesta?
E. Ninguna de las anteriores.
A. B. C. D.
0% 0%0%0%
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Cuando hay una pregunta causal sin respuesta
Cuando el programa está madura
Cuando hay es factible estimar el contrafactual
¿Cuándo evaluar impacto? Importance How to Components Example
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
Cuando la pregunta ya ha sido contestada.
Cuando el programa no está maduro.
Cuando no es factible estimar el contrafactual.
¿Cuándo NO evaluar el impacto de una política?
Importance How to Components Example
Cuándo evaluar Introducción Por qué evaluar Tipos de evaluación
¡Gracias!
Ryan Cooper
@ryancooper_b
J-PAL LAC
50
