Evaluación de Impacto

Luis Rubalcava

26 de Agosto de 2010

VI CONFERENCIA DE LA RED DE MONITOREO Y

EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE

2

¿Por qué evaluar?

• Necesidad saber qué funciona

– Presupuestos limitados

– Asignar el gasto bajo criterios objetivos de efectividad e impacto

• Mejorar la implementación del programa o política

– Mejorar programas o políticas (quién recibe, lo que recibe, diseño)

– Eliminar programas de bajo costo-efectividad

– Responsabilidad ética y compromiso con la sociedad

• La información es importante para la sustentabilidad

– Negociación del presupuesto

– Informar a la opinión pública

3

Evaluación de Impacto• ¿Qué beneficios trae el Programa a la población beneficiaria?

¿Cuáles son los beneficios positivos?

¿Cuales son los efectos no deseados?

• ¿Se puede mejorar el diseño del Programa o Política Pública?

¿Cuáles son los componentes/acciones del Programa que mayor impacto

generan?

¿Cómo se puede potencializar el Programa?

• ¿Es el Programa costo-efectivo?

¿Son los costos del Programa razonables de acuerdo a los beneficios que

ofrece a la población?

¿Existe algún otro diseño de Programa que pueda alcanzar lo mismos

beneficios a un menor costo?

Ejemplos

Programa Oportunidades

• ¿Cuántos niños dejan de ser desnutridos gracias al Programa

Oportunidades?

Programa Estancias Infantiles

• ¿Cuántas mujeres puede entrar a la fuerza de trabajo gracias al

Programa Estancias Infantiles?

Programa Seguro Popular

• ¿Cuánto ha evitado los gastos catastróficos por parte de los

hogares, el Programa del Seguro Popular?

La importancia de evaluar el impacto

vsreportar resultados o tendencias

Evaluar impacto vs resultados o tendencias

Seguro Popular: hogares beneficiarios por año (millones)

¿Es bueno el crecimiento de la cobertura?

Evaluar impacto vs resultados o tendencias

Fuente: Parker y Scott. An Evaluation of the Mexican Seguro Popular program: Work and Formal sector Participation, 2008.

Criterio: Pareamiento a nivel individual.

Diferencias en Diferencias

Tratamiento: Municipios 2002 – 2003

Control: Municipios 2004 – 2005

0

-12

-10

-8

-6

-4

-2

0

2

4

6

8

Afiliación IMSS (URBANO)

Capacidad para trabajar Gastos médicos

Impacto del Seguro Popular

La evolución del empleo informal, sector externo y Seguro Popular

Fuente: Arias, Azuara, Bernal, Heckman, Villarreal. Policies to Promote Growth and Economic Efficiency in Mexico. 2010. IZA DP No. 4740

Evaluar Impacto vs resultados o tendencias

• Barros (2009) no encuentra efecto del Seguro Popular sobre

Participación de la fuerza de trabajo

horas trabajadas de los beneficiarios1.

• Knox (2008) no encuentra un efecto del Seguro Popular sobre

tasas de empleo formal

horas y/o semanas trabajadas del jefe de hogar2.

1 Barros, Rodrigo (2009). "Wealthier but Not Much Healthier: Effects of a Major Health Insurance Program for the Poor in Mexico." Stanford University

2 Knox, Melissa (2008). "Health Insurance for All: An Evaluation of Mexico's Seguro Popular Program." Unpublished manuscript, Department of

Economics, University of California Berkley

-7.2 %

-17%

15 %

-20

-15

-10

-5

0

5

10

15

20

Prevalencia de anemia (48 a 59 meses)

Prevalencia de baja talla (24 a 71 meses)

Incremento en habilidades motoras (36 a

71 meses)

¨

P

r

o

p

o

r

c

i

ó

n

Fuente: “Evaluación externa de impacto del Programa Oportunidades 2001-2006”, Cruz, de la

Torre y Velázquez (Compiladores), INSP, 2006

Disminuye

Anemia

Disminuye

baja talla

Aumenta

habilidad

motora

Impacto de Oportunidades sobre acumulación de capital humano

Evaluación de Impacto: Pregunta central

Pregunta:

• ¿Qué hubiera pasado si no se hubiera tenido el

programa?

• Sin embargo, es una pregunta difícil de responder,

porque o se tiene o no se tiene el programa

12

¿Cómo se mide el impacto?

• El impacto del programa se mide a través de métodos estadísticos

que construyen un escenario contra-factual

• Qué habría pasado si no existiera el programa.

• Impacto estimado es la diferencia entre el

individuo/escuela/clínica/localidad beneficiada y su contra-factual.

• Construir el contra-factual es la clave en la evaluación de impacto

13

Qué se requiere

• Se necesita construir grupos de tratamiento (beneficiarios) y grupos de control que son comparables (contra-factual)

• Encontrar un diseño contra-factual implica que SOLAMENTE las diferencias restantes entre el grupo de tratamiento y control se pueden atribuir a la intervención.

14

Medición de ImpactoMétodos más usados:

• Métodos Aleatorios Contra-factual: Selección de grupos de control y tratamiento en forma aleatoria

• Matching o PareamientoContra-factual: Selección de grupos de control y tratamiento por características observables similares

• Regresión discontinuaContra-factual: Selección de grupos de control y tratamiento en base a un criterio o valor de corte definido ad- hoc que distingue a un grupo de otro pero sin ninguna relación con el efecto de la intervención

• Experimentos NaturalesContra-factual: Selección de grupos de control y tratamiento antes y después de un cambio no anticipado de política pública

ETAPA 3

ETAPA 4

ETAPA 2

ETAPA 1

Método de AleatorizaciónUn solo Universo

Selección

aleatoria

Control Tratamiento

APLICACIÓN DEL PROGRAMA

Control: SIN

Programa

Tratamiento:

CON Programa

ANÁLISIS DE

DIFERENCIAS

16

Diferencias en Diferencias

• Comparar cambios en los resultados entre el grupo de tratamiento y el grupo de control (contra-factuales)

• El impacto es la diferencia en el cambio de los resultados.

• Impacto = (Yt1-Yt0) - (Yc1-Yc0)

17

TiempoTratamiento

Indicador de

interés

Grupo de

Tratamiento

Grupo de Control

Efecto

Promedio

del

Programa

B

A

D

C

Consideraciones del Método de aleatorización

• Validez internaEl diseño de evaluación debe tener consistencia interna. El carácter aleatorio entre grupos de control y tratamiento debe respetarse durante todo el periodo de la evaluación.

Falla cuando se da una pérdida de controles y tratamiento a lo largo del tiempo.

Posibles causas: migración.; falta de compromiso de las autoridades de respetar el diseño.

• Validez externaLas características de la muestra que conforma los grupos de control y tratamiento debe ser representativa de las características de la población donde se implantará el Programa.

Pareamiento (Matching)

•Selecciona al grupo contra-factual en función de características similares observables en relación al grupo que recibe el beneficio del Programa (Edad, sexo, educación, localidad, ingreso etc.).

•Problema: estas características pueden ser el resultado de la presencia del programa y generar un sesgo de estimación

•La muestra de controles y tratamientos debe estar balanceada en cuanto a sus características que los hacen similares y la probabilidad de participar o no en el Programa.

20

Muestra balanceada

Density of scores for

participants

Density

0 1Propensity score

Region of

common

support

Densidad

Densidad de las puntuaciones de

participantes

Región de

soporte

común

Regresión discontinua

• Regresión discontinua

Contra-factual: Selección de grupos de control y tratamiento en base a un criterio o valor de corte definido ad- hoc que distingue a un grupo de otro pero sin ninguna relación con el efecto de la intervención.

Ejemplo:

Programa de nivelación académica.

El criterio de corte puede ser la calificación o resultado prueba enlace.

Los alumnos por debajo de calificación deficiente de acuerdo al criterio de corte entran en un programa de nivelación académica.

22

Control Tratamiento

Sin efecto

23

65

70

75

80

Outc

om

e

20 30 40 50 60 70 80Score

Regression Discontinuity Design - Post Intervention

IMPACTO

Con efecto

Control Tratamiento

Fuente: “Evaluación del programa Oportunidades. Impacto en el sector laboral y escolar”,

Teruel, Rubalcava, Parker y Bello, CONEVAL, 2009

-6 meses

4 %

-14 %

-3.5 hrs.

28 %

-15

-10

-5

0

5

10

15

20

25

30

Años de rezago escolar

Prueba de Raven Trabaja actualmente Hrs. Trabajadas a la semana

Pasar a secundaria vs abandonar la

escuela

Disminuye

trabajo

P

r

o

p

o

r

c

i

ó

n

Impacto de Oportunidades sobre acumulación de capital humano

Disminuye

rezago

escolar

Aumenta

habilidad

cognitiva Disminuye

horas

trabajadas

Aumenta

pasar a

secundaria

Conclusiones

• Las evaluaciones de impacto ayudan a distinguir las políticas públicas adecuadas de las no adecuadas.

• Dado los recursos públicos limitados frente a las carencias y/o necesidades de la población los hacedores de las políticas públicas del país tienen una responsabilidad ética de evaluar las políticas públicas.

• Los recursos que se destinan a la evaluación de políticas públicas no son recursos desperdiciados sino recursos bien invertidos.

• No hay evaluaciones exitosas sin una importante planeación previa a su implementación.