El rol de la evidencia científica en la innovación de las políticas de protección social

Ryan Cooper

Director Ejecutivo J-PAL

LAC

① ¿Cómo se produce evidencia?

② Valor de evidencia en Política: Ejemplo Oportunidades

③ ¿Por qué no se produce suficiente evidencia?

④ Soluciones Estructurales y Oportunidades

Agenda

①¿Cómo se produce evidencia?

Evidencia Causal

Muchas de las preguntas de política pública requieren encontrar relaciones de causa-efecto.

• ¿Cuál es el impacto de un programa de transferencias condicionadas en educación?

• ¿Cuál es el efecto de reducir el tamaño de clases en los puntajes de los estudiantes?

• ¿Cuál es el efecto del encarcelamiento en la reincidencia criminal?

Efecto de política A en

resultado BCuatro elementos importantes:

El problema y la población que presenta problema.

Resultado esperado (que mide resolución del

problema).

Política (programa, política, tratamiento, etc)

Punto referencia (Contrafactual).

¿Cómo estaría la población que presenta

el problema si no recibiera programa?

Tipo de Escuela Puntaje académico

Aporte Padres

Educación Padres Ingresos

Salud

Pre-Básica

-0.2

6.8

7.4

13.4

8.1

16.6

18.2

NO OBSERVABLES

Complejidad medir efecto causal

7

Resultados de población objetivo

Resultados que población objetivo hubiera obtenido si no

hubieran participado en el programa (hipotético)

IMPACTO (evidencia causal)

¿Cómo se produce evidencia?

Estimación del Contrafactual

10 días enfermo

20 días enfermo

Ya no podemos

identificar el impacto

=≠

¿Situación sin programa de individuo que recibe programa?

• ¿Estamos aislando el efecto del programa de otros elementos relevantes?

• ¿Estamos comparando manzanas con manzanas?

Estimación del Contrafactual

10

Tiempo

Ing

reso

s

Programa deTransferencias

T=0Inicio Programa

Estimación del Contrafactual

11

Tiempo

Ing

reso

s

Programa deTransferencias

T=0Inicio Programa

Impacto

Lo que hubiera pasado

Estimación del Contrafactual

12

Tiempo

Ing

reso

s

Programa deTransferencias

T=0Inicio Programa

Lo q

ue h

ubier

a

pasa

do Impacto

Estimación del Contrafactual

13

Evaluaciones experimentales– Grupos de control y tratamiento creados

aleatoriamente

– Muy confiables

Métodos no experimentales1. Participantes antes vs. Participantes después

2. Diferencia simple (participantes vs. no participantes)

3. Emparejamiento

4. Diferencias en diferencias (combina 1 y 2)

5. Variables instrumentales

6. Regresión discontinua

Estimación del Contrafactual

14

T

C

¿Cómo se produce evidencia?

②¿Valor evidencia. Ejemplo Oportunidades?

www.untechoparamipais.org

Expectativa rol evidencia en política

Eficiencia, Innovación y Democracia

Ejemplo Oportunidades

Valor de evidencia

17

Programas y

Políticas Sociales

Ideología• Propia• Externa

Apoyo• Presupuesto• Político• Capacidad

Conocimiento• Evidencia• Experiencia• Personal• Colectiva

¿Cómo se hace política pública?

¿Por qué evaluar impacto?

18

• 3 problemas

Asignación presupuestaria coja

Innovación débil o nula

Política polarizada – Democracia frágil

¿Por qué evaluar un programa?

19

• ¿Qué pasaría si tuviéramos evidencia suficiente para contestar preguntas?

Asignación presupuestaria basada en evidencia

Innovación

Mejores procesos políticos

Expandir las intervenciones más costo-efectivas

Descubrimiento de nuevas ideas efectivas

Mayor costo de utilizar argumentos extremos y menor

polarización política

• Cambio estrategia combate a la pobreza.

• Fortalecer imapcto redistributivo de gasto público.

• Incentivar acumulación de Capital Humano en segmentos más pobres de población.

• Reforma profunda en México.

Oportunidades: El ejemplo

¿Qué fue lo que permitió el éxito del programa?

• Empoderamiento político.

• Apoyo externo del BID.

• Avalado por evidencia científica.

Oportunidades: El ejemplo

¿Rol de la evidencia en éxito?

• Dio sustentabilidad política al programa en el tiempo.

• Entregó información al mundo de efectividad innovación.

• A muy bajo costo político y financiero. – Político: Una vez que hay piloto, diseño experimental es

óptimo y trivial.– Financiero: (a) información bien público(b) Orden de magnitud de producción evidencia bajo en relación a producción de programa en escala.

Oportunidades: El ejemplo

Inicio

Gran Crecimiento en 10 años

La evaluación de impacto es útil también para probar pequeñas modificaciones

• Cambiar la estructura de un PTMC en Colombia pudo mejorar drásticamente el impacto del programa para un costo dado (Barrera-Osorio, Bertrand, Linden,

et al; 2011) – Postergar parte de las transferencias condicionadas a una

suma fija a la hora de reinscripción aumenta la inscripción sin disminuir la asistencia diaria.

– Incentivar la graduación en vez de incentivar sólo la asistencia ha demostrado ser particularmente eficaz.

• Transferencia Condicionada vs. No Condicionada. (Baird, Chirwa, Garfein, et.al.; 2011)

– Estimación del efecto relativo entre transferencias condicionadas y no condicionadas en Malawi.

③¿Por qué no se produce suficiente evidencia?

Diferencia abismal de evidencia en relación a las Ciencias Naturales

Medicina Ciencias sociales0

20000

40000

60000

80000

100000

120000

140000

160000

Número de evaluaciones de impacto experimentales

Algunas posibles causas de la sub-producción de evidencia

• Problemas de Agencia – Multiples agentes con intereses distintos

• Ilusión de Irrelevancia– Gran confianza al “sentido comun” y

sobreestimación de los costos

Algunas posibles causas de la sub-producción de evidencia

• Los tiempos de evaluación no siempre se ajustan a los ciclos políticos

• Evaluación vista como herramienta de control y no de aprendizaje

• Carácter de bien público de la información

4) ¿Soluciones estructurales y oportunidades?

31

Ideas estructurales

Promover mecanismos formales para institucionalizar el aprendizaje

Fomentar una cultura de evidencia y aprendizaje en el quehacer público

Empoderar a la ciudadanía para demandar evidencia en las políticas públicas

1.

2.

3.

32

Ideas oportunistas

Acercar a políticos con académicos

Aprovechar Pilotos

Facilitar el uso de evidencia

1.

2.

3.