8/18/2019 Evaluación de Impactos Sociales
1/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Impacto
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
2/36
1. Entender el contexto.
2. Tener una pregunta.
3. Diseñar tratamientos.
4. Diseñar la evaluación.
5. Implementar y evaluar procesos.
6. Levantar datos.
7. Medir Impacto.
8. Medir Costo-Efectividad.
Pasos Claves en una Evaluación
8/18/2019 Evaluación de Impactos Sociales
3/36
1. Entender el Contexto
- ¿Cómo mejorar la educación en contextosvulnerables?
- Es una de las preguntas de política pública más relevantes.
- Grandes esfuerzos en gasto público en Latinoamérica, conescasas mejoras en resultados educacionales.
- Dos miradas:
1. Sólo las intervenciones tempranas sirven.
2. Intervenciones tardías pueden funcionar.
– Algo de evidencia hay a favor de ambas miradas.
– ¿Puede ser que ambas miradas sean correctas?
8/18/2019 Evaluación de Impactos Sociales
4/36
1. Entender el Contexto
- Esta evaluación se mueve en la segunda de esasmiradas.
- De hecho, el Servicio País en Educación (SPE):
- Programa enfocado en 4° grado (~10 años).- Duración de 3 meses /15 sesiones.
- Enfoque en mejorar niveles de lectura.
- Durante el horario de clases (sustituye horas en el colegio)
8/18/2019 Evaluación de Impactos Sociales
5/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
La Pregunta
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
6/36
2. La Pregunta
- Es clave:
1. Pensar qué se quiere contestar con la evaluación.
2. Preguntarse sobre la relevancia de la pregunta.
3. Asegurar que la pregunta no haya sido contestada.
- Esta evaluación se plantea 3 preguntas:
1. ¿Puede el SPE mejorar las habilidades cognitivas y nocognitivas relacionadas con la lectura?
2. ¿Existe alguna relaciones entre estas habilidades?
3. ¿Qué tan costo-efectivo es el programa?
8/18/2019 Evaluación de Impactos Sociales
7/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Diseño Experimental
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
8/36
4. Diseño de la Evaluación
- Lo primero, ¿qué grupos incluir en la evaluación?
- Depende de la pregunta.
- En este caso, ¿Cuál es el impacto del SPE?
- Comparamos niños con SPE vs niños sin SPE.
TratamientoCon SPE
ControlSin SPE
8/18/2019 Evaluación de Impactos Sociales
9/36
• Luego, hay que terminar de diseñar laevaluación:
– Marco Muestral.
– Unidad de Aleatorización.
– Estratificación.
– Cálculo de Poder.
4. Diseño de la Intervención
8/18/2019 Evaluación de Impactos Sociales
10/36
4.1. Marco Muestral
- Se construye una lista de escuelas elegibles en base a los criterios de laFSP:
- Escuelas de bajo desempeño académico.
- 10 municipios en 2 regiones (RM y VIII).
- Dependencia de la escuela en algunos casos.
- Escuelas de 100+ alumnos en 4° grado o parejas de escuelas cercanas quesumen 100+ alumnos.
- Sólo se consideran en la evaluación escuelas que cumplan con todos estoscriterios.
- Se genera lista de reemplazo aleatoria, previendo no aceptación delprograma/evaluación.
- Se contactan escuelas con el apoyo del Ministerio de Educación.- Grupo control: se le ofrece un informe de resultados del colegio.
8/18/2019 Evaluación de Impactos Sociales
11/36
4.2. Unidad de Aleatorización
- ¿Cómo decidir a qué unidad aleatorizar?- El programa se implementa en 4° grado.
- Es díficil en la práctica excluir alumnos del programa en uncolegio en que esté se está implementando (Rieso deContaminación).
- Restricciones operativas de la FSP.
- Por ello, aparece como una opción idónea elaleatorizar a nivel de escuela.
8/18/2019 Evaluación de Impactos Sociales
12/36
4.3. Estratificación
- ¿Por qué variables estratificar?- Restriciones Operativas de la SPE: Estratificar por comuna
en que están las escuelas.
- Además:
- Estratificar por Nivel Socioeconómico de las escuelas.
- Estratificar por Desempeño educativo de las escuelas.
8/18/2019 Evaluación de Impactos Sociales
13/36
4.4. Aleatorización
- La aleatorización construyó la siguiente muestra:
8/18/2019 Evaluación de Impactos Sociales
14/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Instrumentos de Medición
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
15/36
4.5. Instrumentos de Medición
- ¿Cómo medir las variables de interés?- Usamos cuatro fuentes.
1. Comprensión Lectora y Producción de Textos (CL-PT):
– Usamos una prueba estandarizada que mide:• Comprensión de Lectura (RC)
• Uso de la Lengua (UL)
• Producción de Textos (TP).
– A estas las llamamos “habilidades cognitivas”.
8/18/2019 Evaluación de Impactos Sociales
16/36
4.5. Instrumentos de Medición
2. Gusto por la Lectura (GPL): – Construímos un instrumento nuevo en base a otros:
• Autopercepción como Lector (SPR).
• Disfrute pro la Lectura (ER).• Interés por la Lectura (IR).
• Percepciónd e la Lectura en la Escuela (PRS).
– A estas las llamamos “habilidades no cognitivas”.
3. Información de Procesos del programa.
4. Información administrativa del Ministerio deEducación.
8/18/2019 Evaluación de Impactos Sociales
17/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Balance Muestral
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
18/36
4.6. Balance entre Grupos
- Es relevante revisar estadísticamente si los grupos dela evaluación están balanceados.
- ¿En qué dimensiones?
- En todas las variables con que se cuente en la línea debase.
- ¿Entre que grupos?
- Puede ser relevante mostrar que los “desertores” son
iguales entre grupos.- En este caso la deserción fue considerable.
- Para otras subpoblaciones relevantes en el estudio.
8/18/2019 Evaluación de Impactos Sociales
19/36
i. Balance en Características de la Escuela:
8/18/2019 Evaluación de Impactos Sociales
20/36
ii. Balance en Características de los Estudiantes:
8/18/2019 Evaluación de Impactos Sociales
21/36
iii. Balance entre Desertores y No Desertores
8/18/2019 Evaluación de Impactos Sociales
22/36
iv. Balance en puntajes de Línea de Base:
- Los grupos muestran estar balanceados!
- La aleatoriazción hizo su trabajo.
8/18/2019 Evaluación de Impactos Sociales
23/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Implementación
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
24/36
- Es muy importante:
– Documentar.
– Obtener aprobación de Comité de Ética.
– Manuales de Campo exhaustivos.
– Entrenamientos exhaustivos.
– Monitorear la Intervención.
5. Implementar y Evaluar Procesos
8/18/2019 Evaluación de Impactos Sociales
25/36
- El monitoreo del SPE se basó en visitasaleatorias a las escuelas.
- Observación de Tutorías.
- Cuestionario a Tutores.
- Cuestionario a Profesores.
- Además, se recopiló información administrativade la FSP, de asistencia de alumnos y tutores.
5. Implementar y Evaluar Procesos
8/18/2019 Evaluación de Impactos Sociales
26/36
- Resultados del Monitoreo:
- Hubo mucha heterogeneidad en la implementación delprograma!
5. Implementar y Evaluar Procesos
8/18/2019 Evaluación de Impactos Sociales
27/36
- ¿Hay diferencias regionales?
- Si, y estadísticamente relevantes.- En la VIII región se implementó “mejor” que en la RM.
5. Implementar y Evaluar Procesos
8/18/2019 Evaluación de Impactos Sociales
28/36
- ¿Comparten los alumnos está mirada?
- Si, evalúan mejor el programa cuando:- Reciben más sesiones de tutorías.
- Reciben menos rotación de tutores.
5. Implementar y Evaluar Procesos
8/18/2019 Evaluación de Impactos Sociales
29/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Resultados
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
30/36
7.1. Resultados CL-PT
- Se observan ciertos impactos.- En Comprensión Lectora:
- Impacto promedio de 0.08s , pero sólo mg. significativo.
- Impacto de 0.18s sobre colegios de la VIII.
- Impacto de 0.12s sobre colegio vulnerables de la VIII.- En Uso de la Lengua:
- Impacto de 0.28s sobre colegios de la VIII.
- Impacto de 0.38s sobre colegio vulnerables de la VIII.
- La buena/mala implementación es relevante!
- Impactos focalizados en colegios vulnerables.
8/18/2019 Evaluación de Impactos Sociales
31/36
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Costo Efectividad
Francisco Gallego
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
8/18/2019 Evaluación de Impactos Sociales
32/36
8. Medir Costo-Efectividad
- Una línea en que las evaluaciones son útiles es paracomparar políticas.
- Cálculos de costo-efectividad ayudan a ello.
- Ponen impactos en una métrica común.
- Pero, tienen sus problemas:
- No consideran impactos sobre múltiples variables.- Se construyen sobre supuestos.
8/18/2019 Evaluación de Impactos Sociales
33/36
8.1. Resultados Costo-Efectividad
- Cálculos para el SPE
- Lo hacemos para distintas subpoblaciones decolegios.
8/18/2019 Evaluación de Impactos Sociales
34/36
8.2 Comparando Costo-Efectividad
8/18/2019 Evaluación de Impactos Sociales
35/36
8/18/2019 Evaluación de Impactos Sociales
36/36
Conclusiones Generales
- Evaluar impacto…
- Implica bastante trabajo.
- Exige el uso de recursos.
- Exige ser creativo- Y toma tiempo.
- Pero…
- ES POSIBLE Y ES UN DEBER ÉTICO HACERLO PORQUE…
- Genera evidencia relevante. Para…
- Avanzar en la “ciencia”
M j l d d i i l d
Top Related