Concentrando esfuerzos en escuelas de bajo rendimiento: estimación del impacto

a partir de un diseño cuasi-experimentalFelipe Barrera-Osorio

Sandra García

Catherine Rodríguez

Fabio Sánchez

Mateo Arbeláez

Motivación• Hay dos tendencias globales en el sector educativo en países en

desarrollo:• Avances importantes en niveles de cobertura (especialmente para

educación primaria).

• Mejoras muy modestas, o inclusive nulas, en niveles de aprendizaje.

• Alrededor del mundo se han implementado intervenciones multinivel, que buscan mejorar la calidad de los colegios desde múltiples ángulos.

• En este análisis se estudiará el impacto de un programa de este tipo, Programa Todos a Aprender (PTA).

Intervenciones Multinivel• Son programas que tienen tres características similares:

1. Se concentran en escuelas de bajo rendimiento.2. Es una combinación de intervenciones al colegio y a los docentes. 3. Normalmente se concentran en la provisión de materiales educativos,

entrenamiento a los docentes y rehabilitación de la infraestructura.

• Snilstveit et al. (2015) es un meta-análisis de 10 estudios de intervenciones multinivel:• En promedio, las escuelas mejoraron sus resultados de matemáticas y

lenguaje en 0.16 y 0.04 desviaciones estándar, respectivamente. • Pero muy heterogéneos:

• Positivos en Chile (Bellei, 2011; Chayet al., 2005), Colombia (Rodríguez, Sánchez, & Armenta, 2010), Uruguay (Cerdan-Infantes & Vermeersch, 2007), y México rural (Paqueo & Lopez-Acevedo, 2003).

• No hubo effectos en Jamaica (Lockheed, Harris, & Jayasundera, 2010);• Efectos negativos en México (Paqueo & Lopez-Acevedo, 2003).

Programa Todos a Aprender (PTA)

• Objetivo: intervenir 3.000 colegios para mejorar los resultados de las Pruebas Saber 3 y 5 en lenguaje y matemáticas en un 25%.

• El programa se enfocó en 3 estrategias:

1. Entrega de materiales educativos - libros y evaluaciones.

2. Entrenamiento a docentes – tutores van a los respectivos colegios para observer y ayudar a los docentes a mejorar sus prácticas académicas.

3. Entrenamiento a rectores: no fue implementado.

Proceso de Selección de Colegios PTA• Etapa 1: el Ministerio de Educación seleccionó los colegios

más vulnerables con base en calidad y cobertura:• Calidad: bajo desempeño en las pruebas SABER o un porcentaje de

repitencia mayor a 4.6%.

• Cobertura: con deserción por encima de 3.8% o que hayan tenido disminución en matrículas entre 2009 y 2010.

• Etapa 2: La consultora McKinsey & Company seleccionó colegios buscando maximizar la costo-eficiencia del programa.

• Etapa 3: selección por Entidades Territoriales Certificadas.

Proceso de Selección de Colegios PTA

Etapa de Selección # de Colegios Porcentaje

Etapa 1 1,596 9.16%

Etapa 2 1,397 8.02%

Etapa 3 1,900 10.91%

Colegios no PTA 12,522 71.90%

Total 17,415

Datos

• Utilizamos 5 bases de datos en este análisis:

1. Sistema Integrado de Matricula (SIMAT) 2006-2015.

2. Resultados de SABER 3 y 5 de 2009 y 2014.

3. C-600 de 2009-2010.

4. Datos administrativos de PTA.

5. Encuesta realizada en 400 colegios (200 tratamiento y 200

de control) .

Metodología

1. Regresión Discontinua.• Aprovecha los cortes definidos en la selección de colegios PTA (deserción y

repitencia).

• Compara los colegios justo por encima y justo por debajo del corte.

2. Diferencias en Diferencias Emparejadas.• Utiliza características de los colegios para crear un grupo de control artificial similar

al de tratamiento.

• Estudia el cambio en los resultados para controlar por características no observables.

3. Emparejamiento en Bloques• Similar a DD Emparejadas pero se hace en bloques de colegios.

Salto en la Probabilidad (Deserción)

Condiciones Necesarias Para las Estimaciones

• Regresión Discontinua:• No manipulación (Test de McCrary).

• Similitud en características observables entre colegios alrededor del corte.

• Diferencias en Diferencias Emparejadas• Grupo de control artificial es similar al grupo de tratamiento en

todas las variables observadas.

• Emparejamiento en Bloques• Dentro de los bloques, grupo de control debe ser

similar al de tratamiento.

Resultados - RD

(1) (2) (3) (4) (5) (6)

Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3

PTA -0.008 0.025 -14.573 -35.060 -12.494 -43.694

(0.045) (0.049) (27.724) (27.006) (35.819) (35.253)

Observaciones 174 171 196 184 261 256

Resultados DD Emparejadas

(1) (2) (3) (4) (5) (6)

Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3

PTA 0.003 0.010*** -0.79 -2.45* -1.45 -1.31

(0.002) (0.003) (1.79) (1.35) (1.65) (1.59)

Observaciones 2,659 2,659 2,386 2,386 2,386 2,386

Emparejamiento en Bloques

(1) (2) (3) (4) (5) (6)

Deserción Repitencia Matemáticas 5 Lenguaje 5 Matemáticas 3 Lenguaje 3

PTA 0.004 0.013*** -0.493 -2.777 -2.302 -2.582

(0.003) (0.004) (2.281) (1.911) (1.766) (1.751)

Observaciones 2,659 2,659 2,386 2,386 2,239 2,230

Mecanismos• A partir de entrevistas y encuestas de análisis complementarios

se puede ver lo siguiente:

• Implementación Insuficiente: en promedio los docentes reportaron reunirse con los tutores 3 veces al año. No 4 veces al mes como había sido planeado.

• Diseño Deficiente: entrevistas a los docentes mostraron que no hubo una estructura clara en las actividades de los tutores.

• No Hubo Impacto en Resultados Intermedios: datos de observaciones de clase mostraron que las prácticas académicas de los docentes no cambiaron. (García et al. 2018).

Implementación del ProgramaPromedio o % Desviación Estándar

Número de visitas al año

2012 4.73 2.46

2013 6.22 1.39

2014 5.79 1.72

Número de encuentros personalizados con

tutores

2013 3.01 2.50

2014 2.56 2.36

Actividades realizadas por los tutores (%)

Asistencia planeación de clase 71 45

Observación de clase 58 49

Reflexión y retroalimentación 78 41

Clases teóricas 86 34

Clases modelo 54 50

Revisar resultados a partir de exámenes de

diagnóstico85 35

Revisar resultados a partir de resultados

SABER81 39

Conclusiones

• No hay evidencia para concluir que el programa PTA tuvo efectos de corto plazo en resultados de educación.

• Fallas en la implementación y en el diseño del programa parecen ser los mecanismos que explican la falta de resultados del programa.

• Importancia de la evaluación de impacto en la política pública: