ESCUELAS PROMOTORAS · fortalecimiento del seguimiento de los estudiantes a través de un docente...
42
DIRECCIÓN DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA DIRECCION PROVINCIAL DE EVALUACION Y PLANEAMIENTO DIRECCIÓN GENERAL DE CULTURA Y EDUCACIÓN ESCUELAS PROMOTORAS Evaluación de Impacto Febrero 2019
Transcript of ESCUELAS PROMOTORAS · fortalecimiento del seguimiento de los estudiantes a través de un docente...
DIRECCIÓN DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA DIRECCION PROVINCIAL DE EVALUACION Y PLANEAMIENTO
DIRECCIÓN GENERAL DE CULTURA Y EDUCACIÓN
ESCUELAS PROMOTORAS
Evaluación de Impacto
Febrero 2019
2
Autoridades
Gobernadora de la Provincia de Buenos Aires Lic. María Eugenia Vidal
Jefe de Gabinete de Ministros Dr. Federico Salvai
Director General de Cultura y Educación Lic. Gabriel Sánchez Zinny
Subsecretario de Educación Lic. Sergio Siciliano
Directora Provincial de Evaluación y Planeamiento Mg. Agustina Blanco
Director de Información y Estadística
Mg. Jhonn Espinoza
Director de Evaluación e Investigación Educativa
Dr. Nicolás Garcette
Jefe de Gabinete Dirección Provincial de Evaluación y Planeamiento
Martin Nasiff
Coordinación General Dirección Provincial de Evaluación y Planeamiento
Laura Yuma
Equipo responsable del informe:
Coordinación:
Dr. Nicolas Garcette Director de Evaluación e Investigación Educativa
María José Romano Boscarino Ex Directora de Evaluación e Investigación Educativa
Diseño de la muestra: Mg. Jhonn Espinoza
Director de Información y Estadística
Recolección de la información estadística: Soledad Álvarez, Verónica Ardenghi, Yésica Benavidez, Marcela Braschi, Carla De la Concepción, Bárbara Cerrillo, Manuel Galli, Hernán Guajardo, Verónica López, Marisa Olivieri, Ezequiel Reginato, Eliana Sterkel, Gloria Segretin, Florencia Vallina.
Sistematización de los datos y análisis econométrico: Santiago Cerutti y Nicolás Saguí
3
Resumen ejecutivo
El programa de Escuelas Promotoras se inicia en el año 2018 como una prueba piloto de un
nuevo formato para la escuela secundaria. Hasta el momento se ha implementado sobre un
universo de 600 escuelas de la Provincia de Buenos Aires, 295 de gestión estatal y 305 de
gestión privada.
El programa se compone de los siguientes elementos: un proceso de articulación entre
niveles, la organización de una semana de recibimiento en la Escuela Secundaria, el
fortalecimiento del seguimiento de los estudiantes a través de un docente de la institución,
denominado Profesor Acompañante de Trayectoria (PAT), un trabajo pedagógico
institucional que consiste en el desarrollo de una propuesta de prácticas pedagógicas a partir
de “saberes integrados”, y una evaluación colegiada. La implementación comienza por el
primer año de la educación secundaria básica y culmina en el tercer año acompañando a la
cohorte 2018.
Ese programa apunta a disminuir las tasas de repitencia y abandono escolar, incrementar la
terminalidad/graduación, aportar al clima escolar general y mejorar los aprendizajes de los
estudiantes del nivel secundario.
En este informe se presenta evidencia empírica acerca de los resultados del programa sobre
el último punto mencionado: a partir de una evaluación de impacto, se midieron los efectos
del programa sobre el desempeño escolar y las habilidades cognitivas de los estudiantes.
Para lograr lo anterior, se planteó un diseño cuasi-experimental que implicó la elaboración
de una prueba de aprendizajes y un cuadernillo complementario. Estos fueron aplicados a
un grupo de Escuelas Promotoras (grupo de tratamiento) y a un conjunto de escuelas que
aún no han sido alcanzadas por el programa (grupo de control), en dos ocasiones diferentes
a lo largo del año (abril y noviembre).
Esa muestra fue seleccionada a partir de un universo delimitado según indicadores de
eficiencia interna y aprendizaje. De las 600 escuelas de la provincia de Buenos Aires en donde
se ha implementado el programa, se determinó concentrar el estudio en escuelas de gestión
estatal pertenecientes al conurbano. La muestra final seleccionada consistió en una sección
del primer año de secundaria por escuela para un total de 92 escuelas estatales del
conurbano bonaerense. Dichos establecimientos se dividen en: 46 Escuelas Promotoras
(grupo de tratamiento) y 46 escuelas que aún no han implementado dicho programa (grupo
de control).
A partir de la información recolectada, se desarrollaron dos tipos de análisis: a) un modelo
econométrico que permite estimar la variación en la diferencia entre las respuestas correctas
4
de cada grupo, atribuible únicamente a la aplicación del programa; b) la estimación de
variaciones en los niveles de desempeños, construyendo categorías que permitan incluir el
nivel de dificultad de las preguntas en el análisis.
Los resultados obtenidos pueden resumirse en los siguientes puntos:
El programa ha generado un efecto positivo y estadísticamente significativo sobre el
desempeño en matemática, medido en términos de cantidad de respuestas correctas
en la prueba de aprendizaje. La diferencia de respuestas correctas entre los grupos
de tratamiento y control aumentó, en promedio, un 7% en favor de los alumnos de
las escuelas promotoras.
El programa no ha generado efectos estadísticamente significativos sobre el
desempeño en lengua, medido en términos de cantidad de respuestas correctas en
la prueba de aprendizaje.
Al introducir las variables psicométricas de dificultad y discriminación al análisis de
desempeño, se observaron resultados promedio positivos en ambas disciplinas: en
ambos casos se produjo una disminución de los porcentajes de alumnos ubicados en
los niveles bajo y medio de desempeño en las escuelas tratadas, mientras que, dicho
efecto no existió o no fue contundente para las escuelas del grupo de control.
5
Contenido
I. Introducción ......................................................................................................................... 6
II. Descripción del programa de Escuelas Promotoras ........................................................... 8
III. Revisión de la literatura ..................................................................................................... 12
IV. Diseño del instrumento y datos relevados ....................................................................... 17
V. Metodología ....................................................................................................................... 21
VI. Resultados .......................................................................................................................... 29
VII. Análisis de niveles de desempeño ..................................................................................... 32
VIII. Conclusiones ....................................................................................................................... 36
Referencias ................................................................................................................................ 38
Anexo N°1. Regresiones ............................................................................................................ 40
Anexo N°2. Niveles de desempeño ampliados ........................................................................ 42
6
I. Introducción
El programa de Escuelas Promotoras se enmarca en un esfuerzo por contribuir a mejorar las
trayectorias escolares y los aprendizajes de los estudiantes del nivel secundario, disminuir
las tasas de repitencia y abandono escolar, incrementar la terminalidad/ graduación y
aportar al clima escolar general.
El programa se compone de los siguientes elementos: un proceso de articulación entre
niveles, la organización de una semana de recibimiento en la Escuela Secundaria, el
fortalecimiento del seguimiento de los estudiantes a través de un docente de la institución,
denominado Profesor Acompañante de Trayectoria (PAT), un trabajo pedagógico
institucional que consiste en el desarrollo de una propuesta de prácticas pedagógicas a partir
de “saberes integrados”, y una evaluación colegiada.
En el año 2018 se da inicio a esta experiencia pedagógica, implementándose en 600 escuelas
de la Provincia de Buenos Aires, 295 de gestión estatal y 305 de gestión privada. La
implementación comienza por el primer año de la educación secundaria básica y culmina en
el tercer año acompañando a la cohorte 2018.
Dada la centralidad de esta propuesta pedagógica se ha decidido llevar a cabo una medición
y evaluación rigurosa de los cambios que se esperan. La importancia de la evaluación como
práctica radica en que genera conocimiento pertinente sobre el diseño, la implementación y
los efectos de un programa. Esta información permite delinear posibles cursos de mejora
para el logro de los objetivos planteados.
En este informe se presentan los resultados de la evaluación de impacto del programa de
Escuelas Promotoras. Esta evaluación busca medir los efectos sobre el desempeño escolar y
las habilidades cognitivas de los estudiantes directamente atribuibles al programa.
En total, el análisis incluyó 92 secciones del primer año de secundaria correspondientes a 92
escuelas estatales del conurbano1. Dichos establecimientos se repartieron en: 46 Escuelas
Promotoras (grupo de tratamiento) y 46 escuelas que aún no han implementado dicho
programa (grupo de control).
La acotación del universo de estudio a las escuelas promotoras estatales del conurbano
delimitó la cantidad de establecimientos elegibles en 502. A partir de lo anterior, para la
1 Se determinó concentrar el estudio en escuelas de gestión estatal pertenecientes al conurbano por motivo de la logística necesaria para realizar los operativos. 2 Por problemas logísticos, 4 de las 50 escuelas no completaron las dos etapas de evaluación, con lo cual, fueron descartadas.
7
selección de las secciones que conformaron el grupo de tratamiento, se realizó un proceso
de estratificación a nivel escuela.
Por otro lado, para la selección de las escuelas que conforman el grupo de control, se utilizó
la metodología de pareamiento por puntajes de propensión a partir de indicadores de
eficiencia interna y características del establecimiento. Esto permitió encontrar escuelas
estatales del conurbano que, sin formar parte del grupo de tratamiento, habrían tenido, en
función de diferentes factores observables, una misma probabilidad de ser elegidas durante
el proceso de selección que las escuelas beneficiarias del programa.
Para medir los diferenciales en términos de aprendizaje entre ambos grupos, la Secretaría
de Evaluación de la Nación desarrolló una prueba estandarizada, aplicada por primera vez en
el mes de abril y replicada en el mes de noviembre. Además, se elaboró un cuestionario
estandarizado complementario para relevar factores sociodemográficos y habilidades
blandas por parte de los alumnos, así como su percepción sobre el clima escolar de la
escuela.
El presente informe se encuentra dividido en ocho secciones, incluida esta introducción. En
la sección II se describen con mayor detalle los componentes del programa de Escuelas
Promotoras. En la sección III se revisa la literatura sobre programas educativos del nivel
secundario. La sección IV da cuenta del diseño y la aplicación de la prueba estandarizada. La
sección V expone la metodología implementada para medir el impacto del programa en el
aprendizaje de los estudiantes. La sección VI exhibe los principales resultados de la
evaluación y la sección VII presenta un análisis de los niveles de desempeño. La sección VIII
concluye.
8
II. Descripción del programa de Escuelas Promotoras
El programa de Escuelas Promotoras inicia una experiencia pedagógica con el propósito de
implementar modificaciones que favorezcan las trayectorias escolares y el aprendizaje de los
estudiantes de escuelas de gestión estatal y privada de la Provincia de Buenos Aires.
Se trata de una intervención integral para los estudiantes que ingresan a la escuela
secundaria obligatoria a partir del año 2018. En el primer año de implementación se focalizó
en 600 escuelas. Acompañará a cada cohorte hasta finalizar la secundaria básica.
Las escuelas fueron seleccionadas bajo propuesta de Inspección General, que nominó a
dos establecimientos por distrito, bajo la condición de contar con no más de dos secciones.
De este modo, la propuesta alcanzó a 125 distritos de la provincia, abarcando 295 escuelas
de gestión estatal y 305 de gestión privada3. Esto equivale a 600 Directivos y 36.000
estudiantes (16.000 de gestión estatal y 20.000 de gestión privada).
Elementos que componen el programa
1) Articulación entre niveles
Desarrollo de una estrategia de articulación entre el nivel secundario y el nivel primario, a fin
de dar continuidad a las trayectorias escolares en el contexto de la educación obligatoria.
2) Semana de recibimiento
Implementación de un período específico destinado al recibimiento de los ingresantes a 1°
año en la Escuela Secundaria. Para este período, la institución debe organizar una grilla
horaria y una selección de actividades con los actores responsables. Los ejes de la semana
de recibimiento son: la escuela secundaria y los actores de la comunidad educativa, los
propósitos de la educación secundaria, la propuesta organizacional y curricular de la
educación secundaria, las normativas del nivel, la convivencia y la construcción colectiva de
los acuerdos (AIC), los espacios de participación juvenil, las prácticas académicas, la
organización del estudio y las políticas de cuidado.
3) Acompañamiento a las trayectorias
Fortalecimiento del seguimiento de los estudiantes a través de un docente de la institución
denominado Profesor Acompañante de Trayectoria (PAT). El PAT tiene la función de
3 De dichas escuelas, 284 escuelas cuentan con aporte estatal, de las cuales 207 poseen un 100% de cobertura, y 23 no reciben ninguno.
9
acompañar las trayectorias del grupo durante todo el ciclo básico, articulando su tarea con
el equipo de conducción, los profesores del curso, el equipo orientador, los preceptores, las
familias y otras instituciones vinculadas. El PAT construye una mirada integral sobre las
trayectorias escolares que implica una doble consideración: académica y vincular. Su labor
consiste en guiar, orientar y ayudar a construir el rol de estudiante secundario, potenciar y
sostener sus trayectorias escolares reales, favorecer la articulación interna de la propuesta
pedagógica, intercambiar e informar acerca de buenas prácticas, entre otras acciones.
Además, el profesor acompañante resulta un nexo con los demás docentes que comparten
la tarea de enseñanza con el mismo grupo de estudiantes, generando mayores posibilidades
de afianzamiento del proyecto institucional. En relación a esto, su tarea incluye:
Promover y viabilizar el intercambio de la información sobre los estudiantes, siendo el
encargado de coordinar espacios de análisis y seguimiento de las trayectorias de los
estudiantes a su cargo.
Favorecer la articulación interna de la propuesta pedagógica en el ciclo, participando en
las reuniones de planificación de la enseñanza y de los procesos de evaluación. En otras
palabras, debe participar activamente en la toma de decisiones en la evaluación integral
de los estudiantes.
Generar mecanismos de intercambio sobre las estrategias exitosas que se estén llevando
adelante para que puedan pensar en implementarse en otras clases (como
agrupamientos para el trabajo en el aula, organización de la tarea, anticipación de temas
y problemas que pueden surgir en el grupo, preparación para las instancias evaluativas,
etc.).
4) Trabajo pedagógico institucional
Desarrollo de una propuesta de prácticas pedagógicas a partir de “saberes integrados” (ver
la Tabla N° 1), con estrategias de enseñanza y aprendizaje basadas en problemas y/o
proyectos pedagógicos específicos. Se considera además el desarrollo de proyectos socio-
comunitarios centrados en la participación de los estudiantes que den respuesta a problemas
complejos del entorno, permitiendo la integración de los estudiantes con la comunidad y el
fortalecimiento de la participación social y la responsabilidad ciudadana. Para ello se requiere
un trabajo docente cooperativo y articulado en términos de una planificación pedagógica
conjunta, el monitoreo y la evaluación colegiada de los procesos de enseñanza y de
aprendizaje.
10
Tabla N° 1. Ejemplos de Proyectos de Saberes Coordinados
Proyectos Materias
Coordinadas Contenido
Rusia 2018 Construcción de Ciudadanía / Ciencias Sociales e Inglés
Exploración, caracterización y diferenciación de los países participantes trabajando en tres dimensiones: - Identidad / alteridad; Racionalidad/Irracionalidad - Trabajo / Sujeto social - Dimensión contextual
Entre castillos y señores feudales: reconstruyendo el pasado de las sociedades medievales
Ciencias Sociales, Ciencias Naturales, Matemática
Abordaje de la Edad Media articulado desde las tres materias: - Sociedad feudal - Materiales usados en la construcción de castillos medievales - Análisis de cuerpos geométricos que pueden ser encontrados en castillos medievales
El valor del jugar Construcción de Ciudadanía / Educación Física
Propiciar los valores inherentes a la cooperación, la asunción de roles en el juego, la adecuación de sus reglas a las necesidades y posibilidades de todos los que juegan, el comportamiento ético ante las situaciones conflictivas, etc.
Conociendo las sociedades del pasado: La relación Sociedad – Naturaleza en las sociedades prehistóricas
Ciencias Sociales, Ciencias Naturales, Inglés
Abordaje de las sociedades prehistóricas: - Foco en las fuentes de energía disponible en dicho período y su utilización - Organización social de los primeros grupos humanos - Características y actividades de la vida cotidiana, las costumbres y creencias
Fuente: Elaboración propia
5) Evaluación Colegiada
Implementación de una evaluación para determinar si los alumnos están en condiciones de
promocionar el proyecto pedagógico. La valoración de las trayectorias consiste en un espacio
profesional de análisis, con instancias participativas de todos los docentes que trabajan con
el estudiante, y con los aportes significativos de los profesores acompañantes de las
trayectorias. La evaluación, promoción y acreditación total o parcial se vuelve así una
decisión colegiada y producto del acuerdo. Para ello, se utilizan diversas rúbricas de
evaluación elaboradas a tal fin, conservando la escala de calificación actual. En caso de que
se determine que un estudiante no ha alcanzado satisfactoriamente las expectativas de logro
planteadas en el proyecto áulico, se continúa en el período de diciembre con las prácticas de
enseñanza y de aprendizaje. De ser necesario, se retoma la enseñanza y el aprendizaje hasta
el logro de los desempeños esperados, en el período de febrero/marzo, momento en el que
11
se define la promoción. Si el estudiante promociona al año siguiente con saberes no
acreditados, la escuela planifica una propuesta pedagógica específica, acorde a la trayectoria
de cada estudiante y a la disponibilidad de recursos institucionales, a fin de alcanzar las
expectativas de logro.
Teoría de cambio
Para comprender en profundidad cómo funciona un programa es importante plantear una
teoría de cambio. La Tabla N° 2 resume la teoría de cambio estilizada del programa de
Escuelas Promotoras, explicitando la cadena lógica que vincula a las actividades con los
resultados esperados. La presente evaluación de impacto se focaliza puntualmente en el
objetivo de mejorar el aprendizaje de los estudiantes, debido a que los datos necesarios para
conocer los efectos sobre abandono y repitencia no se encuentran disponibles al día de la
fecha.
Tabla N° 2. Teoría de cambio del programa de Escuelas Promotoras
Fuente: Elaboración propia
Productos
Articulación de niveles
Semana de recibimiento
Acompañamiento a las trayectorias
Trabajo pedagógico institucional
Evaluación colegiada
Resultados
Adecuación de los estudiantes a la escuela
secundaria
Fortalecimiento del vínculo profesor-alumno
Aumento de la integración y el compañerismo
Mejor manejo del tiempo de estudio autónomo
Mejora en la capacidad de esfuerzo de los
estudiantes
Impactos
Mejora en el aprendizaje
Disminución del abandono y la
repitencia
12
III. Revisión de la literatura
Según la clasificación de programas educativos realizada por la Iniciativa Internacional para
la Evaluación de Impacto (Snilstveir, y otros, 2016), las intervenciones en educación pueden
agruparse según el factor de la comunidad educativa intervenido (Tabla N° ). En este sentido,
el programa de Escuelas Promotoras sería una innovadora propuesta entre aquellas que se
focalizan en intervenciones al interior de la escuela, incluyendo elementos asociados a
programas de estructura pedagógica y de atención individual del estudiante.
Los programas de estructura pedagógica comprenden capacitaciones a maestros, provisión
de materiales apropiados, modificaciones curriculares y nuevos abordajes de aprendizaje
utilizando monitoreo y seguimiento de maestros para generar evidencia, entre otros. Por
otra parte, los programas de atención en el estudiante agrupan intervenciones dirigidas de
manera individual en función de las habilidades o características del alumno, con el objetivo
de seguirlo para intentar ayudarlo en su aprendizaje, retenerlo, etc.
El trabajo mencionado releva 21 estudios sobre programas de estructura pedagógica
aplicados en diferentes países en vías de desarrollo (Brasil, Camboya, Chile, Costa Rica, Kenia,
Liberia, Mali, Filipinas, Sudáfrica y Uganda) y encuentra que dichas intervenciones generaron
importantes mejoras en el aprendizaje, tanto en lengua como en matemática, en la mayoría
de los contextos.
Por su parte, los programas de atención individual en el estudiante, como la educación
remedial4 o la segmentación de alumnos por habilidad, muestran resultados inconcluyentes.
En particular, 4 programas de educación remedial en Chile, India y México no encuentran
resultados precisos, aunque sugieren que dicha forma de intervención puede servir para
mejorar el seguimiento de los resultados de aprendizaje de los alumnos. A su vez, 2 estudios
para Kenia e India muestran que el seguimiento de alumnos por habilidad tuvo efectos
relativamente pequeños tanto en aprendizaje de lengua como de matemática.
4 Los programas de educación remedial o recuperación buscan brindar un apoyo focalizado a aquellos estudiantes que muestran un desempeño bajo en relación a sus compañeros y a lo esperado para el respectivo nivel educativo.
13
Tabla N° 3. Clasificación de las políticas educativas I
Fuente: Elaboración propia en base a Snilstveir y otros (2016)
Por otro lado, el Banco Interamericano de Desarrollo (BID), en su revisión de políticas
públicas para el desarrollo de habilidades (Busso, y otros, 2017), realiza una primera
distinción por etapa o nivel (primera infancia, infancia, adolescencia, educación superior y
adultos), y una segunda clasificación según el área de intervención o problemática tratada
sobre la que la intervención resulta más efectiva (matriculación y graduación, rendimiento
académico, y desarrollo de habilidades socioemocionales).
Dentro de este esquema, el programa de Escuelas Promotoras se encuentra, en primer lugar,
entre las iniciativas destinadas a la adolescencia, por lo que debe lidiar con las dificultades
propias de esta compleja edad en la que las habilidades de auto-regulación resultan menos
maduras (Albert, y otros, 2011). Si bien ésta etapa se caracteriza por una tendencia a
responder a estímulos socioemocionales y recompensas (Spear, 2010), existe una alta
probabilidad de elegir recompensas inmediatas pequeñas en lugar de recompensas mayores
en el futuro (Steinberg, y otros, 2009).
Adicionalmente, el programa propone un esquema integral de intervención que implica un
seguimiento individualizado sobre las trayectorias educativas de alumnos en riesgo, así como
formas de colaboración y retroalimentación de prácticas entre docentes, con el objetivo de
mejorar tanto el rendimiento académico de los estudiantes como el ausentismo y la
deserción escolar. Este tipo de intervenciones integrales y focalizadas son capaces de
14
abordar problemas específicos enfrentados por los adolescentes, que no necesariamente
responden a formas más simples y directas de intervención como las políticas de
transferencias, y que se transforman en trabas para el adecuado progreso durante los años
de estudio.
Los autores distinguen cuatro tipos de políticas destinadas a mejorar el aprendizaje en el
nivel secundario, revisando la evidencia empírica sobre sus efectos: transferencias
condicionadas5; el modelo de educación “Sin Excusas” aplicado en Estados Unidos6; la
extensión de la jornada escolar; y la provisión de incentivos monetarios y subsidios a la
demanda (para asistencia a escuelas privadas de preferencia).
Los programas de transferencias condicionadas han tenido un impacto bajo en el
aprendizaje. Sin embargo, los incentivos monetarios destinados a que los alumnos mejoren
sus puntajes han probado ser efectivos, y lo mismo puede decirse de una extensión de la
jornada escolar y de la provisión de vouchers o subsidios de demanda (Busso, y otros, 2017).
Con respecto al modelo “Sin Excusas”, los efectos sobre el aprendizaje han sido considerables
(Curto y otros (2011); Dobbie y otros (2011); Abdulkadiroğlu y otros (2011); Angrist y otros
(2013); Tuttle y otros (2013)).
En cuanto a los programas de refuerzo escolar, la evidencia indica que pueden ser efectivos,
aunque los efectos son moderados. Cantrell y otros (2014) encuentran resultados módicos
en un programa de lectura para adolescentes de bajo rendimiento. Lavy y otros (2005)
evalúan un plan de instrucción adicional en Israel cuyo objetivo es preparar a los estudiantes
para los exámenes de matrícula, obteniendo efectos positivos en los niveles de
matriculación. Banerjee y otros (2007) encuentran resultados más pronunciados en una
intervención en India que consiste en la contratación de mujeres jóvenes para dar soporte
de enseñanza a los estudiantes con retraso en habilidades básicas de lectura, escritura y
aritmética. Los resultados son particularmente visibles en los alumnos con peores
desempeños en aprendizaje.
Por último, la mayor parte de las intervenciones destinadas a aumentar la matriculación y la
graduación se centran en reducir los costos directos y de oportunidad de asistir a la escuela
(transferencias condicionadas y no condicionadas, becas, premios), seguidos por la provisión
5 Los programas de transferencias condicionadas tienen como objetivo la redistribución del ingreso en favor de personas en situaciones de vulnerabilidad y consisten en desembolsos periódicos condicionados a determinadas acciones por parte de los receptores. Se han convertido en una pieza clave de los sistemas de protección social y suelen tener diversos componentes relacionados con la educación. En el caso argentino, la Asignación Universal por Hijo tiene entre sus requisitos la asistencia de los menores a un establecimiento educativo. 6 El modelo “Sin Excusas” propone un enfoque alternativo de educación incluyendo prácticas como la imposición de expectativas de aprendizaje altas para todos, la retroalimentación frecuente entre profesores, la provisión de tutorías individuales y la utilización de datos de manera intensiva para guiar la instrucción.
15
de insumos escolares (capacitaciones a docentes, libros, prácticas de gestión). Políticas
educativas similares al programa de Escuelas Promotoras se han probado en mucho menor
medida: las estrategias de apoyo personalizado, orientación, coaching y provisión de
información se incluyen en el 6% de las evaluaciones revisadas en el trabajo en cuestión,
mientras que estrategias más integrales, que incluyen asesoramiento a padres, mecanismos
para detectar alumnos en situación de riesgo, desarrollo de habilidades socioemocionales,
programas de estudio novedosos y apoyo personalizado, se examinan sólo en un 4% de las
evaluaciones presentadas.
Los programas destinados a mejorar la matriculación y graduación han generado algunas
mejoras, pero modestas. Más específicamente, los programas de transferencias monetarias
y otras formas de reducir costos directos y de oportunidad tienden a generar impactos más
favorables y consistentes en la matriculación, sobre todo en contextos de baja matriculación.
Sin embargo, tienen resultados mucho más modestos en términos de graduación. Esto se
debe a que no necesariamente incentivan a los alumnos a progresar de forma adecuada
durante el secundario hasta graduarse. Otros factores importantes se hacen notar,
particularmente en los contextos donde la matriculación es alta, como, por ejemplo, la
pertinencia de la educación. Por otra parte, los programas en cuestión resultan altamente
costo-efectivos.
A partir de lo anterior, los autores encuentran que mejorar la focalización de los programas,
aumentar las recompensas de la graduación y plantear estrategias más integrales pueden
tener buenos resultados. Por ejemplo, “Diplomas Now” es un programa de Estados Unidos
que trabaja con sistemas de prevención temprana basados en asistencia, conducta,
desempeño académico. Además, proporciona un apoyo académico más adecuado y
personalizado a través de la combinación de una estrategia de “escuelas dentro de escuelas”,
coaching entre pares de docentes, y cursos de recuperación. Los resultados preliminares
indican que ha logrado reducir significativamente las tasas de abandono.
Otras intervenciones intentan mejorar la percepción de los alumnos respecto de los
beneficios futuros de la educación secundaria, brindando información personalizada sobre
los retornos de la educación y oportunidades de financiamiento: “Career Academies” es una
propuesta integral que incluye programas de estudio académico y profesional, así como la
colaboración con empleadores locales para fomentar el aprendizaje aplicado y la
preparación para la Universidad. La evidencia señala que ha generado importantes efectos
sobre la deserción (Kemple, y otros, 2000). A su vez, se destaca su impacto sobre los ingresos
laborales en la adultez (Kemple, y otros, 2008).
16
Finalmente, ciertas intervenciones intentan abordar directamente las conductas de riesgo
brindando información a las familias. Por ejemplo, “Family Check Up” brinda apoyo a los
padres para que aborden de manera adecuada a sus hijos en situación de riesgo (Stormshak,
y otros, 2010). De igual manera, Berlinski y otros (2016) analizan una intervención que
proporciona información a los padres sobre el ausentismo, conducta y calificaciones de sus
hijos con resultados prometedores.
17
IV. Diseño del instrumento y datos relevados
Esta evaluación de impacto se encarga de medir los efectos, en términos de aprendizajes y
habilidades cognitivas de los estudiantes, que el programa de Escuelas Promotoras presentó
en este primer año de implementación7.
Para poder cuantificar dichos aspectos se desarrolló una prueba estandarizada de
aprendizaje, aplicada por primera vez en abril y luego replicada en noviembre. Además, se
elaboró un cuestionario complementario para relevar factores sociodemográficos y
habilidades blandas por parte de los alumnos, sumado al clima escolar que estos perciben
en su aula.
La prueba fue diseñada por la Secretaría de Evaluación de la Nación y se divide en dos
bloques, uno de matemática y uno de lengua, con 15 ítems cada uno. Estos bloques se
presentan en dos modelos contrabalanceados (1-2/2-1) para controlar el efecto fatiga.
El equipo pedagógico diseñó estas pruebas sobre la base del banco de ítems disponible. Para
la selección de los ítems se tuvo en cuenta que a) reflejasen los contenidos y capacidades
indicados por los expertos; b) presentasen buenos indicadores psicométricos; y c) estuviesen
equilibrados en cuanto a niveles de dificultad y discriminación estimados según la Teoría de
Respuesta al Ítem8.
Por su parte, el cuestionario complementario, consiste en una adaptación del cuestionario
aplicado en las Pruebas Aprender, con secciones para profundizar el estudio de habilidades
socioemocionales, factores de autopercepción y opinión sobre el clima escolar de la escuela.
Además, este cuestionario identifica y analiza factores escolares y extraescolares que pueden
incidir en los niveles de desempeño de los estudiantes. El mismo está compuesto por las
secciones que se detallan en la Tabla N° 4.
7 Bajo la propuesta descripta anteriormente, se estableció como meta que el programa de Escuelas Promotoras alcance, hacia fines de 2019, una mejora en los indicadores de eficiencia interna de repitencia, abandono y sobreedad de 3 puntos porcentuales (pp). A su vez, en términos de desempeño o aprendizaje de los estudiantes (medido como el porcentaje de alumnos desaprobados), el programa busca alcanzar una mejora de 10 pp en el nivel bajo (notas obtenidas de 1 a 4) y de 6 pp en el nivel medio (notas obtenidas de 4 a 6). Para verificar el logro de esas metas, es necesario aguardar hasta el año 2020 para poder contar con los datos e indicadores necesarios. 8 Un desarrollo más amplio de este aspecto se realiza en la sección VI.
18
Tabla N° 4. Secciones del cuestionario complementario para estudiantes
1. Características sociodemográficas y socioeconómicas - Sexo y edad - Composición del hogar - Nivel educativo de los adultos responsables
- Condición del hogar indígena - Condición del hogar migrante - Nivel socioeconómico
2. Tiempo libre - Tareas dentro del hogar - Trabajo fuera del hogar - Participación en el trabajo familiar
- Actividades en el tiempo libre - Tiempo dedicado al estudio
3. Historia escolar - Asistencia a nivel inicial - Repitencia - Asistencia / Motivos de inasistencia
- Semana de recibimiento - Apoyo escolar
4. Experiencia en la escuela - Distancia a la escuela - Relación con los compañeros - Acuerdos de convivencia - Centro de estudiantes - Condiciones de los materiales del aula
- Proyección a futuro del estudiante - Relación con los profesores - Clima escolar - Educación Sexual Integral
5. Capacidades socioemocionales - Trabajo en grupo - Autosuficiencia
- Autopercepción
Las preguntas sobre clima escolar y calidad docente fueron adaptadas en base a la encuesta
“California Healthy Kids Survey” (CHKS). La CHKS es la encuesta más completa de factores de
resiliencia, proactividad, comportamientos de riesgo y clima escolar utilizada en Estados
Unidos y ha permitido tener una mejor comprensión de la relación entre los
comportamientos saludables que puedan tener los estudiantes y su desempeño académico.
Para el cuestionario, se adaptó el módulo de clima escolar de la CHKS orientado para alumnos
de secundaria acorde a los usos del lenguaje de los adolescentes, en base a recomendaciones
de la Dirección General de Educación9.
Para el abordaje de la relación con los profesores y la calidad docente, se tomaron las
preguntas centrales de la encuesta “Learning Environment Scale” del National Research
Center on the Gifted and Talented de la Universidad de Connecticut.
9 California healthy kids survey, School Climate Module, Supplement 1.
19
El segmento de capacidades socioemocionales fue elaborado a partir de una adaptación de
la Escala de Autosuficiencia de Schwarzer y otros (1995) y la escala de determinación de
Duckworth y otros (2007), que captura dos factores latentes: consistencia de intereses y
perseverancia del esfuerzo. Berniell y otros (2016) muestran evidencia que estas habilidades
socioemocionales están asociadas con una mayor probabilidad de conseguir un empleo
formal y la de continuar estudiando.
La prueba de aprendizaje, junto con el cuestionario complementario, fue administrada a los
alumnos de las 92 escuelas de tratamiento (46) y control (46) de la muestra los días 24 de
abril y los días 14, 15 y 22 de noviembre. Para cada escuela, se designó un aplicador
capacitado para administrar los cuestionarios. Estos fueron entregados en cajas selladas con
fajas de seguridad en cada una de las Jefaturas Distritales correspondientes. Los aplicadores
debían encargarse de llevar su caja a la escuela asignada y abrirla en presencia del directivo
de la institución, para luego proceder a aplicar la evaluación. Cada aplicador contaba con un
instructivo para explicar el propósito de los cuestionarios a los alumnos y el correcto
procedimiento para cada uno.
La prueba se aplicó con éxito en la sección seleccionada de cada una de las 92 escuelas en
ambos períodos, con un presentismo promedio de entre 75 y 85% de los alumnos
matriculados en cada sección. Se recolectaron así un total de 3.105 pruebas en abril y 2.766
en noviembre. Sin embargo, el número final de exámenes que se tuvieron en cuenta para el
análisis fueron 2.158 para la primera toma y 1.870 para la segunda, luego de descartar
aquellos entregados completamente en blanco o con menos de la mitad de los ítems
contestados.
En la Tabla N° 5 se presentan estadísticas descriptivas de aquellas variables del cuestionario
complementario que fueron seleccionadas para formar parte del vector de controles
individuales en el modelo de análisis que se presenta en la siguiente sección. Estas se
seleccionaron teniendo en cuenta dos criterios: 1) Cubrir aspectos que a priori suelen ser
determinantes del nivel de desempeño de los alumnos; 2) Que fueran efectivamente
contestadas por un alto porcentaje de alumnos en ambos períodos, con el objetivo de no
perder una gran cantidad de observaciones al momento de realizar las regresiones. Cabe
destacar que este último punto limitó bastante el número de variables que se pudieron
utilizar debido a un gran número de alumnos que no respondía de manera completa el
cuestionario. De todas formas, fue posible seleccionar características que representan
factores relevantes como el nivel socioeconómico, la dedicación escolar y la trayectoria
escolar. Además, en la tabla se incluye el número de respuestas correctas promedio
alcanzadas por los alumnos en ambos períodos.
20
Tabla N° 5. Estadísticas descriptivas de las pruebas de aprendizaje.
Variables Abril 2018
(Alumnos = 2.158) Noviembre 2018 (Alumnos = 1.870)
Promedio Desvío Promedio Desvío
Mujer 49,4% 0,50 51,5% 0,50
Hacinamiento 26,5% 0,44 23,1% 0,42
Ayuda a sus padres en su trabajo 45,7% 0,50 39,7% 0,49
No dedica horas diarias a tarea y estudio 7,6% 0,27 13,4% 0,34
Recibió apoyo durante el año pasado 19,6% 0,40 19,6% 0,42
Tarda más de media hora en llegar a la escuela 10,3% 0,30 12,5% 0,33
N° de respuestas correctas en Matemática 5,42 2,41 5,85 2,51
N° de respuestas correctas en Lengua 6,99 3,43 7,31 3,57
Fuente: Elaboración propia
21
V. Metodología
La evaluación de impacto busca medir los efectos directamente atribuibles a cierto programa
sobre variables de interés o resultado. Para conseguirlo, un escenario ideal sería poder
comparar las variables de resultado de un grupo de individuos en la “situación que reciben
el programa” con las mismas variables del mismo grupo en la “situación donde no se
benefician del programa”. Sin embargo, resulta evidentemente imposible registrar a la
misma persona “siendo y no siendo” beneficiaria del programa al mismo tiempo. Esto es lo
que se conoce como “problema del contrafactual”. De allí que, utilizando distintas técnicas
estadísticas, se busca simular un grupo de comparación que sea similar al grupo intervenido,
tanto en características observables como no observables.
La metodología más apropiada para asegurarse un buen contrafactual es el diseño
experimental. Según esta técnica, la selección de los participantes al programa entre los
potenciales beneficiarios debe ser realizada mediante un mecanismo puramente aleatorio.
De esta manera, los individuos que no participan del programa constituyen
automáticamente un buen contrafactual. Como el programa ha sido asignado de manera
aleatoria, se puede asumir que todas las características de los dos grupos, excepto la variable
“tratamiento” (la implementación del programa), son distribuidas también de manera
aleatoria entre ellos. Eso implica que los grupos de tratamiento y control son, en ausencia
del programa, estadísticamente idénticos en promedio.
Las restantes metodologías aplicables, que se conocen como diseños cuasi-experimentales,
tienen en común el hecho de que la participación de los individuos del programa no es
definida por un procedimiento aleatorio, con lo cual el contrafactual debe crearse a partir
del grupo de individuos que no participan del programa, es decir, a partir del grupo de
comparación. Dado que la selección de escuelas que participan del programa de Escuelas
Promotoras no fue realizada de forma aleatoria, se debe optar aquí por un diseño cuasi-
experimental. El principal desafío de este tipo de diseño es asegurarse la validez interna y
externa de las inferencias que se realicen con él. En la Imagen N° 1 puede apreciarse una
síntesis esquemática de ambos tipos de validez.
22
Imagen N° 1. Esquema validez interna y externa de los resultados
Fuente: Elaboración propia
En primer lugar, la validez externa se refiere a la posibilidad de generalizar el impacto
estimado en las unidades tratadas al universo de unidades elegibles. Para que esto sea
posible, dichas unidades deben ser representativas del universo en cuestión. En este sentido,
el presente trabajo busca determinar el efecto que el programa tuvo sobre el conjunto de
escuelas Promotoras estatales del conurbano bonaerense. La medida en que dichas escuelas
son representativas de todo el universo elegible de escuelas del conurbano bonaerense
depende del criterio de asignación del programa. Como fue explicado, dicha asignación no
se desarrolló en condiciones estrictamente aleatorias (deseable), pero sí intentó asegurar la
representatividad de todos los distritos de la provincia: el proceso implicó la postulación de
dos escuelas representantes de cada distrito por parte de los inspectores jefes distritales.
Para la selección de la muestra, en un primer paso, partiendo del total de escuelas
secundarias de 2017, y sin incluir a los establecimientos beneficiados por el programa
provincial “Red de Escuelas de Aprendizaje” y el programa nacional “Asistiré”, se realizó una
división de establecimientos por conglomerado y tipo de gestión. De esta forma se separaron
las escuelas secundarias de gestión estatal ubicadas en el conurbano de aquellas localizadas
en el interior de la provincia de Buenos Aires (véase Tabla N° 6), quedando delimitada la
muestra de estudio en términos de establecimientos: 50 escuelas Promotoras de gestión
Estatal del conurbano bonaerense con 134 secciones del primer año.
23
En un segundo paso, tomando cada escuela de la anterior selección como un estrato, se
eligió aleatoriamente una sección de primer año de cada una de las escuelas mencionadas.
De esta manera, la muestra de tratamiento quedó conformada por 50 secciones de primer
año representativas de las 50 escuelas antes mencionadas.
Dado lo anterior, y como puede apreciarse en la Imagen N°1, la validez externa ha quedado
divida en dos: Una primera etapa consiste en la posibilidad de generalizar los resultados de
las secciones muestreadas al total de secciones de primer año de secundario de las escuelas
promotoras estatales del conurbano bonaerense. Consideramos que esta validez externa se
cumple dados los criterios de selección recién considerados. Una segunda validez externa
refiere a la posibilidad de generalizar los resultados a todo el universo elegible de escuelas
del conurbano. Como ha sido expresado, dicha posibilidad existe en la medida en que la
asignación distrital haya reproducido condiciones similares a las de una asignación aleatoria.
Tabla N° 6. Selección de la muestra de tratamiento
Área Dependencia
Secciones Establecimientos
No Promotora
Promotora Total No
Promotora Promotora Total
Conurbano
Municipal 0 2 2 0 1 1
Nacional 4 0 4 3 0 3
Oficial 1267 134 1401 550 50 600
Privada 1246 268 1514 683 119 802
Interior
Municipal 23 5 28 15 2 17
Nacional 6 0 6 3 0 3
Oficial 780 462 1242 347 223 570
Privada 502 352 854 304 181 485
Total 3828 1223 5051 1905 576 2481
Fuente: Elaboración propia en base a datos de la Dirección de Información y Estadística.
Por su parte, la validez interna es la robustez con la que se pueda afirmar el impacto causal
que el programa genera sobre las unidades tratadas que, en este caso, y dada la delimitación
del universo de estudio, ascienden al conjunto de secciones seleccionadas de escuelas
promotoras del conurbano bonaerense. Para asegurarse dicha robustez, es necesario utilizar
un grupo de control válido, es decir, un grupo de comparación que produzca una estimación
válida del contrafactual. En este sentido, la metodología de evaluación debe plantearse de
manera tal que se neutralicen potenciales sesgos, como el sesgo de selección de las escuelas
24
beneficiarias, o los sesgos introducidos por la modificación de factores contemporáneos a la
implementación del programa, el desgaste de la muestra, el efecto de aprendizaje, la
maduración cognitiva, entre otros. A partir de esto, el diseño cuasi-experimental propuesto
se completa con una combinación de metodologías en dos etapas:
1) Pareamiento por puntaje de propensión
Mediante un procedimiento estadístico, se simulan las condiciones de un experimento de
asignación aleatoria creando un grupo de control ex post lo más parecido posible al grupo
de tratamiento en cuanto a características relevantes observables. En otras palabras, se
busca crear un grupo que, no formando parte del programa, haya detentado la misma
probabilidad de ser tratado que el grupo efectivamente seleccionado. De esta manera, se
pretende minimizar el sesgo de selección que pueda surgir debido a diferencias entre los
individuos tratados y los individuos elegidos para construir el contrafactual. La principal
falencia de este método, en relación a la aleatorización, consiste en que no puede tener en
cuenta la existencia de diferencias en características no observables entre los grupos de
tratamiento y control y, por lo tanto, se debe asumir que no existe.
En el presente trabajo, una vez obtenida la muestra de tratamiento, se restringió el universo
de escuelas del conurbano bonaerense para acotar la búsqueda de los datos gemelos que
actúan como control: se consideraron todas las escuelas urbanas que contaban entre 10 y
42 alumnos por sección, una sobreedad de entre 12% y 84% y una tasa de repitencia por
debajo del 59%. Además, se exceptuaron las escuelas con secciones “múltiples” y aquellas
que, por diferentes razones, permanecieron cerradas demasiado tiempo durante el período
de análisis para poder integrar la muestra. De esta forma, el universo para identificar el grupo
de control se conformó por un total de 443 escuelas estatales del conurbano bonaerense
con 789 secciones del primer año.
El procedimiento de pareamiento realizado fue a nivel sección. Esto quiere decir que, para
generar el grupo de control, se emparejaron determinadas características observables de las
secciones y escuelas, a través de un proceso recursivo de regresiones de puntajes de
propensión a nivel sección. Dichas regresiones incluyeron diversas covariables a nivel escuela
y sección como la tasa de repitencia, la tasa de sobreedad, la cantidad de alumnos en primer
año, el número de alumnos de la sección, el tipo de jornada, turno y tipo de sección.
En cada instancia, se utilizaron puntajes de propensión obtenidos para hacer el
emparejamiento entre secciones del grupo de tratamiento y de control, mientras que
aquellos casos emparejados con puntajes significativamente diferentes fueron ajustados
manualmente con el vecino más cercano en función de una variable clave. Esa variable clave
ha sido la tasa de repitencia, seguida por la sobreedad y, finalmente, por las restantes
25
características/covariables del modelo. El proceso se repitió quitando en cada instancia los
casos pareados manualmente hasta conseguir resultados consistentes. En la Tabla N° 7 se
presentan, a manera de resumen, los promedios y el coeficiente de varianza de las tasas de
repitencia y sobreedad para los grupos de tratamiento y control.
Tabla N° 7. Balance de los grupos de tratamiento y control
Variable
Promedio Coeficiente de variación
Muestra Programa
Muestra Control
Muestra Programa
Muestra Control
Tasa de repitencia 15,36% 15,72% 83,76% 82,49%
Tasa de sobreedad 47,12% 47,64% 35,12% 26,63%
Fuente: elaboración propia en base datos de la Dirección de Información y Estadística
2) Método de “diferencias en diferencias”
La técnica de “diferencias en diferencias” cuantifica el impacto de un programa definiendo
el efecto, no en términos de la diferencia ex post en la variable de resultado entre
beneficiarios y no beneficiarios, sino como la diferencia en la variación temporal de dicha
variable, entre ambos grupos. En otras palabras, en una primera etapa, se compara la
situación antes y después de la implementación del programa dentro de cada grupo
(“Primera Diferencia”). En una segunda etapa, se utiliza los resultados de esa primera
comparación, para comparar la evolución de la situación en el grupo de tratamiento con su
evolución en el grupo de control (“Segunda Diferencia”).
Esto permite medir el impacto de la intervención, saldando cualquier diferencia pre-
existente que sea constante en el tiempo y reconociendo explícitamente que parte de la
variación temporal en el resultado de aquellos que reciben el programa se habría producido,
en cualquier caso, con o sin programa.
En términos algebraicos, el efecto en la variable de resultado se puede representar de la
siguiente manera:
𝑬𝒇𝒆𝒄𝒕𝒐 𝒅𝒆𝒍 𝒑𝒓𝒐𝒈𝒓𝒂𝒎𝒂 = 𝑪 − 𝑨 − [𝐃 − 𝐁]
Donde C y A son los promedios de la variable de resultado en el grupo de tratamiento antes
y después de la aplicación del programa, respectivamente; y B y D son los promedios de la
variable de resultado en el grupo de control, respectivamente antes y después de la
aplicación del programa (Ver Gráfico N°1y Tabla N° 8).
El modelo de diferencias en diferencias logra solucionar algunos problemas que se presentan
en otros tipos de diseño amenazando la validez interna de la evaluación, a saber, que el
26
modelo utilice un grupo de control permite prevenir sesgos provocados por la variación de
factores contemporáneos al programa que puedan tener efectos sobre la variable de
resultados. A su vez, dado que se estima una diferencia en la variación de la variable de
resultado entre grupos de tratamiento y control, se eliminan algunas de las fuentes de sesgo
de selección que la existencia de factores no observables provocaba en el caso del
pareamiento. Cabe recordar que dicho método asume la inexistencia de diferencias en
dichos factores entre los grupos. Más específicamente, como el impacto no se mide en
términos de niveles, sino de tasas de variación del resultado, se elimina el posible sesgo
provocado por aquellos factores inobservables que no varían en el tiempo. Algo que no se
modifica en el tiempo no puede haber sido la causa de la evolución diferencial del resultado
en el grupo de tratamiento.
A pesar de los beneficios señalados, el modelo de diferencias en diferencias no está exento
de limitaciones que pueden amenazar la validez interna de las conclusiones si no se cumplen
determinados supuestos.
En primer lugar, es necesario que los individuos, tanto del grupo de tratamiento como de
control, reaccionen de la misma manera a cambios en factores contemporáneos al programa
que pueden influir sobre la variable de resultado. Existen dos formas de intentar corroborar
el cumplimiento de este postulado. Si se posee información de la variable de resultado en
múltiples períodos previos a la implementación del programa, es posible contrastar si esta
ha evolucionado de manera similar en ambos grupos cuando se han producido variaciones
en otros factores influyentes. Una alternativa, cuando dicha información no existe, consiste
en estimar el modelo de diferencias en diferencias luego de haber seleccionado los grupos
de tratamiento y control mediante el uso de la técnica de pareamiento. Dado que esta
técnica garantiza una elevada similitud entre ambos grupos, cabe esperar que unos y otros
reaccionen de la misma manera a factores influyentes contemporáneos. En este trabajo,
como se expuso previamente, se ha optado por la segunda variante mencionada debido a la
imposibilidad de contar con datos de desempeño previos a la primera aplicación de la prueba
de aprendizaje.
En segundo lugar, es necesario suponer que no existen diferencias entre los individuos del
grupo de tratamiento y de control en características no observables que varíen a lo largo del
tiempo. Esta es una de las condiciones o supuestos más difíciles de corroborar a la hora de
verificar la validez interna de un diseño de diferencias en diferencias. En el caso que nos
compete, existen diversos factores no observables que pueden variar en el tiempo afectando
el rendimiento diferencial de los alumnos y que, en principio, no pueden ser rastreados a la
hora de plantear un cuasi-experimento de este estilo. Uno de ellos es, por ejemplo, el grado
de motivación de los alumnos. A pesar de este inconveniente, es necesario aclarar que el
27
escenario en que estos factores representan un verdadero problema para la validez interna
de los resultados es aquel en que varían y afectan de manera diferente a los grupos de
tratamiento y control en promedio. En este sentido, muchos de estos factores no
observables pueden estar correlacionados con factores del entorno escolar que sí son
observables y que han sido tenidos en cuenta al aplicar la técnica de pareamiento.
Estimación del modelo
La estimación del modelo de diferencias en diferencias presentado en este trabajo se basa
en un “pool” de datos con la siguiente especificación:
(1) 𝒀𝒊𝒆𝒕 = 𝜷𝟎 + 𝜷𝟏 ∗ 𝑻𝒕 + 𝜷𝟐 ∗ 𝑷𝒊𝒆 + 𝜷𝟑 ∗ 𝑷𝒊𝒆 ∗ 𝑻𝒊 + 𝑿𝒊𝒕′ + 𝝁𝒆 + 𝝐𝒊𝒆𝒕
Donde 𝑖 indexa a los alumnos, 𝑒 a la escuela y 𝑡 al tiempo. La variable 𝑌𝑖𝑒𝑡 es el resultado de
interés, medido como el logaritmo de la cantidad de respuestas correctas logradas por el
alumno 𝑖, de la escuela 𝑒, en el momento 𝑡; la variable 𝑇𝑡 toma el valor 1 si se trata de una
nota obtenida en noviembre y 0 si se trata de una nota de abril; 𝑃𝑖𝑒 indica si el alumno
pertenece al grupo de tratamiento, valiendo 1 en caso positivo y 0 en caso contrario; y 𝑃𝑖𝑒 ∗
𝑇𝑖 es el término de interacción entre las dos variables mencionadas y representa la doble
diferencia encargada de capturar el efecto del programa (ver la Tabla N° 8 más abajo). La
matriz 𝑋𝑖𝑡′ contiene variables de control que recogen características observables de los
alumnos, a saber: el género del alumno, si sufre condiciones de hacinamiento en el hogar, si
ayuda a sus padres en sus respectivos trabajos, si no dedica tiempo extraescolar a hacer
tareas y estudiar, si recibió apoyo escolar durante el año pasado, y si tiene más de media
hora de viaje para llegar a la escuela. Por último, 𝜇𝑒 corresponde al conjunto de efectos fijos
por escuela y 𝜖𝑖𝑒𝑡 al término de error, el cual se supone que no se encuentra correlacionado
con las variables explicativas.
De esta forma, los 𝛽 son los coeficientes que se estiman a partir de la regresión y nos arrojan
los efectos de cada variable sobre la cantidad de respuestas correctas que obtuvieron los
alumnos. El 𝛽 más relevante para el análisis es el 𝛽3 ya que, como se menciona
anteriormente, captura el efecto del programa tal y como lo muestran la Tabla N° 8 y el
Gráfico N°1.
28
Gráfico N°1. Representación gráfica de la metodología de diferencias
en diferencias.
Fuente: Elaboración propia
Tabla N° 8. Interpretación de los coeficientes de estimación
Coeficiente Cálculo Interpretación
𝜷𝟎 B Promedio de línea de base
𝜷𝟏 D-B Tendencia temporal del grupo de control
𝜷𝟐 A-B Diferencia entre los dos grupos antes de la intervención
𝜷𝟑 (C-A) - (D-B) Efecto del programa: diferencias en los cambios a lo largo del tiempo entre los grupos
Fuente: Elaboración propia
29
VI. Resultados
En esta sección se presentan los resultados obtenidos utilizando la metodología especificada
en el apartado previo. Las estimaciones completas, tanto para lengua como para
matemática, pueden encontrarse en las Tabla N° 9 y Tabla N° 10 del Anexo10. En ellas se
diferencian tres especificaciones alternativas: en el modelo 1 se estima en ausencia total de
controles; en el modelo 2 se estima controlando por características individuales; y en el
modelo 3 (presentado en la ecuación (1) del apartado anterior) se controla por
características individuales y efectos fijos por escuela, por lo que resulta el más completo y
robusto de los tres modelos.
En cuanto a los efectos directamente atribuibles al programa, las estimaciones indican que
la cantidad de respuestas correctas de los alumnos asistentes a las escuelas promotoras son
mayores en el caso de matemáticas. En cambio, en el caso de la prueba de Lengua, no se
encontraron diferencias entre los alumnos de las escuelas promotoras y los de las escuelas
de control.
Los coeficientes a partir de los cuales se desprenden los anteriores resultados pueden
observarse en el Gráfico N°2: Las líneas horizontales representan los intervalos de confianza
estimados para cada coeficiente 𝛽3, en cada modelo considerado, con un 95% de confianza.
En caso de que dichos intervalos contengan al valor cero (línea punteada vertical), no se
puede rechazar la hipótesis de que el coeficiente es estadísticamente diferente de cero, con
un nivel de significancia del 5%. Alternativamente, si el intervalo de confianza no contiene al
valor cero, se puede rechazar dicha hipótesis y concluir que el programa tuvo un efecto
estadísticamente significativo al nivel de confianza señalado.
Dicho lo anterior, en el caso de la prueba de lengua, se observa que el 𝛽3 estimado tiene un
signo positivo que va en línea con lo esperado, pero no resulta estadísticamente significativo
en ninguno de los tres modelos de regresión, a ninguno de los niveles de significatividad
presentados. Por su parte, la prueba de matemática muestra un 𝛽3 estimado positivo y
significativo en las dos versiones ampliadas del modelo, puntualmente en el caso más
completo, donde resulta estadísticamente diferente de cero con un nivel de significancia del
5%.
De las consideraciones anteriores se derivan los resultados planteados más arriba, luego de
controlar por factores individuales y efectos fijos por escuela. En el caso de lengua, la
diferencia de respuestas correctas entre los grupos de tratamiento y control se mantuvo
10 Se omiten, en las tablas, los coeficientes 𝛽1 𝑦 𝛽2, que representan las dos primeras diferencias para la variable objetivo
(diferencial promedio temporal y diferencial promedio inter-grupos).
30
entre la prueba de abril y la de noviembre. En el caso de matemática, esa diferencia aumentó,
en promedio, un 7% en favor de los alumnos de las escuelas promotoras.
Gráfico N°2. Efectos del programa de Escuelas Promotoras. Primer año de
implementación.
Nota: Los segmentos representan los intervalos de confianza al 95%.
*** p<0,01, ** p<0,05, * p<0,1
Por otro lado, un análisis de los estimadores de los coeficientes de las variables de control
utilizadas en el modelo más amplio permite sacar interesantes conclusiones: en primer lugar,
se encuentra una relación negativa y estadísticamente significativa entre el desempeño en
términos de respuestas correctas y aquellos factores individuales relacionados con un nivel
socioeconómico más bajo (hacinamiento y ayuda laboral a los padres). Lo mismo se puede
observar para los alumnos que declaran una menor dedicación escolar (reflejada en la falta
de horas de tarea o estudio en casa) y para la existencia de dificultades en la trayectoria
escolar (reflejada en la necesidad de clases de apoyo durante el año anterior). Los resultados
anteriores van en línea con lo esperado y se condicen con lo evidenciado por la literatura.
Además, también en línea con la mayoría de los estudios, se encuentra un mejor desempeño
relativo de las mujeres en lengua y de los hombres en matemática. Una representación de
los coeficientes de las estimaciones de estas variables de control pueden observarse en el
Gráfico N°3.
31
Gráfico N°3. Coeficientes estimados de las variables de control.
Nota: *** p<0,01, ** p<0,05, * p<0,1
32
VII. Análisis de niveles de desempeño
Es lógico pensar que, aun cuando dos alumnos presenten la misma cantidad de respuestas
correctas, su nivel de desempeño diferirá en función de la dificultad que posean las
preguntas respondidas correctamente por cada uno. En esta sección se intenta introducir
dicho aspecto al análisis mediante la construcción de niveles de desempeño basados las
dificultades de los ítems que integraban los exámenes.
En primer lugar, se intentaron replicar las categorías de evaluación de competencias de
Aprender 2017. Sin embargo, debido a la naturaleza más acotada del operativo, se
identificaron, mediando la consulta a profesionales en la materia y la revisión de documentos
metodológicos, algunos inconvenientes que se explican a continuación.
Tanto en Aprender 2016 como en Aprender 2017, el desempeño de los alumnos se mide a
partir de estimaciones basadas en la denominada Teoría de Respuesta al Ítem (TRI). Dicha
teoría establece que los individuos poseen, para cada disciplina, una habilidad no observada
o rasgo latente (𝜃) que da cuenta de su competencia individual y que es posible estimar. A
su vez, supone que la probabilidad de responder correctamente a un ítem determinado (𝑖)
es una función creciente y continua de dicha competencia.
A partir de un conjunto dado de respuestas y a través de un modelo psicométrico de dos
parámetros por ítem — dificultad (𝑏) y la discriminación (𝑎)— se estiman los niveles de
competencia latente de cada alumno. Es decir, aplicando un modelo de regresión logística,
donde la estructura de probabilidades surge de la estructura de respuestas
correctas/incorrectas de los alumnos en cuestión, se estiman los parámetros de dificultad y
discriminación de cada ítem, así como la competencia latente de cada alumno:
(2) 𝑷𝒓𝒊(𝑰 = 𝟏|𝜽) =𝒆𝒙𝒑(𝑫.𝒂𝒊.(𝜽−𝒃𝒊)
𝟏+𝒆𝒙𝒑(𝑫.𝒂𝒊.(𝜽−𝒃𝒊))
De lo anterior se desprende que los niveles de dificultad, discriminación y competencia
estimados surgen de manera endógena, a partir de la estructura de resultados, y no son
extrapolables fuera de dicha estructura. Por otra parte, dados los anteriores niveles de
dificultad y discriminación, se estima el nivel al que debe ascender el parámetro de
competencia de un alumno para detentar una probabilidad del 67% de responder
correctamente un ítem cualquiera.
Conociendo los niveles de habilidad de cada alumno y los niveles de habilidad necesarios
para responder correctamente cada ítem con una probabilidad del 67%, se recurre a la
33
metodología Bookmark para seleccionar, de la lista de ítems ordenada según los niveles de
dificultad estimados, aquellos que sirven como puntos de corte de las categorías de
evaluación.
Una vez fijadas las categorías en términos de habilidad requerida, se procede a evaluar el
parámetro de competencia individual para categorizar el desempeño de cada alumno. El
procedimiento hasta aquí detallado permite “ponderar” los resultados básicos del examen
(cantidad de respuestas correctas) por la dificultad que cada ítem presenta para los alumnos.
Para que la metodología descrita funcione correctamente existen al menos dos importantes
condiciones que han sido señaladas como necesarias en la bibliografía especializada: 1) Las
pruebas deben presentar una cantidad considerable de ítems (entre 30 y 50); y 2) Dichos
ítems deben cubrir de la mejor manera posible todo el rango de dificultades que la materia
puede presentar para los alumnos en cuestión. En términos de la escala del parámetro de
dificultad, dicho rango se va desde -2 a 2. De no cumplirse las condiciones anteriores,
potenciales problemas pueden aparecer a la hora de establecer las categorías.
En el operativo realizado para la evaluación de impacto del programa de Escuelas
Promotoras, las condiciones antes mencionadas no han podido ser totalmente cumplidas.
Puntualmente, las evaluaciones se limitaron a 15 ítems de lengua y matemática que, a su
vez, fueron seleccionados en función de parámetros de dificultad calculados para una
muestra distinta de la que se pretendía evaluar.
La estimación del modelo antes detallado, para un panel de respuestas individuales
correctas/incorrectas en dos momentos de tiempo (abril y noviembre), arrojó como
resultado distribuciones irregulares de los parámetros de dificultad. En algunos casos, dichas
distribuciones resultaron demasiado concentradas, en otros sesgadas hacia un extremo.
Como consecuencia, la escala de parámetros de dificultad ha resultado relativamente
incompatible con la distribución de capacidades latentes medidas para los alumnos, y por
ende, inadecuada para la fijación de puntos de corte11.
A raíz de lo anterior, para armar las cuatro categorías de desempeño, se utilizó la siguiente
metodología: para cada momento del tiempo, asignatura y grupo (tratado/control), se
dividió en cuartos la distancia entre los valores mínimos y máximos de las capacidades
latentes estimadas para los alumnos, es decir, la distancia entre el peor desempeño y el
11 Al contar con pocos ítems y con una distribución irregular de sus respectivos parámetros de dificultad, un intento de replicar la metodología bookmark a menor escala, con unos pocos profesionales de docencia en lengua y matemática, resultó en una fijación de puntos de corte sesgados hacia la derecha de la distribución, es decir, hacia la zona de mayor dificultad. Esto redundó en cantidades claramente equívocas de alumnos en el nivel inferior de desempeño obligándonos a fijar los puntos de corte utilizando una regla estándar simple.
34
mejor desempeño. Se generaron de esta forma los tres puntos de corte necesarios para
delimitar las categorías. De lo anterior se desprende que las categorías son equivalentes en
términos de la distancia que abarcan en la distribución de las competencias latentes
estimadas, y por lo tanto, sirven para comparar entre los dos momentos del tiempo y entre
los grupos de tratamiento y control del programa de Escuelas Promotoras. Sin embargo, no
son estrictamente comparables con las creadas a partir de los operativos Aprender, sino en
la medida en que el proceso de selección realizado en Aprender a través de la metodología
Bookmark haya determinado puntos de corte en la dificultad cercanos a los creados en el
presente caso.
En los Gráficos N°4 y N°5 se presentan una comparación de los niveles de desempeño en
lengua y matemática alcanzados por los estudiantes de los grupos de tratamiento y control,
en los momentos pre y post implementación del programa, según la metodología descrita.
Para simplificar la presentación se han agrupado los niveles Bajo y Medio, por un lado, y Alto
y Superior, por otro12.
Gráfico N° 4. Niveles de desempeño en Lengua según grupo y momento
Fuente: Elaboración propia
12 Para una presentación desagregada de las categorías, véase el Anexo N°2.
59% 58% 58%50%
41% 42% 42%50%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Pre Post Pre Post
Control Tratamiento
Bajo y Medio Alto y Superior
35
Gráfico N° 5. Niveles de desempeño en Matemática según grupo y momento
Fuente: Elaboración propia
Como puede observarse, en ambos casos, las escuelas de tratamiento evidencian una mejora
de la cantidad de estudiantes que se ubican en las categorías Alto y Superior de desempeño,
en detrimento de quienes consiguen un nivel Bajo y Medio de desempeño. Por su parte, las
escuelas de control no presentan resultados positivos tan categóricos. Esto se debe a que
aumentan tanto la participación del estrato Superior como del Bajo en detrimento del nivel
Medio, mientras que el estrato Alto se mantiene prácticamente sin modificaciones.
Como se ha dicho más arriba, los resultados del análisis anterior, aun cuando son menos
robustos que un análisis de regresión13, tienen la particularidad de internalizar el nivel de
dificultad de los ítems a la hora de explorar el desempeño de los alumnos. Esos resultados
están en consonancia con lo descubierto en las regresiones, particularmente en el caso de
matemática. En ese sentido, cumplen con las expectativas del programa, es decir, generar
efectos de mejora en el rendimiento de los alumnos.
13 Ese tipo de análisis de desempeño no controla por otras características observables de los alumnos y las escuelas.
60% 57% 54% 49%
40% 43% 46% 51%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Pre Post Pre Post
Control Tratamiento
Bajo y Medio Alto y Superior
36
VIII. Conclusiones
El programa de Escuelas Promotoras se inicia en el año 2018 como una prueba piloto de un
nuevo formato para la escuela secundaria. Hasta el momento se ha implementado sobre un
universo de 600 escuelas estatales y privadas impulsando diferentes estrategias —
articulación entre niveles educativos, semana de recibimiento, acompañamiento de
trayectorias educativas, trabajo pedagógico institucional, evaluación colegiada— focalizando
en las trayectorias y el aprendizaje de los estudiantes. Su objetivo es generar mejoras tanto
en los indicadores de eficiencia interna de las escuelas como en los aprendizajes de los
alumnos.
En este informe se presenta evidencia empírica acerca de los resultados del programa sobre
el último punto mencionado: a partir de una evaluación de impacto, se midieron los efectos
del programa sobre el desempeño escolar y las habilidades cognitivas de los estudiantes.
Para lograr lo anterior, se planteó un diseño cuasi-experimental que implicó la elaboración
de una prueba de aprendizajes y un cuadernillo complementario. Estos fueron aplicados a
un grupo de Escuelas Promotoras (grupo de tratamiento) y a un conjunto de escuelas que
aún no han sido alcanzadas por el programa (grupo de control), en dos ocasiones diferentes
a lo largo del año (abril y noviembre).
A partir de la información recolectada, se desarrollaron dos tipos de análisis: a) un modelo
econométrico que permite estimar la variación en la diferencia entre las respuestas correctas
de cada grupo, atribuible únicamente a la aplicación del programa; b) la estimación de
variaciones en los niveles de desempeños, construyendo categorías que permitan incluir el
nivel de dificultad de las preguntas en el análisis.
Los resultados obtenidos pueden resumirse en los siguientes puntos:
El programa ha generado un efecto positivo y estadísticamente significativo sobre el
desempeño en matemática, medido en términos de cantidad de respuestas correctas
en la prueba de aprendizaje. La diferencia de respuestas correctas entre los grupos de
tratamiento y control aumentó, en promedio, un 7% en favor de los alumnos de las
escuelas promotoras.
El programa no ha generado efectos estadísticamente significativos sobre el
desempeño en lengua, medido en términos de cantidad de respuestas correctas en la
prueba de aprendizaje.
Al introducir las variables psicométricas de dificultad y discriminación al análisis de
desempeño, se observaron resultados promedio positivos en ambas disciplinas: en
ambos casos se produjo una disminución de los porcentajes de alumnos ubicados en
37
los niveles bajo y medio de desempeño en las escuelas tratadas, mientras que, dicho
efecto no existió o no fue contundente para las escuelas del grupo de control.
38
Referencias
Berniell, L., de la Mata, D., Bernal, R., Camacho, A., Barrera-Osorio, F., Álvarez, F., y J. Vargas
2016. RED 2016. Más habilidades para el trabajo y la vida: los aportes de la familia, la escuela,
el entorno y el mundo laboral.
Abdulkadiroğlu, A, y otros. 2011. Accountability and flexibility in public schools: Evidence from
Boston's charters and pilots. s.l. : The Quarterly Journal of Economics, 2011. Vol. 126(2).
Albert, D y Steinberg, L. 2011. Judgment and decision making in adolescence. s.l. : Journal of
Research on Adolescence, 2011.
Angrist, J D, Pathak, P A y Walters, C R. 2013. Explaining charter school effectiveness. s.l. :
American Economic Journal: Applied Economics, 2013. Vol. 5(4).
Baker, J L. 2000. Evaluating the impact of development projects on poverty: A handbook for
practitioners. s.l. : The World Bank, 2000.
Banerjee, A V, y otros. 2007. Remedying education: Evidence from two randomized
experiments in India. s.l. : he Quarterly Journal of Economics, 2007. Vol. 122(3).
Berlinski, S, y otros. 2016. Reducing parent-school information gaps and improving education
outcomes: Evidence from high frequency text messaging in Chile. s.l. : Manuscrito no
publicado, 2016.
Berniell, L, y otros. 2016. RED 2016. Más habilidades para el trabajo y la vida: los aportes de
la familia, la escuela, el entorno y el mundo laboral. 2016.
Busso, M, y otros. 2017. Aprender mejor: políticas públicas para el desarrollo de habilidades.
s.l. : BID, 2017.
Cantrell, S C, y otros. 2014. The impact of supplemental instruction on low-achieving
adolescents’ reading engagement. s.l. : The Journal of Educational Research, 2014. Vol.
107(1).
Curto, V E, Fryer Jr, R G y Howard, M L. 2011. It may not take a village: Increasing achievement
among the poor. s.l. : Whither opportunity, 2011.
Dobbie, W y Fryer Jr, R G. 2011. Are high-quality schools enough to increase achievement
among the poor? Evidence from the Harlem Children's Zone. s.l. : American Economic Journal:
Applied Economics, 2011. Vol. 3(3).
Duckworth, A L, y otros. 2007. Grit: perseverance and passion for long-term goals. s.l. : Journal
of personality and social psychology, 2007. Vol. 92(6).
39
Gertler, P J, et al. 2016. Impact evaluation in practice. s.l. : The World Bank, 2016.
Kemple, J J y Snipes, J C. 2000. Career Academies: Impacts on Students' Engagement and
Performance in High School. 2000.
Kemple, J J y Willner, C J. 2008. Career academies: Long-term impacts on labor market
outcomes, educational attainment, and transitions to adulthood. s.l. : New York, NY: MDRC,
2008.
Khandker, S B, Koolwal, G y Samad, H. 2009. Khandker, S., B. Koolwal, G., & Samad, H. (2009).
Handbook on impact evaluation: quantitative methods and practices. s.l. : The World Bank,
2009.
Lavy, V y Schlosser, A. 2005. Targeted remedial education for underperforming teenagers:
Costs and benefits. s.l. : Journal of Labor Economics, 2005. Vol. 23(4).
Muñiz Fernández, J. 2010. Las teorías de los tests: teoría clásica y teoría de respuesta a los
ítems. s.l. : Papeles del Psicólogo: Revista del Colegio Oficial de Psicólogos, 2010.
Schwarzer, R y Jerusalem, M. 1995. Optimistic self-beliefs as a resource factor in coping with
stress. In Extreme stress and communities: Impact and intervention. s.l. : Springer, Dordrecht,
1995.
Snilstveir, B, y otros. 2016. The impact of education programmes on learning and school
participation in low –and middle- income conuntries: a systematic review summary report,
3ie Systematic Review Summary 7. s.l. : International Initiative for Impact Evaluation (3ie),
2016.
Spear, L. 2010. The behavioral neuroscience of adolescence. s.l. : WW Norton & Company,
2010.
Steinberg, L, y otros. 2009. Age differences in future orientation and delay discounting. s.l. :
Child development, 2009. Vol. 80(1).
Stormshak, E A, Fosco, G M y Dishion, T J. 2010. Implementing interventions with families in
schools to increase youth school engagement: The Family Check-Up model. s.l. : School
Mental Health, 2010. Vol. 2(2).
Tuttle, C C, y otros. 2013. KIPP Middle Schools: Impacts on Achievement and Other Outcomes.
Final Report. s.l. : Mathematica Policy Research, Inc, 2013.
Subsecretaría de Coordinación y Dirección General de Cultura y Educación 2018. Escuelas
Promotoras: Evaluación de Procesos e Impacto, Informe de Línea de Base, julio de 2018.
40
Anexo N°1. Regresiones
Tabla N° 9. Regresiones de Lengua
Variables Modelo
(1) (2) (3)
Efecto del programa 0,048 0,044 0,046
(0,04) (0,04) (0,04) Mujer 0,034* 0,039**
(0,02) (0,02) Hacinamiento (más de 2,5 personas por hab.) -0,059*** -0,050**
(0,02) (0,02) Ayuda a sus padres en su trabajo -0,140*** -0,126***
(0,02) (0,02) No dedica horas diarias a tarea y estudio -0,193*** -0,166***
(0,04) (0,04) Recibió apoyo durante el año pasado -0,119*** -0,118***
(0,02) (0,03) Tarda más de media hora en llegar a la escuela -0,123*** -0,116***
(0,03) (0,03)
Observaciones 3.916 3.354 3.354 R-cuadrado 0,008 0,052 0,122 Efectos fijos por escuela NO NO SI
Errores estándar entre paréntesis.
*** p<0,01, ** p<0,05, * p<0,1
41
Tabla N° 10. Regresiones de Matemática
Variables Modelo
(1) (2) (3)
Efecto del programa 0,031 0,059* 0,070**
(0,03) (0,03) (0,03) Mujer -0,091*** -0,086***
(0,02) (0,02) Hacinamiento (más de 2,5 personas por hab.) -0,074*** -0,069***
(0,02) (0,02) Ayuda a sus padres en su trabajo -0,083*** -0,070***
(0,02) (0,02) No dedica horas diarias a tarea y estudio -0,075** -0,073**
(0,03) (0,03) Recibió apoyo durante el año pasado -0,073*** -0,081***
(0,02) (0,02) Tarda más de media hora en llegar a la escuela -0,069*** -0,062**
(0,03) (0,03)
Observaciones 3.965 3.372 3.372 R-cuadrado 0,014 0,040 0,119 Efectos fijos por escuela NO NO SI
Errores estándar entre paréntesis.
*** p<0,01, ** p<0,05, * p<0,1
42
Anexo N°2. Niveles de desempeño ampliados
Gráfico N° 6. Niveles de desempeño ampliados en Lengua según grupo y
momento
Fuente: elaboración propia
Gráfico N° 7. Niveles de desempeño en Matemática según grupo y
momento
Fuente: elaboración propia
16% 18% 15% 13%
42% 40% 42%37%
26% 26% 27%33%
15% 16% 16% 17%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Pre Post Pre Post
Control Tratamiento
Bajo Medio Alto Superior
14% 15% 12% 11%
46% 42%42% 37%
31% 32% 33%37%
8% 11% 13% 14%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Pre Post Pre Post
Control Tratamiento
Bajo Medio Alto Superior
