EVALUACIÓN DEL PROGRAMA COMPROMISO EDUCATIVO 2011 …€¦ · Estrategia de evaluación 2....

EVALUACIÓN DEL PROGRAMA COMPROMISO

EDUCATIVO

2011 – 2012

ANEP(DIEE) – MIDES (DINEM)

CONTENIDO

1. Estrategia de evaluación

2. Cobertura y niveles de participación

3. Procesos de Implementación

4. Resultados

5. Impacto

6. Consideraciones finales

10/12/2013 - ANEP(DIEE) – MIDES (DINEM)

1. ESTRATEGIAS DE EVALUACIÓN


Concepción del programa desde la evaluación

El programa es la conjunción de los tres componentes, no se concibe el programa únicamente atado a ninguno de ellos y en consecuencia la evaluación buscó dar cuenta de todos ellos y del efecto combinado de los mismos.

El programa supone dos niveles de acción: a) los estudiantes; b) los centros. En consecuencia la evaluación trabajó en conocer efectos en estos dos niveles (unidades de análisis)

La evaluación debe dar cuenta de los resultados/impactos del programa, pero a la vez debe atender a la implementación y procesos que el programa hace/genera en los dos niveles mencionados. En consecuencia el enfoque de evaluación es combinado.

El objetivo general es contribuir a enriquecer y consolidar la matriz de programas educativos existentes, con el fin de mejorar las condiciones para que los estudiantes de EMS permanezcan y potencien sus trayectorias en el sistema educativo público y particularmente puedan completar el segundo ciclo de enseñanza media.


ESTRATEGIAS DE EVALUACIÓN Y FUENTES DE INFORMACIÓN

2011 2012

CUALI

Técnica Entrevistas Entrevistas

Actores

Participante / No participantes Participantes con acuerdo acompañamiento

Articuladores Pedagógicos Articuladores pedagógicos Referentes Pares Referentes Pares Dirección Dirección Adscripción Adscripción Docentes Docentes

Muestreo Teórico (Región, tamaño, % becas) Teórico (Región, año, CES/CETP)

Casos 8 centros 6 centros 89 entrevistas 52 entrevistas

CUANTI (Encuesta panel)

Técnica

Encuesta longitudinal (dos ondas: julio y noviembre)

Actores Estudiantes Muestreo Por conglomerado

Casos 41 centros 3300 (julio) / 2772 (noviembre)

REGISTROS ADMINISTRATIVO

S Resultados SECLI Matrícula SECLI / UTU


2. COBERTURA Y NIVELES DE PARTICIPACIÓN


COBERTURA

En 2012 el programa llega a implementarse en 63 centros educativos, aumentando así el número de centros en un 62%. Concentra su expansión en los centros educativos del CETP-UTU y mantiene la importancia relativa de los centros del interior del país (70%).

Amplía el número de becas otorgadas (162%) y de los Referentes Pares (43%).

El 28% de los estudiantes en centros CE (noviembre 2012), participan al menos una vez de algún componente del programa.


La cobertura del programa entre 2011 y 2012 aumenta en términos de centros y alcance de sus componentes

AÑO Centros CE % en relación

a centros EMS

Postulantes CE

Becas otorgadas

Referentes Pares

2011 39 13 2086 1659 350

2012 63 21 6952 4347 500

PARTICIPACIÓN EN LOS COMPONENTES DEL PROGRAMA

71,6

27,8

0,6

Recibe beca No recibe beca NS/NC

De acuerdo a los datos de la encuesta, y con lo recabado en la estrategia cualitativa, puede decirse que mayoritariamente los participantes del programa “reciben” en algún momento del año los tres componentes (Beca, Acuerdo y ER).

• En tanto el 100% de los Becados firma el acuerdo educativo, y el 92% de los mismos participa al menos una vez del ER. • Por su parte, del 100% de los que participaron al menos una vez del ER, el 72% perciben la Beca y firmaron el Acuerdo.

Lo anterior puede indicarnos que el ER probablemente fue percibido por los becados como un ámbito de participación “obligatoria”, a la vez que muestra que los ER no se han generalizado entre los estudiantes.

Nivel de participación en Espacios de Referencia Noviembre 2012.

92%

8%

Participa ER

No participa ER

Becados en ER Composición de los ER


3. EVALUACIÓN DE PROCESOS DE

IMPLEMENTACIÓN


A través del análisis de los dos años de implementación del programa, se aprecia un proceso de «maduración» de la inserción de CE en los centros educativos y de afianzamiento en las dinámicas institucionales. (Conocimiento, aceptación y articulación)

Uno de los principales indicadores en este sentido es la disminución de prejuicios y temores por parte de los actores institucionales así como la disminución de la centralidad asignada al componente beca -apreciándose un avance en la valorización de los restantes componentes del programa-.

Beca:

Si bien no existe un discurso homogéneo sobre la beca, continúa su valoración positiva y es significada desde tres aspectos

a) vinculada a realidades socio económicas vulnerables; b) como elemento motivacional y c) valoración positiva atada a la existencia de “contrapartidas”.

A su vez, 9 de cada 10 estudiantes (incluidos los no becados) tiene una opinión favorable respecto a la existencia de la beca, y 3 de cada 4 piensa que está bien asignada. Esta buena valoración se condice con los análisis de focalización*. 10/12/2013 - ANEP(DIEE) – MIDES (DINEM)

Hallazgos de la estrategia cualitativa. Generales y por componentes (a)

Espacios de Referencia:

Adquieren mayor visualización en el segundo año. Su inserción continúa siendo heterogénea y asumiendo contenidos diferenciados en relación a la forma en que son concebidos por los actores, y a la impronta particular de los RP.

Sobre los RP se apreció una idea favorable sobre su figura, en la que se refleja un rol en construcción, que aún debe ser ponderado y potenciado.

Acuerdos y Articulador Pedagógico

Su figura adquirió mayor visualización y legitimación desde los demás actores institucionales, siendo concebidos como el “pilar” del programa. Se observó además una mayor integración entre su trabajo y el del resto de los actores del centro, se apreciaron casos donde la relación AP-adscriptos operó de modo favorable al cumplimiento de los objetivos del programa.

Dificultades ER:

ü En algunos actores se aprecia escepticismo

sobre el programa.

ü Problemas de infraestructura asociado

a los ER (lugar físico)

ü Difusión y débil participación de No-

Becados*

ü Se reclama concientización y

sensibilización del programa hacia el

cuerpo docente.

ü Desde los referentes pares, se reclama

mayor orientación sobre cómo llevar adelante los

ER.


Hallazgos de la estrategia cualitativa. Generales y por componentes (b)

4. RESULTADOS


La estrategia de evaluación de impacto supuso trabajo en dos niveles, estudiantes y centros.

De acuerdo a los objetivos del programa se definen tres indicadores de resultado/impacto:

1) Promoción; 2) Inasistencia (durante el año) –sólo para CES-; 3) Continuidad educativa al año siguiente (t+1).

I. En primer lugar se presentan datos descriptivos –diferenciados por subsistema (CETP / CES)- sobre resultados de estudiantes, comparando tres grupos:

a) Participantes CE; b) No participantes CE en Centros con CE; c) Estudiantes de Centros NO CE.

II. En segundo lugar, en base a las mismas variables, se evalúa impacto del programa mediante propensity score matching (PSM)


Consideraciones y estructura de los resultados e impactos del programa

RESULTADOS A NIVEL DEL CETP


Aprobación de estudiantes de 1º y 2º nivel de EMS en CETP (2012)

ü Además, tanto en las mujeres como en los varones becados se observan niveles de aprobación superiores al del resto de los grupos de estudiantes.

ü La aprobación es de 79,5% entre los varones y de 74,5% entre las mujeres.

La aprobación

de los

participantes CE

es más alta que

para los

restantes

grupos.


Continuidad educativa de estudiantes de 1º y 2º nivel de EMS en CETP (2012)

ü Tanto en los varones como en las mujeres, más de un 80% de los becados se inscribe al año siguiente.

La continuidad

a nivel de los

participantes

CE es superior

al registrado en

los estudiantes

sin beca en

centros con y

sin el

programa.


Estudiantes de 1° de CETP-2012 por extraedad, aprobación

Al controlar los resultados del programa por extraedad se observa que… Entre los

estudiantes sin extraedad se observa una de 6.2 puntos entre participantes CE y no participantes en centros CE.

Entre los estudiantes con extraedad se observa una de 22.2 puntos entre participantes CE y no participantes en centros CE.


Estudiantes de 1° de CETP-2012 por extraedad, continuidad

Entre los estudiantes sin extraedad se observa una de 2.5 puntos entre participantes CE y no participantes en centros CE.



Estudiantes de 2° de CETP-2012 por extraedad, aprobación




Estudiantes de 2° de CETP-2012 por extraedad, continuidad




11/04/13

RESULTADOS A NIVEL DEL CES


Aprobación de estudiantes de 1º nivel de EMS en CES (2012)

ü Desempeño comparativamente más favorable por parte de las mujeres respecto a los varones. ü Sin embargo, varones becados presentan mejor desempeño en repetición por inasistencias. Asimismo, es al interior de los varones donde se verifican las mayores brechas entre becados y no becados.

Los estudiantes becados obtienen niveles superiores de promoción respecto a quienes, estando el mismo centro, no recibieron beca, y niveles similares respecto a los estudiantes de los centros que no participaron del programa.


11/04/13

ü Los varones becados muestran un desempeño levemente mejor que el de las mujeres becadas, invirtiendo la situación que se observa para el promedio.

Repetición por inasistencias de estudiantes de 1º nivel de EMS en CES (2012)

Se observa la obtención de mejores resultados por parte de los estudiantes becados en relación a quienes concurren a centros no CE.

Registrando menores niveles de repetición por inasistencias


Continuidad educativa de estudiantes de 1º nivel de EMS en CES (2012)

ü Se observa mayor nivel de continuidad para participantes CE que para los restantes grupos


Estudiantes de 1° de CES-2012 por extraedad, aprobación

Al controlar los resultados del programa por extraedad se observa que…




Estudiantes de 1° de CES-2012 por extraedad, repetición por inasistencias

Entre los estudiantes sin extraedad se observa una de -2.1 puntos entre participantes CE y no participantes en centros CE.

Entre los estudiantes con extraedad se observa una de -12.7 puntos entre participantes CE y no participantes en centros CE.


11/04/13

Entre los estudiantes sin extraedad se observa una de 4 puntos entre participantes CE y no participantes en centros CE.


Continuidad educativa de estudiantes de 1° de CES-2012 por extraedad


5. IMPACTO


Introducción En este apartado se comentaran los resultados de la evaluación de impacto de Compromiso Educativo en base a los datos procedentes de:

v la encuesta realizada en 2012 v Los registros administrativos de los postulantes al programa en 2012.

La metodología adoptada para la evaluación de impacto se basó en la construcción de un grupo de control sintético para los participantes de CE – a través de las técnicas de propensity score matching y matching en las variables – y la posterior comparación de los resultados obtenidos por ambos grupos, a través del “efecto promedio en los tratados” (representado por su sigla en inglés, ATT).

Para definir la variable “grupo de tratamiento” se ensayaron dos alternativas:

Variable Descripción Participa como Becado Vale 1 si el individuo recibió la beca en el 2012

Participa en al m e n o s 1 c o m p o n e n t e CE

Vale 1 si el individuo participo en alguno de los componentes del programa en por lo menos una de las dos encuestas de evaluación.


Encuesta de evaluación de julio 2012

Variable Descripción ICC Índice de Carencias Críticas, mide el nivel socioeconómico Edad Edad en años Sexo Toma el valor 1 si es varón y 0 si es mujer

AprobSinPrev Vale 1 si el individuo aprobó el año pasado sin previas, 0 en caso contrario

Beca11 Indicadora que vale 1 si el sujeto obtuvo beca en el 2011 y 0 en caso contrario

Cuarto Vale 1 si el individuo cursa el nivel 1 de EMS, 0 en caso contrario Distancia al Centro

Distancia al centro en kilómetros

Hacinamiento Vale 1 si el individuo vive en un hogar hacinado, 0 en caso contrario

ImEdTerc Vale 1 si el estudiante expresa intención de cursar estudios terciarios, 0 en caso contrario

Cuarto Secundaria

Indicatriz que vale 1 si el individuo cursa cuarto año en secundaria

Variables utilizadas para la definición del PSM


Estimación del efecto promedio del programa para becados (nivel 1 y 2) en CETP , en base a

Encuesta CE12

Población Tratamiento Resultado ATT Balancea

CETP (nivel 1 y 2) BecaCE12 Aprobó 5,7% Si

Continuidad 2013 13,3%* Si

• Valores estadísticamente significativos el 5%. Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 630 casos de los cuales el 27% eran becados (171). El efecto en continuidad se estimo con 695 casos de los cuales el 25% eran becados (173). En el anexo XXX se muestran los contrastes de calidad de emparejamiento.


Estimación del efecto promedio del programa para becados (nivel 1) en CES , en base a Encuesta

CE12

Población Tratamiento Resultado ATT Balancea

CES (4º año) Participó en algún

componente

Aprobó 0,3% Si

Inasistencias -1,0% Si

Inscripción 2013 7,1%* Si

Fuente: Elaboración propia en base a encuesta CE12 Se presenta el valor ATT obtenido utilizando kernel para el emparejamiento. El efecto en aprobación y desvinculación se estimo con 940de los cuales el 237 eran becados. El efecto en continuidad se estimo con 975 casos de los cuales el 239 eran becados.


Registros de postulantes al programa 2012

Variables utilizadas para la definición del PSM y para el emparejamiento directo en las variables

Variable (X) Descripción

ICC Índice de Carencias Críticas, mide el nivel socioeconómico

Edad Edad en años

Sexo Toma el valor 1 si es varón y 2 si es mujer

Nivel Indica si la persona cursa primer año de EMS o segundo


Resultados con registros administrativos

Sistema Grado Variable

Matching en variables PSM

Control Tratados ATT Balance Resultado Balance

CES 4º liceo Promoción 261 1420 9,2* Si - No

4º y 5º liceo Continuidad 527 2792 11,9 ** Si - No

UTU

Nivel 1 y 2 hasta 19 años

Promoción 168 728 23,2 ** Si 21,3 ** Si

Nivel 1 y 2 hasta 19 años

Continuidad 200 822 14,3 ** Si 12,0 ** Si

[1] Se acotó la edad para mejorar la calidad de los emparejamientos

**: significativo al 5% *: significativo al 10%


6. CONSIDERACIONES FINALES


CONSIDERACIONES FINALES (a)

• Institucionalización y maduración del programa al interior de los centros.

• Si bien los participantes del programa mayoritariamente “reciben” –en algún momento- a los tres componentes del programa (integralidad); el Espacio de referencia aún no se ha generalizado como espacio abierto para los estudiantes del centro.

• Demanda por incluir a los actores de los centros en la sensibilización y conocimiento del programa (en especial docentes), en la medida que las sinergias entre recursos CE y del centro genera prácticas virtuosas.


CONSIDERACIONES FINALES (b)

• Impacto a nivel general en Continuidad para UTU (efecto robusto y consistente), en torno al 12%-14%

• Impacto del programa a nivel de extraedad (valores en torno a las diferencias observadas los descriptos).

Encuesta

Registro administrativo

Emparejamiento en X PSM

CETP Aprobación - SÍ -

Continuidad SÍ SÍ -

CES Aprobación - SÍ SÍ

Continuidad SÍ SÍ SÍ

Indicios de efectos en continuidad CES y aprobación en ambos


EVALUACIÓN DEL PROGRAMA COMPROMISO EDUCATIVO 2011 …€¦ · Estrategia de evaluación 2....

Documents

Transcript of EVALUACIÓN DEL PROGRAMA COMPROMISO EDUCATIVO 2011 …€¦ · Estrategia de evaluación 2....