Efectos del estatuto docente del 2002 sobre los resultados académicos de

los estudiantes

Zelda Brutti *, Fabio Sánchez Torres °

* IEB y Universidad de Barcelona; ° CEDE y Universidad de Los Andes

Contenido

1. Introducción

2. La reforma

3. Metodología

4. Resultados

5. Canales

6. Apéndice

INTRODUCCIÓN

Calidad del profesor Varios aspectos en la literatura:

•Los buenos profesores pueden hacer una gran diferencia en laeducación (Chetty et al. [2014] Rivkin et al. [2005], Rockoff[2005] ...)

•Qué hace un buen maestro (Rockoff et al. [2011], Kane et al.[2008], Gordon et al. [2006] ...)

•Cómo podemos hacer mejores maestros, o retener a losmejores (Hanushek Et al. [2004], Figlio [2001] ...)

Consenso: Los maestros hacen una gran diferencia en elaprendizaje de los estudiantes y los controles de calidad sondeseables (aunque no hay consenso sobre cuáles exactamente).

…y la calidad de los docentes en los países en desarrollo• Varios países de América Latina (y del Sudeste de Asia) estáncomenzando a intervenir la calidad docente directamente.

• Colombia ha iniciado una gran transición de la cual se puedeaprender

Colombia ha hecho de la educación una prioridad en pro demejorar la prosperidad económica y social del país. Secomprometieron más recursos a este sector que cualquier otroámbito político [OCDE, 2016].

• Gran reforma en 2002: Introducción de requisitosde calidad docente e incentivos.

Objetivos de este trabajo • Evaluar cómo la reforma docente del 2002 en Colombia ha impactado el desempeño estudiantil

¿La nueva regulación ha sido exitosa en la tarea de generar "mejores" maestros? (En general, SÍ)

Investigar los posibles canales del efecto ¿Cuáles disposiciones de la reforma han sido las más eficaces?

Documentar el incumplimiento significativo (y preocupante!) de la nuevas reglas Reducción consecuente de los beneficios para los estudiantes

Revisión de literatura

Efectividad de las políticas de aseguramiento de la calidad• Figlio (2001), Hanushek et al. (2004)

Calidad docente en América Latina • Duarte (2001, 2003), Rossel y Valliant (2006), Murillo et al. (2007), Louzano y Moriconi (2014)

Evaluación de la reforma colombiana de 2002• Ome (2012, 2013): Con efectos fijos de escuela (variación anual), encuentra efectos en primaria pero no encuentra ningún efecto en los estudiantes de secundaria.

Contribución

• Mejorar las evaluaciones previas del efecto de la reforma docente sobre el rendimiento estudiantil en Colombia.

• Primer intento de investigar los canales y las heterogeneidades del efecto.

• Análisis novedoso de la relación entre las características de los docentes del nuevo estatuto (especialmente, los resultados de las pruebas de ingreso) y el desempeño estudiantil.

• Documentación robusta de las fallas importantes de reforma.

Hallazgos

• Se encuentra un efecto positivo y significativo de la reforma Con una estrategia de efectos fijos within colegio-año

• El efecto parece estar dirigido por la selección a la entrada, pero no por la selección posterior durante la carrera docente

• Los docentes del nuevo estatuto presentan rendimientos marginales decrecientes

LA REFORMA

Antes de la reforma

El proceso de entrada no era transparente, nombramientos de docentes a través de "Actos administrativos"

Promociones automáticas (cada 3 años)

Protección excesiva en el trabajo (era casi imposible despedirlos)

El sistema no creaba incentivos para que los profesores invirtieran en sus habilidades pedagógicas y conocimiento del área de enseñanza

Después de la reforma

1. Concurso selectivo para entrar

2. Período de prueba

3. Evaluación del desempeño permanente (anual)

3.1 Pre-requisitos para ser promovido

3.2 Posibilidad de ser despedido

Aspectos clave de la reforma

• Las disposiciones de la nueva regulación sólo aplican para los profesores contratados después de 2002 (acuerdo con los sindicatos)

• Los maestros que ya ejercían la profesión antes de la reforma siguen sus carreras según las antiguas reglas

• Aprovechamos la existencia de la mezcla entre docentes con nuevo estatuto y docentes con antiguo estatuto para identificar el efecto de la reforma

• Controlando por selección (efectos fijos colegio-año y por área de enseñanza)

1. Concurso de selección• Cada secretaría de educación emite una convocatoria pública para las aplicaciones, especificando el número y tipo de vacantes.

• Los candidatos eligen la secretaría de educación a la que desea aplicar.

• Los candidatos participan en un concurso que incluye Examen de conocimientos y habilidades pedagógicas

Evaluación de títulos

Entrevista verbal

• Con base en la puntuación global que obtiene cada candidato en el concurso, este puede elegir su vacante preferida (el resto quedan en una lista de espera)

2. y 3. Periodo de prueba y evaluación permanente 2. Periodo de prueba

• Los candidatos que obtengan una vacante entran por primera vez en un período de prueba (Mínimo 4 meses, máximo 1 año académico)

• El director del colegio evalúa el nuevo maestro utilizando un formato estandarizado y puede vetarlo

3. Evaluación permanente

• El director del colegio evalúa el maestro (después del período de prueba) cada año.

• Los maestros toman pruebas similares a la prueba de ingreso cuando aplican a una promoción (la cual es denegada si el resultado de la prueba es insatisfactorio).

METODOLOGÍA

Datos• Profesores: datos administrativos (Ministerio de Educación), a nivel de individuo entre 2008-2013

• El 87,4% de los nuevos profesores cuentan con información del puntaje de la prueba de ingreso.

• Estudiantes: datos administrativos (ICFES) del examen final de secundaria (Saber11) entre 2000 y 2013.

• Match entre profesores y estudiantes, a nivel de la escuela-cohorte (no hay información disponible sobre la clase en la que dictaba el docente)

• Por ejemplo, match entre resultados de la prueba Saber 11 en 2005 para matemáticas en la escuela A y maestros de matemáticas que enseñaban en secundaria de la escuela A en 2005.

Estadísticas descriptivas I

Región Caribe

Estadísticas descriptivas – Por departamento

58

59

60

61

62

63

64

65

66

San

An

dré

s

San

tan

der

Bo

gotá

Qu

ind

ío

V. d

el C

auca

Atl

ánti

co

Am

azo

nas

Cu

nd

inam

arca

Ris

aral

da

N. S

anta

nd

er

Cal

das

Pro

m N

acio

nal

Bo

yaca

Có

rdo

ba

An

tio

qu

ia

Bo

líva

r

La

Gu

ajir

a

Gu

avia

re

Nar

iño

Hu

ila

Caq

uet

a

Ces

ar

To

lim

a

Mag

dal

ena

Sucr

e

Met

a

Cas

anar

e

Cau

ca

Pu

tum

ayo

Gu

ain

ía

Ara

uca

Vau

pés

Vic

had

a

Ch

ocó

Pu

nta

je p

rom

edio

Docentes nueva regulación (Aprobaron)

Estadísticas descriptivas – Por departamento

0%

5%

10%

15%

20%

25%

30%

35%

40%

Bo

gotá

Cu

nd

inam

arca

Qu

ind

ío

An

tio

qu

ia

Hu

ila

Ris

aral

da

Bo

yac

a

San

tan

der

V. d

el C

auca

Met

a

Cal

das

To

tal N

acio

nal

Cas

anar

e

Mag

dal

ena

Bo

lív

ar

Caq

uet

a

Có

rdo

ba

To

lim

a

Ces

ar

Gu

ain

ía

Ch

ocó

La

Gu

ajir

a

San

An

dré

s

Sucr

e

Gu

avia

re

Nar

iño

Am

azo

nas

Pu

tum

ayo

Atl

ánti

co

N. S

anta

nd

er

Vau

pés

Vic

had

a

Cau

ca

Ara

uca

Po

rcen

taje

Número docentes nueva regulación (aprobaron) / Total docentes

Estadísticas descriptivas – Por departamento

0%

5%

10%

15%

20%

25%

30%

35%

40%G

uai

nía

Vau

pés

Cas

anar

e

Caq

uet

a

Gu

avia

re

Met

a

Vic

had

a

Am

azo

nas

An

tio

qu

ia

Pu

tum

ayo

Ch

ocó

Nar

iño

Cu

nd

inam

arca

San

An

dré

s

Bo

yac

a

To

lim

a

Hu

ila

Ces

ar

Ris

aral

da

Ara

uca

Cal

das

Bo

gotá

Có

rdo

ba

Mag

dal

ena

San

tan

der

La

Gu

ajir

a

V. d

el C

auca

Qu

ind

ío

Cau

ca

Bo

lív

ar

Sucr

e

Atl

ánti

co

N. S

anta

nd

er

Porcentaje de profesores temporales (2008-2013)

Estadísticas descriptivas – Por departamento

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Vau

pés

Gu

ain

ía

Vic

had

a

Ara

uca

Am

azo

nas

Nar

iño

Pu

tum

ayo

Gu

avia

re

San

An

dré

s

Cas

anar

e

Caq

uet

a

Met

a

Ch

ocó

Cau

ca

An

tio

qu

ia

To

lim

a

Ces

ar

Bo

yac

a

La

Gu

ajir

a

Cal

das

Hu

ila

Ris

aral

da

Cu

nd

inam

arca

Mag

dal

ena

San

tan

der

Có

rdo

ba

V. d

el C

auca

Bo

gotá

Sucr

e

Atl

ánti

co

Bo

lív

ar

Qu

ind

ío

N. S

anta

nd

er

Porcentaje de profesores temporales de la nueva regulación (2008-2013)

Estadísticas descriptivas II

Los profesores “irregulares” I

Alrededor del 28% de los profesores activos del nuevo estatuto tienen un puntaje (máximo alcanzado) menor al mínimo

Los profesores “irregulares” II

... y la mayoría de ellos nunca pasaron el examen de admisión, y se encuentran en"Posiciones temporales"

Los profesores “irregulares” II

•Existe una alta heterogeneidad en la distribución a lo largo de todo el país

• Probablemente correlacionado con otros indicadores. Señal de la desigualdad (trabajo en progreso)

• La mayoría de estos maestros irregulares han intentado el examen de ingreso múltiples veces (83%)

Identificación

Identificación: Ilustración

- Mejor ubicación- Mejor gestión - Buena reputación…

- Peor ubicación- Peor gestión - Mala reputación…

NUEVOS 50%

NUEVOS 30%

ANTIGUOS 30%

ANTIGUOS 70%

Rendimiento comparado

Identificación: Ilustración

NUEVOS 50%

NUEVOS 30%

ANTIGUOS 30%

ANTIGUOS 70%

2005

2008

- Desarrollo del área - Cambio de rector- Cambio de reputación …Rendimiento comparado

Identificación: Ilustración

NUEVOS 50%

NUEVOS 25%

ANTIGUOS 30%

ANTIGUOS 75%

NUEVOS 75%

ANTIGUOS 25%

Matemáticas

Lenguajes

Ciencias Compara el desempeño

Identificación: Ilustración

Efecto fijo de colegio-año y por área de enseñanza.

6.000 colegio

8 áreas de evaluación

6 años (2008-2013)

Identificación: Ilustración

𝑦𝑖𝑡𝑠 = 𝛽0 + 𝛽1𝑆𝑁𝑃𝑖𝑡𝑠 + 𝛽2𝑆𝑁𝑁𝑃𝑖𝑡𝑠 + 𝜷𝒌𝑿𝒌𝒊𝒕𝒔 + 𝛼𝑖𝑡 + 𝛼𝑠 + 𝑒𝑖𝑡𝑠

• Efectos fijos de colegio-año y por áreaPor ejemplo: en la escuela A, en el año 2005, habían 50% de docentes de matemáticas del nuevo estatuto, pero sólo 25% de docentes de español del nuevo estatuto. Se compara el rendimiento de los mismos estudiantes en Matemáticas y Español ese año.

• De esta forma se controla por características del colegio, gestión del rector, choques temporales al colegio, etc…

RESULTADOS

Efecto de los docentes del nuevo estatuto en el desempeño de los estudiantes

Un aumento de la participación de los docentes del nuevo estatuto en 10% en un colegio, área de enseñanza y año dado, aumenta el desempeño de los estudiantes, en promedio, en 0.9% de una desviación estándar

¿Qué tan grande es el efecto?

• Considerando el desempeño de los estudiantes como resultado:• En nuestra muestra y estimaciones: Es equivalente a

aumentar la experiencia promedio del dodcente en 7 años.

• Comparado con la literatura de Estados Unidos • Pasar de 100% de profesores tradicionales a 100% de

profesores con el nuevo estatuto en un área de enseñanza, en Estados Unidos, es comparable a asignarle a un docente 1 desviación estándar de calidad

Robustez

Explorando las no linealidades en el efecto

No linealidad 1Efecto marginal de los diferentes niveles de participación de los docentes del

nuevo estatuto (aprobaron)

No linealidad 2Efecto marginal del área de enseñanza

No linealidad 3Efecto marginal de las diferentes participaciones de docentes con postgrado

Resumen de las no linealidades

Los docentes del nuevo estatuto:• Retornos marginales decrecientes (efecto más grande para los

primeros docentes) • ¿Efectos de pares? ¿Efecto de derramamiento (spillovers)?

• No hay diferencias significativas por área de enseñanza (Matemáticas es un poco más fuerte, Filosofía e Inglés es más débil)

• Rendimientos marginales crecientes en la participación de los docentes con postgrado.• ¿Más receptivos y abiertos a innovación?

Explorando los canales

Selección a la entrada

Selección a la entrada- Por departamento

0%

5%

10%

15%

20%

25%

30%

35%

40%

BO

GO

TA

SAN

TA

ND

ER

HU

ILA

RIS

AR

AL

DA

ME

TA

NO

RT

E S

AN

TA

ND

ER

CA

LD

AS

AN

TIO

QU

IA

CU

ND

INA

MA

RC

A

VA

LL

E

NA

RIÑ

O

QU

IND

IO

AT

LA

NT

ICO

CA

UC

A

CA

QU

ET

A

BO

YA

CA

TO

LIM

A

CO

RD

OB

A

GU

AV

IAR

E

VIC

HA

DA

SUC

RE

PU

TU

MA

YO

CA

SAN

AR

E

CE

SA

R

AM

AZ

ON

AS

LA

GU

AJI

RA

BO

LIV

AR

AR

AU

CA

MA

GD

AL

EN

A

VA

UP

ES

CH

OC

O

SAN

AN

DR

ES

Po

rcen

taje

ap

rob

aro

n

Docentes aprobaron/ Docentes que presentaron el examen (2009)

2) Docentes con mejores puntajes “forman” mejores estudiantes

Selección en el periodo de prueba (?)

Permanencia y no continuación del empleo(?)

Conjeturas de los canales

• Selección a la entrada

• Selección en periodo de prueba ?

• Despido de docentes con posiciones permanentes

Permanencia de los docentes (análisis de supervivencia)

Supervivencia de docentes por tipo de estatuto

Supervivencia de docentes del antiguo estatuto

Supervivencia de docentes del nuevo estatuto

Supervivencia de docentes del nuevo estatuto por puntaje Todos los docentes

Supervivencia de docentes del nuevo estatuto por puntaje Docentes media (Saber 11)

Conclusiones

• La reforma colombiana ha tenido resultados positivos en términos del desempeño de los estudiantes• Alrededor de un incremento de 0.9% desviaciones estándar

en los puntajes de la prueba Saber 11 por cada 10% de docentes adicionales del nuevo estatuto.

• Es probable que el efecto esté determinado por la selección a la entrada, posiblemente por el periodo de prueba, pero no por la selección posterior durante la carrera docente.

• El puntaje de los docentes en la prueba de ingreso es una señal de la calidad de los docentes

• Se debe mejorar la permanencia de los docentes que presentan el mejor desempeño