Exámenes de egreso, validez y consecuencias sobre … · Resultados proyectos financiado por 7º...

Exámenes de egreso, validez y consecuencias sobre los egresados: el caso chileno

Rosario Rivero, [email protected]

Ernesto San Martín, [email protected]

Constanza Hurtado, [email protected]

Martín Bascopé, [email protected]

Resultados proyectos financiado por 7º concurso FONIDE, Ministerio de Educación

Línea de Formación Inicial Docente CEPPE

Contexto – Evaluaciones de desempeño egresados

Para asegurar calidad de los docentes muchos países han avanzado en la implementación de evaluaciones de desempeño a los egresados con distintos niveles de consecuencias

Tendencia acompañada de recolectar mayor y mejor evidencia del desempeño a los egresados

Diversas instituciones manifiestan la necesidad de tener indicadores válidos y confiables mas allá de la aprobación de test de conocimientos de lápiz y papel (NAE, NRC, RAND)

Evaluaciones de conocimiento de lápiz y papel cuestionada validez para altos niveles de consecuencias (Wilson, 2014)

Algunos de los requisitos para habilitación en otros sistemas son: Rendir algún examen competitivo habilitante

Cursar periodos de inducción que deben ser evaluados

En América Latina hemos avanzando hacia un mayor

aseguramiento de la calidad de los programas de formación

(generación de estándares de formación)

Políticas de Formación Inicial Docente orientadas a mayor rendición de cuentas

Algunos países como Colombia o México asignan consecuencias relacionadas a la habilitación a test de conocimientos de egresados de pedagogía

Contexto – Evaluaciones de desempeño egresados

Contexto - Política Docente Chile

Escenario complejo en Chile por baja selectividad de los programas (alta expansión de programas y matrícula en los menos selectivos), distribución desigual en la inserción y a lo largo de la carrera docente y debilidades en la formación

Chile destaca por ser uno de los pocos países en que los docentes comienzan a ejercer directamente después de su graduación a diferencia de otros países de la OCDE

Evaluaciones de desempeño de egresados

Prueba INICIA de conocimientos de “lápiz y papel” se rinde desde el año 2008

Entrega información del nivel de logro de egresados en aspectos

fundamentales de su futuro desempeño como docentes (MINEDUC, 2013)

INICIA: ¿Nuevos usos?

Año 2008, fue creada con el propósito de fortalecer FID

Desde el año 2011 referida a los Estándares de Formación

Año 2012, proyecto de ley que planteó su aprobación como requisito

para ejercer en establecimientos subvencionados y como criterio de

asignación de incentivos económicos durante los primeros años de

ejercicio (propósito sumativo)

Año 2015, proyecto de ley que plantea obligatoriedad de rendirla antes

de la titulación para aportar en procesos de diagnóstico institucionales

(propósito formativo)

Usos formativos y sumativos suponen y requieren que INICIA

sea un indicador relacionado con la efectividad docente

Contexto - Política Docente Chile

Contexto – Proyecto Carrera Docente

No se plantea asociar altas consecuencias (ni individuales, ni institucionales) a la rendición de una prueba similar a INICIA, el proyecto propone la obligatoriedad de su rendición para quienes cursan programas de formación inicial. Al respecto la propuesta señala:

“Implementaremos de manera obligatoria una evaluación diagnóstica de la formación inicial docente, la cual entregará información del proceso formativo a los centros formadores, para que éstos implementen procesos sistemáticos de mejora continua, permitiendo a los estudiantes conocer el grado de desarrollo de las competencias asociadas a su perfil de egreso de manera anticipada a sus procesos de titulación como docentes“

¿Es la prueba INICIA un buen predictor de efectividad docente?

Analizar asociación entre el desempeño de los profesores en INICIA y desempeño de sus alumnos en SIMCE

Analizar asociación entre el desempeño de los profesores en pruebas PAA-PSU y en desempeño de sus alumnos en SIMCE

Comparar la capacidad predictiva de estas medidas

Objetivos de Investigación

Evaluación de conocimientos disciplinares, pedagógicos y

didácticos al egreso de la formación

Dirigida a egresados de programas de educación de

párvulo, básica y enseñanza media

Ajuste del contenido a Estándares Orientadores para

Egresados de Carreras de Pedagogía en Educación

Básica, en Educación Media y Educación de Párvulos

Carácter voluntario para alumnos e instituciones

Lápiz y papel

Prueba INICIA

Prueba INICIA (proyecto ley)

Instalación de una cultura de la evaluación diagnostica en las instituciones

Información significativa para el fortalecimiento del formación inicial

Aplicación obligatoria para todos los programas de formación de profesores

Perfeccionar la confección de los instrumentos que conforman la evaluación

Proyecto de Ley, 2015

Participación instituciones en INICIA:

Creciente participación de instituciones en las distintas pruebas INICIA

2008: participaron en la aplicación de la prueba 47 instituciones (83% total)

2012 : 50 instituciones (86% total)

Participación egresados

Menor la participación de los alumnos en últimos años de aplicación

2008: 1.994 alumnos evaluados en todas las pruebas (38% matrícula)

2012 : 1.443 alumnos evaluados en todas las pruebas (14% matrícula)

Prueba INICIA

Fuente: MINEDUC, 2013

Resultados prueba INICIA de conocimientos disciplinarios prueba pedagogía general básica 2008: 47% respuestas correctas

2009: 53% respuestas correctas

2010: 51% respuestas correctas

Alta variabilidad de resultados entre egresados que rinden el examen INICIA 2010 3% menos de 24% de respuestas correctas

45% menos de 50% respuestas correctas

47% menos de 74% respuestas correctas

5% más de 75% respuestas correctas

Prueba INICIA

Fuente: MINEDUC, 2013

Metodología - Supuestos

Asumimos que la efectividad de los profesores está asociada a la efectividad de la escuela

A su vez la efectividad de la escuela es un factor que contribuye a explicar resultados individuales

Más precisamente, asumimos que el efecto escuela es aquel que explica la heterogeneidad presente en resultados individuales que a su vez no es explicada por factores externos a la escuela.

Metodología

Una forma de operacionalizar la definición anterior es por medio de un modelo HLM, en el cual los factores explicativos no están correlacionados con el efecto escuela, el efecto escuela es un efecto aleatorio que representa la contribución de la escuela para explicar la variable dependiente (desempeño alumnos en SIMCE)

Complejo identificar variables externas/internas

Una vez estimado el efecto escuela, se regresa contra factores que están bajo su control, especialmente características de profesores (entre ellas, los resultados INICIA).

Estimación en dos etapas:

Primera Etapa: Estimación efecto escuela como la varianza de los resultados de los alumnos en SIMCE no explicada por sus características y las características de los establecimientos (HLM) . Se calcula efecto escuela piso y techo según variables de control.

• Efecto escuela Piso incluye variables socioeconómicas de los alumnos y SIMCE promedio matemáticas 2008

• Efecto escuela Techo incluye variables socioeconómicas de los alumnos

Metodología – Estimación

Estimación en dos etapas:

Segunda Etapa: Regresion lineal que analiza la asociación entre el efecto escuela y los resultados en las distintas evaluaciones (INICIA, PSU)

• Modelo 1: INICIA + variables explicativas

• Modelo 2: PSU + variables explicativas

• Modelo 3: INICIA y PSU + variables explicativas

Metodología – Estimación

Variables explicativas

Características de los profesores: puntaje INICIA disciplinario y pedagógico, puntajes en prueba de selección universitaria (PAA ó PSU), años de experiencia

Características de los alumnos: puntaje individual en SIMCE matemática, ingreso y años de educación declarados por los padres

Características de los establecimientos: promedio ptje. SIMCE matemáticas año 2008, grupo socioeconómico (clasificación SIMCE)

Metodología – Cuantificación

Estimación de error de clasificación de INICIA disciplinaria y Prueba de selección universitaria considerando 2 puntos de corte Percentil 20: profesores sobre el estandar

Percentil 80: profesores desempeño destacado

Se estimaron errores tipo I y II Error tipo I “profesores no efectivos”, con puntajes

INICIA que superan estándar determinado

Error tipo II “profesores efectivos” con puntajes INICIA bajo estándar determinado

Metodología – Cuantificación 6

08

01

00

120

140

(first)

z_

pp

_0

0 20 40 60 80 100(first) centiles_pcd

60

80

100

120

140

(first)

z_

pp

_0


Casos error tipo I

Casos error tipo

II

Casos error tipo I

Casos error tipo II

Puntaje Efecto

escuela predicho

por regresión para un puntaje INICIA

del P20

Puntaje Efecto

escuela predicho

por regresión para un puntaje

INICIA del P80

1.097 casos de profesores titulados de programas de pedagogía general básica entre los años 2008 a 2010 que hacían clases de matemática en cuarto básico (alumnos rinden SIMCE) en el año 2012

Solo se considera profesores que hacían clases en cursos en que hay 20 alumnos o más con datos de ptje. SIMCE matemáticas

Muestra

Profesores que

rindieron INICIA

Profesores que no

rindieron INICIA Total de la muestra

Género

Hombre 14% 19% 17%

Mujer 86% 81% 83%

Año INICIA

2008 38%

2009 35%

2010 21%

2011 6%

Promedio porcentaje logro INICIA disciplinaria

(centiles) 53

Promedio porcentaje logro INICIA pedagógica

(centiles)* 49

Promedio PAA / PSU lenguaje y matemática** 498 482 487

Centil promedio PAA / PSU 55 49 51.26

Años experiencia (promedio) 2.59 3.53 3.28

NSE establecimiento

Bajo 34 42 40.11

Medio 42 35 36.65

Alto 24 23 23.25

Total 295 802 1.097

Muestra

Nota (*) = 72 casos Nota (**) = 830 casos de la muestra total cuentan con datos de puntaje en pruebas PAA / PSU

Resultados INICIA Disciplinaria

Variable dependiente

VARIABLES Efecto escuela techo Efecto escuela piso

INICIA disciplinaria 0.0757*** 0.0631*** 0.0518** 0.0545*** 0.0425* 0.0426*

0.0203 0.0222 0.0214 0.0208 0.023 0.0232

Años experiencia 0.0897 0.0457 -0.194 -0.206

0.591 0.566 0.618 0.619

2.NSE escuela medio 5.765*** 1.103

(Ref: NSE escuela bajo)

1.395 1.522

3. NSE escuela alto 7.245*** -0.848

1.629 1.74

Constante 96.44*** 97.53*** 94.02*** 97.18*** 99.06*** 98.84***

1.254 2.117 2.157 1.3 2.25 2.381

Observaciones 291 255 255 273 237 237

R-squared 0.046 0.031 0.118 0.025 0.015 0.021

Variable dependiente VARIABLES Efecto escuela techo Efecto escuela piso

INICIA pedagógica 0.0875** 0.0747* 0.0949** 0.0697* 0.0671* 0.0760*

0.0351 0.0425 0.0392 0.0357 0.0426 0.0437

Años experiencia 0.662 0.107 0.731 0.532

1.576 1.446 1.714 1.735

2.NSE escuela medio 5.099* 0.42

(Ref: NSE escuela bajo)

2.814 3.194

3. NSE escuela alto 12.04*** 4.044

3.263 3.611

Constante 94.67*** 94.97*** 89.47*** 95.31*** 95.22*** 93.84***

1.989 3.871 3.868 2.05 3.919 4.307

Observaciones 71 56 56 64 49 49

R-squared 0.083 0.055 0.255 0.058 0.052 0.084

Resultados INICIA Pedagógica*

Nota (*) = La prueba INICIA pedagógica se comenzó a rendir el año 2011 (el año anterior solo hubo una prueba experimental) es por esto que hay menos casos de profesores con datos para esta muestra

Resultados Prueba PAA/ PSU


Promedio Len y Mat (PAA o PSU)

0.0729*** 0.0728*** 0.0348** 0.0196 0.0152 0.0166

0.015 0.016 0.016 0.0154 0.0166 0.0174

Años experiencia 0.0159 0.0717 0.141 0.155

0.274 0.262 0.285 0.286


(Ref: NSE escuela bajo) 0.82 0.896

3. NSE escuela alto 7.811*** -0.224

0.95 1.026

Constante 96.31*** 96.57*** 94.61*** 98.92*** 98.99*** 98.76***

0.842 1.226 1.229 0.872 1.279 1.339

Observaciones 816 727 727 766 682 682

R-squared 0.028 0.028 0.117 0.002 0.002 0.002

Resultados INICIA disciplinaria y PAA / PSU


INICIA disciplinaria 0.0558** 0.0517* 0.0508* 0.0528* 0.0503* 0.0513* 0.0277 0.0298 0.0289 0.0277 0.0303 0.0303

Promedio Len y Mat (PAA o PSU)

0.0442 0.031 0.0132 0.00687 -0.00972 -0.00684

0.0374 0.0411 0.04 0.038 0.0427 0.043

Años experiencia 0.155 0.147 0.0152 0.0514 0.652 0.632 0.681 0.681


(Ref: NSE escuela bajo) 1.485 1.601 3. NSE escuela alto 6.126*** -2.186

1.695 1.788 Constante 95.40*** 96.59*** 93.98*** 97.17*** 98.90*** 99.10***

1.662 2.444 2.468 1.746 2.597 2.691

Observaciones 263 229 229 247 213 213

R-squared 0.056 0.039 0.105 0.028 0.018 0.028

Metodología – Cuantificación 6

08

01

00

120

140

(first)

z_

pp

_0


60

80

100

120

140

(first)

z_

pp

_0


Casos error tipo I

Casos error tipo

II

Casos error tipo I

Casos error tipo II

Puntaje Efecto

escuela predicho

por regresión para un puntaje INICIA

del P20

Puntaje Efecto

escuela predicho

por regresión para un puntaje

INICIA del P80

Resultados: Error de clasificación “falso positivo”– Profesores Destacados (p80)

INICIA disciplinaria PAA o PSU

Efecto escuela piso 41% (29)

44% (15)

Efecto escuela techo 41% (47)

56% (19)

Resultados: Error de clasificación “falso negativo”– Profesores Destacados (p80)



41% (296)


52% (378)

Resultados: Error de clasificación “falso positivo”– Profesor desempeño Bajo (p20)



38% (277)


43% (317)

Resultados: Error de clasificación “falso negativo”– Profesor sobre estandar (p20)



33% (13)


44% (17)

Conclusiones

Existe asociación positiva, significativa y consistente entre la prueba INICIA disciplinaria y los efectos escuela piso y techo

INICIA pedagógica tiene asociación positiva, significativa y consistente con ambos efectos escuela

Coeficientes mayores (pero menor N)

Existe asociación positiva y significativa pero no consistente entre la prueba PSU/PAA y los efectos escuela piso y techo

Resultados son esperables dado los contenidos que mide cada evaluación

La prueba INICIA disciplinaria mantiene significancia y consistencia al controlar por PAA / PSU

Aquello que explica la asociación entre prueba INICIA y efecto escuela, no es compartido con el puntaje en PAA / PSU del docente.

SI bien los resultados de INICIA y PSU muestran correlación, el resultado del examen de egreso contribuye con información única en la predicción del efecto escuela

Conclusiones

Conclusiones

Sin embargo, la magnitud de la relación entre el desempeño de los profesores en INICIA y la efectividad docente sugiere que uso de INICIA podría conducir a errores según el propósito de la evaluación.

Según un propósito formativo:

No medir las competencias de un profesor efectivo

No detectar correctamente debilidades de los programas

No retroalimentar la formación para la mejora continua

Conclusiones

Según un propósito sumativo:

No medir las competencias de un profesor efectivo

Dejar fuera a docentes efectivos

Incluir a quienes podrían no serlo

Los resultados de los errores de clasificación entregan algunas luces de esto

Inicia tiene menor error para profesores destacados

Inicia tiene mayor error para profesores con bajo desempeño

Difícil categorizar con los resultados de las evaluaciones

INICIA podría ser un punto de partida

Sin embargo la relación es débil y por lo tanto, se debe estudiar en profundidad los conocimientos y habilidades disciplinares, pedagógicos y didácticos que requiere desarrollar un alumno durante su carrera que se relacionen con la efectividad del futuro docente en el aula (validez interna y externa)

Recomendaciones

Conclusiones

Foco en generar evidencia sobre la capacidad de la evaluación para entregar información sobre las fortalezas y debilidades de los programas de formación ¿Qué dicen los resultados INICIA sobre el impacto en la calidad de enseñanza de futuros docentes y el aprendizaje de sus alumnos?

Adicionalmente se debe analizar los costos de hacer una evaluación obligatoria sin focalización y estudiar que tan costo efectiva es implementar una política de este tipo para mejorar la formación inicial

Los resultados se deben mirar con cautela considerado que es un estudio exploratorio ya que:

Muestra de profesores es pequeña

Prueba INICIA es voluntaria

Solo considera la cohorte de profesores que trabajan el año 2012

Solo considera si desempeño en un momento del tiempo y en algunos casos al inicio de la carrera

Limitaciones del estudio

Futuras Investigaciones

Futuras investigaciones podrán profundizar en los estudios de validez predictiva de las otras secciones del examen INICIA e incluir los resultados de las pruebas de pedagogía aplicadas a distintos programas de formación (parvularia y secundaria).

Complementar estos resultados de validez con otras herramientas como la observación de clases, para aportar en comprensión de estos hallazgos.

Estudiar la confiabilidad de estos resultados replicando estos análisis a muestras más amplias de docentes y en lo posible, con variables de control de desempeño inicial de los alumnos.

Exámenes de egreso, validez y consecuencias sobre los egresados: el caso chileno

Rosario Rivero, [email protected]

Ernesto San Martín, [email protected]

Constanza Hurtado, [email protected]

Martín Bascopé, [email protected]

Resultados proyectos financiado por 7º concurso FONIDE, Ministerio de Educación

Línea de Formación Inicial Docente CEPPE

Exámenes de egreso, validez y consecuencias sobre … · Resultados proyectos financiado por 7º...

Documents

Transcript of Exámenes de egreso, validez y consecuencias sobre … · Resultados proyectos financiado por 7º...