Experiencias de Sistemas de Evaluación de Desempeño Docente

71
Experiencias de Sistemas de Evaluación de Desempeño Docente en América Latina y el Caribe. Rodolfo Bonifaz Suárez 21 de noviembre de 2015 Congreso Internacional de Educación Aprendo Santo Domingo, República Dominicana

Transcript of Experiencias de Sistemas de Evaluación de Desempeño Docente

Page 1: Experiencias de Sistemas de Evaluación de Desempeño Docente

Experiencias de Sistemas de Evaluación de Desempeño Docente en América Latina y el Caribe.

Rodolfo Bonifaz Suárez21 de noviembre de 2015Congreso Internacional de Educación AprendoSanto Domingo, República Dominicana

Page 2: Experiencias de Sistemas de Evaluación de Desempeño Docente

Agenda

1. El contexto para la evaluación docente en nuestra región

2. Necesidad de un sistema de Evaluación del Desempeño Docente

3. Características deseables de una buena evaluación docente.

4. A modo de conclusión

Page 3: Experiencias de Sistemas de Evaluación de Desempeño Docente

1. EL CONTEXTO PARA LA EVALUACIÓN DOCENTE EN NUESTRA REGIÓN

Page 4: Experiencias de Sistemas de Evaluación de Desempeño Docente

Desempeño educativo en América Latina y el Caribe

En 1960, menos del 10% de los niños completaba la educación secundaria en América Latina y el Caribe.

Hoy la mayoría de nuestros países ha alcanzado la universalidad en la finalización de la escuela primaria y elevadas tasas de escolarización secundaria. En 1960, el promedio de años de escolarización para los trabajadores de la región era de cuatro años, apenas por encima de la mitad del nivel de los trabajadores de la OCDE. Hoy ambos promedios convergen en torno a los 12 años.

Sin embargo, lo que importa no son los años de escolarización que completan nuestros estudiantes, sino lo que verdaderamente aprenden.

Page 5: Experiencias de Sistemas de Evaluación de Desempeño Docente

Capacidades cognitivas y crecimiento económico a largo plazo en las regiones, 1960-2000

Fuente: Hanushek, Peterson y Woessmann, 2012.Nota: Este gráfico compara la tasa de crecimiento anual promedio (en porcentaje) del PIB real per cápita en el período 1960-2000 (ajustado en función del nivel inicial del PIB per cápita en 1960) con los puntajes promedio extraídos de pruebas internacionales realizadas a estudiantes en este período. Códigos de región: SSAFR= África al sur del Sahara; LATAM= América Latina; ASIA= Asia; COMM= países del Commonwealth miembros de la OCDE; EURO= Europa; MENA= Oriente Medio y Norte de África.

Prom. OCDE (494)

(397)

Page 6: Experiencias de Sistemas de Evaluación de Desempeño Docente

Puntajes de lectura en la prueba PISA e ingreso per cápita de los países de América Latina y el Caribe, 2012

Fuentes: OCDE, 2013 y Banco Mundial.Nota: PIB per cápita ajustado según la paridad del poder adquisitivo (PPA), en precios constantes de 2005.

Prom. OCDE (494)

(397)

Page 7: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Quiénes son los profesores de América Latina y el Caribe?

Son mayoritariamente mujeres Provienen de un origen socioeconómico

inferior al de la mayoría de otras profesiones Elevados niveles de educación formal, pero

con desempeños insuficientes en mediciones de sus habilidades y preparación.

Page 8: Experiencias de Sistemas de Evaluación de Desempeño Docente

Comparación entre el desempeño de los futuros profesores y los futuros ingenieros en las pruebas PISA de matemáticas

Fuente: Bruns, B. & Luque, J. (2014). Profesores Excelentes. Como mejorar el aprendizaje en América Latina y El Caribe. Washington D.C.: Grupos del Banco Mundial.

Page 9: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características de los docentes de América Latina y el Caribe

Son mayoritariamente mujeres Provienen de un origen socioeconómico

inferior al de la mayoría de otras profesiones Elevados niveles de educación formal, pero

con desempeños insuficientes en mediciones de sus habilidades y preparación.

Perciben salarios inferiores al de otros profesionales equivalentes (lo que incide en el atractivo de la profesión docente)

Salarios presentan una trayectoria plana Muestran mayor estabilidad laboral que otras

profesiones

Page 10: Experiencias de Sistemas de Evaluación de Desempeño Docente

Salarios promedio de los profesores con relación a otros trabajadores profesionales, 2000 y 2010

Fuente: Análisis del Banco Mundial de las encuestas de hogares y los datos sobre el mercado laboral correspondientesa 10 países de América Latina y el Caribe.

Page 11: Experiencias de Sistemas de Evaluación de Desempeño Docente

Salarios promedio de los profesores con relación a otros trabajadores profesionales, 2000 y 2010

Fuente: Análisis del Banco Mundial de las encuestas de hogares y los datos sobre el mercado laboral correspondientes a 10 países de América Latina y el Caribe.

Page 12: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características de los docentes de América Latina y el Caribe

Son mayoritariamente mujeres Provienen de un origen socioeconómico

inferior al de la mayoría de otras profesiones Elevados niveles de educación formal, pero

con desempeños insuficientes en mediciones de sus habilidades y preparación.

Perciben salarios inferiores al de otros profesionales equivalentes (lo que incide en el atractivo de la profesión docente)

Salarios presentan una trayectoria plana Muestran mayor estabilidad laboral que otras

profesiones

Page 13: Experiencias de Sistemas de Evaluación de Desempeño Docente

La estructura salarial docente comienza en un nivel más alto, pero es más uniforme que la de los profesionales no docentes (diagrama hipotético)

Vegas, E. & Umansky, I. (2005) Mejorar la enseñanza y el aprendizaje por medio de incentivos. ¿Qué lecciones nos entregan las reformas educativas de América Latina? Washington D.C.: Grupos del Banco mundial.

Page 14: Experiencias de Sistemas de Evaluación de Desempeño Docente

Chile: Remuneraciones docentes del sector municipal año 2014, según tramos de la futura Carrera Docente

Fuente: Elaboración propia.

DESARROLLO INICIAL

DESARROLLO TEMPRANO

DESARROLLO AVANZADO

DESARROLLO EXPERTO I

DESARROLLO EXPERTO II

TRAMOS CARRERA

DOCENTES QUE EVIDENCIAN MAYORES COMPETENCIAS PEDAGÓGICAS Y CONOCIMIENTOS

DISCIPLINARIOS

Page 15: Experiencias de Sistemas de Evaluación de Desempeño Docente

Chile: Remuneraciones deseadas según tramos de la futura Carrera Docente

Fuente: Elaboración propia.

DESARROLLO INICIAL

DESARROLLO TEMPRANO

DESARROLLO AVANZADO

DESARROLLO EXPERTO I

DESARROLLO EXPERTO II

TRAMOS CARRERA

DOCENTES QUE EVIDENCIAN MAYORES COMPETENCIAS PEDAGÓGICAS Y

CONOCIMIENTOS DISCIPLINARIOS

DESARROLLO INICIAL

DESARROLLO TEMPRANO

DESARROLLO AVANZADO

DESARROLLO EXPERTO I

DESARROLLO EXPERTO II

TRAMOS CARRERA

Page 16: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características de los docentes de América Latina y el Caribe

Son mayoritariamente mujeres Provienen de un origen socioeconómico

inferior al de la mayoría de otras profesiones Elevados niveles de educación formal, pero

con desempeños insuficientes en mediciones de sus habilidades y preparación.

Perciben salarios inferiores al de otros profesionales equivalentes (lo que incide en el atractivo de la profesión docente)

Salarios presentan una trayectoria plana Muestran mayor estabilidad laboral que otras

profesiones

Page 17: Experiencias de Sistemas de Evaluación de Desempeño Docente

Atributos no pecuniarios o intrínsecos de la profesión docente

La misión de ayudar a los niños y las satisfacciones que acarrean el desarrollo de las habilidades profesionales.

Vacaciones más extensas. Horario de trabajo oficial más

corto y conveniente para la vida familiar.

Y la mayor estabilidad laboral.

Estos atributos no pecuniarios ayudan a compensar parcialmente los incentivos salariales relativamente débiles que presenta la profesión.

Page 18: Experiencias de Sistemas de Evaluación de Desempeño Docente

2. NECESIDAD DE UN SISTEMA  DE EVALUACIÓN DEL DESEMPEÑO DOCENTE

Page 19: Experiencias de Sistemas de Evaluación de Desempeño Docente

Evaluación docente avanza en la región

Varios países han hecho establecido o avanzado en la creación de sistemas de evaluación docente:

Cuba, con el sistema más antiguo de la región

México, desde la década de 1990, ahora en una nueva fase

Colombia, desde 2002, en proceso de revisión

Chile desde 2003 Perú, en proceso de instalación de un

sistema nacional, luego de aprobación de ley de carrera docente

Page 20: Experiencias de Sistemas de Evaluación de Desempeño Docente

La pregunta clave: ¿Qué es lo que impulsa el aprendizaje?

*En el 20% superior, **En el 20% inferior. El análisis de resultados de pruebas de Tennessee demostró que la calidad docente incidió sobre el desempeño de los alumnos más que cualquier otra variable; en promedio, dos estudiantes con desempeño normal (percentil 50) experimentarían una diferencia superior a 50 puntos porcentuales a lo largo de tres años en función del docente que se les asigne. Fuente: Sanders & Rivers Cumulative and Residual Effects on Future Student Academic Achievement, McKinsey

Page 21: Experiencias de Sistemas de Evaluación de Desempeño Docente

Distribución de logros en PISA Matemática 2012 (países latinoamericanos en rojo)

Page 22: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1.Fantasía2.Superviven

cia3.Dominio4.Impacto

Page 23: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1. Fantasía2. Supervivenc

ia3. Dominio4. Impacto

1. FANTASÍA

• Los profesores principiantes creen que son infalibles.

• Piensan que éxito = relacionarse y ser amigo de sus alumnos.

• Y que la enseñanza se trata de actividades, especialmente actividades divertidas.

Page 24: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1. Fantasía2. Supervivenc

ia3. Dominio4. Impacto

2. SUPERVIVENCIA

• En esta etapa los profesores sólo quieren pasar el día.

• Y pasan mucho tiempo quejándose e inventando excusas.

Page 25: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1. Fantasía2. Supervivenc

ia3. Dominio4. Impacto

3. DOMINIO

• El profesor sabe como alcanzar logros en los estudiantes, mediante el empleo de prácticas efectivas.

• Sabe como manejar su salón de clases, domina lo que enseña y tiene altas expectativas para sus estudiantes.

• Son activos en su profesión, asisten a conferencias profesionales.

Page 26: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1. Fantasía2. Supervivenc

ia3. Dominio4. Impacto

4. IMPACTO

• Son maestros efectivos que provocan impacto en sus estudiantes.

• Saben como llegar a sus alumnos y abrirles la puerta al aprendizaje .

• Usted ha llegado a ser Maestro cuando alcance esta etapa.

Page 27: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

Los profesores deberían progresar de la primera a la cuarta fase. Lamentablemente, en nuestra región muchos no consiguen pasar de la segunda fase.

La evaluación docente no es condición suficiente pero si condición necesaria para promover, guiar y apoyar el tránsito docente hacia las etapas superiores de desarrollo profesional.

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1.Fantasía2.Superviven

cia3.Dominio4.Impacto

Page 28: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las cuatro etapas de la enseñanza

LAS 4 ETAPAS DE LA ENSEÑANZA

(Kevin Ryan: The Induction of New Teachers, 1986)

1.Fantasía2.Superviven

cia3.Dominio4.Impacto

Page 29: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Por qué se desarrollan sistemas de evaluación docente?

Insatisfacción con la calidad de los sistemas educativos promueve la búsqueda de nuevas soluciones para las políticas educativas.

Evidencia sobre el rol de docentes y directivos renueva el interés por políticas docentes que buscan identificar su estado actual y potenciar su desarrollo.

Insatisfacción con reglas tradicionales de selección y promoción en la carrera docente (basadas preferentemente en antigüedad) lleva a valorar la evaluación como un criterio más relevante para decisiones de promoción y desarrollo.

Page 30: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Para qué evaluar a los docentes?

Para resolver nudos centrales de la política docente: selección inicial de docentes, promoción y desvinculación.

Para orientar desarrollo profesional Mejoramiento de docentes que requieren apoyo Reconocer y potenciar el rol de docentes de buen

desempeño (que además pueden contribuir al desarrollo de sus pares)

Para incentivar y retener a los mejores docentes en el aula

Para identificar y difundir buenas prácticas Para informar y fortalecer la toma de decisiones

en políticas docentes Para validar la profesión docente ante la sociedad

Page 31: Experiencias de Sistemas de Evaluación de Desempeño Docente

La coexistencia de múltiples finalidades

El informe OECD sobre prácticas evaluativas identifica una tensión central en los sistemas de evaluación asociado a sus propósitos:

El propósito formativo busca la mejora del desempeño y el desarrollo profesional. Requiere identificar fortalezas y debilidades específicas para promover acciones formativas.

El propósito sumativo se focaliza en responsabilizar a los docentes. Requiere diferenciar confiablemente niveles de desempeño, y eventualmente asignar consecuencias positivas o negativas.

Page 32: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Pueden coexistir fines formativos y sumativos en un mismo sistema de evaluación?

Esta coexistencia fue asumida en el desarrollo del sistema de evaluación docente chileno.

La experiencia ha demostrado la dificultad de asegurar ambos propósitos en el mismo sistema.

La evaluación externa realizada por la OECD (2013) ratificó esta dificultad, indicando que en la práctica el sistema chileno mostraba más avance en su dimensión sumativa que formativa.

Ello se demostraba especialmente en el insuficiente vínculo entre evaluación y dispositivos formativos (Planes de Superación Profesional).

Page 33: Experiencias de Sistemas de Evaluación de Desempeño Docente

3. CARACTERÍSTICAS DESEABLES DE UNA BUENA EVALUACIÓN DOCENTE

Page 34: Experiencias de Sistemas de Evaluación de Desempeño Docente

Problemas identificados en la primera generación de evaluaciones docentes

Limitada conciencia acerca de la necesidad de fundar la Evaluación Docente en estándares de enseñanza.

Debilidades en los instrumentos de evaluación facilitaban la inflación de puntajes.

Tiempos inadecuados y falta de capacitación para desarrollar evaluaciones efectivas.

Dificultad para retroalimentar en forma precisa y creíble sobre la efectividad docente.

Falta de relación entre Evaluación Docente y desarrollo profesional

Poca consideración de los logros de los estudiantes e ingenuidad acerca del uso de tal información para estimar la efectividad docente.

Page 35: Experiencias de Sistemas de Evaluación de Desempeño Docente

Las dificultades para desarrollar buenas evaluaciones

La docencia es una actividad compleja La coexistencia de múltiples objetivos en

educación El aprendizaje está siempre determinado por

múltiples causas Todas las mediciones de resultados o

desempeño son incompletas (y tienen error de medición)

… Por tanto, aun poniendo los mejores esfuerzos para hacerlo bien, no tendremos sistemas perfectos.

Page 36: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (1)Basada en estándares

Desarrollar una visión compartida de las metas educacionales y de la buena enseñanza.

Los estándares proveen un lenguaje común para docentes y directivos, lo que facilita el intercambio profesional relacionado con la evaluación.

El rol de los estándares docentes: Establecen lo que los docentes deben saber y ser

capaces de hacer. Focalizan a los docentes en esfuerzos pedagógicos más

efectivos, lo que promueve el aprendizaje. Pueden identificar exigencias diferentes para distintas

etapas de la carrera profesional. Y además sirven para orientar la evaluación docente.

Page 37: Experiencias de Sistemas de Evaluación de Desempeño Docente

Algunos problemas con los estándares

Hay varios modelos: ¿con qué criterio se los elije? Aunque es deseable que estén informados por el

conocimiento sobre la efectividad docente, son principalmente modelos normativos.

No hay acuerdo en cuanto na diversos componentes de los estándares: Especificidad Pertinencia a distintas etapas de la carrera Necesidad de identificar niveles de desempeño

(y eventualmente rúbricas) Y además en muchos grupos hay resistencia a la

noción de estándares.

Page 38: Experiencias de Sistemas de Evaluación de Desempeño Docente

Los estándares en Chile y su rol en la evaluación docente

El Marco para la Buena Enseñanza (2002) precedió y facilitó la evaluación docente. Se estableció mediante un proceso

participativo, luego del aporte de expertos (especialmente el de Charlotte Danielson)

Produjo un acuerdo amplio, que incluyó al gremio.

Facilitó la evaluación docente al establecer un marco explícito y ya previamente acordado sobre el cual fundarla.

Sin el MBE difícilmente Chile tendría evaluación docente.

Page 39: Experiencias de Sistemas de Evaluación de Desempeño Docente

Marco para la Buena Enseñanza (2002)

Page 40: Experiencias de Sistemas de Evaluación de Desempeño Docente

Actualización del Marco para la Buena Enseñanza

A petición del MINEDUC, a fines del 2013, la OCDE emitió un informe sobre la evaluación docente en Chile, recomendando entre otras materias:

“Actualizar el MBE y mejorar el entendimiento

del mismo por las partes interesadas”Con dicho propósito hemos realizado una profunda revisión participativa del MBE que nos permitido redactar un nuevo Marco actualizado que esperamos difundir y someter a una última etapa participativa a partir de marzo del próximo año.

Page 41: Experiencias de Sistemas de Evaluación de Desempeño Docente

Actualización del Marco para la Buena Enseñanza

1. A la fecha, hemos revisado los niveles de coherencia, articulación, consistencia, claridad, relevancia y fundamentación de los 4 Dominios, 20 Criterios y 69 Descriptores establecidos en el MBE, a la luz de la literatura nacional e internacional, considerando la opinión tanto de docentes como de expertos en educación.

2. Se han creado niveles de logro para cada uno de los Criterios y Descriptores del MBE que permitan orientar y mejorar el desempeño de la práctica docente de acuerdo a los distintos contextos en que ella se desarrolla.

3. Luego de corregir los problemas detectados, se presentó una propuesta para su validación a nivel de actores relevantes de la comunidad educacional de Chile, entre ellos se puede mencionar.a) Profesores de distintas zonas del país, niveles y

modalidades de educación. b) Profesionales del CPEIP.c) Expertos nacionales e internacionales

Page 42: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (2)Que articule fines formativos y sumativos

La mayoría de los sistemas de evaluación docente declaran fines formativos y sumativos.

Sin embargo, la experiencia indica que ambas finalidades no se combinan fácilmente en un mismo sistema o un mismo momento: Además, es ampliamente conocido que

las evaluaciones con altas consecuencias inducen comportamientos estratégicos y falseamiento de información.

Page 43: Experiencias de Sistemas de Evaluación de Desempeño Docente

Fines formativos y sumativos en la evaluación chilena

Desde sus inicios la evaluación docente chilena declaró su intención de promover el desarrollo profesional, al tiempo que servía de base para decisiones relevantes (incentivos y posibilidad de desvinculación)

Los fines formativos se expresaban en el desarrollo de una retroalimentación que promovía el desarrollo profesional y en la oferta de planes de mejoramiento para profesores con desempeño bajo el estándar

La evaluación de la OECD evidenció un desequilibrio en favor de la dimensión sumativa, por lo que propuso complementar la evaluación actual con dispositivos formativos eficaces.

Page 44: Experiencias de Sistemas de Evaluación de Desempeño Docente

Fines formativos y sumativos en la evaluación chilena

Eval

uaci

ón D

ocen

te

ASIGNACIÓN VARIABLE POR DESEMPEÑO INDIVIDUAL

PLANES DE SUPERACIÓN PROFESIONAL

EVALUACIÓN AL AÑO SIGUIENTE

DESTACADO

COMPETENTE

BÁSICO

INSATISFACTORIO

RECONOCIMIENTO MÉRITO DOCENTE

APOYO DESARROLLO

DOCENTE

CUMPLIMIENTO ESTÁNDARES

MÍNIMOS HAC

IA U

NA

CARR

ERA

DO

CEN

TE B

ASAD

A EN

EL

MÉR

ITO

Y E

L M

EJO

RAM

IEN

TO C

ON

TIN

UO

EVALUACIÓN AL AÑO

SUBSIGUIENTE(A PARTIR 2011

SEGÚN LEY 20.501)

CUMPLIMIENTO ESTÁNDARES ESPERADOS

Page 45: Experiencias de Sistemas de Evaluación de Desempeño Docente

Fines formativos y sumativos Posibles soluciones

Alternar años (o ciclos) en los que los profesores enfrenten evaluaciones sumativas con otros en los que someten a evaluaciones formativas (lo que admite el uso de los mismos o distintos instrumentos en los ciclos de cada tipo).

Desarrollar un sistema complementario de evaluación formativa a nivel local (que puede poseer adaptaciones contextuales), que se articula con una evaluación sumativa a nivel nacional. En este caso es deseable que ambas evaluaciones se basen en los mismos estándares.

Page 46: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (3)Que considere múltiple evidencia sobre aspectos centrales del rol docente

Los debates acerca de las bondades y limitaciones de diversos instrumentos y la evidencia han llevado a la aceptación de que el mejor plan es incluir múltiples evidencias, ojalá desde diversas fuentes.

Múltiples medidas mejoran el valor predictivo de la evaluación y permiten compensar las limitaciones de cada instrumento (en cuanto a su error de medición y validez)

Page 47: Experiencias de Sistemas de Evaluación de Desempeño Docente

Algunas opciones para múltiples evidencias

Evaluación de la preparación (conocimiento) Pruebas Viñetas, Análisis de situaciones

Evaluación de práctica en el aula Observaciones de aula/filmación Portafolio (y otros artefactos) Encuestas (estudiantes, profesores)

Evaluación de práctica fuera del aula Encuestas (pares, superiores, padres)

Efectividad de la enseñanza Pruebas de estudiantes, Valor agregado

Page 48: Experiencias de Sistemas de Evaluación de Desempeño Docente

El empleo de varios instrumentos no está libre de problemas

¿De qué manera los combinamos? ¿un promedio ponderado? ¿un patrón de resultados?

¿Qué significado tiene el resultado de combinar varios instrumentos cuando la correlación entre ellos es baja?

¿Cómo establecemos niveles de desempeño a partir de la combinación de instrumentos?

Page 49: Experiencias de Sistemas de Evaluación de Desempeño Docente

Múltiples evidencias en el caso de Chile

Chile estableció un sistema de múltiples evidencias medidas a partir del acuerdo político que posibilitó la evaluación. El acuerdo excluyó la

evaluación de los conocimientos docentes. Sin embargo, un incentivo económico creado con posterioridad, se basa en los resultados de la evaluación, pero también requiere la evaluación de conocimientos.

La experiencia de más de una década muestra que al menos uno de los instrumentos de la ED no aporta información (autoevaluación), y que el involucramiento de los directores ha sido limitado.

El portafolio permanece como el instrumento más relevante, que aporta información más rica y que mejor correlaciona con logro de estudiantes.

Autoevaluación 10%

Informe de Director y Jefe Unidad Técnica Pedagógica

10%

Entrevista por un Evaluador Par

20%

Portafolio(planificación y evaluación más clase filmada)

60%

Page 50: Experiencias de Sistemas de Evaluación de Desempeño Docente

Distribución de desempeño entre instrumentos en la evaluación docente chilena

Page 51: Experiencias de Sistemas de Evaluación de Desempeño Docente

Múltiples evidencias en el caso de Chile

Problemas de confiabilidad y validez: Cuestionarios (como la autoevaluación o el

informe de directores), muestran alta consistencia interna (confiabilidad), pero no diferencian suficientemente diferentes aspectos de la enseñanza (problema de validez)

Con el portafolio y filmaciones de clase es difícil asegurar altos niveles de consistencia entre evaluadores (especialmente porque por razones de costo no se pueden emplear varias filmaciones y varios evaluadores). Pero presenta un perfil claramente diferenciado de las habilidades docentes y correlaciona mejor con el desempeño de estudiantes (validez)▪ Un 20% de los portafolios son corregidos por dos

evaluadores independientes. Esto permite monitorear la consistencia entre evaluadores y reentrenar a evaluadores descalibrados.

Page 52: Experiencias de Sistemas de Evaluación de Desempeño Docente

Portafolio: Perfil medio en dimensiones según nivel de desempeño final en 2014

VIDEO CLASE

FILMADA

Page 53: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (4)Que se diseñe considerando el desarrollo de capacidades

La escasa tradición con sistemas de evaluación docente y los enormes desafíos técnicos relacionados con instrumentos complejos y logísticos requieren una atención especial al desarrollo de capacidades.

Esto hace recomendable que el inicio de este tipo de sistemas se planifique en escalas compatibles con los recursos existentes y avance gradualmente hasta alcanzar una cobertura nacional.

Page 54: Experiencias de Sistemas de Evaluación de Desempeño Docente

La gradualidad en la evaluación chilena

Por razones políticas (no de diseño), la evaluación chilena se inició en una muestra acotada de comunas, y se concentró solo en docentes del primer ciclo de primaria.

La evaluación se extendió a nivel nacional desde el segundo año, pero avanzó gradualmente en niveles y asignaturas.

Esto hizo posible desarrollar capacidades y hacer ajustes al sistema.

Page 55: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (5)Que se establezca en un marco de suficiente apoyo político

El principal escollo para implementar sistemas de evaluación docente es la resistencia que genera en los gremios.

Un desarrollo participativo de la evaluación es el mejor camino para abordar y aclarar las resistencias a la evaluación. Al mismo tiempo ello asegura un mínimo de sustento político para el proceso.

Page 56: Experiencias de Sistemas de Evaluación de Desempeño Docente

La negociación que permitió la evaluación docente en Chile

La negociación política entre el gremio docente, el ministerio de educación y los empleadores (municipios) duró casi 10 años, desembocando en un acuerdo que fue ratificado en una consulta nacional (con 67% de apoyo).

Pese a ello, han existido múltiples intentos por detener la evaluación.

La discusión de la carrera docente ha reabierto el debate por la evaluación docente.

Page 57: Experiencias de Sistemas de Evaluación de Desempeño Docente

Características deseables (6)La necesidad de una agencia de validación, incluyendo validez consecuencial En el actual estado de desarrollo de los

sistemas de evaluación, no es responsable avanzar sin asegurar que generemos evidencia sistemática acerca de la validez del sistema.

Además de los enfoques convencionales para su validación, se debe prestar especial atención a la validez consecuencial y a la detección de efectos adversos.

Page 58: Experiencias de Sistemas de Evaluación de Desempeño Docente

La agenda de validación de la evaluación docente en Chile

Desde su creación, la evaluación docente ha sido acompañada de un conjunto de estudios sobre su validez que han abarcado: Correlación con otras medidas de

desempeño (obtenidas en contextos sin consecuencias)

Correlación con desempeño de estudiantes (incluyendo estimaciones de valor agregado)

Estudios de validez consecuencial.

Page 59: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Cómo se relacionan los resultados de la evaluación con evidencia sistemática de las prácticas docentes? (Santelices y Taut, 2011)

La investigación usa diversos métodos para obtener evidencia de las prácticas docentes: Observaciones Evaluación experta de muestras del trabajo de

docentes y estudiantes Evaluación del conocimiento docente de la

disciplina Progreso del aprendizaje de los estudiantes

En progreso: estudio comparativo de docentes calificados como básicos y competentes.

INSATISFACTORIO DESTACADO BÁSICO COMPETENTE

Page 60: Experiencias de Sistemas de Evaluación de Desempeño Docente

Relación con logros escolares (SIMCE)

Nivel de evaluación positiva de docentes

Puntaje SIMCE

Grupo Socio Económico

Nivel de evaluación positiva de docentes

Puntaje SIMCE

Grupo Socio Económico

Los alumnos y alumnas que tienen una mayor proporción de profesores bien evaluados obtienen mejores resultados.* Los datos presentados corresponden a Matemática, no obstante, los resultados son similares en Lenguaje.

Page 61: Experiencias de Sistemas de Evaluación de Desempeño Docente

Puntaje SIMCE

Grupo Socio Económico

Puntaje SIMCE

Grupo Socio Económico

Relación con logros escolares (SIMCE)

* Los datos presentados corresponden a Matemática, no obstante, los resultados son similares en Lenguaje.

Cursos con mayor proporción de profesores bien evaluados obtienen mejores resultados si los docentes cuentan con conocimiento de su disciplina.

Page 62: Experiencias de Sistemas de Evaluación de Desempeño Docente

Estudios de Valor Agregado con SIMCE (Taut et al, 2013)

Se empleó información de unos 150 profesores de Lenguaje y Matemática que habían sido evaluados en 2006 y cuyos estudiantes habían sido evaluados con la prueba SIMCE en 2 ocasiones (2004 y 2006).

Se calculó el valor agregado por docente y luego se correlacionó con los instrumentos de la evaluación docente. Se obtuvieron correlaciones positivas con el Portafolio (y ocasionalmente con el informe de directores). Las relaciones son algo superiores en matemática que en lenguaje.

Page 63: Experiencias de Sistemas de Evaluación de Desempeño Docente

Validez consecuencial(Taut y otros, 2010)Efectos y usos intencionados

Page 64: Experiencias de Sistemas de Evaluación de Desempeño Docente

Análisis de videos de evaluación docente

Ejemplos de estudios que han empleado videos de la evaluación docente: Estudios sobre patrones de enseñanza:

La docencia es relativamente tradicional, con un claro dominio del profesor, quien guía actividades dirigidas al conjunto de alumnos de la clase. Los estudiantes aparecen en un rol menos activo.

Escasa presencia de interacciones que promuevan habilidades cognitivas de orden superior o metacognición.

Diferencias de género en la enseñanza de las matemáticas: asimetrías en la interacción en aulas mixtas, que favorece a varones.

Page 65: Experiencias de Sistemas de Evaluación de Desempeño Docente

A MODO DE CONCLUSIÓN

Page 66: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Podemos tener una política docente efectiva sin evaluación docente?

No en esta etapa de la profesión docente en nuestra región.

Al menos necesitamos un sistema de evaluación que identifique con claridad fortalezas y debilidades del desempeño que deban ser abordadas en la formación inicial y que orienten el desarrollo profesional.

Page 67: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Cuáles son los ingredientes fundamentales de un sistema de evaluación docente?

Que esté fundado en estándares de desempeño. Estándares deben estar informados por

la investigación acerca de enseñanza y aprendizaje.

Estándares deben ser revisados en plazos razonables (10 a 15 años)

Page 68: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Cuáles son los ingredientes fundamentales de un sistema de evaluación docente?Que incluya múltiples evidencias, donde

un componente central sea las prácticas en el aula (y ojalá también fuera de ella).

Que reconozca la importancia de la preparación docente (al menos en las primeras etapas del desempeño).

Que considere el aprendizaje de los estudiantes. Como un componente del sistema (a nivel

individual o agregado). Como un criterio para validar el sistema.

Page 69: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Cuáles son los ingredientes fundamentales de un sistema de evaluación docente?Que articule aspectos formativos y

sumativos (con estándares comunes) En esta etapa del desarrollo docente no se puede

renunciar a ninguno de estos fines. La dimensión formativa requiere una especial

preocupación por la retroalimentación que recibe el docente.

En una primera etapa, mientras se desarrollan capacidades, lo más razonable puede ser alternar ciclos formativos y sumativos (de un mismo sistema).

En una etapa más avanzada se debe aspirar a complementar un sistema común (nacional?) de carácter sumativo con uno local (con adaptaciones al contexto) de carácter formativo.

En una etapa aun más avanzada (y lejana) probablemente podríamos quedarnos con un sistema orientado a la mejora y el desarrollo.

Page 70: Experiencias de Sistemas de Evaluación de Desempeño Docente

¿Cuáles son los ingredientes fundamentales de un sistema de evaluación docente?Que el sistema sea diseñado y

normado legalmente de una manera que garantice que pueda aprender de la experiencia (especialmente mediante estudios de validez) y de sus errores, y que pueda hacer ajustes basados en dicho aprendizaje.

Page 71: Experiencias de Sistemas de Evaluación de Desempeño Docente

MUCHAS GRACIAS