Representaciones involucradas

en la evaluacin de Portafolios

docentes

Mara Rosa Garca -MIDE UC

Pablo Torres - University of Cambridge

Carolina Leyton -MINEDUC

Primer Congreso Latinoamericano de Medicin y

Evaluacin Educacional (COLMEE)

4 y 5 Octubre de 2012

Antecedentes (1)

Este estudio se desarroll en el Centro de Medicin MIDE UC,

especficamente en el proyecto Docentems, Sistema de

Evaluacin del Desempeo Profesional Docente.

Esta es una evaluacin obligatoria para los ms de 70.000

docentes de aula que se desempean en establecimientos

municipales a lo largo del pas.

El MINEDUC es responsable por la coordinacin global e

implementacin de la Evaluacin a travs del Centro de

Perfeccionamiento, Experimentacin e Investigaciones Pedaggicas (CPEIP), y ha encargado la asesora tcnica a

MIDE UC.

MIDE UC es responsable del diseo, supervisin y

evaluacin de los distintos componentes del programa, segn los acuerdos suscritos en el convenio a partir de la

licitacin pblica del mismo.

Antecedentes (2)

El Portafolio es el instrumento central utilizado para evaluar

a los docentes, el cual recoge evidencia directa acerca de

la enseanza, la evaluacin y las decisiones pedaggicas

de los docentes.

Incluye evidencia escrita que es corregida por profesores

de aula, seleccionados y capacitados para realizar esta

tarea, por medio de rigurosos protocolos que buscan

garantizar una correccin confiable.

Este estudio fue desarrollado buscando mejorar la

comprensin del proceso de correccin e informar futuros

procesos de entrenamiento.

Marco terico: supuestos investigacin

Las actividades cognitivas se han comprendido como una gran

fuente de varianza en la evaluacin de portafolios (Van der Shaff et al., 2005).

La manipulacin eficiente de las representaciones mentales es

clave para llevar a cabo tareas con una meta definida (Gourgey, 1998).

Las actividades cognitivas son influenciables y aprendibles a

travs de entrenamiento, aumentando la precisin y

disminuyendo el error en las puntuaciones (Lievens, 2001; Woehr & Huffcutt, 1994; Jonassen, 2000).

Qu entendemos por representacin?

Las representaciones son estados mentales,

tales como pensamientos, creencias,

deseos, percepciones e imgenes sobre

cosas, cuentan con intencionalidad y

pueden ser evaluadas en trminos de su

consistencia, adecuacin, precisin y

verdad. (Stanford Encyclopedia of Philosophy, Jul -2008, Mental Representation).

Preguntas de Investigacin

Qu tipos de representaciones estn involucradas

en la correccin de portafolios docentes y en qu

magnitud?

Hay alguna relacin entre la cantidad y cualidad

de las representaciones involucradas en la

correccin, y la precisin de correccin?

Si hay alguna relacin entre las representaciones y

la precisin de la correccin, cmo es esa

relacin?

Mtodo: recopilacin de datos (1)

Se utiliz el mtodo de pensamiento en voz alta (PVA)

(Ericsson and Simon, 1993).

La instruccin dada a los correctores fue:

A fin de que yo entienda lo que va pensando, le pido que corrija este portafolio "ponindole volumen a su pensamiento", es decir, contando lo que va leyendo,

pensando, las dudas que le van surgiendo, etc., y

explicando cada paso de su razonamiento lo mejor que

pueda.

Los correctores podan ser interrumpidos para pedirles

explicaran en mayor detalle su razonamiento.

Adems, si se mantenan en silencio por ms de 10

segundos, se le repeta un breve recordatorio.

Mtodo: recopilacin y anlisis de datos (2)

Muestra: 6 profesores de distintos niveles educativos que

participaban por primera vez de la correccin de portafolios.

Cada uno corrigi 6 entradas (indicadores) de portafolio escrito

usando rbricas de evaluacin y el mtodo de PVA.

Cada rbrica tena entre 2 a 4 criterios de evaluacin. Esto

configur una muestra 90 episodios de pensamiento evaluativos.

El anlisis de los pensamientos registrados incluy tres grandes

categoras: representaciones, juicios y metacogniciones.

Se determin la precisin de la evaluacin (precisa, imprecisa) en

base a criterio externo de miembros del equipo elaborador y de

entrenamiento de las rbricas de la Evaluacin Docente.

Se transcribieron los episodios de razonamiento, y se codificaron de

manera paralela por dos codificadores. El 100% de los cdigos

fueron posteriormente consensuados e ingresados al Software ATLAS

ti.

Qu resultados encontramos?

Esquema de proceso evaluativo

Evaluador

Corrector de Portafolio

Evidencia

Portafolio escrito

Pauta de Correccin

Rbricas

Evaluacin precisa

Evaluacin imprecisa

1. Tipos de Representaciones segn nivel

de abstraccin

Representaciones segn nivel de abstraccin

y precisin de la evaluacin

52%

40%

7%

47% 41%

13%

0%

10%

20%

30%

40%

50%

60%

Rep. Concretas Rep. Medianas Rep. Altas

Precisa

Imprecisa

Tipos de representaciones concretas y

de mediana abstraccin

Formas de representarse la EVIDENCIA y

precisin de las evaluaciones

0%

10%

20%

30%

40%

Lec

tura

Re

p. EV

IDEN

CIA

/PA

UTA

usa

nd

o c

on

ce

pto

s

ev

ide

nc

ia

usa

nd

o c

on

ce

pto

s

pe

rso

na

les

Representacin de EVIDENCIA

Precisa

Imprecisa

Formas de representarse la PAUTA y precisin de

las evaluaciones

0%

10%

20%

30%

Lectura Rep. EVIDENCIA/

PAUTA

usando

conceptos

pauta

usando

conceptos

personales

Representacin de PAUTA

Precisa

Imprecisa

Naturaleza de conceptos con que se realizan las

representaciones y precisin de la evaluacin

0%

4%

8%

12%

16%

20%

Rep. PAUTA con

conceptos de

PAUTA

Rep. EVIDENCIA

con conceptos de

EVIDENCIA

Rep. PAUTA usando

conceptos

personales

Rep. EVIDENCIA

usando conceptos

personales

Rep.

EVIDENCIA/PAUTA

Etiquetamiento Elaboracin

Precisa

Imprecisa

2. Tipos de representaciones segn nivel de

adecuacin

Nivel de apego del contenido representacional

a la tarea y precisin de la evaluacin

94% 90%

6% 10%

0%

20%

40%

60%

80%

100%

Precisa Imprecisa

Rep. inadecuadas

Rep. adecuadas

Origen de inadecuacin de los contenidos

representacionales y precisin

46%

71%

54%

29%

0%

20%

40%

60%

80%

100%

Precisa Imprecisa

Por seleccin de

informacin equvoca o

insuficiente

Por sobre

interpretacin personal

Conclusiones (1)

Existe una relacin entre representaciones y precisin evaluativa.

Ms que la cantidad, lo que impacta en la precisin es la cualidad de las representaciones.

Al representarse la evidencia, pareciera ayudar hacerlo de forma concreta, es decir, a partir de relecturas o alusiones textuales a esta, y no por medio de categoras o conceptos personales del

corrector.

Al representarse la pauta parece ms conveniente hacerlo en

funcin de conceptos personales o de la evidencia.

Usar conceptos personales para elaborar la informacin es

beneficioso para la evaluacin cuando esta informacin es abstracta en s misma, pero es contraproducente cuando dicha

informacin es factual.

Internalizar la pauta y examinar la evidencia con ojos de pauta lleva a juicios ms precisos.

Correctores que caen en la sobre-interpretacin (interpretar

aquello que no se condice directamente) pueden ser un

importante riesgo para la correccin.

Conclusiones (2)

Representaciones involucradas

en la evaluacin de Portafolios

docentes

Mara Rosa Garca -MIDE UC

Pablo Torres - University of Cambridge

Carolina Leyton -MINEDUC

Primer Congreso Latinoamericano de Medicin y

Evaluacin Educacional (COLMEE)

4 y 5 Octubre de 2012