Evaluación

1

Evaluación de aprendizajes: un desafío.

Una aproximación en el marco de la reforma curricular

Enero, 2005

2

Presentación

υ La evaluación y el proceso educativo.υ El concepto de evaluación.υ Características de la evaluación de

aprendizajes en el marco de la reforma educacional.

υ Calidad de la evaluación.υ El diseño de situaciones evaluativas.υ Los criterios y rúbricas del desempeño.υ Puntajes de corte.υ A modo de conclusión.

3

Objet ivosObjet ivos

AprendizajesAprendizajesesperadosesperados

AccionesAcciones

EvaluaciónEvaluación de de aprendizajesaprendizajes

Componentes del proceso Componentes del proceso educat ivoeducat ivo

4

Evaluación educacional es:

¬ un proceso que tiene como propósito emitir un juicio de valor acerca de una entidad educacional,

¬ que requiere de referentes y criterios para emitir los juicios,

¬ que exige la disponibilidad de información cuantitativa y(o) cualitativa organizada

¬ y, proporciona alternativas de acción.

5

Componentes de la evaluación.

Evaluación = Referentes+ Criterios y(o) estándares+ medición+ informaciones cualitativas+ juicio de valor+ alternativas de acción

6

Características de la evaluación en el marco de la reforma educacional.

υ Referentes.υ Criterios de evaluación.υ Niveles de logro y(o) estándares preestablecidos.υ Un juicio evaluativo claro.υ Realismo, semejanza con un contexto real.υ Sea una instancia de aprendizaje de modo que el

alumno ejecute-realice-razone-reflexione.υ Proporcione oportunidades para ensayar, practicar,

consultar, recurrir a diferentes recursos y obtener retroinformación.

7

Procedimientos evaluativos

Convencionales

Pruebas

Ensayos

L istas de cotejo o comprobación

De evaluación del desempeño

Mapas conceptualesCarpetas o portafoliosT areas de ejecuciónObservación de procesos

8

Evaluación del desempeño.

υ Auténtica, alternativaυ Su propósito es mejorar la calidad de

los de la enseñanza y de los aprendizajes, no es efectuar una auditoria de éstos

υ Permite evaluar el proceso y el producto

9

Generación de situaciones de evaluación del desempeño.

Definir unpropósito claro

Definir unpropósito claro

Agregar aspectos que proporcionen

evidencia suficiente

Agregar aspectos que proporcionen

evidencia suficienteFormular los

criterios y niveles de desempeño

Formular los criterios y niveles

de desempeñoProporcionar un

juicio o un puntajeProporcionar un

juicio o un puntaje

NoNo

Revisar latarea

para adecuarla

Revisar latarea

para adecuarla

SiSi

¿Proveesuficiente evidencia

para cada alumna(o)?

NoNo¿Es la tarea válidapara el propósito

definido?

SiSiProponer acciones

Proponer acciones

Identificar un procedimiento o tarea apropiado

Identificar un procedimiento o tarea apropiado

10

Ejemplo:

Opciones de procedimientos

4. Proporcionar una situación y pedir a los alumnos una descripción acerca de cómoprocederían a construir la maqueta colaborativamente.

5. Proporcionar una situación nueva para ser resuelta engrupo, observar el trabajo,juzgar el proceso y producto de cada alumno(a).

1. Responder preguntasverdadero-falso sobre los mejores procedimientos paraconstruir una maqueta en forma colaborativa.

2. Responder preguntas de selección múltiple sobre los procedimientos paraconstruir una maqueta en forma colaborativa.

3. Responder preguntasde respuesta breve sobre ´ losprocedimientos paraconstruir una maqueta en forma colaborativa.

Aprendizaje esperado:Los alumnos y alumnas construyen una maqueta del relieve físico de una región en forma colaborativa.

11

Formulación de criterios y rúbricas del desempeño.

υ Factores o dimensiones que se considerarán (criterios).

υ Niveles de desempeño (rúbricas).υ Enfoque holístico o analítico.

12

Fases en la formulación de criterios y descriptores de niveles de desempeño:

I dentificar etapas orasgos más relevantesI dentificar etapas o

rasgos más relevantesConfeccionar una lista

de los aspectos másimportantes

Confeccionar una lista de los aspectos más

importantes

Revisar y si es necesario reducir el número de criterios,

ordénelos

Revisar y si es necesario reducir el número de criterios,

ordénelos

T raducir cada criterio a puntajes

si se requiere

T raducir cada criterio a puntajes

si se requiereEvaluar una

muestra y revisar Evaluar una

muestra y revisar

Expresar los criteriosen forma de

comportamientoscaracterísticas

Expresar los criteriosen forma de

comportamientoscaracterísticas

13

Ejemplo: Escala de valoración para registrar habilidades colaborativas.

Contexto Fecha:I nstrucciones: I nstrucciones: a) Cada columna corresponde a un alumno.b) En los recuadros se consigna cuan bien se desempeñó

cada alumno durante el trabajo grupal en la fecha del registro.

c) La escala es la siguiente: 1. Nunca2. Rara vez3. Frecuentemente4. Siempre

14

Pauta de registro.

Conductas

Pidió ayuda cuando la necesitaba.

Agradeció los elogios de sus compañeros.

Explicó con claridad cómo hacer algo cuando se le solicitó.

Elogió a los miembros del grupo cuando hicieron algo bien.

Proporcionó ayuda cuando se le solicitó.

Se dirigió a los miembros del grupo con un tono adecuado.

Nombres

15

Ejemplo de rúbrica holística para la evaluación de la biografía de un personaje histórico.

0123

La biografía sólo incluye un cuerpo de menos de 6 párrafos, algunas de las informaciones no se refieren al personaje, carece de articulación y coherencia. No presenta conclusiones, ni bibliografía.

La biografía sólo incluye un cuerpo de 6 a 8 párrafos, las informaciones se refieren al personaje, pero carece de articulación y coherencia. No presenta conclusiones y la bibliografía es incompleta.

La biografía incluye una introducción de 1 o 2 párrafos; un cuerpo articulado y coherente de al menos 9 a 11 párrafos; conclusiones de 2 o 3 párrafos, que se desprenden del cuerpo de la biografía y bibliografía completa.

La biografía incluye una introducción de al menos 3 párrafos; un cuerpo articulado y coherente de al menos 12 párrafos; conclusiones de al menos 4 párrafos, que se desprenden del cuerpo de la biografía y bibliografía completa.

Rúbrica

16

Lista de cotejo para evaluar los criterios y rúbricas

Si

4. Se ha definido un mínimo de cuatro categorías holísticas o por criterio para evitar la tentación de una distribución normal de los resultado.

3. Las expectativas sobre el desempeño de los alumnos son claras. Los niveles de desempeño se encuentran redactados en un lenguaje comprensible para los alumnos(as) y sus padres o apoderados.

2. Los niveles considerados representan el rango completo de conocimientos, habilidades y destrezas que constituyen las metasfundamentales del proceso instruccional.

1. Los criterios son suficientes y necesarios para juzgar el desempeño de todos los alumnos con respecto a los objetivos de aprendizaje seleccionados

NoCaracterísticas

17


9. Los descriptores se encuentran presentes en todos los niveles de desempeño.

8. Los rasgos definidos son claros y pueden ser definidos en forma específica desde el nivel que señala el “menor” desarrollo hasta el que involucra el “mayor” desarrollo .

7. Los criterios y descriptores de los niveles de desempeño se encuentran formulados para permitir un reforzamiento continuo y no solo una calificación del desempeño aislada.

6 En la definición de los niveles de desempeño se evita la omisión o la existencia de niveles implícitos, que deja a la audiencia el grado o tipo de desempeño que existe entre los niveles explícitos.

5. Se considerado al menos un nivel sobre el desempeño mínimo esperado, para ejemplificar los desempeños superiores.

NoSiCaracterísticas

18


14. En la formulación de los niveles de desempeño se distingue claramente entre los niveles intermedios y el nivel que aún requiere de reforzamiento, evitando expresiones como “promedio”, ”sobre el promedio”, “regular”, etc

13. En la formulación de los niveles de desempeño se evitan expresiones ambigua o difíciles de definir, tales como “estilo elegante”, “actitud positiva”, “creatividad emergente”, etc.

12. Se utilizan categorías absolutas y no relativas al nivel máximo de desempeño encontrado en el grupo.

11. En los niveles inferiores no se utilizan sólo términos negativos. Por ejemplo, “no domina la ortografía”, “no tiene ninguna habilidad para la expresión oral”, “no evidencia comprensión del proceso de observación”, “no sabe utilizar el color”,.

10. En cada nivel se presentan ejemplos ilustrativos.

NoSiCaracterísticas

19

Calidad de las evaluaciones:

υ Validez

υ Confiabilidad

20

Preguntas que es conveniente formularse respecto a la validez de una evaluación:

υ ¿Se evalúa lo que se espera que los alumnos y alumnas aprendan? Validez de constructo.

υ ¿Corresponde lo que se evalúa a las actividades realizadas durante el proceso de enseñanza y aprendizaje? Validez instruccional.

υ ¿Las consecuencias que tiene la evaluación son coherentes con el propósito de la misma? Validez consecuencial.

21

Factores que afectan a la validez de constructo:

Validez de Const ructoValidez de Validez de Const ructoConst ructo

Redacción de

instrucciones

Definición de indicadores

de logroDiseño de la

evaluación

Selección del área

de habilidades

22

Factores que afectan a la validez instruccional:

Planificación de laevaluación

Adopción de la perspectiva del alumno

Validez I nst ruccionalValidezValidez I nst ruccionalI nst ruccional

Reflejar losobjetivos

23

Factores que afectan a la validez consecuencial:

I dentificación

de evidencia

ValidezValidez

Consecuencial

Consecuencial

Definición de

propósitosU

so de laevidencia

24

Confiabilidad de la evaluación:

υ medida en que puede tenerseconfianza en la precisión de las informaciones que sirven de fundamento para emitir un juicio sobre los aprendizajes logrados.

25

Factores que afectan a la confiabilidad:

ConfiabilidadConfiabilidad

Insuficiencia de

la cantidad

Imprecisión de

los criteriosProcedimientos

con falta de claridad

Limitación por la

muestra habilidades

26

Criterios de revisión de las situaciones de evaluación del desempeño:

• Autenticidad• Generalización• Focalización múltiple• Potencial de aprendizaje• Equidad• Viabilidad• Posibilidad de mejoramiento

27

Diseño de la evaluación.

1. Unidad de Aprendizaje.2. Subunidad de aprendizaje.3. Objetivo y (o) aprendizaje esperado.4. Diseño de una situación de

evaluación.

28

T axonomía de Bloom revisada*.

υ Presenta diferencias fundamentales respecto a la taxonomía original:

ν Utiliza dos dimensiones, en lugar de una que tenía la taxonomía original.

ν Designa las categorías de los procesos congitivos con verbos en lugar de sustantivos.

ν Clarifica los contenidos de las categorías.ν Combina las dos dimensiones sólo en las

categorías que tienen sentido sustantivo.

*Anderson, L. W: y Krathwohl, D. R. Eds..(2001) A taxonomy for Learning, Teaching, and Assessing.New York, Longman.. .

29

T axonomía de Bloom revisada.

Conocimiento Metacognitivo

Conocimiento procedimental

Conocimiento conceptual

Conocimiento factual

6.Crear

5.Evaluar

4.Analizar

3.Aplicar

2.Compren-

der

1.Recordar

Dimensión 1: Procesos cognitivosDimensión 2: T ipo de conocimiento

30


υ Procesos cognitivos.ν Recordar: recuperar conocimiento

relevante de la memoria a largo plazo.ν Reconocer. Ej.: Reconocer el significado de los

colores en un mapa físico.ν Evocar. Ej.: Enunciar los principales períodos

de la historia de Chile.

31

T axonomía de Bloom revisada.ν Comprender: construir el significado a partir de

diferentes mensajes, incluye la comunicación oral, escrita y gráfica.

ν I nterpretar. Ej.: Parafrasear el concepto de ciudadanía..ν Ejemplificar. Ej.: Proporcionar ejemplos del concepto de

“trueque”.ν Clasificar. Ej. Clasificar las formas de gobierno en Chile

del signo XX.ν Resumir. Ej.: Redactar una síntesis del período de la

Conquista en Chile.ν Comparar. Ej. Comparar gráficamente la distribución de

la actividad económica de dos regiones.ν Explicar. Ej.: Explicar los principales antecedentes de la

I ndependencia en Chile.

32


ν Aplicar: realizar o utilizar un procedimiento en una situación dada.

ν Ejecutar. Ej.: Representar los principales períodos de la historia latinoamericana en una línea de tiempo.

ν I mplementar. Ej.: Determinar la de densidad poblacional de una comuna.

33

T axonomía de Bloom revisada.ν Analizar: dividir un contenido en sus partes

constitutivas, determinar cómo se relacionan estas partes entre sí y con la estructura o propósito general.

ν Diferenciar. Ej.: Distinguir entre los datos relevantes e irrelevantes para resolver un problema.

ν Organizar. Ej.: Estructurar una argumentación a partir de evidencia contradictoria en un hecho histórico.

ν Atribuir. Ej.: Determinar el punto de vista del autor de un ensayo en términos de su perspectiva política.

34


ν Evaluar: emitir juicios basados en criterios y(o) estándares.

ν Comprobar. Ej.: Determinar si las conclusiones en un ensayo histórico se desprenden de los datos aportados en el mismo.

ν Criticar. Ej.: Juzgar cuál o cuáles de un conjunto de fuentes históricas es más confiable para fundamentar una postura sobre un hecho.

35


ν Crear: reunir elementos para formar un todo coherente o funcional; reorganizar elementos en una estructura o patrón nuevo.

ν Generar. Ej.: Formular una hipótesis que dé cuenta de un fenómeno.

ν Planificar. Ej.: Preparar un proyecto de investigación.

ν Producir. Ej.: Escribir un ensayo sobre la época actual, basándose en el argumento central de Edipo Rey.

36


υ T ipos de conocimiento.ν Conocimiento factual: elementos básicos

que los alumnos deben conocer para estar familiarizados con una disciplina y(o) resolver problemas.

ν Conocimiento de terminología. Ej.: Vocabulario técnico básico; simbología usada en mapas.

ν Conocimiento de detalles específicos y elementos. Ej. Fuentes de información histórica confiables.

37


ν Conocimiento conceptual: relaciones entre los elementos básicos en una estructura de orden mayor que les permite funcionar en conjunto.

ν Conocimiento de clasificaciones y categorías. Ej. T ipos de sociedades comerciales.

ν Conocimiento de principios y generalizaciones. Ej.: La ley de la oferta y la demanda; conocimiento de los modelos económicos.

ν Conocimiento de teorías, modelos y estructuras. Ej. La teoría de sistemas.

38


ν Conocimiento procedimental: forma de ejecución de algo; métodos de indagación y criterios para utilizar destrezas, algoritmos, técnicas y métodos.

ν Conocimiento de destrezas específicas y algoritmos en una disciplina. Ej.: Las destrezas necesarias para reproducir una pintura precolombina; el algoritmo para calcular la depreciación.

ν Conocimiento de técnicas y métodos específicos en una disciplina. Ej.: T écnicas de entrevista; el método histórico.

ν Conocimiento de criterios para determinar cuándo emplear un procedimiento apropiado. Ej.: Uso de criterios para determinar el procedimiento más adecuado para determinar crecimiento del PGB.

39


ν Conocimiento metacognitivo: conocimiento de la cognición en general, así como del monitoreo, control y regulación de su propia cognición.

ν Conocimiento estratégico: estrategias generales para aprender, pensar y resolver problemas. Ej.: Construcción de esquemas; heurística para resolver problemas.

ν Conocimiento de herramientas para construir significados y comprensión. Ej. Conocimiento de que estrategias como sintetizar y parafrasear que contribuyen a una comprensión más profunda.

ν Autoconocimiento: de sus fortalezas y debilidades respecto al aprendizaje Ej. I dentificación de los propósitos al realizar una tarea; conocimiento de sus intereses, utilidad de realizar la tarea.

40


XXConocimiento Metacognitivo

XXXXConocimiento procedimental

XXXXConocimiento conceptual

XXConocimiento factual

6.Crear

5.Evaluar

4.Analizar

3.Aplicar

2.Compren-

der

1.Recordar

Dimensión 1: Procesos cognitivosDimensión 2: T ipos de conocimiento

41

Ejemplo de especificación de la evaluación de una sub-unidad.

θ Unidad 1: Entorno natural y comunidad regionalθ Sub-unidad 2: Características demográficas de la

región.θ Describen (aplicar) y comparan (analizar) la

población regional y provincial en términos de su volumen, densidad, distribución por sexo y edad, y condición urbano-rural; salud; educación, actividad económica: industria, agricultura, turismo, etc. ;(conocimiento de conceptos y procedimientos).

42


5. Procedimiento: Portafolio.6. Organización y procedimiento:

a. Los alumnos se dividirán en grupos de 4 y podrán elegir uno o dos áreas demográficas de la región que desarrollarán.

b. Duración 2 semanas con 1 hora de trabajo en aula y aproximadamente 1 hora de trabajo fuera del aula.

c. Presentación por escrito y oral al curso con apoyo visual.

43


6. Contenido obligatorio:a. I ntroducciónb. Datos del último censo disponible sobre el área.c. Distribución por provincia.d. Comparación porcentual entre las provincias.e. Gráficos comparativos entre provincias.f. Comentarios acerca de las características

demográficas encontradas.g. Conclusionesh. Bibliografía

44


7. Contenido voluntario:a. Distribución por comunas en cada provincia.b. Comparación entre comunas.c. Gráficos comparativos por comunas.d. Conclusiones acerca de las comunas.

8. Criterios de corrección:a. Del proceso: ver pautab. T rabajo escrito:

i. Estructuraii. Confiabilidad de los datosiii. Adecuación de los gráficosiv. Claridad y coherencia de las interpretaciones.v. Claridad y coherencia de las conclusiones.vi. Calidad de la bibliografíavii. Presentación formal: redacción, pulcritud.

45


c. Presentación oral:i. Estructuraii. Claridadiii. Posturaiv. Calidad del apoyo visualv. Calidad de la respuesta a preguntas de pares

9. Rúbricas

46

Determinación de puntajes de corte.

υ Al evaluar aprendizajes se trata de determinar el logro de un conjunto (relativamente homogéneo) de destrezas, habilidades referidas a un mismo dominio de aprendizaje, distribuido en forma continua.

No logro logro

47


υ En el extremo superior de este continuo se identifica un segmento en el que se ubican los individuos que logran los objetivos. El puntaje de corte delimita a este segmento.

No logro LogroPuntaje de corte

48


υ Es posible identificar una zona intermedia de logro parcial.

υ El puntaje de corte representa un criterio para interpretar el logro de aprendizajes de un alumno.

υ El puntaje de corte debiera proporcionar una clasificación con un mínimo de error.

49


υ Se basan en algún tipo de juicios.υ Para determinarlos es necesario

considerar que:ν las personas que emitan los juicios sean

calificadas;ν los juicios sean significativos para los que

las emiten y,ν los juicios sean coherentes con el propósito

del instrumento.

50


υ Cualquiera sea el método para determinar el puntaje de corte, existe la posibilidad de dos tipos de decisiones erróneas:

ν Un alumno que no haya logrado los aprendizaje puede obtener un puntaje superior al de corte y,

ν un alumno que haya logrado los aprendizajes puede obtener un puntaje inferior al del puntaje de corte.

υ Se trata de obtener puntajes de corte con un mínimo de error.

51


υ Dos métodos basados en juicios sobre los reactivos o preguntas:

ν Nedelskyν Angoff

υ En ambos casos se requiere de:ν Juicios sobre los alumnos limítrofes (borderline).ν Se centran en el contenido de las preguntas.ν El juez tiene que decidir cómo respondería cada

pregunta una alumno limítrofe.

52

Método de Nedelsky

υ Sólo apropiado para pruebas de selección múltiple.υ Frente a cada pregunta se señala cuáles de los

distractores que podría descartar un alumno limítrofe.υ Se registra el número de opciones no descartadas.υ Se registra el puntaje esperado; es el valor recíproco

de las opciones no descartadas.υ La suma de los puntajes esperados es igual al puntaje

de corte.

53

7,33Puntaje de cor te

0,502edcb(a)10

0,502edc(b)a9

1,001edcb(a)8

1,001(e)dcba7

1,001ed(c)ba6

1,001edcb(a)5

0,333e(d)cba4

0,502e(d)cba3

1,001(e)dcba2

0,502edc(b)a1

Puntaje esperado

Nº de opciones no descartadas

OpcionesPregunta Nº

-No descartadas-Descartadas

Ejemplo: Método de Nedelsky

54

Ejemplo: Método de Nedelsky

υ Es habitual que se utilicen varios jueces.

υ Los resultados pueden combinarse de diferentes maneras:ν Promedioν Media “podada”, se descartan los valores

de uno o más jueces que proporcionan valores extremos.

55

Combinación de jueces: Método de Nedelsky.

υ Supongamos que se usaron 5 jueces:

6,6Promedio

8,00Juez 5

6,50Juez 4

9,00Juez 3

2,00Juez 2

7,33Juez 1

Puntaje de corteJuez N°

56

Combinación de jueces: Método de Nedelsky.

υ Si se elimina al juez de puntaje de corte 2,00, entonces el promedio de los cuatro restantes resulta igual a: 7,7.

υ La categoría superior puede dividirse en un número mayor de categorías.

57

Método de Angoff.

υ Puede ser utilizado en cualquier tipo de prueba.

υ Cada juez debe estimar la probabilidad de respuesta correcta de un alumno limítrofe para cada pregunta.

υ El puntaje de corte es igual a la suma de probabilidades de respuestas correctas estimadas.

58

Pregunta Nº Probabilidad derespuesta correcta

1 0,902 0,853 0,804 0,705 0,706 0,607 0,558 0,559 0,50

10 0,40

Puntaje de corte 6,55

Ejemplo: Método de Angoff.

59

A modo de conclusión:υ La reforma curricular exige un esfuerzo renovado de

la evaluación de los aprendizajes.υ Es imprescindible considerar el trabajo colaborativo

entre los profesores al planificar y desarrollar las evaluaciones. Sólo de esta manera se logra acumular el conocimiento y experiencia para el mejoramiento de los aprendizajes.

υ Es conveniente incorporar la coevaluación y la autoevaluación.

υ Resulta primordial pensar en la evaluación como una instancia de aprendizaje, tanto para los profesores como para los educandos.

Evaluación

Education

Transcript of Evaluación