Evaluación TALLER DE ÍTEMS OCTUBRE 2015

Contenidos

Conceptos previos Indicadores de calidad del ítem: índice de

dificultad, índice de discriminación Respuestas en blanco: qué representan La contextualización: importancia

Tipos de evaluación Formativa o sumativa

Formativa: tiene como objetivo el seguimiento y la mejora del proceso de enseñanza-aprendizaje, así como ofrecer feedback tanto a los profesores como a los alumnos (*).

Sumativa: consiste en una recogida sistemática y periódica de información que permita emitir un juicio sobre el alcance y la calidad del aprendizaje de un alumno. Sirve a los profesores para informar al alumno y a sus padres sobre sus resultados o para la toma de decisiones que pueden influir en su trayectoria educativa (**).

(*) Para más información sobre la evaluación formativa, véase OECD, Formative Assessment – Improving Learning in Secondary Classrooms, 2005. (**) Para más información sobre la evaluación sumativa, véase Harlen, W., Assessment of Learning, 2007.

Tipos de evaluación Pruebas nacionales:

Están integradas en una política más amplia de evaluación

• para el aprendizaje,

• como aprendizaje y

• del aprendizaje,

y en relación con este último aspecto, su función es limitada y

hay que contemplarla junto con otras actividades importantes

de evaluación.(*)

(*) Pruebas nacionales de evaluación del alumnado en Europa: objetivos, organización y utilización de los resultados- http://www.eurydice.org y http://www.educacion.es/cide/eurydice) .

Es una prueba estandarizada de razonamiento y

conocimientos básicos, desarrollada para evaluar a

quienes pretenden cursar estudios del nivel de pre

grado.

Es una prueba de selección, determina el nivel de

apropiación de las habilidades lógico-matemáticas y

verbales, así como el manejo de los conocimientos de

lenguaje, matemáticas, CTA, humanidades y ciencias

sociales sobre la base del currículo nacional de EBR .

Prueba de admisión UNMSM

Este proceso de selección asume como supuesto que

los postulantes elegirán una carrera según su

preferencia y que el ingreso a ella dependerá

únicamente del nivel de conocimientos y habilidades de

los postulantes, no considera, entre otros elementos, la

escuela de origen, su desarrollo social y emocional ni su

nivel socioeconómico.

Prueba de admisión UNMSM

Objetivo de la selección

Tercio superior Tercio inferior

Cuartil superior Cuartil inferior

27% superior 27% inferior

Sobre la base de los puntajes obtenidos

Objetivo de la selección

Tercio superior Tercio inferior

Cuartil superior Cuartil inferior

27% superior 27% inferior

☺

☺

☺

x x x

Sobre la base de los puntajes obtenidos

Indicadores de calidad del ítem ÍNDICE DE DIFICULTAD

ÍNDICE DE DISCRIMINACIÓN

¿Qué es el nivel de dificultad y cómo se calcula?(*)

Dificultad. La dificultad de un ítem se entiende como

la proporción de personas que responden

correctamente un reactivo de una prueba.

Entre mayor sea esta proporción, menor será su

dificultad.

Lo que quiere decir que se trata de una relación

inversa: a mayor dificultad del ítem, menor será su

índice (Wood, 1960). (*) Backhoff Escudero, Eduardo; Larrazolo Reyna, Norma; Rosas Morales, Martín, Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE. Revista Electrónica de Investigación Educativa, vol. 2, núm. 1, mayo, 2000 http://www.redalyc.org/articulo.oa?id=15502102

Dificultad.

El nivel medio de dificultad del examen debe oscilar entre 0.5 y 0.6:

• 5% de reactivos fáciles,

• 20% medianamente fáciles,

• 50% con una dificultad media,

• 20% medianamente difíciles y

• 5% difíciles.

¿Qué es el nivel de discriminación y cómo se calcula?(*)

Supuesto: se espera que quien tuvo una puntuación alta en todo el test deberá tener altas probabilidades de contestar correctamente el ítem.

También se espera lo contrario, es decir, que quien tuvo bajas puntuaciones en el test, deberá tener pocas probabilidades de contestar correctamente el ítem.

Así, un buen ítem debe discriminar entre aquellos que obtuvieron buenas calificaciones en la prueba y aquellos que obtuvieron bajas calificaciones.

(*) Backhoff Escudero, Eduardo; Larrazolo Reyna, Norma; Rosas Morales, Martín, Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). REDIE. Revista Electrónica de Investigación Educativa, vol. 2, núm. 1, mayo, 2000 http://www.redalyc.org/articulo.oa?id=15502102

27% superior 27% inferior ☺ x GA GB

• Si todas las personas del GA contestan correctamente un reactivo y todas las personas del GB contestan incorrectamente, entonces D = 1 (valor máximo de este indicador);

• si sucede lo contrario, D = -1 (valor máximo negativo); • si ambos grupos contestan por igual, D = 0 (valor mínimo de discriminación).

Ejemplos para analizar ÍTEMS DEL ÁREA DE MATEMÁTICA 2015-II

21

15 21

Ítem Logmat03 Complete el cuadrado de la figura escribiendo un número entero en las casillas sin número, de modo que la suma de los tres números que forman filas, columnas y diagonales sea la misma. Halle la suma de los números que corresponden a las casillas sombreadas. A.18* B.15 C.20 D.24 E.16

En los cuatro grupos hay una gran cantidad de respuestas correctas.

NOK

Dificultad Muy fácil Discriminación Corregible

Logmat14 María, Rosa y Alicia compraron, cada una, varias cajas con igual número de platos. María compró, en total, 55 platos; Rosa compró 88 y Alicia, 99. Halle el número total de cajas compradas por las tres y el número de platos que hay en cada caja respectivamente. A. 22 y 9 B. 20 y 11 C. 22 y 11* D. 22 y 7 E. 20 y 7

El ítem tiene un mayor % de respuestas correctas en los grupos con mayores puntajes y viceversa. Dificultad Fácil

Discriminación Excelente

En un cono circular recto de altura L m, se inscribe una esfera de radio R m. Halle el volumen del cono.

2 23R L m

3(L 2R)π−

2 23R L m

6(L 2R)π−

2 232 R L m

3(L 2R)π−

2 234 R L m

3(L 2R)π−

2 233 R L m

4(L 2R)π−

*

NOK

Dificultad Muy difícil Discriminación Pobre

Item50

NOK

Dificultad Muy difícil Discriminación Pobre

OK

Mat54

Dificultad Fácil Discriminación Excelente

Respuestas en blanco ¿QUÉ REPRESENTAN?

El porcentaje de blancos supera el 50% y las respuestas incorrectas superan a las correctas

Proceso 2015-II

Proceso 2016-I

25%29%

46%

0

15

30

45

60

Respuesta incorrecta Respuesta correcta Respuesta en blanco

Matemática Area A: Ciencias de la salud

El porcentaje de blancos es de 46% y las respuestas correctas superan a las incorrectas

En el 2016-I se introdujo más

ítems contextualizados que

en el 2015-II HIPÓTESIS:

LA PRUEBA ES MÁS ACCESIBLE AL POSTULANTE

20%

30%

40%

50%

60%

70%

80%

.000 .100 .200 .300 .400 .500 .600

% d

e bl

anco

s

Indice de dificultad

Proceso 2016-I Dificultad vs blancos Matemática A D F

A mayor dificultad mayor cantidad de respuestas en blanco (recordar que el índice de dificultad es inversamente proporcional a la misma)

Los ítems 22, 36 y 40 no son muy difíciles, pero tienen una buena capacidad de discriminación

.401, .382

.494, .550

.414, .538

.400, .583

.000

.200

.400

.600

.100 .300 .500 .700

Pobr

e

Exce

lent

e

Extremadamente difícil Intermedia Fácil

Dificultad vs discriminaciónMatemática A D F

Los ítems 43, 47,48 y 53 son difíciles, pero tienen una buena capacidad de discriminación

EJEMPLOS CON ÍTEMS DEL 2015-II

¿Por qué contextualizar?

Sistema de ecuaciones lineales con tres variables

Sin contextualizar

Sistema de ecuaciones lineales con tres variables

contextualizado

Sin contextualizar

Trigonometría

contextualizado

Trigonometría