Elaboración de ítems

Hacia TIMSS 2015

Seminario, Comillas, Septiembre 2013

Jose Diego

diegojm@unican.es

Contenidos

• Aspectos generales en la elaboración de los ítems

• Tipos de Ítems

- Ítems de respuesta múltiple

- Ítems de respuesta elaborada

• Pasos en el diseño de estos ítems

Aspectos principales en la elaboración

de los ítems

1. Elaboración del ítem respecto al contenido fijado

2. Elaboración de una guía de categorías de respuesta para dicho ítem (Mislevy, Almond, & Lukas, 2003)

TareaDiseña ítems para el contenido 1.1 Números naturales 1.1.6 Identificación números pares e impares que cubran cualquiera de los tres dominios cognitivos (conocer, aplicar y razonar).

ÍtemSeñala los números pares

Categorías de respuesta

Dominio Cognitivo Conocer

Consideraciones generales en el diseño de ítems

ítems respuesta múltiple 1 minuto. ítems respuesta elaborada 1-3 minutos.

ítems adecuados a edades evaluadas. texto lo más corto posible y vocabulario sencillo.

situaciones de la vida real próxima al alumno. (Dolan & Hall, 2007)

evitar ítems muy difíciles y muy fáciles. deben poder responder correctamente entre 30% y 70% de los estudiantes.

establecer equivalencia conceptual y lingüística. evitar términos contextualizados con difícil traducción. evitar sesgos respecto a la variable sexo.

(Osborn, 2002)

Tiempo:

Evitar sesgos de contexto:

Adecuación al contexto evaluado:

Dificultad:

Tipos de Ítems que se pueden elaborar Ítems de respuesta múltiple

Ítems de respuesta elaborada

Tengo 37 euros. ¿Cuánto dinero me queda si me compro una mochila de 15 euros y unaregla de 5 euros? Escribe todos los pasos.

Un enunciado que introduce la información contextual del ítem

Una pregunta que ha de responder el estudiante

Cuatro opciones de respuesta a), b), c) y d)

El estudiante ha de elaborar la respuesta. Se suele pedir un resultado numérico, una breve explicación o descripción en una o dos frases, completar una tabla o hacer un esquema.

Ítems de respuesta múltiple

• Diseño de enunciado y pregunta

• Diseño de respuestas

• Uso de distractores pausibles

• Ejemplo items

Diseño de enunciado y pregunta

• Información suficiente, clara y entendible. Se debe poder responder sin mirar las respuestas propuestas.

• Evitar el diseño de enunciados negativos que contenga palabras como NO, EXCEPTO, etc.

• Diseñar ítems de respuesta única.

• Evitar ítems en los que un método incorrecto puede llevar a una respuesta correcta (ej. calcular longitud circunferencia de radio 2 -> misma respuesta que calcular área círculo)

Diseño de las respuestas

• Cuatro respuestas posibles y sólo una correcta, todas independientes (ninguna respuesta subconjunto de otras, no incluir pares de respuesta).

• Similar estructura gramatical en enunciado y opciones de respuesta. Una gramática inconsistente puede dar pistas sobre la respuesta correcta o eliminar directamente las opciones incorrectas.

• Todas las opciones de respuesta parecidas en longitud y complejidad. Si no pueden ser de la misma longitud, ordenarlas de más cortas a más largas. Evitar incluir más detalles en la respuesta correcta haciendo que resalte.

• No usar como opciones de respuesta “ninguno de los anteriores” o “todas las respuestas”... etc.

• Evitar que se deduzca la respuesta correcta de las opciones propuestas. (Ej. Al resolver una ecuación sustituyendo las posibles soluciones).

Distractores Plausibles

• Usar distractores (opciones de respuesta incorrectas) basados en errores comunes del estudiante:

- reduce la probabilidad del estudiante de llegar a una respuesta correcta por eliminación

- ayuda a detectar en diferentes grupos de estudiantes errores tipo que puede ayudar a la mejora de la enseñanza.

• Si no se pueden utilizar distractores plausibles, utilizar respuestas razonables que no conduzcan directamente a la solución. No utilizar, por ejemplo, respuestas que no tengan relación con el tema.

Ejemplo

Ítems de respuesta elaborada

• Diseño de la pregunta

• Puntuación

• Codificación de respuestas

• Ejemplo items

Diseño de la pregunta

• Ítems en lenguaje asequible que no requieran explicación.

• Ítems clarificadores, indicando el nivel de detalle de la respuesta esperada.

(Ej. escribir ‘Da tres razones…’ en vez de ‘Da algunas razones…’ )

• Seleccionar situaciones o problemas de la vida real que se adapten a la edad de los estudiantes.

• Evitar preguntas de respuesta abierta o libre difíciles de evaluar.

• Tiempo de resolución inferior a 3 minutos.

Ítem

Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.

Puntuación

Los ítems pueden valorarse con 1 o 2 puntos:

● Ítems de 1 punto: correctos (1 punto) / incorrectos (0 puntos)

● Ítems de 2 puntos:

- Completamente correctos (2 puntos)

- perfecto entendimiento de los conceptos y procedimientos necesarios en la tarea

- Parcialmente correctos (1 punto)

- se realizan algunos partes de la tarea correctamente pero está incompleta

- respuesta correcta pero explicación incompleta

- respuesta incorrecta pero desarrollo o explicación correcta que sugiere un entendimiento de los conceptos

- Incorrectos (0 puntos)

- respuesta incorrecta, inadecuada, incoherente o irrelevante.

Codificación de respuestas

Código Respuesta Ítem: ___________(valor 2 puntos)

Respuesta Correcta20 Escribir posible respuesta correcta (método 1)21 Escribir posible respuesta correcta (método 2)

Respuesta Parcialmente Correcta10 Escribir posible respuesta parcialmente incorrecta 11 Escribir posible respuesta parcialmente incorrecta con método diferente

Respuesta Incorrecta70 Respuesta incorrecta, error común 171 Respuesta incorrecta, error común 279 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas

con la tarea)Sin Respuesta

99 En blanco

Primer dígito: Grado de validez de la respuestaSegundo dígito: Clasificación del método/procedimiento utilizado (propósito de diagnóstico)

Después de diseñar el ítem se ha de escribir la respuesta apropiada en términos del conocimiento, lenguaje y habilidades de un estudiante de nivel alto. Se han de identificar métodos comunes en la resolución así como errores tipo.

Ejemplo

Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.

Código

Respuesta Ítem: ___________(valor 2 puntos)

Respuesta Correcta20 21, con expresión 2 × 12 – 3 = 21

Respuesta Parcialmente Correcta

10 21, sin explicar la respuesta

11 expresión 2 × 12 – 3 con respuesta equivocada

Respuesta Incorrecta70 Cualquier otra respuesta

79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)

Sin Respuesta

99 En blanco

Ejemplo

Luis tiene 10 años. María tiene 15 años.

¿Cuántos años más tiene María que Luis? Escribe las operaciones.

Código Respuesta Ítem: ___________(valor 2 puntos)

Respuesta Correcta20 5, con expresión 15-10 = 5

21 5, con expresión 10+5 = 1522 5, con expresión 15-5 = 10

Respuesta Parcialmente Correcta

10 5, sin escribir operaciones

11 expresión 15-10 = con respuesta equivocada

Respuesta Incorrecta70 Cualquier otra respuesta

79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea)

Sin Respuesta

99 En blanco

Revisión ítems respuesta múltiple

La primera revisión de los ítems se llevará a cabo por el equipo de elaboración; un grupo de expertos realizará una segunda revisión.

Para la revisión de los ítems de respuesta múltiple se considerará la siguiente lista.

Características del ítem Si No

¿Son correctas las matemáticas utilizadas?

¿Resulta la tarea entendible para el estudiante?

¿Está el ítem libre de sesgos culturales, geográficos o de sexo?

¿Resultará el ítem fácil de traducir a otras lenguas?

¿Se ha evitado el uso de ítems orientados negativamente?

¿El ítem tiene una única respuesta?

¿Son los distractores plausibles y claramente incorrectos?

¿Siguen las respuestas propuestas una estructura similar?

¿Se repiten las mismas palabras del enunciado en la respuestas?

¿Se realizó una clasificación correcta del contenido?

¿Se realizó una clasificación correcta de la dimensión cognitiva?

Revisión ítems respuesta elaborada

Características del ítem Si No

¿Son correctas las matemáticas utilizadas?

¿Resulta la tarea entendible para el estudiante?

¿Está el ítem libre de sesgos culturales, geográficos o de sexo?

¿Resultará el ítem fácil de traducir a otras lenguas?

¿Contiene el ítem algún factor con el que estudiante pueda no estar familiarizado y dificulte la resolución?

¿Es razonable pensar que el ítem se puede responder correctamente?

¿Puede resolverse la tarea en un tiempo razonable?

¿Las guías de puntuación tienen las categorías apropiadas de respuesta correcta e incorrecta?

¿Las guías de puntuación tienen las codificaciones numéricas apropiadas ?

¿Se realizó una clasificación correcta del contenido?

¿Se realizó una clasificación correcta de la dimensión cognitiva?

Documentos de referencia

- Elaboración Ítems TIMSS 2015

- Ítems TIMSS 2007

- Ítems TIMSS 1995-2003

¡ Muchas Gracias !