MANUAL PARA LA CONSTRUCCIÓN DE ÍTEMS

Con el fin de garantizar alta calidad en los ítems y por ende de las pruebas, se hace

necesario disponer de un manual técnico dirigido a todos aquellos docentes responsables de

pruebas, que participan de alguna manera en el proceso de construcción de ellas, a fin de

orientar de una forma estandarizada la construcción de ítems. Sin embargo, teniendo en

cuenta que los docentes y equipos de gestión desarrollan numerosos programas de

evaluación en los diferentes niveles de educación formal (básica, media, SIMCE, PSU u

otras) se plantea este manual como base a tener en cuenta si se requiere construir un

sistema evaluativo en algún caso.

Es un requisito para quienes construyen ítems que dominen los planteamientos del marco de

fundamentación conceptual establecido y vigente, así como las especificaciones técnicas del

instrumento, a fin de que cada pregunta aporte su máximo potencial evaluativo al propósito

de evaluación planteado.

CARACTERÍSTICAS DE UNA PRUEBA OBJETIVA

• Se determina previamente una estructura de prueba, en la cual se resumen las

características importantes de la misma: el objeto de evaluación, la dimensión disciplinar

(los contenidos que abordará, organizados en áreas o componentes); las dimensiones

cognitivas (competencias, aptitudes, conocimientos, etc.) que evaluará y el tipo de

preguntas que utilizará.

• Comprender que miden el grado en el cual una persona posee una determinada

cualidad o tributo a través de un número. Esto se logra gracias a que los criterios de

calificación están establecidos previamente, sobre los cuales ha habido acuerdo desde el

momento mismo de la construcción de la prueba.

• Los ítems se acompañan de un número reducido y limitado de opciones de

respuesta, entre las cuales el examinado debe escoger aquella que mejor responda al

ítem. En las pruebas cualitativas, en cambio, los ítems son abiertos y buscan que el

mismo estudiante construya la respuesta.

1

• Todos los examinados son sometidos al mismo instrumento de evaluación, aplicado

bajo condiciones estandarizadas (de espacio, tiempo, etc.), es decir las mismas pruebas y

los mismos ítems para todos.

• Posibilitan evaluar grandes grupos de personas de forma masiva y simultánea debido

a la facilidad de ser calificadas por medio de máquinas y sistemas computacionales.

• Cabe reiterar que con las pruebas objetivas se tiene la intención que sean además un

instrumento pedagógico, esto es que enseñe a quien lo responde y enriquezca a quienes

lo construyen; es un punto de partida y no de llegada, que debe suscitar reflexiones de la

comunidad académica.

CARACTERÍSTICAS O ATRIBUTOS DE UNA PRUEBA OBJETIVA PARA QUE CUMPLA

CON UNOS DETERMINADOS FINES

Para que las pruebas objetivas cumplan con los fines para los cuales se diseñan, deben

tener fundamentalmente tres características: confiabilidad, validez y equilibrio.

Confiabilidad

La medición de la característica o cualidad en aplicaciones sucesivas de la prueba debe ser

similar. Es decir, si aplicamos la prueba en diferentes momentos, se deben obtener los

mismos resultados bajo condiciones idénticas.

Validez

Una prueba es válida si mide lo que se pretende medir. El grado de validez de una prueba se

refiere a la exactitud con la cual se mide la cualidad o atributo que se quiere medir con la

prueba. Es el grado en el cual las interpretaciones sobre el objeto de evaluación

(competencias, conocimientos, etc.) de una persona o un grupo de personas, son correctas,

a partir de su o sus respuestas a una pregunta.

Los siguientes tres factores afectan negativamente la validez, por lo cual se deben eliminar

en el proceso de construcción de ítems:

• La tarea a la cual se enfoca el ítem no es relevante para la evaluación del objeto

definido en el marco de fundamentación.

• En el ítem se incluye información que facilita o dificulta su interpretación y por ende

su resolución.

• Adicionalmente, la validez del proceso evaluativo sería inexistente si las preguntas

son conocidas por todos o algunos miembros de la población objetivo antes de su

aplicación. Por lo anterior, la confidencialidad en el proceso de elaboración de preguntas

es un compromiso esencial de quienes participan en la construcción de las pruebas.

Equilibrio

Para poder hacer una adecuada discriminación del desempeño en el grupo a evaluar, que

tengan la posibilidad de exhibir sus habilidades de desempeño, es necesario mantener un

adecuado equilibrio en la cantidad de las preguntas por dimensión disciplinar (componentes),

dimensión cognitiva (competencias, aptitudes, etc.) y complejidad (baja, media y alta)

CONSTRUCCIÓN O ELABORACIÓN DE PREGUNTAS

Un instrumento de evaluación es un conjunto intencionalmente articulado de ítems a través

de cuya aplicación se infiere el desempeño de quienes son evaluados en relación con el

objeto de evaluación. Una prueba es más que la simple suma de ítems que la conforman,

aunque su poder evaluativo se deriva de la potencia para evaluar que tengan todos y cado

una de ellos. Se espera que un instrumento de evaluación sea una unidad evaluativa

completa, armónica, que responda efectivamente a los propósitos planteados en su marco

de referencia y a las características definidas en las especificaciones de prueba. Siendo así,

la construcción de ítems una actividad crucial en la cual se materializan los propósitos y

características establecidos.

Hacer buenos ítems implica también conocer y aplicar aspectos técnicos en su formulación:

las características de los distintos tipos de preguntas susceptibles de utilización, las reglas

existentes para su correcta elaboración y los factores que pueden alterar su validez. Quizás,

por todo esto, la tarea más difícil en el proceso evaluativo es construir ítems que se ajusten a

las especificaciones de prueba y que, efectivamente, respondan al propósito de la

evaluación.

3

Es pertinente plantear que el proceso de construcción de ítems exige dinámicas de reflexión

y discusión entre pares y el apoyo de expertos que garanticen la calidad y pertinencia de

cada ítem. Después de elaborados los ítems, el instrumento se ensambla de acuerdo con las

especificaciones psicométricas y se somete a revisiones por parte de pares o expertos en los

aspectos conceptuales o disciplinares, etc., que sirven al propósito doble de controlar la

calidad evaluativa y verificar que se disponga de las adecuadas condiciones editoriales del

instrumento.

TIPOS DE PREGUNTAS

Corresponde a la forma en la cual se estructuran las preguntas. La siguiente gráfica muestra

una clasificación de los tipos de preguntas, establecida a partir de la acción que el evaluado

realiza para producir una respuesta cuando se enfrenta a cada tipo de pregunta:

Para cada tipo de pregunta que se utiliza en un instrumento de evaluación, deben

especificarse las instrucciones correspondientes. Las instrucciones son el conjunto de

recomendaciones o pasos que guían y dan información acerca de cómo proceder para

responder la pregunta.

Las instrucciones deben presentarse de manera clara y en lenguaje adecuado al nivel de los

examinados, en algunos casos resulta recomendable mostrar un ejemplo sencillo antes de

empezar el examen propiamente, sobre todo si no se ha elaborado instructivo para los

examinados. Aunque las instrucciones generalmente no se presentan para cada ítem, sino

que son comunes para grupos de ellos, se han considerado como un elemento importante

del ítem puesto que la respuesta del examinado puede verse seriamente alterada por la

forma cómo se entiendan las instrucciones.

ESTRUCTURA DE UNA PREGUNTA DE SELECCIÓN MÚLTIPLE CON ÚNICA

RESPUESTA

Contexto

Es la información necesaria para la resolución de una problemática. En algunas ocasiones el

contexto no se explicita porque corresponde al marco de referencia del objeto de evaluación.

En otras ocasiones el contexto puede ser un texto -por ejemplo, en ítems de comprensión de

lectura-, una gráfica, un dibujo, una tabla o cualquier otra forma de presentación de la

información a partir de la cual se deriva el enunciado.

Enunciado

Es el planteamiento de la problemática que se espera sea resuelta por el evaluado. En el

enunciado se expone la tarea de evaluación elegida para dar cuenta del objeto evaluado y

por tanto dirige el esfuerzo del evaluado para generar o seleccionar una respuesta. En

algunos ítems el enunciado está contenido dentro del contexto y en otros el enunciado hace

referencia a información que aparece -como contexto- de manera independiente en el

instrumento. Este debe proveer una idea completa y clara de la tarea de evaluación, que

contenga la información necesaria y suficiente para contestar el ítem.

5

Opciones de respuesta

Son posibles respuestas a la problemática planteada en el enunciado. Para el tipo de

pregunta de selección múltiple con única respuesta sólo una de ellas es válida (conocida

como Clave); las demás no responden en forma completa o pertinente a la problemática

formulada (opciones de respuesta No Validas, también llamadas distractores), pero

resultan plausibles para los evaluados que no dominan la tarea de evaluación. La opción que

responde correctamente (Clave) a la tarea debe diferenciarse de las demás opciones por su

contenido y no por sutilezas del lenguaje. Una opción no válida puede ser un error común,

una afirmación verdadera pero que no contesta completamente a la pregunta o no satisface

las exigencias del problema.

REGLAS PARA LA CONSTRUCCIÓN DE ÍTEMS DE SELECCIÓN DE RESPUESTA

La experiencia en la construcción de ítems, así como algunos estudios adelantados sobre las

técnicas que conducirían a desarrollar ítems de alta calidad, permiten contar en la actualidad

con un conjunto de reglas para la construcción y administración de los ítems.

A) Reglas sobre aspectos generales de la construcción de ítems

• Planear la construcción de ítems contemplando el tiempo suficiente para la edición y

las revisiones establecidas.

• Verificar que en todo el instrumento (portada, textos, instrucciones, ítems, etc.) no

existan errores gramaticales, de puntuación, de ortografía o de abreviaturas.

• Utilizar un lenguaje claro, preciso y directo, que permita reducir al mínimo el tiempo

que el evaluado debe emplear para leer cada ítem y la prueba en general.

• Balancear la dificultad de los ítems para que el instrumento cubra los niveles de

habilidad de la población objetivo, es decir, la prueba debe incluir preguntas de dificultad

alta, media y baja.

B) Reglas sobre la construcción del contenido de los ítems

• Evitar la elaboración de ítems que confundan al evaluado. Algunos estudios han

encontrado situaciones en las cuales los evaluados perciben que los ítems son confusos,

por algunas de las situaciones que se mencionan a continuación:

• Tener un contenido trivial.

• La presencia de información irrelevante.

• Información ambigua en las opciones de respuesta.

• La discriminación muy fina entre las opciones de respuesta.

• La presencia de información o principios presentados en formas distintas a como han sido

aprendidos por la población evaluada, en el proceso educativo.

• Verificar que cada ítem corresponda a una tarea de evaluación definida en la estructura

de prueba.

• Evitar la evaluación del mismo aspecto específico con varios ítems.

• Plantear una sola problemática en cada ítem.

• Evitar ítems que incluyan posiciones ideológicas o prejuicios.

• Utilizar un vocabulario adecuado para la población objetivo.

• Verificar que cada ítem sea independiente y no provea información para responder otros

ítems.

• No utilizar ítems que aparezcan en Internet, libros, revistas u otros documentos, como

base para sus ítems, es decir construir ítems originales.

• Evitar ítems sobre conocimientos muy específicos.

• Evitar ítems en los cuales se indague por la opinión del evaluado.

• Evitar ítems cuya respuesta válida se determine según la opinión de quien lo construyó.

C) Reglas sobre la construcción del enunciado de los ítems

• Evitar la utilización de nombres y apellidos para referirse a personas. Igualmente la

denominación de empresas, municipios, ciudades. Por ejemplo: María Martínez, Pedro

Pérez, Hospital San Juan de Dios, Almacén El Bodegazo, el Municipio de San Sebastián,

Concepción; en su lugar una paciente, un Hospital, un almacén, un municipio, una ciudad.

• Verificar que las directrices planteadas en el enunciado son claras y que se pueda

reconocer claramente lo que se está preguntando (la tarea propuesta).

• Evitar textos excesivos.

7

• Redactar el enunciado en forma positiva, es decir, evitar al máximo las negaciones. De

ser necesaria la negación (NO, EXCEPTO, etc.) debe registrarse en mayúsculas y negrita.

D) Reglas sobre la construcción de las opciones de respuesta

• El número de opciones de respuesta es de cuatro (4). Diversos estudios han

analizado la cantidad de opciones útiles para los propósitos de la evaluación que debe

contener una pregunta.

• Verificar que cada opción tenga concordancia gramatical con la proposición del

enunciado.

• Evitar opciones fácilmente descartables, por ser obvias o de otros ordenes

gramaticales o semánticos.

• Organizar las opciones de respuesta numéricas, de menor a mayor o de mayor a

menor, de manera que sea consistente en todo el instrumento de evaluación.

• Verificar que las opciones sean independientes entre sí. No deben solaparse o

intersecarse y no deben ser sinónimas.

• Tener en cuenta que todas las opciones se refieran al mismo contenido.

• Verificar que las opciones tengan una longitud similar, por lo menos por pares de

opciones.

• Nunca utilizar como opción de respuesta:

o Todos(as) los(as) anteriores.

o Ninguno(a) de los(as) anteriores.

o A y B son correctas (o cualquier combinación de opciones)

• Redactar las opciones en forma positiva, es decir, evitar las negaciones.

• No repetir en las opciones frases o palabras significativas contenidas en el

enunciado.

• En general evitar en las opciones el uso de adverbios como:

o Siempre

o Nunca

o Totalmente

o Absolutamente

o Completamente

• Equilibrar la posición de las opciones válidas o claves de los diferentes ítems del

instrumento. Es recomendable que aparezcan las claves proporcionalmente en cada

posición posible.

• Evitar que la opción válida pueda ser identificada fácilmente por contraste con las

demás opciones, por alguna de las siguientes situaciones:

• Tener la mayor o menor longitud.

• Ser la proposición de mayor precisión o imprecisión.

• Estar redactada en un tipo lenguaje diferente (técnico o común).

• Tener el mayor nivel de generalización o de particularización.

• Tener las mismas palabras que el enunciado.

• Justificar adecuada y suficientemente cada una de las opciones (Valida o Clave y No

validas) para garantizar que sólo hay una opción válida y que las demás son plausibles

para quienes no dominan completamente la tarea de evaluación, pero que ellas no son la

respuesta válida.

CARACTERIZACIÓN DE LOS ÍTEMS POR CONSTRUIR

La caracterización de cada ítem está determinada por el Marco de Fundamentación

Conceptual y las especificaciones de prueba, lo cual permite determinar el objeto de

evaluación, su alcance temático en términos de la dimensión disciplinar o conceptual

(contenido organizado por componentes o bloques temáticos); la profundidad y la dificultad

con la cual se hará la evaluación de ellos y lo que se espera del evaluado en términos de la

dimensión cognitiva que se evalúe (competencias, conocimientos, aptitudes, etc.),

información que guía tanto a los actores que participan en el proceso como a los evaluados

que van a presentar la respectiva prueba. Una caracterización adecuada facilitará la

elaboración de una prueba balanceada que incluya ítems con alta, media y baja dificultad,

donde los niveles deben estar bien definidos, dado que la prueba está orientada a evaluar a

todos los estudiantes y no solamente a los de mejor desempeño.

LA DIFICULTAD EN LOS ÍTEMS

El objetivo de un instrumento de evaluación educativa no es el de identificar a los mejores

estudiantes (para lo cual una prueba con un alto nivel de dificultad sería lo apropiado), sino el

de evaluar a todos los estudiantes, poderlos caracterizar y por este medio evaluar

9

indirectamente el programa académico. Es por esto que la prueba debe incluir ítems con

niveles de dificultad baja, media y alta.

Baja: Se estima que este tipo de ítems lo responderían acertadamente entre el 70% y el

100% de los evaluados.

Media: Se estima que este tipo de ítems lo responderían acertadamente entre el 30% y el

70% de los evaluados.

Alta: Se estima que este tipo de ítems lo responderían acertadamente entre el 10% y el 30%

de los evaluados.

Además se debe tener en cuenta el tiempo de duración de la prueba, a fin de que los

evaluados cuenten con el tiempo requerido, aspecto importante en la construcción de los

ítems. Situación a tener en cuenta en especial en aquellos ítems con un nivel de dificultad

alta, por restricciones de tiempo no se puede demandar del estudiante desarrollos

matemáticos o de cualquier otro tipo en el que el procedimiento sea muy demorado.

REVISIÓN SISTEMÁTICA EN LA CONSTRUCCIÓN DE LOS ÍTEMS

La literatura especializada resalta cinco aspectos que deben revisarse de cada pregunta

previo ensamblaje y aplicación de la prueba:

Aspectos Formales: Como la redacción, la precisión de las instrucciones, la claridad en la

presentación de la tarea, adecuación del lenguaje al nivel de la población y otros

dependiendo del tipo de prueba.

Pertinencia: Entendida como la relación del ítem con lo que la prueba pretende medir, se

considera que un ítem es pertinente si está en armonía con el plan general de la prueba.

Evaluar la pertinencia de un ítem es establecer si pertenece o no al dominio definido o si, de

acuerdo con la teoría, es o no una manifestación del atributo que mide la prueba.

Importancia o Relevancia: Hace referencia al contenido específico de la pregunta en

relación con la estructura de prueba; se asimila a significancia en contraste con detalles

superficiales, observaciones incidentales o comentarios tangenciales de acuerdo con la

definición del dominio o atributo. La estructura de prueba indica los aspectos generales que

se consideran importantes dentro de la misma pero es el constructor de los ítems quien tiene

la responsabilidad de seleccionar aquellos aspectos específicos que considere importantes,

de acuerdo con el dominio o atributo que se pretenda medir.

Dificultad: Entendida como una apreciación subjetiva y a priori del nivel de maestría o

magnitud del atributo necesario para responder el ítem, obviamente esta apreciación de

dificultad está en estrecha relación con las características de la población a la que va dirigida

la prueba. Aunque existen procedimientos estadísticos para hacer estimaciones de la

dificultad después de aplicado el instrumento, esta apreciación subjetiva puede resultar útil

sobre todo si se tiene en cuenta que quienes construyen los ítems son expertos en los

contenidos de la prueba.

Probable Poder Discriminativo: La discriminación de un ítem es el grado en que, como

unidad, permite diferenciar algunos grupos de interés, por ejemplo, quienes tiene alta

maestría en el dominio de quienes no, o quienes poseen mayor magnitud del atributo de

quienes poseen menos; en general las preguntas que poseen poder discriminativo

contribuyen a la efectividad de la prueba. En el momento de la construcción del ítem, se trata

también de una apreciación subjetiva que se puede verificar una vez aplicada la prueba.

11

INSTRUCTIVOS

PREGUNTAS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA

Las preguntas que encontrará a continuación son de selección múltiple con única respuesta.

Este tipo de preguntas constan de un enunciado y cuatro opciones de respuesta (A, B, C y

D). Sólo una de estas opciones responde correctamente a la pregunta. Usted debe

seleccionar la respuesta correcta y marcarla en su hoja de respuestas, rellenando el óvalo

correspondiente a la letra que identifica la opción elegida.

PREGUNTAS DE SELECCIÓN MÚLTIPLE CON INFORMACIÓN SUFICIENTE

Las preguntas que encontrará a continuación son de selección múltiple con información

suficiente. Este tipo de preguntas se basan en un problema y dos conjuntos de información

denominados I y II. No se requiere que se solucione el problema, sino que se decida que

nformación es suficiente y necesaria para resolverlo.

Si la información I es suficiente para resolver el problema pero la información II

no lo es elija la opción A.

Si la información II es suficiente para resolver el problema pero la información I

no lo es elija la opción B.

Si las informaciones I y II juntas son suficiente para resolver el problema pero

cada una por separado no lo es elija la opción C.

Si cada una de las informaciones I y II por separado son suficientes para

resolver el problema elija la opción D.

Si las informaciones I y II juntas no son suficiente para resolver el problema elija

la opción E.