PROFESORA: Mª Teresa Sanz de Acedo Baquedano

Curso 2009-10

TEMA 3. Los instrumentos de medición psicológica.

I: Construcción y aplicación

1.- Introducción

2.- Objetivo del test

2.1. Variables de interés

2.2. Población diana

2.3. Utilización prevista

3.- Especificación del test

3.1. Contenido

3.2. Formato

3.3. Longitud

3.4. Características psicométricas

TEMA 3: LOS INSTRUMENTOS DE MEDICIÓN PSICOLÓGICA I: CONSTRUCCIÓN Y APLICACIÓN

4.- Confección de los ítems

4.1. Recomendaciones generales

4.2. En el dominio cognitivo

4.3. En el dominio no cognitivo

4.4. Revisión de los ítems

5.- Confección de la prueba

5.1. Instrucciones de administración

5.2. Formato de presentación de la prueba

5.3. Formato de registro de las respuestas

6.- Aplicación de la prueba

7.- Puntos básicos, Ejercicios, Soluciones, Bibliografía, Lecturas y Material complementario

Comprender la lógica que permite pasar del plano teórico al plano empírico en el proceso de medición psicológica.

Comprender la lógica que permite pasar del plano teórico al plano empírico en el proceso de medición psicológica.

Entender las distintas estrategias que permiten representar empíricamente el constructo o característica que se desea medir.

Entender las distintas estrategias que permiten representar empíricamente el constructo o característica que se desea medir.

Conocer los tipos de ítems más frecuentemente utilizados.Conocer los tipos de ítems más frecuentemente utilizados.

Conocer las etapas para la construcción de un instrumento de medida.

Conocer las etapas para la construcción de un instrumento de medida.

Saber cuáles son las reglas básicas que hay que seguir para escribir buenos ítems o preguntas.

Saber cuáles son las reglas básicas que hay que seguir para escribir buenos ítems o preguntas.

Saber de qué posibilidades se dispone para pilotar una prueba.Saber de qué posibilidades se dispone para pilotar una prueba.

Conocer las distintas posibilidades de administración de una prueba.Conocer las distintas posibilidades de administración de una prueba.

1.- Introducción

Este tema se ocupa de la construcción y aplicación de

pruebas o tests que nos permiten pasar:

Del plano teórico, en el que se encuentran los constructos que

deseamos medir al plano empírico, en el que lo que

tenemos son ya respuestas directamente observables (las respuestas de los sujetos a los

ítems del test)

PLANO MATEMÁTICO

Representación formalizada del modelo y representación numérica de los indicadores

empíricos

PLANO EMPÍRICO

Objetos, eventos y propiedades, indicadores

empíricos

PLANO TEÓRICO

Incluye conceptos subyacentes

inobservables

Figura 2.1. EL PROCESO DE MEDICIÓN PSICOLÓGICA

Representación empírica de los

constructos

Representación numéricas de los

indicadores

Representación formal de modelos

LA CONSTRUCCIÓN DE UNA NUEVA PRUEBA O TEST

OBJETIVO DEL TEST

CONFECCIÓN DE LOS ITEMS

ESPECIFICACIÓN DEL TEST

CONFECCIÓN DEL TEST

2.- Objetivo del test

La primera fase en la construcción de un instrumento de medida es la DEFINICIÓN CLARA DEL OBJETIVO que

se persigue con ese nuevo test, lo cual supone responder:

1/ ¿Qué se va a medir con el test?

VARIABLE DE INTERÉS

2/¿A quién se va a medir?

POBLACIÓN DIANA

3/ ¿Qué se pretende?

UTILIZACIÓN PREVISTA

VARIABLE MANIFIESTA

El absentismo escolar

El rendimiento académico

VARIABLE LATENTE

COGNITIVA

Hay que tomar dos decisiones:

1) Si se va a medir una variable manifiesta o latente

2) Si se trata de una variable cognitiva o afectiva (no cognitiva)

VARIABLE LATENTE NO COGNITIVA

La actitud de los alumnos a los grupos

minoritarios

La consideración de la POBLACIÓN DIANA a la que va dirigida la prueba es una cuestión decisiva que

deber ser claramente explicitada al formular el objetivo de la misma, ya que ésta definirá en parte las

características que ha de tener la prueba.

Por ejemplo: no se puede evaluar con la misma prueba el rendimiento académico de los niños al comenzar y al finalizar la educación secundaria.

3.- Especificación del test

3. ESPECIFICACIÓN DEL TEST

• ¿Cuál va a ser el contenido del test?

CONTENIDO

• ¿Cuántos ítems debe tener la prueba?

LONGITUD

• ¿Qué tipo de ítems se van a utilizar en el

test?

FORMATO

•¿Qué propiedades métricas ha de mostrar?

CARACTERÍSTICAS PSICOMÉTRICAS

3.1. CONTENIDO DEL TEST

• Teniendo en cuenta a quién se dirige la prueba y para qué se va a utilizar, lo primero que ha de hacer el constructor del test es representar empíricamente la característica o constructo que se desea medir.

• La situación ideal sería que dicho constructo forme parte de un modelo teórico de cuya formulación se derive directamente la representación empírica del mismo. En Psicología no son muy frecuentes estos modelos.

• Para ello, hay que identificar las conductas que se pueden utilizar como indicadores empíricos de la variable o constructo que se desea medir (pasar del plano teórico al plano empírico).

• Por eso, Crocker y Algina (1986) proponen seguir alguna de las estrategias que nombraremos a continuación.

La aproximación, más habitual, la que utilizan, por ejemplo, las

empresas de tests más importantes de EEUU es la

conocida como: Tabla de especificación se utiliza

sobre todo para construir pruebas que miden variables

latentes en el ámbito cognitivo

Las columnas indican distintas áreas de contenido relevantes para el constructo en cuestión.

Las columnas indican distintas áreas de contenido relevantes para el constructo en cuestión.

Las celdillas indican el porcentaje de ítems que tiene que haber en la prueba que midan el área de contendido de la columna en cuestión y cuya resolución ponga en marcha el proceso cognitivo de la fila correspondiente.

Las celdillas indican el porcentaje de ítems que tiene que haber en la prueba que midan el área de contendido de la columna en cuestión y cuya resolución ponga en marcha el proceso cognitivo de la fila correspondiente.

Las filas indican las distintas operaciones o procesos cognitivos implicados en la resolución de las tareas planteadas por las preguntas o ítems de la prueba (Figura 3.2. Taxonomía de Bloom)

Las filas indican las distintas operaciones o procesos cognitivos implicados en la resolución de las tareas planteadas por las preguntas o ítems de la prueba (Figura 3.2. Taxonomía de Bloom)

Geome-tría

Medición Números y operaciones

Organ. e intrerpre.de datos

Rel., func. y expres.

algebráicas

Lógica y sol.

de prb.

CONOCIMIENTO 5 3 10 4 3 10 35

COMPRENSIÓN 3 2 2 7 3 3 20

APLICACIÓN 5 2 1 1 1 5 15

ANÁLISIS 1 2 1 4 1 6 15

SÍNTESIS 1 2 1 1 1 1 7

EVALUACIÓN 2 1 1 2 1 1 8

17 12 16 19 10 26

Tabla 3.2. Ej de una tabla de especificación de rendimiento en Matemáticas

3.2. FORMATO DEL TEST

VARIABLE COGNITIVA

VARIABLE NO

COGNTIVA

• Dos grandes categorías:

1/ Los que exigen que el sujeto seleccione una o varias opciones

de entre las propuestas.

2/ Los que requieren que el sujeto construya o elabore la respuesta.

• Dos tipos de ítems:

1/ Los ítems de respuesta abierta

2/ Los ítems de respuesta cerrada o escalas de valoración

(escalas de categorías y listados).

TRES TIPOS: Ítems de

elección múltiple, ítems

de elección binaria e

ítems de

emparejamiento

EJEMPLOS: Página 105

del libro.

DOS TIPOS: De respuesta corta o de completar y de respuesta extensa.

Ítems de valoración de la actuación (pj. El

portafolio)

EJEMPLOS: Página 106

del libro.

¿Qué tipo de ítem utilizar en cada caso? No hay respuestas unívocas. Depende de la variable que se

desea medir y de cómo se haya representado empíricamente dicha variable. Indicación general:

1) Ítems de elección y de respuesta corta (procesos cognitivos como adquirir conocimientos, su

comprensión y aplicación)

2) Ítems de respuesta extensa (procesos como el análisis, la síntesis y la evaluación)

La recomendación general sería trabajar con el tipo de ítem que proporcione la medida más directa de

aquello que queremos medir.

Gronlund (1991) recomienda en igualdad de condiciones optar por los ítems de elección (debido a su mayor cobertura de contenido). Aunque en la

última década los ítems de construcción han suscitado mucho interés (evaluar conocimientos de orden superior; interés educativo por la evaluación

formativa; etc.). Ver Tabla 3.3. (pág. 107).

ÁMBITO

NO COGNITIV

O

Los ítems de respuesta abierta: en los que el sujeto escribe directamente su

respuesta.

Los ítems de respuesta cerrada: en los que el sujeto responde eligiendo (una

de) entre las distintas opciones propuestas. Se denominan escalas de

valoración

LOS LISTADOSLAS ESCALAS DE

CATEGORÍAS

1/ LAS ESCALAS DE CATEGORÍAS

Ítems formados por un enunciado y un

conjunto de categorías, donde se pide al sujeto

que se posicione respecto a algo (sujeto, objeto, idea, etc.), que examine sus opiniones

y los sitúe en la categoría apropiada. TABLA 3.4. (pág. 110)

2/ LOS LISTADOS

Un conjunto o lista de términos, frases o

afirmaciones relativas a un objeto (sujeto, hecho o idea), en los

que la tarea del sujeto se reduce a marcar con una cruz los elementos

de la lista que en su opinión sean aplicables

al objeto que se está valorando (ejemplo en

pág.111).

ESCALAS DE VALORACIÓN

LOS LISTADOS Y LAS CATEGORÍAS DE VALORACIÓN

VENTAJAS DESVENTAJAS

• Resultan sencillos, baratos y precisos al describir o evaluar a

una persona.• Fáciles de construir, administrar

puntuar y versátiles en sus aplicaciones.

• Se pueden utilizar para evaluarse a uno mismo (autoinformes).

• No es conveniente cuando se desea obtener información sobre

una situación compleja o si se está interesado en saber qué

piensan realmente los sujetos de un tema particular.

3.3.- LONGITUD DE LA PRUEBA

• La longitud y la fiabilidad de una prueba están directamente relacionadas, de forma que cuanto más larga es la prueba más fiable resulta (desventajas: los efectos de la fatiga y la pérdida de motivación del sujeto).

• Hay que tener en cuenta las características de la población a la que se dirige la prueba (edad de los sujetos, ritmo de aprendizaje, etc.).

• Es importante tener en cuenta para qué se va a utilizar el test (pj.: para tomar una decisión importante o para ver el progreso educativo de un niño).

• Una forma de operar es decidir cuál es el número mínimo deseable de ítems en cada celdilla de la tabla de identificación.

• Otra forma es decidir el número mínimo de ítems por columna y fila.

Ya sabemos cuántos ítems y de qué tipo han de medir cada uno de los indicadores empíricos que

representa la característica o constructo que mide el test. La

siguiente pregunta es: ¿Cómo tienen que ser esos ítems? Cuál es su nivel de

dificultad y su capacidad para discriminar entre sujetos que poseen en distinto grado la

característica evaluada

Supongamos que

se desea detectar

a los alumnos

más brillantes de

la clase.

La prueba deberá estar formada por

ítems muy difíciles.

La prueba deberá estar formada por ítems de dificultad

media.

Si lo que se desea

es saber el nivel

general de

conocimientos de

una clase.

4.- Confección de los ítems

Lo primero es seleccionar a las personas que se van a encargar de redactar o construir los ítems.

Suelen ser:

Expertos en contenido, que además, deberán estar

familiarizados con la población a la que va a ir destinada la prueba. Lo ideal es que se construyan tres veces más ítems que los necesarios.

Escribir de forma clara, simple, precisa y concisa (escribir ítems cortos, evitando la inclusión de palabras o frases irrelevantes, no utilizar ítems generales o ambiguos, etc.)

Escribir de forma clara, simple, precisa y concisa (escribir ítems cortos, evitando la inclusión de palabras o frases irrelevantes, no utilizar ítems generales o ambiguos, etc.)

Cuidar el lenguaje (vocabulario apropiado, frases gramaticalmente correctas, fácil comprensión, evitar negaciones en el enunciado, etc.).

Cuidar el lenguaje (vocabulario apropiado, frases gramaticalmente correctas, fácil comprensión, evitar negaciones en el enunciado, etc.).

Expresar una única idea por ítem (incluir una sola idea por enunciado y no varias combinadas, evitar preguntar dos cosas al mismo tiempo).

Expresar una única idea por ítem (incluir una sola idea por enunciado y no varias combinadas, evitar preguntar dos cosas al mismo tiempo).

4.2.- EN EL DOMINIO COGNITIVO

1) El enunciado debe contener la idea central y la mayor parte del texto del ítem (evitando repetir palabras en las distintas opciones de respuesta).

2) Las opciones de respuesta deben aparecer al final del enunciado y no a la mitad de éste.

3) El ítem debe tener una única respuesta.

4) Hay que evitar como alternativas de respuesta -Todas las anteriores y Ninguna de las anteriores- porque confunden a los que responden.

4.2.- EN EL DOMINIO COGNITIVO

5) Ordenar las opciones de respuesta de forma lógica o secuencial y evitar que las alternativas se solapen.

6) Controlar la posición en la que aparece la opción correcta de respuesta en los ítems de una prueba para evitar un patrón sistemático que pueda ser detectado por los sujetos.

7) Evitar dar pistas acerca de la opción correcta de respuesta (indicios gramaticales, alternativas correctas e incorrectas deben ser razonables, etc.).

Para generar ideas para construir ítems se puede acudir a textos, manuales, libros de problemas, obras de referencia, etc.

Para generar ideas para construir ítems se puede acudir a textos, manuales, libros de problemas, obras de referencia, etc.

Para construir los distractores lo más habitual es recurrir a las interpretaciones erróneas frecuentes a los errores más comunes de los sujetos, etc.

Para construir los distractores lo más habitual es recurrir a las interpretaciones erróneas frecuentes a los errores más comunes de los sujetos, etc.

Para lo que no existe consenso generalizado es para la respuesta a la pregunta de cuántas opciones de respuesta incluir en el ítem: 3, 4 o más.

Para lo que no existe consenso generalizado es para la respuesta a la pregunta de cuántas opciones de respuesta incluir en el ítem: 3, 4 o más.

4.3.- EN EL DOMINIO NO COGNITIVO

1) Evitar expresiones coloquiales y procedentes del argot que pueden ser comprendidas únicamente por un segmento específico de la población y en un determinado periodo de tiempo.

2) Variar la dirección de la pregunta, incluyendo en la prueba el mismo número de ítems formulados de manera positiva y negativa.

3) Normalmente es conveniente incluir una categoría de respuesta que represente un punto medio (p.j.: ni de acuerdo ni en desacuerdo).

1/ LA DESEABILIAD SOCIAL: elegir

sistemáticamente la opción de

respuesta que se considera más

deseable socialmente

2/ LA AQUIESCENCIA: responder

sistemáticamente que se está de acuerdo o en

desacuerdo con lo que indica el enunciado, al

margen de lo que en él se afirma

3/ LA RESPUESTA EXTERNA: responder sistemáticamente eligiendo las categorías de respuesta de los

extremos, con independencia del contenido del ítem

Un SESGO DE RESPUESTA es la tendencia sistemática de un sujeto a responder a los ítems de la prueba de una determinada manera, con

independencia de cuál sea el contenido de los ítems:

4.4. REVISIÓN DE LOS ÍTEMS

• Lo ideal es poder pasar el conjunto de ítems redactados a un experto ajeno al constructor y pedirle que los revise

(lenguaje, redacción, contenido, etc.).

• El constructor deberá dejar pasar un día o más y volver a examinar todos los ítems revisando su contenido, claridad y lenguaje. Los seleccionados pasaran a la siguiente fase

(confección de la prueba) y después serán de nuevo chequeados en la última fase (evaluación de la prueba).

5.- Confección de la prueba

Confeccionar la prueba supone que resulte lo más fácil posible seguir las instrucciones del test, leer los ítems y

registrar sus respuestas (Fowler, 1995):

INSTRUCCIONES

DE

ADMINISTRACIÓ

N

FORMATO DE

PRESENTACIÓN

DE LA PRUEBA

FORMATO DE

REGISTRO DE LAS

RESPUESTAS

5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN

OBJETIVO OBJETIVO

• Es proporcionar un marco de referencia común que nos

permita asegurarnos que todos los sujetos

comprenden perfectamente la mecánica del test.

• Se pretende uniformar y estandarizar las condiciones

de administración de la prueba, para que las

puntuaciones de los distintos sujetos sean comparables y

reflejen solo diferencias en la característica que mide el test.

5.1. INSTRUCCIONES DE LA ADMINISTRACIÓN

• Las instrucciones del test deben indicar con un lenguaje claro y sencillo cómo ha de responder, dónde ha de responder, de cuánto tiempo dispone para ello y , en el caso de las pruebas cognitivas, si es conveniente responder a todos los ítems o es mejor no responder al azar.

• Adicionalmente, en las instrucciones se puede indicar cuál es el objetivo del test, cómo van a ser puntuadas sus respuestas y se le puede sugerir cómo distribuir el tiempo de aplicación de la prueba.

• En ocasiones, es útil incluir ejemplos o ejercicios prácticos con el fin de clarificar aun más las instrucciones.

• Si la prueba se envía por correo, las instrucciones deberán estar más detalladas.

• Si la aplicación es presencial, es conveniente que el encuestador lea en voz alta las instrucciones.

5.2. FORMATO DE PRESENTACIÓN DE LA PRUEBA

• La simple ordenación de los ítems de un test puede llevar a que un sujeto dé por terminada la prueba antes casi de empezar. En pruebas cognitivas se recomienda empezar con ítems fáciles y en pruebas no cognitivas con preguntas de calentamiento que le hagan sentirse cómodo.

• Conviene agrupar por bloques las preguntas que traten del mismo tema, que comparten el mismo enunciado o material de referencia, que tengan las mismas instrucciones o que utilicen el mismo formato.

• Es importante que el orden en el que aparecen las preguntas sea lógico. Hay que evitar poner preguntas consecutivas que salten de un tema a otro o que cambien sucesivamente de formato.

• En pruebas largas si es aconsejable utilizar distintos formatos para los ítems con el fin de romper un poco la monotonía de la prueba.

• Tabla 3.6 (pág. 126 libro).

5.3. FORMATO DE REGISTRO DE LASRESPUESTAS

DOS POSIBILIDADES

SEGUNDA OPCIÓN

1) Los sujetos responden directamente en el mismo

cuadernillo en el que están las preguntas.

2) Los sujetos responden en hojas de respuesta que

son entregadas junto con el cuadernillo.

• La ventaja es que permite reutilizar posteriormente el

cuadernillo.

• El inconveniente es que el sujeto que no está muy

familiarizado le resulta más complicado (pj.: recordar la

opción elegida).

5.3. FORMATO DE REGISTRO DE LASRESPUESTAS

• Antes de embarcarse en la construcción de un nuevo tests o prueba es conveniente examinar si existe en el

mercado alguno ya comercializado que evalúe aquello que queremos medir con los requisitos métricos exigibles.

• Es útil crear un banco de ítems que nos permita construir distintas pruebas en distintos momentos con distintos

objetivos y para evaluar a diferentes sujetos.

INTERESANTE

6.- Aplicación de la prueba

Colectiva o individual.Colectiva o individual.

Como una prueba de lápiz y papel o como un test informatizado.Como una prueba de lápiz y papel o como un test informatizado.

Personal, por teléfono o por correo postal.Personal, por teléfono o por correo postal.

CÓMO LLEVAR A CABO LA PRIMERA APLICACIÓN

1ª/ OPCIÓN 2ª/ OPCIÓN

• Aplicación experimental: se aplica la prueba tal y como ha sido construida a una muestra

de sujetos. Es lo que se conoce como realización de un estudio

piloto de la prueba.

• Aplicación experimental en una prueba operativa: se incluyen los ítems de la nueva prueba en una

que ya ha sido previamente evaluada y al aplicar ésta se

añaden los ítems que se desea pilotar (se evalúan solo éstos).