CONSTRUCCIÓN DE PRUEBAS PSICOLÓGICAS

ÍNDICE

DEDICATORIA..........................................................................................................................4

INTRODUCCIÓN.......................................................................................................................5

1. CONSTRUCCIÓN DE PRUEBAS...................................................................................6

2. FINALIDAD DE UN TEST....................................................................................................7

2. CONTENIDO DE LA CONSTRUCCIÓN DE PRUEBAS..............................................9

2.1. Tener bien estructurados los contenidos sobre los que se va a hacer el test9

2.2. Seleccionar el contenido del test...........................................................................10

2.3. ¿Cuantos ítems debe tener un test?.....................................................................10

3. FORMATO DEL TEST....................................................................................................11

4. ELABORACION DEL PRETEST...................................................................................11

4.1. Elaboración de los Ítems........................................................................................11

4.2. Redacción de las Instrucciones.............................................................................11

4.3. Elaboración del Material del Pretest.....................................................................12

4.4. Elaboración de la Calificación................................................................................12

4.5. Juicio de Expertos...................................................................................................12

4.6. Aplicación al Grupo Piloto.......................................................................................12

4.7. Ingreso de datos al Programa del SPSS..............................................................13

REGLAS GENERALES......................................................................................................13

REGLAS SOBRE LOS ENUNCIADOS............................................................................13

A. Clasificación de los ítems según su forma...............................................................13

4. EL ITEM............................................................................................................................14

4.1. COMPONENTES:........................................................................................................15

4.2. TIPOS DE ITEM POR SU RESPUESTA..................................................................16

4.3. VALIDACION DE ITEMS............................................................................................16

5. CONSTRUCCION PROVICIONAL DE UN CUESTIONARIO...................................16

5.1. TIPOS DE PREGUNTAS A UTILIZAR EN UN CUESTIONARIO:........................17

5.2. CONSTRUCCIÓN DEL CUESTIONARIO................................................................20

5.3. ELABORACIÓN DEL CUESTIONARIO...................................................................23

5. ELABORACIÓN DE UNA PRUEBA..............................................................................24

5.1. DEFINICION DE LA PRUEBA...............................................................................25

5.2. ELECCION DEL METODO DE ESCALAMIENTO..............................................25

5.2.1. METODOS DE ESCALAMIENTO REPRESENTATIVOS..........................26

5.2.1.1. Ordenamientos de expertos...................................................................26

5.2.1.2. Escalas Likert...........................................................................................27

5.2.1.3. Escalas de Guttman................................................................................28

5.2.2. ELABORACIÓN DE LOS REACTIVOS........................................................29

5.2.2.1. Preguntas iniciales en la elaboración de la prueba.............................29

5.2.2.2. La tabla de especificaciones..................................................................30

5.2.2.3. Formatos de los reactivos.......................................................................31

5.2.3. ANÁLISIS DE LOS REACTIVOS...................................................................34

5.2.4. REVISIÓN DE LA PRUEBA...........................................................................34

5.2.4.1. Validación cruzada...................................................................................35

5.2.5. PUBLICACIÓN DE LA PRUEBA...................................................................35

5.2.5.1. Producción de los materiales de evaluación........................................36

5.2.5.2. Manual técnico y manual del usuario....................................................36

CONCLUSIONES....................................................................................................................38

SUGERENCIAS.......................................................................................................................39

REFERENCIAS BIBLIOGRÁFICAS.....................................................................................40

ENLACES WEB.......................................................................................................................40

DEDICATORIA

El presente trabajo está dedicado a todos nuestros compañeros del VIII ciclo de psicología, a nuestro docente del curso por impartirnos nuevas enseñanzas.

INTRODUCCIÓN

La Psicología reconoce en la Psicometría esa rama que se ocupa de las

cuestiones relacionadas con la medición.

Los procesos operacionales de medición en Psicología asociados a las escalas

de medida: el objetivo de la Psicometría será hallar la mejor manera de

observar, clasificar y transformar categorías manifiestas en escalas

“cuantitativas” partiendo de la aceptación del isomorfismo entre propiedades

atribuidas a las categorías psicológicas y las propiedades atribuidas a los

números que las representan (Stevens, 1951).

Postularemos a la evaluación psicológica como un proceso de toma de

decisiones cuyo objetivo es apuntar, con precisión y validez, a la tarea de

psicología aplicada para solucionar problemas individuales, sociales y

ambientales.

Quienes se dedican a elaborar pruebas, brindan una amplia variedad de

antecedentes y detalles respecto del proceso de elaboración. Sin embargo, la

APA (American Psychological Association) estima que más de 20.000 pruebas

nuevas se elaboran cada año y abarcan pruebas elaboradas para un estudio

de investigación específico, revisiones de anteriores publicadas , etc.

Consideramos de importancia la construcción de pruebas psicológicas, puesto

los test psicológicos forman parte de los instrumentos de trabajo de la

evaluación psicológica. Aquí conoceremos sobre la construcción de pruebas, la

finalidad del test, el contenido de construcción, la elaboración del pre test, a

cerca del ítem, sobre el cuestionario, y por ultimo aprenderemos cuales son los

pasos a seguir para elaborar una prueba psicológica.

Habiendo realizado una breve exposición sobre los temas a tratar a

continuación, y que ello permitirá un mayor aprendizaje de parte de los

estudiantes de psicología, recomendamos una lectura compresiva y profundizar

a partir de la bibliografía o referencias sobre el tema tratar con la finalidad de

conocer sobre la construcción de pruebas.

1. CONSTRUCCIÓN DE PRUEBAS

Un buen instrumento de evaluación debe ser construido de una forma

rigurosa si queremos que sea adecuado para los usos a los que está

dirigido. En la práctica, el desarrollo de un test es una tarea laboriosa que

requiere de la colaboración entre expertos en la materia o constructo a

evaluar y expertos en medición. Los tests pueden desarrollarse en el marco

de dos grandes modelos, conocidos como Teoría Clásica de los Tests

(TCT) y Teoría de Respuesta al Ítem (TRI).

En psicometría, se denomina construcción de tests o construcción de

pruebas al conjunto de procedimientos de planificación, diseño, control,

normalización y estandarización de pruebas o tests psicológicos. La

construcción de un test psicológico puede enmarcarse en la teoría clásica o

realizarse de acuerdo a la teoría de respuesta al ítem (también llamada

«teoría probabilística»). Si se concibe el test como instrumento medición

ajustado a criterios científicos, su construcción es un proceso complejo,

que consta de varias fases o pasos en los que se aplican pruebas o

procedimientos estadísticos. Las fases se realizan sucesivamente, de

modo que cada una se basa en los resultados obtenidos en la fase anterior.

Toda prueba psicológica es construida de tal manera que represente o

pueda predecir una determinada conducta. Según Brown (1980) una

prueba psicológica es una representación cuando sus reactivos son

similares a la conducta que desea medir y es predictiva cuando sus

reactivos, aunque no son similares a la conducta, pueden predecirla.

Por lo tanto, la construcción de los reactivos de una prueba es

fundamental, así como su análisis y comprobación. Conocer exactamente

lo que se quiere medir es muy importante para la construcción de "buenos

reactivos".

Al elaborarse una prueba, se proponen inicialmente una buena cantidad de

reactivos, de los cuales solo se quedan aquellos que realmente miden lo

que se pretende medir. Bacher (1981) advierte sobre los errores

sistemáticos que ocurren en la construcción de reactivos y hace varias

sugerencias, entre ellas:

(a) el vocabulario debe ser simple, accesible a todos,

(b) se deben evitar los términos técnicos y palabras cuyo sentido varíe

según la región o el grupo social,

(c) se deben evitar formulaciones muy abstractas pues pueden ser mal

comprendidas,

(d) se deben evitar reactivos muy largos, sobre todo cuando son

formulados en la forma interrogativa o cuando contengan negaciones,

(d) en la formulación de los reactivos, se debe evitar favorecer

determinadas respuestas volviendo las demás menos probables,

(e) no debe figurar en la formulación de un reactivo más de una idea

pues, es imposible saber a cuál de ellas contesta el sujeto.

2. FINALIDAD DE UN TEST El desarrollo de un test comienza con la delimitación del objetivo del test y el

constructo o dominio que se pretende medir. En este terreno, un primer paso

es considerar cuáles son las poblaciones a las que está destinado y el tipo de

decisiones que se tomarán con las puntuaciones obtenidas.

Con respecto a la primera cuestión deberán determinarse las edades de los

sujetos (o los cursos en muchos de los tests de rendimiento), si el test se

aplicará a todos los sujetos o a grupos seleccionados de alguna forma (tests

para la población general o destinados a grupos especiales), requisitos de

lenguaje que deben tener los sujetos (pueden establecerse también

modificaciones o adaptaciones permisibles), si se necesita o no una motivación

especial para realizar el test, etc.

Con respecto a los posibles usos de las puntuaciones, sin ánimo de ser

exhaustivos, entre los tipos de decisiones más frecuentes encontramos:

a) Decisiones relativas al nivel de instrucción o habilidad. El objetivo

consiste en determinar si los sujetos poseen dominio de ciertos

conocimientos o destrezas predeterminados de antemano. Suelen ser

decisiones propias de los llamados Test Referidos a Criterio.

b) Decisiones de diagnóstico. Tienen como objetivo la identificación de

fallos o deficiencias en el comportamiento para emprender alguna

intervención o tratamiento. Aunque las puntuaciones suelen compararse

con datos normativos, este tipo de decisión también es propia de los

Tests Referidos a Criterio.

c) Decisiones de selección. El objetivo en este caso es la selección de

los sujetos más capaces en algún sentido o materia. Las puntuaciones

de los sujetos en el test se usan para admitir o excluir, emplear o

rechazar.

d) Decisiones de asignación. El objetivo es determinar en qué lugar debe

colocarse una persona dentro de una jerarquía. Esta jerarquía puede ser

de carácter profesional (qué puesto de trabajo corresponde a un

determinado sujeto), de carácter formativo (dentro de un programa de

formación qué nivel le correspondería), etc.

e) Decisiones de clasificación. El objetivo radica también en asignar a los

sujetos a ciertas categorías pero, en este caso, las asignaciones son de

tipo en lugar de nivel. Por ejemplo: ¿dentro de qué categoría diagnóstica

clínica clasificamos a un sujeto?

f) Decisiones de consejo. El objetivo es orientar al sujeto con respecto a

algún aspecto de su comportamiento futuro, abarcando una gran

cantidad de decisiones que el sujeto toma con ayuda de un profesional

de la psicología o la psicopedagogía.

g) De screening (detección rápida): tiene como finalidad la detección

rápida de algún tipo de trastorno, deficiencia o anomalía. El objetivo es

proveer una herramienta sencilla, de rápida aplicación que permita

detectar personas que potencialmente puedan presentar un determinado

trastorno, deficiencia, etc., sirviendo como «criba» antes de la aplicación

de otras pruebas de carácter más exhaustivo.

2. CONTENIDO DE LA CONSTRUCCIÓN DE PRUEBAS La Psicología reconoce en la Psicometría esa rama que se ocupa de las

cuestiones relacionadas con la medición, y si bien es cierto que las ciencias

atraviesan una época de crisis de paradigmas y en especial las ciencias

sociales y conductuales, aún así podemos encontrar contenidos tradicionales

en la Psicometría que son punto de acuerdo entre la mayoría de los autores e

investigadores de la Psicología. Se podrían sintetizar en tres ejes:

a) Los procesos operacionales de medición en Psicología asociados a las escalas de medida: el objetivo de la Psicometría será hallar la mejor

manera de observar, clasificar y transformar categorías manifiestas en

escalas “cuantitativas” partiendo de la aceptación del isomorfismo entre

propiedades atribuidas a las categorías psicológicas y las propiedades

atribuidas a los números que las representan (Stevens, 1951)

b) Confiabilidad o precisión de los instrumentos de medida en Psicología: es uno de los tres problemas de medida asociados a las

escalas de medida que merecen atención ya que si una prueba

psicométrica no es confiable en su medición, su inconsistencia

repercutirá negativamente no solo en la validez del instrumento sino en

todos los procesos relacionales que se incluyan.

c) Validez de una prueba: es la propiedad fundamental en tanto permite

decir de una prueba que mide lo que pretende medir y es un “valor social

sobresaliente que asume una función tanto científica como política

(Messick, 1995)

2.1. Tener bien estructurados los contenidos sobre los que se va a hacer el testEs imprescindible tener bien determinada la estructura de los

contenidos, porque esto nos permitirá:

No dejar de incluir ningún aspecto importante.

Incluir más ítems de los apartados más amplios.

Ponderar cada apartado en función de su relevancia.

Si se quisiera se podría ofrecer puntuaciones o

diagnósticos diferenciados de los distintos contenidos.

2.2. Seleccionar el contenido del testLa tabla anterior es una especie de plano que permite saber qué se

debe incluir en el test. Sin embargo, en ocasiones, incluir todos los ítems

que corresponderían a esa tabla es imposible porque saldría un

examen demasiado largo. Entonces se debe seleccionar una

muestra de los mismos. Ahora bien, esa muestra debe tener

dos características: suficiencia y representatividad.

SUFICIENCIA: el número de elementos debe ser al menos aquel

que permita incluir a todos los grandes bloques, en contenidos y

objetivos.

Ejemplo: Si tenemos 3 grandes apartados de contenidos y

trabajamos con 5 objetivos, debería haber, al menos, 3x5= 15

elementos.

REPRESENTATIVIDAD. Ni todos los objetivos son igualmente

importantes ni todos los contenidos son igualmente relevantes y la

representatividad de los ítems debe tener en cuenta estos

aspectos. Esto puede conseguirse:

Atribuyendo a los grandes bloques un mayor numero de ítems

(dando a todos igual valoración)

Valorando más los ítems referidos a tales objetivos y

contenidos, aunque a cada bloque se atribuya el mismo

número de ítems.

2.3. ¿Cuantos ítems debe tener un test?

3. FORMATO DEL TEST

4. ELABORACION DEL PRETEST

4.1. Elaboración de los Ítems.¿Qué es un ítem?-Conjunto de enunciado, cuyo objetivo es medir las características de un

constructo.

- Es una unidad básica de información de un instrumento de evaluación

y generalmente consta de una jerarquía y de una respuesta cerrada o

abierta.

Elaboración de Ítems. Se confecciona una tabla de doble entrada

especificando los contenidos de la variable o constructo a medir,

garantizando una muestra representativa de todos los posibles reactivos

de generar.

4.2. Redacción de las Instrucciones. Deben de describir el proceso de la respuesta de los examinados. Debe

ser claro y especifico.

Instrucciones:

• A continuación encontrará una serie de frases. Lea atentamente cada

una de ellas y conteste de la siguiente manera:

• Si le parece que es verdad lo que en la frase dice o esta de acuerdo

con ella marque la respuesta SI.

• Si la frase le parece mas falsa que cierta o si esta en desacuerdo con

ella marque en la respuesta NO.

• Asegúrese de haber contestado todas las frases al finalizar.

4.3. Elaboración del Material del Pretest. • Se procederá a crear los ítems que conformará el pre test de la

prueba psicométrica.

• Posteriormente se realizará la hoja del test propiamente dicho,

tomando en cuenta el orden de dificultad de los ítems.

4.4. Elaboración de la Calificación. Si las respuestas son dicotómicas: “SI” y “NO”. La calificación, se colocará un punto (1) a las respuestas

que son indicadores de la variable a estudiar y con cero (0) a aquellos

indicadores que no expresan la característica del mismo.

Si las respuestas son de tipo Likert:Si el enunciado mide el indicador de la variable la calificación seria TA: 5

A:4 I: 3 D: 2 TD: 1, si no mide el indicador seria TA: 1 A:2 I: 3 D: 4 TD: 5

4.5. Juicio de Expertos Tiene la finalidad de contrastar la validez de los ítems.

• Consiste en preguntar a personas expertas en el dominio que miden los

ítems, se refiere al grado en que la medición representa al concepto

medido.

4.6. Aplicación al Grupo Piloto Es la aplicación al grupo de sujetos que presenta los indicadores a

medir.

4.7. Ingreso de datos al Programa del SPSSSe crea la base de variables para posteriormente ingresar la base de

datos al programa del SPSS

REGLAS GENERALES1. Verificar que el ítem corresponda con los propósitos de la evaluación, la

estructura de la prueba y con las dimensiones disciplinares. Todas las

preguntas de una prueba deben ser independientes entre sí.

La información de un ítem no debe servir de pauta para contestar otra,

ni la respuesta a un ítem debe depender de haber encontrado primero la

de otra anterior.

2. Evitar los ítems que pueden contestarse por sentido común y aquellos

cuya respuesta dependa únicamente de recordar un término, un

símbolo, un dato o la fecha en que ocurrió un evento.

3. Evitar expresiones rebuscadas que puedan confundir. Se recomienda

emplear un lenguaje directo, sencillo y comprensible.

4. Los ítems no deben tener juicios de valor explícitos o implícitos.

REGLAS SOBRE LOS ENUNCIADOS1. Los enunciados deben ser afirmativos, en caso de ser necesaria la

negación, se debe resaltar para llamar la atención hacia la formulación

negativa. La doble negación afecta la comprensión (“No es cierto que no

procedan los recursos”).

2. Evitar enunciados demasiado extensos y poco atractivos ya que

desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.

3. Garantizar la coherencia interna del enunciado y de este con las

opciones de respuesta.

A. Clasificación de los ítems según su forma.a. Composición de un ítems

Los test psicométricos se componen de una serie de ítems.

En los test de las pruebas de ejecución máxima u optima los ítems

puede ser variados de acuerdo a lo que se quiere medir.

b. Número de ítems

Como regla general se considera que el número mínimo de ítems para

evaluar un constructo seria de 10 ítems, pero el numero puede ir desde

los 10 a 90, de manera que puedan abarcar de forma proporcional cada

una de las dimensiones definidas , a priori en el constructo. Se

recomienda realizar el doble de ítems de los que van a necesitarse en la

versión definitiva del cuestionario.

c. Puntuación de los ítems Esta en función al numero de opciones o tipo de respuestas:

Dicotómicas: SI/NO. Verdadero/Falso

Politómicas: Opción múltiple.

La puntuación puede ser simple o ponderado. Se dice que son ítems

simple cuando la puntuación directa se obtiene con el sumatorio de

respuestas acertadas o de los valores que se hayan dado en cada

opción. Se habla de ítems ponderados cuando el valor de cada opción

de respuesta no es la misma o no se otorga el mismo valor a todos los

aciertos.

4. EL ITEMUn ítem es cada una de las partes individuales que conforman un conjunto. En

este sentido, en un documento escrito, el ítem se refiere a cada uno de los

artículos o capítulos en que este se subdivide. Por extensión, como ítem

también se conoce cada una de las unidades en que se dividen listas,

formularios, pruebas o test.

La palabra ítem, como tal, proviene del latín ítem, y significa ‘del mismo modo’

o ‘también’. De allí que ítem también pueda emplearse, en registros de habla

muy formal, para expresar una adición o una añadidura que se hace sobre

algo.

En este sentido, ítem es equivalente a ‘además’ o ‘también’. Por esta razón, en

textos antiguos de carácter jurídico o de un nivel muy culto, ítem era usado

para añadir indicar que se estaba añadiendo información a un escrito. Del

mismo modo, la expresión “ítem más” se utiliza para significar ‘además’.

Es la unidad básica de observación de una prueba objetiva. Se utiliza para

medir conocimientos formales, habilidades cognitivas adquiridas a través de la

experiencia y aprendizajes complejos producto de las dos primeras. No

requiere de juicios personales del evaluador o de interpretaciones para calificar

las respuestas correctas. Posee una respuesta única previamente establecida

y acordada de manera colegiala.

4.1. COMPONENTES:

El ítem se integra por:

La base o cuerpo: Expresa una situación o problema en forma de

proposición.

Las opciones de respuesta: Son alternativas de respuesta a la base, de

las cuales solo una es correcta; las demás son distractores plausibles que

tienen como función que el examinado demuestre que es capaz de

discriminar la respuesta correcta.

Las argumentaciones: Son explicaciones que dan sustento a cada una de

las opciones de respuesta.

CARACTERISTICAS:

Evalúa contenidos vigentes.

Es una creación original del elaborador.

Mide contenidos que no se responden por sentido común.

Emplea situaciones comprensibles y un vocabulario adecuado para la

población objetivo.

Está libre de información que puede ser ofensiva para algún grupo

social.

No favorece a un grupo determinado.

No da pistas que conduzcan a la respuesta correcta.

Presenta estímulos claros que no se presten a más de una

interpretación.

Incluye únicamente la información necesaria y relevante para el

planteamiento del problema y su solución.

Está redactado de forma clara.

Es independiente de otros ítems, la información contenida en uno no

debe sugerir la solución ni debe ser requisito para contestar otro.

Utiliza opciones de respuesta distintas a las de otros ítems.

4.2. TIPOS DE ITEM POR SU RESPUESTA

Alternativa diferenciada: Con base en el cuerpo del ítem sólo una

opción es la correcta, las demás son distractores plausibles.

Respuesta optima: En la base de muestra el problema a ser resuelto en

donde las opciones de respuesta son parcialmente correctas, pero una

de ellas es más adecuada que las demás.

4.3. VALIDACION DE ITEMS

Es el proceso en el cual los ítems son sometido a una valoración

cualitativa en la que, a juicio de un trabajo colegiado asignado a un

grupo (dos o tres expertos), determinan a través de ciertas rubricas si

son pertinente y relevantes para los propósitos del examen; vigilan que

estén libres de errores conceptuales, gramaticales o de redacción.

Asimismo, determinan la complejidad de manera a priori del ítem y que

estos no sean respondidos por sentido común. Al finalizar dictaminan si

son aprobados, candidatos a ser aceptados condicionados a

modificaciones o descartados.

5. CONSTRUCCION PROVICIONAL DE UN CUESTIONARIOEl cuestionario consiste en un conjunto de preguntas, normalmente de varios

tipos, preparado sistemática y cuidadosamente, sobre los hechos y aspectos

que interesan en una investigación o evaluación, y que puede ser aplicado en

formas variadas, entre las que destacan su administración a grupos o su

envío por correo.

La finalidad del cuestionario es obtener, de manera sistemática y ordenada,

información acerca de la población con la que se trabaja, sobre las variables

objeto de la investigación o evaluación. Al utilizar esta técnica, el evaluador y

el investigador, tienen que considerar dos caminos metodológicos generales:

estar plenamente convencido de que las preguntas se pueden formular con la

claridad suficiente para que funcionen en la interacción personal que supone

el cuestionario y dar todos los pasos posibles para maximizar la probabilidad

de que el sujeto conteste y devuelva las preguntas.

5.1. TIPOS DE PREGUNTAS A UTILIZAR EN UN CUESTIONARIO:

Para obtener la información deseada es necesario recurrir a varios tipos de

preguntas:

5.1.1. Según el modo de formularse, las preguntas pueden ser

cerradas y abiertas.

Las cuestiones cerradas ofrecen al usuario que va a ser evaluado todas

las alternativas posibles, o al menos todas aquellas que mejor responden

a la situación que deseamos conocer. El sujeto no tiene sino elegir alguna o algunas, poniendo una señal convenida: una cruz, rodear con

un círculo, subrayar.... Suelen ser preguntas con la opción afirmativa y

negativa, y, a veces, no sé/sin opinión. Ejemplo nº 1:

¿Tiene en su domicilio acceso a Internet? Sí ( ) No ( )

En otras ocasiones las preguntas están categorizadas. Al usuario se le da

a elegir entre un abanico de opciones. Ejemplo nº 2:

¿Cuántos habitantes tienen la ciudad donde vive?

Menos de 2.000. ( ) De 2.001 a 5.000 ( ) De 5.001 a 10.000 ( )

De 10.001 a 20.000 ( ) De 20.001 a 50.000 ( ) De 50.001 a 100.000 ( )

De 100.001 a 200.000 ( ) De 200.001 a 1.000.000 ( ) Más de 1.000.000 ( )

Las respuestas o categorías que se ofrezcan a este tipo de preguntas han

de reunir dos condiciones esenciales: que sean exhaustivas y

excluyentes. 4 Las categorías o respuestas serán exhaustivas si abarcan

todos los casos que pueden darse. En ese caso, ningún encuestado

puede dejar de responder por no encontrar su categoría. Y serán

excluyentes, cuando ningún sujeto al contestar al cuestionario, pueda

elegir válidamente dos respuestas distintas de la misma pregunta.

Algunas preguntas se presentan bajo una escala cuantitativa,

correspondiente al número de veces que se repite una acción

determinada. En este caso es conveniente elegir un número par de

opciones, cuatro o seis, con objeto de evitar que el encuestado puede

responder a la opción central, sin esforzarse en reflexionar. Así ocurre en

el ejemplo nº 3.

En las clases teóricas del curso de formación que está haciendo, ¿toma

apuntes o notas de lo que dice el monitor o formador?

Nunca ( ) Pocas veces ( ) Con frecuencia ( ) Siempre ( )

Las preguntas abiertas no ofrecen ninguna categoría para elegir. Sólo

contienen la pregunta y no ofrecen ningún tipo de respuesta, dejando ésta

a la consideración del sujeto que completa el cuestionario. Ejemplo nº 4:

¿Qué le parecen las Unidades Didácticas de Evaluación que tiene en sus

manos?

5.1.2. Preguntas de hecho y opinión. Según la naturaleza del contenido

de las preguntas éstas pueden ser: de hecho, de opinión, de

identificación, de acción, de información, de intención, de aspiraciones, de

expectativas ante el futuro, y de motivaciones y creencias y actitudes.

Según la realidad que intentan descubrir las preguntas pueden

clasificarse en preguntas sobre hechos y preguntas sobre opiniones.

Las preguntas de hechos solicitan información que el encuestado suele

conocer mejor que nadie y que no admite dudas. No obstante, algunos

hechos como la “edad”, ítem frecuente en muchos cuestionarios, puede

necesitar ser contrastado con otras fuentes documentales, por un posible

interés en no ser veraz en el dato. No obstante, hay hechos que no

pueden ser contrastados, porque sólo conoce el sujeto. Veamos el

ejemplo nº 5:

¿Cuantas veces a la semana consulta en su casa el material didáctico

que le han entregado en el curso?

Ninguna ( ) Alguna vez ( ) Tres/cuatro veces ( ) Diariamente ( )

Las preguntas más frecuentes son las de opinión y éstas, a su vez, se

concretan en una amplia gama: preguntas para descubrir las creencias,

las preferencias y las estimaciones. Estas preguntas son muy frecuentes

en las investigaciones sociológicas de los medios de comunicación y las

casas comerciales con objeto de consultar los gustos del público, para

observar el grado de aceptación de sus productos y reorientarlos de

acuerdo con la demanda de la audiencia. En la evaluación de programas

este tipo de preguntas pueden ser muy importantes con vistas a conocer

las expectativas de los usuarios con respecto al programa, la satisfacción

con el mismo, la opinión que les merecen los monitores de formación o su

metodología, etc.

5.1.3. Según su finalidad se puede hablar de preguntas directas e indirectas.

En los ítems de hecho y en los de opinión, hay que tener en cuenta la

posible negativa del sujeto o su deseo de deformar su propia imagen y

hacerla coincidir con las expectativas del evaluador de un programa, o

simplemente trate de ocultar una realidad que no desea dar a conocer.

Una misma encuesta, sobre temas económicos, puede concluir resultados

diferentes si se piensa que hay motivaciones relacionadas con los

impuestos o se refieren a una situación de catástrofe, por ejemplo, donde

se piensa que el individuo pudiera recibir beneficios.

5.2. CONSTRUCCIÓN DEL CUESTIONARIO.La construcción de un cuestionario es una tarea cuidadosa y compleja.

Cuidadosa porque de la perfección con que se haga dependerá, en buena

parte, el éxito de la evaluación o de la investigación. Su complejidad radica en

la dificultad que supone expresar en indicadores concretos los aspectos de la

realidad (variables), que sean significativos en relación con el objeto de esa

evaluación o investigación. A esta dificultad se le suman otros problemas, entre

los que destacan los lingüísticos y psicológicos.

El carácter sistemático y complejo que supone la construcción de un

cuestionario, nos lleva a concluir que el formador de formadores habrá de

considerar, siempre que sea posible, que su elaboración sea una tarea de equipo, por ejemplo dentro de RR.HH.

En los planes y proyectos de formación hay algunos procesos que pueden

evaluarse directamente, los que son de orden físico. Por ejemplo, el número de

piezas a la hora, que un obrero realiza con un dispositivo automatizado, antes y

después de un programa de formación sobre la utilización de esa máquina.

Pero la mayoría de los aspectos que abarca la formación requieren de una

evaluación indirecta, a través de indicadores, descriptores o atributos. La

dificultad fundamental para evaluar un programa de formación, a través de un

cuestionario, radica en hacer la traducción de las variables empíricas, sobre las

que deseamos obtener información, a preguntas concretas sobre ese programa

o proceso de formación implementado en una empresa concreta; y al mismo

tiempo, hacer que esas preguntas sean capaces de suscitar respuestas

sinceras y claras. Partiendo de ese supuesto, el formador de formadores ha de

ser consciente de las etapas básicas que se pueden distinguir en la

preparación del cuestionario:

La secuencia que suele seguirse al elaborar un cuestionario es la siguiente:

- Determinar con precisión qué tipo de información necesitamos,

- seleccionar los aspectos más relevantes para obtenerla,

- decidir la modalidad del cuestionario más adecuada,

- efectuar una primera redacción,

- someterla a crítica por algunos expertos,

- ponerla a prueba con un grupo experimental,

- reelaborarla y establecer los procedimientos para su aplicación.

Sierra Bravo, sintetiza estas fases en: formulación de hipótesis, determinación

de variables a observar, con sus dimensiones e indicadores, y planificación del

contenido del cuestionario.

Formulación de objetivos. La formulación de hipótesis, sólo tiene razón de

ser en los cuestionarios de recogida de datos para una investigación

experimental. En la evaluación de un Programa de Formación hemos de hablar

de objetivos y haría referencia a prever el sentido y utilidad del cuestionario, a

decidir lo que se va a buscar con cada pregunta, lo que se pretende saber o

conocer a través del citado cuestionario.

Un cuestionario supone un intento de recoger toda la información necesaria y

relevante acerca del Programa de formación que pretendemos evaluar; pero

sólo la necesaria. “Si se comienza la evaluación por la construcción del

cuestionario, sin haber precisado claramente los objetivos de la evaluación,

podemos incluir muchos elementos que supongan un esfuerzo baldío e incluso

perjudiciales, porque pueden restar claridad a las variables investigadas”.

Determinación de las dimensiones, variables e indicadores.Desde el punto de vista de la investigación social, “las preguntas de un

cuestionario son la expresión, en forma interrogativa de las variables empíricas,

o indicadores respecto de los cuales interesa obtener información”. (González

Río, 1997)

En cualquier trabajo de investigación o de evaluación es necesario hacer

operativas las variables sobre las que vamos a recabar información. Cuando

trabajamos con variables en un proceso de investigación descriptiva, o de

evaluación, solemos operativizarla en dimensiones, (para algunos autores

categorías), variables e indicadores de esta variable. Dimensiones que suelen

estar presentes en casi todos los cuestionarios son: la edad, sexo, estudios,

profesión, etc. A ellas hay que sumarle las categorías específicas relacionadas

con el tema de evaluación.

Planificación del contenido del cuestionario.Al planificar el contenido del cuestionario se pretende:

la especificación del tipo de preguntas más adecuadas, cerradas,

categorizadas, etc., para obtener de la población encuestada los datos

o informaciones que señalan los indicadores establecidos;

las categorías, en su caso, que más convengan a cada pregunta y a

los objetivos que se persiguen con ellas.

La determinación del número de preguntas y de su orden y disposición dentro del cuestionario.

Las decisiones a tomar sobre los dos primeros pasos han de tener en cuenta:

lo que se pretende conocer con cada ítem, las características de la población

estudiada, la naturaleza y aplicaciones de cada pregunta, y la forma de

aplicación del cuestionario (aplicación grupal, por correo o mediante entrevista).

Las preguntas o ítems categorizados hay que agruparlos y sistematizarlos en

tablas. A cada respuesta ha de corresponder una columna, por ello es

conveniente tener en cuenta, en la planificación del cuestionario, que un

número excesivo de respuestas da lugar a tablas difíciles de comprender por

los sujetos a los que va destinado el cuestionario.

En cuanto al número de ítems que debe de contener un cuestionario, el

formador de formadores habrá de considerar que aquél deberá de tener todas

las preguntas necesarias, pero “ni una más”. Es “recomendable hacer

solamente las preguntas necesarias para obtener la información deseada o

medir la variable”. “Si es muy corto se pierde información si resulta largo puede

resultar tedioso”.

Un cuestionario largo, salvo que sea absolutamente necesario, produce fatiga y

rechazo en el sujeto que lo completa, con el riesgo añadido que se quede

incompleto o se conteste sin la debida reflexión.

Se suele considerar que 30 ítems es un tamaño ideal y que a medida que nos

alejamos de él presenta mayores inconvenientes. No obstante, cuando las

preguntas sean fáciles y puedan responderse con un «sí» o un «no», se puede

incrementar notablemente aquel número; que pueden sobrepasar la centena.

Por el contrario, “las preguntas abiertas, muy pocas, fundamentales y

verdaderamente reveladoras, son suficientes”.

En cuanto al tiempo empleado en contestar al cuestionario, la literatura

científica suele recomendar la regla de “que pueda ser contestado entre media

y una hora”, ello se debe a que se suelen aplicar a grupos, utilizando módulos

horarios de la educación formal o de la formación en la empresa. Si se aplica

por correo, conviene reducir notablemente ese tiempo.

Es conveniente que el formador de formadores tenga presente que el número

de ítems y el tiempo empleado en su completamiento dependen del grado de

información de que disponga el usuario de formación y del interés que tenga en

participar en completar el cuestionario.

5.3. ELABORACIÓN DEL CUESTIONARIO.La elaboración formal del cuestionario abarca dos aspectos básicos: la

redacción de las preguntas y la determinación de los aspectos formales del

cuestionario.

Redacción de las preguntas.Una vez definida la estructura del cuestionario se puede comenzar con la

redacción de las preguntas. Es el momento decisivo, y el que lleva más tiempo

y condiciona más la evaluación o la investigación.

La forma de redactar la pregunta depende de la cuestión que investiguemos,

de la preparación que posea la población a encuestar, del tratamiento

estadístico programado, así como del modo de aplicación. La redacción de las

preguntas, según la tesis defendida por Sudman y Bradburn (1982), es el

elemento esencial para maximizar la validez de los datos obtenidos en la

evaluación o en la investigación por encuesta. De hecho, se sabe que cambios

aparentemente pequeños en la redacción de las preguntas pueden causar

grandes diferencias en los diversos porcentajes de respuestas a la misma.

Reglas para la formulación de preguntas:Se consideran reglas básicas de esta redacción: que no se pierdan nunca de

vista los objetivos de la investigación y que, previamente a la formulación de

cada pregunta, nos preguntemos sobre la necesidad y oportunidad de la

misma, y sobre el grado en que nos servirá para lograr los objetivos

propuestos. (Sierra Bravo, 1988: 317)

Una pregunta está bien formulada cuando no ejerce influencia en el sentido de

la respuesta y no incita a una respuesta inexacta, que no corresponde con la

información buscada.

Determinación de los aspectos formales del cuestionario.Todo cuestionario suele constar de una serie de datos sobre la persona que

lo cumplimenta, que constituyen una serie de categorías a tener en cuenta en

la evaluación del programa de formación: edad, sexo, nivel educativo,

profesión, lugar de residencia, clase social e ingresos y todas las categorías

necesarias para la identificación educativa y social de encuestado.

Nunca ha de figurar el nombre, como garantía para mantener el anonimato del

cuestionario. En algunas ocasiones, las preguntas se refieren a otros: familia,

compañeros de trabajo y/o formación, vecinos, miembros de asociaciones a las

que pertenece, etc.

Es importante que antes de comenzar a responder el cuestionario figuren las

instrucciones de cómo se han de ir cumplimentando las respuestas.

Según Zarkowich, son tan importantes como el cuestionario, puesto que

suponen el medio para obtener una normalización de las respuestas recogidas

y de evitar la introducción de elementos subjetivos en las mismas.

Las instrucciones se deben redactar con gran claridad y esmero. Se ha de

procurar que sean autosuficientes, resolviendo todas las dudas que pudieran

plantearse. Sobre todo ha de cuidarse que no induzcan a la confusión, para

evitar una posible causa de sesgo. En estas instrucciones es necesario incluir

las advertencias, que se consideren necesarias o convenientes realizar sobre

la forma general de cumplimentar el cuestionario y de consignar las respuestas,

según los distintos tipos de preguntas que comprenda. Hernández Sampieri33

y otros (2000) ofrecen ejemplos ilustrativos, al respecto.

5. ELABORACIÓN DE UNA PRUEBA La elaboración de una nueva prueba es tanto una ciencia como un arte. El

responsable de su desarrollo debe elegir estrategias y materiales, y luego

tomar cada día decisiones de investigación que van a influir en la calidad del

instrumento resultante.

La elaboración de pruebas consta de seis etapas entrelazadas:

1. Definición de la prueba

2. Elección del método de escalamiento

3. Elaboración de los reactivos

4. Análisis de los reactivos

5. Revisión de la prueba

6. Publicación de la prueba

Fuente: Gregory, R. (2012). Pruebas psicológicas.

5.1. DEFINICION DE LA PRUEBA Para elaborar una nueva prueba, su creador debe tener una idea clara de lo

que esta debe medir y en qué debe diferenciarse de los instrumentos

existentes. Puesto que la medición psicológica está entrando en su segundo

centenario y se han publicado miles de pruebas, es claro que la labor de

demostrar que el instrumento propuesto es diferente y mejor que los ya

existentes recaen sobre los creadores.

5.2. ELECCION DEL METODO DE ESCALAMIENTOEl propósito inmediato de la medición psicológica es asignar números a las

respuestas en una prueba de modo que pueda juzgarse si el examinado

posee la característica medida en mayor o menor grado. Las reglas por

medio de las cuales se asignan números a las respuestas definen el método

de escalamiento. Los constructores de las pruebas seleccionan un método

de escalamiento que se adapte de manera óptima a la forma en que

conceptualizaron el rasgo o rasgos medidos por su instrumento.

Ningún método de escalamiento es invariablemente mejor que los otros.

Para algunos rasgos, la clasificación ordinal de jueces expertos puede ser el

mejor método de medición; para otros rasgos, el escalamiento complejo de

los datos de autoinforme tal vez produzca las mediciones más válidas.

5.2.1. METODOS DE ESCALAMIENTO REPRESENTATIVOS

5.2.1.1. Ordenamientos de expertosSuponga que deseamos medir la profundidad del estado de coma

en pacientes que sufrieron una lesión encefálica reciente que los

dejó inconscientes. Una escala de profundidad del estado de

coma sería muy importante para predecir el curso de la mejoría,

porque es bien sabido que un periodo prolongado de inconciencia

entraña un mal pronóstico para la recuperación final. Además, el

personal de rehabilitación tiene la necesidad práctica de saber si

un paciente está sumido en un coma profundo o en un estado

parcialmente comunicativo de semi conciencia.

Una aproximación al escalamiento de la profundidad del coma

sería confiar en los ordenamientos conductuales de los expertos.

Ello a través de la Escala de Coma de Glasgow que se califica

observando al paciente y asignando el nivel más alto de

funcionamiento en cada una de tres subescalas. En cada

subescala se supone que el paciente exhibe todos los niveles de

conducta por debajo del nivel calificado. Por consiguiente, desde

el punto de vista psicométrico, la escala consta de tres subescalas

(ojos, respuesta verbal y respuesta motriz), cada una de las

cuales produce una clasificación ordinal de la conducta.

Fuente: Gregory, R. (2012). Pruebas psicológicas.

5.2.1.2. Escalas LikertLikert (1932) propuso un método sencillo para el escalamiento de

actitudes que todavía se utiliza ampliamente en la actualidad. Una

escala Likert presenta al examinado cinco respuestas ordenadas

sobre un continuo de acuerdo/ desacuerdo o de

aprobación/desaprobación. Por ejemplo, un reactivo de una

escala que evalúa las actitudes hacia la pertenencia a la iglesia

podría decir:

“Los servidos religiosos me dan inspiración y me ayudan para dar

lo mejor de mí durante la siguiente semana.”

Está usted:

Dependiendo de la redacción de un reactivo individual, una

respuesta extrema de “totalmente de acuerdo” o “totalmente en

desacuerdo” indicará la respuesta más favorable en la actitud

subyacente medida por el cuestionario.

Likert (1932) asignó una puntuación de 5 a esta respuesta

extrema, 1 al extremo opuesto, y 2, 3 y 4 a las respuestas

intermedias. Para obtener la puntuación total de la escala se

suman las puntuaciones de los reactivos individuales, de ahí que

una escala Likert se conoce también como una escala sumativa.

5.2.1.3. Escalas de GuttmanEn una escala de Guttman los participantes que apoyan una

afirmación también coinciden con afirmaciones más moderadas

relacionadas con el mismo continuo subyacente (Guttman, 1947).

Por consiguiente, si se conoce la afirmación más extrema del

continuo con que puede coincidir un examinado, también es

posible reconstruir las respuestas intermedias. Las escalas de

Guttman se producen por medio de la selección de reactivos que

caen en una secuencia ordenada en términos del aval que reciben

del examinado. Los errores de medición hacen difícil obtener una

escala de Guttman perfecta, pero aun así es una meta adecuada

para ciertos tipos de prueba.

Por ejemplo, Beck utilizó el escalamiento tipo Guttman para

producir los reactivos individuales de su inventario de depresión

(Beck Depression Inventory, BDI; Beck, Steer y Garbin, 1988).

Los reactivos del inventario de Beck son parecidos a los

siguientes:

( ) A veces me siento triste o melancólico.

( ) A menudo me siento triste o melancólico.

( ) La mayor parte del tiempo me siento triste o melancólico.

( ) Siempre me siento triste y no puedo soportarlo.

Se pide a los clientes que “en cada grupo marquen la afirmación

que sientan que mejor los describe”. Es casi seguro que un cliente

que muestra su aprobación por la alternativa extrema (por

ejemplo, “Siempre me siento triste y no puedo soportarlo”)

también estará de acuerdo con afirmaciones más moderadas.

5.2.2. ELABORACIÓN DE LOS REACTIVOSLa elaboración de los reactivos es un procedimiento arduo y laborioso que

pone a prueba la creatividad de los constructores de las pruebas. El

redactor de los reactivos se confronta con una gran cantidad de preguntas

iniciales:

• ¿El contenido de los reactivos debe ser homogéneo o variado?

• ¿Qué rango de dificultad deben abarcar los reactivos?

• ¿Cuántos reactivos iniciales deben elaborarse?

• ¿Qué procesos cognoscitivos y dominios de los reactivos deben

utilizarse?

• ¿Qué tipo de reactivos de examen deberán usarse?

5.2.2.1. Preguntas iniciales en la elaboración de la pruebaLa primera pregunta se refiere al tema de la homogeneidad contra la

heterogeneidad del contenido del reactivo. En gran medida, la

homogeneidad o diversidad del contenido depende de cómo haya definido

el creador de la prueba el nuevo instrumento. Considere una prueba de

inteligencia general con una carga cultural reducida; dicho instrumento

podría incorporar reactivos variados en la medida que las preguntas no

supongan una educación específica. El creador de la prueba podría tratar

de incluir nuevos problemas que sean igualmente desconocidos para todos

los examinados. Por otro lado, con una prueba de pensamiento espacial

basada en una teoría, se requerirían sub pruebas en que los reactivos

tengan un contenido homogéneo.

El rango de dificultad de las preguntas debe ser suficiente para permitir la

diferenciación significativa de los examinados en ambos extremos. Por

ende, las pruebas más útiles son las que incluyen una serie graduada de

reactivos muy sencillos que puedan ser aprobados casi por todos, así como

un grupo de reactivos gradualmente más difíciles que casi nadie pueda

aprobar. Se observa un efecto de límite superior cuando grandes

cantidades de examinados obtienen puntuaciones perfectas o casi

perfectas. El problema con un efecto de límite superior es que no es

posible distinguir entre los examinados con altas puntuaciones, aunque

estos presenten diferencias considerables en el rasgo subyacente que

mide la prueba.

Se observa un efecto de límite inferior cuando cantidades significativas de

examinados obtienen puntuaciones cercanas en la parte inferior, o cerca de

la parte inferior, de la prueba. Po r ejemplo, la escala WAIS-R poseía u n

grave efecto de límite inferior ya que no lograba discriminar entre los

niveles moderado, grave y profundo de retraso mental: todas las personas

con discapacidades graves del desarrollo eran incapaces de responder

prácticamente todas las preguntas.

5.2.2.2. La tabla de especificacionesLos diseñadores profesionales de pruebas de aprovechamiento y capacidad

suelen utilizar uno o más esquemas de redacción de reactivos para

asegurar que su instrumento tome en consideración una mezcla de

procesos cognoscitivos y dominios de contenido. Por ejemplo, un esquema

muy simple de redacción podría indicar que una prueba de

aprovechamiento sobre la Guerra Civil estadounidense debería constar de

10 reactivos de opción múltiple y 10 preguntas de completamiento, la mitad

de cada tipo sobre cuestiones factuales (por ejemplo, fechas, batallas

importantes) y la otra mitad sobre temas conceptuales (por ejemplo,

diferentes perspectivas sobre la esclavitud).

Antes de iniciar el desarrollo de una prueba, los redactores suelen recibir

una tabla de especificaciones, la cual especifica la información y las tareas

cognoscitivas en que debe evaluarse a los examinados. Es posible que la

tabla de especificaciones más común sea la matriz de contenido por

proceso, la cual incluye el número exacto de reactivos en áreas relevantes

de contenido y detalla la combinación precisa de reactivos que debe

ejemplificar diferentes procesos cognoscitivos (MÜlman y Greene, 1989).

Al proporcionar una tabla de especificaciones antes de la etapa de

redacción de los reactivos, el creador de la prueba puede garantizar que el

instrumento resultante contenga un equilibrio apropiado de la cobertura de

temas y que toque el rango deseado de habilidades cognoscitivas. (Ver

tabla)

Fuente: Gregory, R. (2012). Pruebas psicológicas.

5.2.2.3. Formatos de los reactivosCuando se trata del método por el cual deben evaluarse los atributos

psicológicos, el creador de la prueba se enfrenta a docenas de opciones.

En el caso de las pruebas grupales de inteligencia o de aprovechamiento, la

técnica preferida es la pregunta de opción múltiple. Por ejemplo, un reactivo

de una prueba de aprovechamiento sobre la historia estadounidense podría

incluir esta combinación de planteamiento y opciones:

¿Quién era el presidente de Estados Unidos durante la Guerra Civil?

a) Washington

b) Lincoln

c) Hamilton

d) Wilson

Los defensores de la metodología de opción múltiple sostienen que los

reactivos bien elaborados pueden medir no solo el conocimiento factual sino

también el conceptual. Además, las pruebas de opción múltiple permiten la

calificación rápida y objetiva con la ayuda de una máquina. Por otro lado, la

equidad de las preguntas de opción múltiple puede demostrarse (o en

ocasiones refutarse) con procedimientos muy sencillos de análisis de

reactivos que vamos a revisar más adelante. Las principales desventajas de

las preguntas de opción múltiple son, primero, la dificultad de escribir

buenas opciones distractoras y, segundo, la posibilidad de que la presencia

de la respuesta pueda llevar a la respuesta correcta a un examinado con u

n conocimiento insuficiente. En la tabla 4.6 se presentan pautas para la

redacción de buenos reactivos de opción múltiple.

Fuente: Gregory, R. (2012). Pruebas psicológicas.

Las preguntas de aparejamiento son comunes en la evaluación dentro

del aula, pero presentan graves deficiencias psicométricas. El siguiente

es un ejemplo de una pregunta de aparejamiento:

Utilice las letras presentadas a la izquierda para relacionar el nombre

con su logro:

El problema más grave de las preguntas de aparejamiento es que las

respuestas no son independientes: fallar en una relación por lo general

induce al examinado a fallar en otra. Otro problema es que en una

pregunta de aparejamiento las opciones deben estar estrechamente

relacionadas o la pregunta será demasiado sencilla.

Para las pruebas de aplicación individual el procedimiento preferido es el

reactivo objetivo de respuesta corta. De hecho, los tipos más simples de

preguntas suelen poseer la mayor confiabilidad y validez. Un buen

ejemplo es la subprueba de Vocabulario de la WAIS-IV, la cual consiste

simplemente en pedir al examinado que defina palabras. Esta subprueba

tiene una confiabilidad muy alta (.96) y suele considerarse la mejor

medida individual de la inteligencia general en la prueba.

Las pruebas de personalidad suelen utilizar preguntas de verdadero o

falso porque resultan sencillas de entender para los sujetos. A la

mayoría de la gente le resulta sencillo responder reactivos de verdadero

o falso como el siguiente:

V F

----- ----- Me gustan las revistas deportivas.

Los críticos de este método han señalado que las respuestas a dichas

preguntas pueden reflejar más la deseabilidad social que los rasgos de

personalidad (Edwards, 1961).

Un formato alternativo diseñado para contrarrestar este problema es la

metodología de elección forzada en que el examinado debe elegir entre

dos opciones igualmente deseables (o indeseables).

¿Qué preferiría hacer?

_____ Limpiar un galón de almíbar del piso.

_____ Ofrecerse como voluntario a pasar medio día en un asilo.

Aunque el método de elección forzada tiene muchas propiedades

psicométricas deseables, los creadores de las pruebas de personalidad

no se han apresurado a adoptar esta interesante metodología.

5.2.3. ANÁLISIS DE LOS REACTIVOSLos psicólogos esperan que muchos de los reactivos del conjunto original

sean descartados o corregidos a medida que avanza el desarrollo de la

prueba. Por esta razón, los creadores de las pruebas al principio elaboran

muchos reactivos de más, tal vez el doble del número que pretenden usar.

¿Cómo se selecciona entonces la muestra final de preguntas a partir del

conjunto inicial de reactivos? Quienes elaboran la prueba usan el análisis de

reactivos, un conjunto de procedimientos estadísticos, para identificar

cuáles son los mejores. En general, el objetivo de dicho análisis es

determinar qué reactivos deberían conservarse, cuáles hay que corregir y

cuáles deben eliminarse. Al realizar un análisis cuidadoso de los reactivos,

el creador de la prueba puede utilizar los índices de dificultad, de

confiabilidad y de validez del reactivo, así como la curva característica y el

índice de discriminación del mismo.

5.2.4. REVISIÓN DE LA PRUEBA El siguiente paso en el desarrollo de la prueba consiste en reunir nuevos

datos de una segunda muestra. Desde luego, esos examinados deben ser

similares a aquellos a quienes se dirige en última instancia el instrumento.

El objetivo de recabar datos adicionales es repetir los procedimientos de

análisis de reactivos. Si los nuevos cambios son ajustes menores, el

creador de la prueba puede decidir que esta es satisfactoria y que se

encuentra lista para un estudio de validación cruzada, un asunto que se

analiza en la siguiente sección. Si se requieren cambios importantes, es

deseable recabar datos de una tercera e incluso de una cuarta muestras.

Pero en cierto punto deben concluir los ajustes psicométricos; el creador

debe proponer un instrumento terminado y proceder al siguiente paso, la

validación cruzada.

5.2.4.1. Validación cruzadaCuando se utiliza una muestra para determinar si una prueba posee

validez relacionada con el criterio, la evidencia es bastante preliminar y

tentativa. En el desarrollo de una prueba es prudente buscar una

confirmación nueva independiente de la validez del instrumento antes de

proceder a su publicación. El término validación cruzada se refiere a la

práctica de usar la ecuación de regresión original en u n a nueva

muestra para determinar si la prueba predice el criterio tan bien como lo

hizo en la muestra original. Ghiselli, Campbell y Zedeck (1981) describen

la razón de la validación cruzada:

Ya sea que los reactivos sean elegidos con base en una clave

empírica o que sean corregidos o ponderados, los resultados

obtenidos deben considerarse específicos de la muestra usada

para el análisis estadístico, a menos que se recaben datos

adicionales. Esto es necesario porque probablemente los

resultados hayan obtenido provecho de los factores de azar que

operaban en ese grupo y, por ende, solo sean aplicables a la

muestra estudiada.

5.2.5. PUBLICACIÓN DE LA PRUEBAEl proceso de elaboración de la prueba no termina con la obtención de los

datos de validación cruzada. El creador del instrumento también debe

supervisar la producción de los materiales de evaluación, publicar un

manual técnico y redactar el manual del usuario.

5.2.5.1. Producción de los materiales de evaluaciónLos materiales de evaluación deben ser sencillos de usar si se

pretende que sean aceptados por psicólogos y educadores. Por

consiguiente, una primera sugerencia para la producción de la

prueba es que la presentación física de los materiales permita una

aplicación rápida y sin complicaciones.

5.2.5.2. Manual técnico y manual del usuarioLos datos técnicos acerca de un nuevo instrumento por lo general

se resumen con las referencias apropiadas en un manual técnico.

El posible usuario puede encontrar aquí información acerca de los

análisis de reactivos, la confiabilidad de las escalas, los estudios

de validación cruzada y asuntos semejantes. En algunos casos

esta información se incluye en el manual del usuario, el cual,

además de d a r las instrucciones para la aplicación, ofrece

directrices para la interpretación de la prueba.

Los manuales de la prueba cumplen muchos propósitos, como se

explica en los Estándares para la evaluación educativa y

psicológica (AERA, APA y NCME, 1985,1999). El manual de estos

influyentes Estándares sugiere que los manuales de las pruebas

cumplan las siguientes metas:

Describir la base y los usos recomendados para la prueba.

Hacer advertencias específicas en contra de los usos

inadecuados de la prueba que se anticipan.

Citar estudios representativos concernientes a los usos

generales y específicos de la prueba.

Identificar cualificaciones necesarias para administrar e

interpretar la prueba.

Proporcionar las revisiones, las enmiendas y los

complementos necesarios.

Usar material de promoción que sea preciso y que se base en

la investigación.

Citar relaciones cuantitativas entre las puntuaciones obtenidas

en la prueba y los criterios.

Informar sobre el grado en que son intercambiables los modos

alternativos de respuesta (por ejemplo, folleto contra hoja de

respuestas).

Dar materiales interpretativos adecuados al examinado.

Proporcionar evidencia de la validez de cualquier

interpretación automatizada de la prueba.

Por último, los manuales de la prueba deben incluir los datos esenciales

sobre la confiabilidad y validez en vez de referir al usuario a otras

fuentes, una práctica desafortunada que se encuentra en los manuales

de algunas pruebas.

CONCLUSIONES

SUGERENCIAS

REFERENCIAS BIBLIOGRÁFICAS

Costa, N. K. M. (1996). Manual de pruebas de inteligencia y aptitudes. México:

Plaza y Valdés, S.A. de C.V.. Retrieved from http://www.ebrary.com

Gregory, R. (2012). Pruebas psicológicas. 1ª Edición en español. México:

Pearson Educación. p. 648

Martínez, A. M. R., & Hernández, L. M. V. (2014). Psicometría. España:

Larousse - Alianza Editorial. Retrieved from http://www.ebrary.com

Meneses, J. (2014). Psicometría. España: Editorial UOC. Retrieved from

http://www.ebrary.com

ENLACES WEBfile:///D:/Nueva%20carpeta/153484497-5-Elaboracion-Del-Pre-Test.pdf

http://biblio3.url.edu.gt/Libros/tests_p/2.1.pdf

http://23118.psi.uba.ar/academica/carrerasdegrado/psicologia/

informacion_adicional/obligatorias/059_psicometricas1/

tecnicas_psicometricas/archivos/f2.pdf

http://portal.fagro.edu.uy/docs/uensenia/Univ.%20Navarra%20_Pruebas

%20objetivas.pdfç