MÓDULO No.4

ANÁLISIS DE REACTIVOS

Para efectos de éste curso, se ha considerado prudente analizar dos tipos de

respuesta que se brindan al momento de responder a una prueba: las

respuestas asociadas con dos posibles alternativas y que representan éxito o

fracaso, y las respuestas que se brindan ante un número plural de alternativas

que representan la magnitud (cantidad) del atributo o rasgo que manifiesta

poseer el sujeto, al momento de brindar su respuesta al reactivo.

El primer caso se refiere a las pruebas que miden conocimientos, aptitudes,

capacidades, y que podríamos agrupar en la categoría de procesos

cognoscitivos. La característica principal de éste tipo de pruebas es que los

reactivos tienen dos posibles alternativas, dicotomías, una de las cuales se

identifica por 1 que significa éxito y la otra por un 0 que significa fracaso. Esta

escala (1 y 0), se puede extender a cualquier reactivo de dos o más

alternativas para el cual, una de ellas representa la respuesta esperada y la(s)

otra(s) la(s) no esperada(s). A éstas se les denomina respuestas de juicios de

acuerdo con lo señalado por Nunnally, 1996.

El otro caso se refiere a los reactivos que miden procesos para los cuales las

escalas de medición no están asociadas con éxito o fracaso, sino que los

resultados de cada reactivo representan la cantidad del atributo que manifiesta

poseer el sujeto que responde al reactivo Este es el tipo de reactivo típico en la

medición de los sentimientos, para los cuales las escalas de medición

presentan múltiples alternativas que representan la cantidad del atributo. Por

ejemplo:

Los sacerdotes en la actualidad, tienen menos contacto personal con los

feligreses de su parroquia, que hace 25 años atrás.

TDA DA NS ED TED (5) (4) (3) (2) (1) , Donde: TDA: totalmente de acuerdo DA: de acuerdo NS: no sé ED: en desacuerdo TED: totalmente en desacuerdo Como se puede observar, la alternativa que se escoja no representa exclusivamente poseer o no un atributo, sino que indica, la magnitud o cantidad que se posee de dicho atributo. Este es el caso de las pruebas que de sentimientos, emociones, personalidad, y otros procesos o rasgos que caracterizan el comportamiento humano. En realidad, ambos tipos de medición se aplican en procesos de comportamiento, con la diferencia que en el primer caso (dicotomías) la escala

utiliza las dos alternativas más extremas (éxito-fracaso, posees-no posees, etc), mientras que en la segunda, el sujeto puede ubicarse en alternativas intermedias a los extremos y tiene la posibilidad de expresar su comportamiento en unidades de medición más exactas. Los argumentos anteriormente señalados nos permiten concluir que, el proceso de elaboración de pruebas en estas dos dimensiones, requiere de métodos y técnicas especiales que consulten los aspectos conceptuales y estadísticos que las estructuras de las escalas exigen. En el primer caso nos referimos a una escala dicotómica y en el segundo, a una escala continua. A continuación discutiremos las principales características psicométricas relacionadas con la elaboración de pruebas en estas dos dimensiones. ELABORACIÓN DE PRUEBAS DE RESPUESTAS DE JUICIOS: ÉXITO (1 punto), FRACASO (0 punto) Por lo general, el puntaje obtenido por un sujeto en una prueba dicotómica está definido por el número de reactivos que respondió correctamente. Esto responde a la situación de que las puntuaciones adjudicadas a cada una de las respuestas son valoradas como 1 si es éxito y 0 si es fracaso. Es importante señalar que, las propiedades de una prueba psicológica son el reflejo de los reactivos que la constituyen. En psicología existe una afirmación que asegura que ningún test psicológico es mejor que los reactivos que lo constituyen. Bajo estas perspectivas, se analizarán los métodos que permiten estimar la contribución de cada uno de los itemes dicotómicos, a las características psicométricas de las pruebas. LA MATRIZ DE PUNTUACIONES DICOTÓMICAS Para el análisis de cada uno de los reactivos que constituirán una prueba, se recomienda que los mismos sean dispuestos en lo que se denomina una matriz de puntajes dicotómicos. La misma se refiere a una Tabla de dos entradas para la cual, las entradas horizontales o líneas (L) corresponderán a los sujetos experimentales (los que participan en la construcción de la prueba), y las entradas verticales o columnas (C) que se referirán a los reactivos. La matriz estará constituida por líneas y columnas (L x C) cuyo cruce celdillas, en las cuales se ubicarán las puntuaciones 1 ó 0, que obtenga el sujeto en cada reactivo. Si por ejemplo la muestra experimental estuviera constituida por 50 sujetos y el número de reactivos a examinar fuera de 60, la matriz estaría constituida por 60 x 50= 3000 respuestas. A continuación presentamos un ejemplo de una matriz dicotómica. Tomada de Teoría de los Test, de David Magnusson(1975)

MATRIZ DE RESULTADOS DICOTÓMICOS Tabla No.1

Reactivos Sujetos 1 2 3 4 5 6 7 8 9 Tj

1 1 1 1 1 1 1 1 0 1

2 1 1 1 1 1 1 1 1 1

3 1 0 1 1 1 1 0 0 0

4 1 1 1 1 1 1 0 1 0

5 0 1 1 1 0 0 0 0 0

6 1 1 1 1 1 1 0 1 1

7 1 1 0 1 1 1 1 0 0

8 1 1 1 1 1 1 0 1 0

9 1 1 1 1 1 1 0 0 0

10 1 1 1 1 1 1 1 0 0

11 1 1 1 1 1 1 1 1 1

12 1 0 1 1 1 0 0 0 0

13 1 0 0 0 0 0 0 0 0

14 0 1 1 1 1 0 0 0 0

15 1 1 1 1 0 1 1 1 0

16 1 1 1 1 1 0 0 0 0

17 1 1 1 1 1 1 1 0 1

18 1 0 1 0 0 0 0 0 0

19 1 1 1 1 1 1 1 1 1

20 1 1 1 1 1 1 0 1 0

Se puede resumir el concepto de matriz de la siguiente manera:

1. UNA MATRIZ ES UN ARREGLO DE FILAS Y COLUMNAS QUE GENERA CELDILLAS.

2. LAS COLUMNAS REPRESENTAN LOS REACTIVOS 3. LAS FILAS REPRESENTAN A LOS SUJETOS 4. LA INTERACCIÓN DE LAS COLUMNAS CON LAS FILAS GENERAN LAS

CELDILLAS 5. EN CADA CELDILLA SE PRESENTA EL RESULTADO (PUNTAJE) OBTENIDO POR CADA SUJETO EN CADA REACTIVO.

A partir de la Matriz de puntajes, se desarrolla una metodología estadística que permite analizar cada uno de los reactivos y establecer cuál es el aporte de ellos en la medición del factor de interés para la prueba, además de que permite obtener información sobre la estabilidad de los resultados obtenidos. A estos aspectos se les denominará posteriormente: validez y confiabilidad de la prueba.

1. Ordenamiento de los datos de la matriz de menor a mayor

Tabla No.2 Reactivos

S 1 2 3 4 5 6 7 8 9 Tj

13 1 0 0 0 0 0 0 0 0 1

18 1 0 1 0 0 0 0 0 0 2

5 0 1 1 1 0 0 0 0 0 3

12 1 0 1 1 1 0 0 0 0 4

14 0 1 1 1 1 0 0 0 0 4

3 1 0 1 1 1 1 0 0 0 5

16 1 1 1 1 1 0 0 0 0 5

7 1 1 0 1 1 1 1 0 0 6

9 1 1 1 1 1 1 0 0 0 6

4 1 1 1 1 1 1 0 1 0 7

8 1 1 1 1 1 1 0 1 0 7

10 1 1 1 1 1 1 1 0 0 7

15 1 1 1 1 0 1 1 1 0 7

20 1 1 1 1 1 1 0 1 0 7

1 1 1 1 1 1 1 1 0 1 8

6 1 1 1 1 1 1 0 1 1 8

17 1 1 1 1 1 1 1 0 1 8

2 1 1 1 1 1 1 1 1 1 9

11 1 1 1 1 1 1 1 1 1 9

19 1 1 1 1 1 1 1 1 1 9

∑ 18 16 18 18 16 14 8 8 6 p 0,9 0,8 0,9 0,9 0,8 0,7 0,4 0,4 0,3

q 0,1 0,2 0,1 0,1 0,2 0,3 0,6 0,6 0,7 pq 0,09 0,16 0,09 0,09 0,16 0,21 0,24 0,24 0,21

Tal y como lo demuestra la matriz No.2, los sujetos se reordenan a partir de los que tienen el puntaje menor en la prueba (Tj) hasta el que tiene el puntaje mayor. Se observa que el sujeto que obtuvo el puntaje total (Tj) menor fue el 13 quien obtuvo 1 punto en toda la prueba. De igual manera se observa que el sujeto que obtuvo el puntaje total (Tj) mayor fue el 19 quien obtuvo 9 puntos. En la parte inferior de la matriz, se presentan unos símbolos que son indicadores de características estadísticas de cada reactivo, las cuales pasamos a discutir a continuación:

∑ : indica para cada reactivo la totalidad de los sujetos que lo obtuvieron bueno

p : indica la proporción de sujetos que obtuvieron cada reactivo correcto. En el caso del reactivo No.1., el reactivo fue respondido exitosamente por una proporción de 0.90 sujetos. En términos de %, el 90% fue exitoso en éste reactivo. La p se denominará índice de dificultad del ítem. Los reactivos con valores p más altos, se considerarán más fáciles que los reactivos con p más bajos.

q : es el complemento de p (1-p = q) y es un elemento requerido para calcular el próximo indicador, pq.

pq : se refiere a la varianza de cada ítem. La varianza es uno de los estadísticos más importantes en el análisis de reactivos. Como puede observarse en la Tabla No.2., el reactivo No.1 que fue el que respondieron correctamente más sujetos y por lo tanto presenta el nivel de dificultad más bajo p=0.90, también presenta la varianza más baja, 0.09. O sea, es el reactivo en el que hay menos diferencias individuales o variabilidad.

Estos valores estadísticos presentados en la Tabla No.2, son básicos para desarrollar el análisis de reactivos cuando las variables son dicotómicas y representan éxito (1 punto) o fracaso (0 puntos). 2. Partición de la matriz

Como se ha podido observar, la matriz contiene todos los posibles cruces entre el número de sujetos y el número de reactivos analizados. Si tanto el número de sujetos como de reactivos es grande, entonces la matriz estaría constituida por un número muy grande de datos, los cuales además de ser un tanto engorroso para

TABLA No.3. MATRIZ DE DATOS ORDENADOS DE MENOR A MAYOR

S 1 2 3 4 5 6 7 8 9 Tj

13 1 0 0 0 0 0 0 0 0 1

18 1 0 1 0 0 0 0 0 0 2

5 0 1 1 1 0 0 0 0 0 3

12 1 0 1 1 1 0 0 0 0 4

14 0 1 1 1 1 0 0 0 0 4

3 1 0 1 1 1 1 0 0 0 5

16 1 1 1 1 1 0 0 0 0 5

7 1 1 0 1 1 1 1 0 0 6

9 1 1 1 1 1 1 0 0 0 6

4 1 1 1 1 1 1 0 1 0 7

8 1 1 1 1 1 1 0 1 0 7

10 1 1 1 1 1 1 1 0 0 7

15 1 1 1 1 0 1 1 1 0 7

20 1 1 1 1 1 1 0 1 0 7

1 1 1 1 1 1 1 1 0 1 8

6 1 1 1 1 1 1 0 1 1 8

17 1 1 1 1 1 1 1 0 1 8

2 1 1 1 1 1 1 1 1 1 9

11 1 1 1 1 1 1 1 1 1 9

19 1 1 1 1 1 1 1 1 1 9

∑ P Q Pq

B

A

J

O

S

A

L

T

O

S

Su análisis, estadísticamente se ha demostrado que no es necesario hacer uso de la matriz total. Para obtener indicadores efectivos de los niveles de eficiencia de cada reactivo, se pueden comparar los sujetos con las puntuaciones más extremas: los que obtienen puntajes más altos contra los que obtienen los más bajos. Una amplia franja central de sujetos puede ser eliminada, porque la información estadística que ellos aportan en el análisis no es significativamente diferente a la que se obtiene con las puntuaciones extremas. Para obtener los dos grupos extremos (altos y bajos), se determina un porcentaje da la muestra total para cada grupo. Este porcentaje puede ser entre el 27% al 33%; por lo general se selecciona uno de estos dos valores. En nuestro caso particular, por tener una muestra pequeña de 20 sujetos, hemos decidido utilizar el 33% superior y el 33% inferior que equivale a: 0.33 x 20 = 6.6 = 7 (redondeado). Esto significa que se utilizarán como muestra de análisis los 7 sujetos con puntajes más bajos (13, 18, 5, 12,14,3 y 16) y los 7 sujetos con puntuaciones más altas (19, 11, 2, 17, 6, 1, 20). En la Tabla No.3, se ha sombreado el grupo central que será eliminado de la muestra de análisis. La nueva matriz que se utilizará para el análisis de los reactivos es la siguiente:

TABLA No.4. MATRIZ DE ALTOS Y BAJOS

S 1 2 3 4 5 6 7 8 9 Tj

13 1 0 0 0 0 0 0 0 0 1

18 1 0 1 0 0 0 0 0 0 2

5 0 1 1 1 0 0 0 0 0 3

12 1 0 1 1 1 0 0 0 0 4

14 0 1 1 1 1 0 0 0 0 4

3 1 0 1 1 1 1 0 0 0 5

16 1 1 1 1 1 0 0 0 0 5

∑ 5 3 6 5 4 1 0 0 0 24 P 0.71 0.43 0.86 0.71 0.57 0.14 0 0 0

Q 0.29 0.57 0.14 0.29 0.43 0.86 1 1 1 Pq 0.20 0.24 0.12 0.20 0.24 0.12 0 0 0

20 1 1 1 1 1 1 0 1 0 7

1 1 1 1 1 1 1 1 0 1 8

6 1 1 1 1 1 1 0 1 1 8

17 1 1 1 1 1 1 1 0 1 8

2 1 1 1 1 1 1 1 1 1 9

11 1 1 1 1 1 1 1 1 1 9

19 1 1 1 1 1 1 1 1 1 9

∑ 7 7 7 7 7 7 5 5 6 58 P 1 1 1 1 1 1 0,71 0,71 0,86

Q 0 0 0 0 0 0 0,29 0,29 0,14 Pq 0 0 0 0 0 0 0,20 0,20 0,12

A

L

T

O

S

B

A

J

O

S

3. Análisis de los reactivos (ítems): Método de las puntuaciones extremas

A partir de la información resumida en la Tabla No.4, desarrollaremos el análisis de reactivos para este ejemplo de prueba con respuestas dicotómicas, 1 éxito y 0 fracaso. 3.1. Índice de Dificultad: p

El índice de dificultad del reactivo se define como la proporción de sujetos de la muestra experimental que respondió satisfactoriamente al reactivo, y se representa, como ya lo vemos en la Tabla por la letra p. Para determinar éste índice, es necesario tomar en consideración a todos los sujetos altos y bajos. La fórmula para calcular p es: (altos + bajos)/n. Por ejemplo:

Item No.1 Total de sujetos experimentales: 14 Total de éxitos en los bajos: 5 Total de éxitos en los altos: 7 p = (5+7) / 14 = 0.86

Item No.8 Total de sujetos experimentales: 14 Total de éxitos en los bajos: 0 Total de éxitos en los altos: 5 P = (0+5) / 14 = 0.36

Los resultados indican que para el reactivo No.1., una proporción alta de examinados lo obtuvo bueno: 0.86 o el 86%. Por lo tanto, éste se puede considerar como un reactivo bastante fácil. Por otro lado, el comportamiento del grupo en el reactivo No.8. Fue diferente. De la totalidad del grupo experimental, únicamente lo obtuvieron bueno 5, lo cual equivale a un índice de dificultad de 0.36, lo que significa que el 36% de la muestra lo respondió exitosamente.

Estos resultados nos permiten concluir que el índice de dificultad (p) determina cuán fácil o difícil ha resultado el reactivo para el grupo. Los límites de p se pueden presentar entre 0.00 cuando ninguna persona del grupo experimental (bajos + altos) logró responder exitosamente al reactivo, y 1.00 cuando todas los sujetos experimentales respondieron exitosamente al reactivo. Como es de suponer, al construirse una prueba psicométrica, las p tendrán un rango de variabilidad muy amplio: entre 0.00 hasta 1.00. A continuación presentamos una tabla que puede servir de guía para calificar los reactivos de acuerdo a sus valores p. 0.0 - 0.20 Muy difíciles 0.21 - 0.39 Difíciles 0.40 - 0.60 Promedios Estos son los sugeridos 0.61 - 0.79 Fáciles 0.80 - 1.00 Muy fáciles Mientras más extremos sean los valores de p, menos eficiente será el reactivo. Se recomienda que, hasta donde sea posible, la mayoría de sus reactivos o, en el mejor de los casos la totalidad de los mismos, tengan un índice de dificultad entre 0.40 y 0.60. Es evidente que el índice de dificultad por excelencia es el de

0.50, y esto se puede alcanzar si los reactivos en su mayoría se presentan dentro de éste intervalo. Si el resultado del análisis de reactivos indica que no todos están en éste intervalo, complete la prueba combinando reactivos por encima de 0.60 y por debajo de 0.40, pero tratando de que ellos en promedio, también estén entre 0.40 y 0.60.

3.2. Índice de discriminación. ID El índice de discriminación es un indicador de la capacidad que tiene

el reactivo de ser respondido con mayor éxito por los sujetos que han tenido mayor éxito en la totalidad de la prueba. O sea, O sea, el reactivo debe ser respondido más exitosamente por los sujetos del grupo de puntajes altos que por los del grupo de puntajes bajos.

Para tal efecto se compara el número de éxitos en el reactivo obtenidos

tanto por los altos como por los bajos, a través de la siguiente fórmula:

ID`= (fa – fb) / n/2, donde:

fa: frecuencia del grupo alto que respondió exitosamente

fb: frecuencia del grupo bajo que respondió exitosamente

n/2: la mitad del grupo total (altos + bajos) Veamos algunos ejemplos a partir de la Tabla No.4

Item No. 3 fa = 7 fb = 6 n/2 = 14 / 2 = 7 ID = (7 – 6) / 7 = 0.14 Como se puede observar, el número de éxitos en los altos es muy semejante al obtenido por los bajos, por lo tanto su ID fue bajo aunque positivo porque los altos tuvieron un sujeto más que los bajos.

Item No. 9 fa = 6 fb = 0 n/2 = 14/2 = 7 ID = (6 – 0) / 7 = 0.86 El índice de discriminación es significativamente alto y esto sucedió porque el número de éxitos en el grupo alto(6) fue mucho mayor que en el grupo bajo(0). ¿Cómo debe interpretarse el índice de Discriminación ID? El ID se presentará dentro de un intervalo que tiene los siguientes limites: +1 0 -1. En la medida en que los altos obtengan mayor éxito que los bajos, el índice será positivo, que es lo esperado en la construcción de pruebas. En la medida en que los bajos obtengan mayo éxito que los altos, el índice será negativo y en estos casos, el reactivo no funciona. Si el número de altos es igual al número de bajos, el índice será igual a 0 y se considera que el reactivo no funciona.

Tampoco es suficiente con que el ID sea positivo, se considera que los reactivos con índice no menor de 0.35 son los más eficientes, aunque hay ocasiones en que no se cuentan con suficientes reactivos con índices de 0.35 o más. En estos casos, se permite incluir algunos que estén por debajo pero se sugiere que no sean menores a 0.25. Es evidente que mientras más alto sea el ID, mejor el reactivo.

3.2.1. Discriminación por el método del punto biserial También se puede determinar el nivel de discriminación de un reactivo a través del método de la correlación punto biserial : rpbis . Este método de correlación permite determinar la relación entre el desempeño en el reactivo y el desempeño en la prueba total. Esta correlación se utiliza en los casos en que una variable es dicotómica (1 ó 0) y la otra es continua (el puntaje total en la prueba). La fórmula es la siguiente: rpbis = Y1 – Y2 p(x) Sy q(x)

Donde: Y1 : media de la puntuación en la prueba para los que tuvieron correcto el reactivo Y2 : media de la puntuación en la prueba para toda la muestra experimental Sy : desviación estándar de las puntuaciones de la prueba para toda la muestra experimental px : proporción de personas que tuvieron el reactivo correcto q(x) : proporción de personas que obtuvieron el reactivo incorrecto. Ejemplo: tomado de Pruebas Psicológicas, Robert M Kaplan y otro, Editorial Thomson, 2006. Suponga que el 58% de los estudiantes de una clase de psicología respondieron correctamente el reactivo 15 en un examen semestral. La media de las puntuaciones en la prueba completa para estos estudiantes fue de 57.6 y la media de las puntuaciones para todo el grupo fue de 54.3. La desviación estándar en la prueba total fue de 9.7 Calcule el rpbis del reactivo. rpbis = 57.6 – 54.13 0.58 = 0.40 9.7 0.42

La correlación entre acertar el reactivo 15 y el desempeño total de la prueba es de 0.40. Corresponde a un índice de discriminación favorable para el reactivo.

Los tres índices anteriormente analizados: dificultad (p), discriminación (ID) y rpb, permiten determinar la eficiencia de cada uno de los reactivos. Atendiendo a los criterios ya conocidos: p debe estar lo más próximo posible a 0.50, ID positivo y preferiblemente ≥ 0.35, al igual que el rpb. Si todos o la mayoría de los reactivos satisfacen estos criterios, aumenta la probabilidad de que al analizarse la consistencia de los resultados, a través del coeficiente de confiabilidad rtt , el mismo alcance los niveles considerados satisfactorios para toda prueba psicométrica en la cual, las respuestas corresponden a la categoría de juicios : éxitos (1 punto) o fracaso (0 puntos). ELABORACIÓN DE PRUEBAS DE RESPUESTAS DE SENTIMIENTOS Hemos denominado pruebas de sentimientos, a todas aquellas que ofrecen información relacionada con los rasgos de la personalidad del individuo. Para éste tipo de pruebas el componente principal es la validez, la cual será analizada en un capítulo posterior al igual que la confiabilidad. Sin embargo, en ambos casos, la calidad de los reactivos es determinante en la consecución final de una prueba que satisfaga plenamente estos dos aspectos básicos de las pruebas psicológicas. A diferencia de los reactivos de juicios, al medirse los sentimientos las respuestas no se consideran malas o buenas; y por lo tanto no se puntúan como 1 ó 0. Las pruebas que evalúan sentimientos o rasgos, dan información sobre la cantidad o magnitud del rasgo o sentimiento que el sujeto posee. Bajo esta premisa, la variable o atributo que se esté midiendo se considera desde un punto de vista cuantitativo como continua y se supone que ha sido medida en una escala de intervalos (por lo menos). Si la medición ha sido diseñada desde esta perspectiva, podemos suponer que los resultados son susceptibles de asumir valores fraccionales, lo que determina un proceso de análisis estadísticos muy particular y, en algunos casos, diferente al que se desarrolla con las respuestas de juicios. Al igual que en los casos de respuestas de Juicios, el análisis de reactivos de sentimientos requiere que las puntuaciones originales sean organizadas en una matriz de puntuaciones; o sea, en un formato de líneas y columnas que generan celdillas, dentro de las cuales se ubican los distintos resultados, tal y como se presenta a continuación.

ANÁLISIS DE ÍTEMES

,MATRIZ DE DATOS CONTÍNUOS

Reactivos

S 1 2 3 4 5 6 7 8 Tj

1 2 1 3 2 3 3 1 3 18

2 6 6 4 4 4 6 4 5 39

3 5 4 4 3 5 6 4 5 36

4 3 4 4 3 5 6 4 5 34

5 5 5 5 5 4 4 5 5 38

6 3 5 4 5 2 5 6 5 35

7 2 2 5 4 3 5 5 4 30

8 1 3 2 1 1 3 1 4 16

9 4 5 6 6 5 5 6 5 42

10 4 2 5 4 4 4 3 2 28

11 3 3 5 5 4 3 4 4 31

12 4 3 3 4 2 4 5 3 28

13 4 4 5 3 4 4 4 4 32

14 3 5 4 5 6 4 6 7 40

15 5 2 7 6 5 4 5 6 40

∑ 54 54 66 60 57 66 63 67 Media 32,47

S 1,35 1,45 1,24 1,41 1,37 1,06 1,57 1,25 ST

S2 1,83 2,11 1,54 2,00 1,89 1,11 2,46 1,55

rit 0,71 0,69 0,72 0,84 0,78 0,62 0,89 0,78

rit-c

La matriz anterior presenta los resultados obtenidos en una prueba de sentimientos de 8 reactivos, la cual se aplicó experimentalmente a 15 sujetos. Las puntuaciones que se podían obtener están en el rango de 1 a 7 y se supone, teóricamente, que cada puntuación indica la cantidad del atributo que posee cada uno de los participantes; el que obtuvo 1 punto posee el mínimo y el que obtuvo 7 posee el máximo. Para el análisis de los reactivos se llevan a cabo los siguientes cálculos: Tj: el total de puntos obtenidos por cada sujeto en la prueba Media: promedio de las puntuaciones totales de cada sujeto ∑ : suma de las puntuaciones obtenidas por reactivo S : desviación estándar de las puntuaciones de cada reactivo S2: varianza de cada uno de los reactivos rpm: correlación producto momento de Pearson, para cada reactivo. rit-c: correlación ítem total corregido para cada uno de los reactivos. A partir de rpm, se hace una corrección para determinar la correlación final de cada puntaje del reactivo con el total de puntos alcanzados por el sujeto en la prueba; a éste procedimiento se le denomina Correlación ítem-total y se aplica a cada reactivo. Esta correlación requiere de una corrección que se denomina Correlación ítem-total corregido y su fórmula es la siguiente:

rit-c = rit (ST) - Si____

√S2t + S2

i – 2ritSiSt

Donde:

rit = correlación item-total (producto momento de Pearson) St = desviación estándar total de los puntajes de la prueba Si = desviación estándar de cada reactivo S2

t= varianza total de la prueba Desarrollemos como ejemplo, el reactivo No.1 de la matriz. Sus características estadísticas son las siguientes:

rit-c = 0.71 (7.69) – 1.35___________

59.14 + 1.83 – 2(0.71)(1.35)(7.69)

rit-c = 0.58

Este coeficiente de correlación se considera moderado para los efectos de determinar la relación que tiene el reactivo con el total de los puntajes de la prueba. Mientras más alto sea el coeficiente de correlación ítem-total corregido, más aporta el ítem en la medición total del rasgo; mientras más bajo sea el mismo, su aporte será menor.

ANÁLISIS DE LAS ALTERNATIVAS DE LA PRUEBA En las pruebas de selección múltiple, la calidad de las alternativas de respuesta será determinante para alcanzar niveles favorables de eficiencia en la prueba. A continuación presentamos un modelo que permite comparar y analizar dichas alternativas, tanto para los sujetos del grupo alto como para los del grupo bajo. A continuación se presentan algunos ejemplos tomados de Pruebas y Evaluación Psicológicas de Cohen y Swerdlik, 2001. Alternativas Reactivo X1 *a b c d e Total Grupo alto 24 3 2 0 3 32 Grupo bajo 10 5 6 6 5 32 * alternativa correcta Como se puede observar, el reactivo 1 consta de 5 alternativas de las cuales la a es la correcta. En el grupo alto, la mayoría de los sujetos (24) acertó la respuesta correcta, mientras que los 8 restantes se distribuyeron en las alternativas b, c y e y ninguno seleccionó la d. En el grupo bajo, sólo 10 sujetos de los 32 acertó la alternativa correcta; menos sujetos que en el grupo alto. Además, todas las otras alternativas fueron seleccionadas por varios sujetos. Este resulta ser un buen reactivo en términos del funcionamiento de sus alternativas. Alternativas Reactivo X2 a b *c d e Total Grupo alto 0 0 32 0 0 32 Grupo bajo 3 2 22 2 3 32

* alternativa correcta El reactivo X2 presenta un comportamiento más satisfactorio en términos de las respuestas brindadas por los estudiantes. Todos los del grupo alto respondieron exitosamente. En el grupo bajo, una frecuencia menor de estudiantes respondió satisfactoriamente (22) y todas las alternativas distractoras atrajeron a uno o más miembros del grupo. Alternativas Reactivo X3 a b c *d e Total Grupo alto 14 0 0 5 13 32 Grupo bajo 7 0 0 16 9 32 * alternativa correcta El caso del reactivo X3 es un ejemplo de un reactivo que no funciona. Más estudiantes del grupo bajo respondió exitosamente (16) que del grupo alto (5). Además, las alternativas b y c no funcionaron para ninguno de los dos grupos. Este reactivo debe ser descartado. Para un adecuado análisis de reactivos, se deben seguir los siguientes pasos:

1. Analice en cada reactivo el funcionamiento de las alternativas con el fin de determinar si las mismas funcionan satisfactoriamente. Este paso es fundamental en las pruebas de juicios, o sea, éxito (1 punto) y fracaso (0 puntos). Aquellos reactivos en los cuales las alternativas no funcionen, deben ser eliminados.

2. Si la prueba es para medir juicios, vacíe la información en una matriz, tal y como se discutió anteriormente y determine los siguientes indicadores:

Índice de dificultad del reactivo, p, considerando que los reactivos que estén entre 0.40 y 0.50 son los más favorables. Si no puede conformar la prueba con todos los reactivos de éste tipo, complétela con reactivos que estén por encima y por debajo de 0.50 pero que en promedio tiendan hacia este valor. Al finalizar, debe calcular el promedio de dificultad de todos los reactivos.

Índice de discriminación, ID, para el cual se considerarán como satisfactorios, aquellos que alcancen un valor ≥ 0.35. Al finalizar debe determinar el promedio del ID de todos los reactivos.

Coeficiente de correlación punto biserial, rpb, considerándose como satisfactorios aquellos que alcancen un valor ≥ 0.35. Al finalizar debe calcular el promedio de rpb para todos los reactivos

3. Si la prueba es para medir sentimientos, organice los resultados en una

matriz de puntajes y determine para cada reactivo el coeficiente de correlación Item-Total, rit-c. Al finalizar, debe determinar el promedio de éste indicador.

Si logra establecer que los reactivos de la prueba satisfacen plenamente los criterios mínimos de estos indicadores, hay una alta probabilidad de que las cualidades esperadas de los test psicométricos, validez y confiabilidad, se

alcancen plenamente y nos encontremos ante una prueba de muy altos estándares.

De esta manera damos por finalizado éste módulo, que tiene como objetivo discutir los principios del análisis de reactivos en la construcción de pruebas psicológicas.