Manual de Elaboracion de Pruebas Objetivas Completo

Capitulo 4. Elaboración de Pruebas Objetivas

1. Se elige un tema a evaluar. En este caso se buscó evaluar el conocimiento sobre Psicología General en 30 estudiantes de Licenciatura en Psicología.

1.1. Se elaboraron 15 reactivos que abarcan los tres niveles básicos de la taxonomía de Bloom, es decir 5 reactivos de conocimiento, 5 reactivos de comprensión y 5 reactivos de aplicación.

1.2. Al elaborar los reactivos se plantearon 4 opciones de respuesta. Se buscó que estas respuestas tuvieran un índice de dificultad considerable con el fin de que aquellos que supieran sobre el tema pudiesen elegir la opción correcta desechando de forma inmediata las opciones de respuesta incorrectas las cuales funcionarían como distractores. Se espera que las personas que no estén seguras de la respuesta o no la sepan elijan alguno de los distractores y no la opción de respuesta correcta.

1.3. El instrumento quedó compuesto de la siguiente manera. Siendo los primeros 5 reactivos de conocimiento, los siguientes 5 de comprensión y los últimos de aplicación.

A continuación se presenta el instrumento tal y como se les entregó a los participantes.

EXAMEN DE CONOCIMIENTOS

PSICOLOGÍA GENERAL

De las siguientes preguntas selecciona la respuesta correcta.

1. ¿Quién es considerado el padre de la psicología?a) Wilhelm Wundtb) Sigmund Freudc) Jean Piagetd) Iván Pavlov

2. ¿Qué leyes incluyen las reglas de la continuidad, proximidad, semejanza y cierre?

a) Leyes del condicionamiento clásicob) Leyes de la Gestaltc) Leyes del condicionamiento operanted) Leyes del aprendizaje vicario

3. Nombra la unidad fundamental del sistema nervioso.a) Cortezab) Medula óseac) Neuronad) Sinapsis

4. Identifica un reforzador primarioa) Comidab) Silbatoc) Dinerod) Fichas

5. ¿Cuál es el término que describe nuestra comprensión del mundo interno y externo?

a) Percepciónb) Insightc) Sensación d) Conciencia

6. Un investigador desea estudiar el efecto que tiene las adicciones en las habilidades sociales en estudiantes de secundaria. Identifica la variable dependiente.

a) Habilidades socialesb) Adiccionesc) Estudiantes de secundaria d) El investigador

7. La afirmación “siempre limpio la suela de mis zapatos dos o tres veces antes de entrar a un edificio, aunque no haya tapete”, describe un síntoma de:

a) Hipocondríab) Depresiónc) Paranoiad) Obsesión

8. Sandra estaba satisfecha. No había quedado contenta consigo misma la semana pasada, cuando le grito muy fuerte a su hijo. En aquella ocasión terminó con el ruido excesivo de su hijo. Esto ilustra el uso de:

a) Reforzador positivob) Castigoc) Reforzador negativod) Extinción

9. Da un ejemplo de memoria procedimental:a) Recordar un número telefónicob) Aprender una formula matemáticac) Andar en bicicletad) Contestar un examen

10.Organiza las etapas psicosexuales propuestas por Freuda) Oral-anal-fálica-latencia y genitalb) Anal-oral-genital-fálica y latenciac) Genital-anal-oral-latencia y fálicad) Latencia-oral-anal-fálica y genital

11.De los siguientes datos calcula la media.

N 1 2 3 4 5 6 7 8 9 10

X 4 6 9 4 16 10 22 6 9 7

a) 9.3b) 16c) 7d) 10

12.¿Cuál de las siguientes frases fomenta el rapport en una primera entrevista?

a) “Ud. Llegó muy tarde”b) “Ud. Se ve muy bonita (o)”c) “¿Le fue fácil llegar?”d) “Yo necesitaba que Ud. viniera”

13.En un paciente se sospecha daño orgánico. Qué prueba psicológica aplicas para descartarlo.

a) Denverb) HTPc) Kuderd) Bender

14. Juan quiere poner un casino y obtener grandes ganancias. Qué tipo de programa de reforzamiento necesita aplicar en sus maquinas tragamonedas para obtener más ganancias.

a) Intervalo variableb) Intervalo fijoc) Razón fijad) Razón variable

15.Una persona presenta una alteración en la visión por una contusión cerebral. Qué lóbulo cerebral fue afectado.

a) Parietalb) Frontalc) Occipitald) Temporal

Clave de respuesta del cuestionario es la siguiente:

Tabla 4.1 Clave de respuesta del examen de conocimiento

Reactivo Respuesta123456789

101112131415

ABCADADBCAACDAC

2. Se aplicó el instrumento presentado anteriormente a 30 sujetos estudiantes de licenciatura.

3. Con los instrumentos contestados se procedió a vaciar los datos en el programa ITEMAN.

El ITEMAN da acceso a dos archivos de bloc de notas, una con el nombre Sample Control File y otro con el nombre Sample Data File.

3.1. Se abre el archivo con el nombre Sample Control File, el cual contiene datos agrupados en columnas. Estos datos serán remplazados de acuerdo a la información de nuestro cuestionario

Figura 4.1 Archivo Sample Control File

3.1.1. En la primera columna se coloca el número de Item, que corresponde al número de reactivo del instrumento. En este caso hacia falta una fila en la hoja para el reactivo número 15, por lo que se copió la información de la fila anterior y se pegó para tener dicho espacio. Se continua con la numeración precedida.

3.1.2. En la segunda columna se colocó la clave de nuestro instrumento, es decir, la respuesta correcta para cada reactivo. Se debe verificar que el número de Item y la respuesta coincidan ya que con esta información se verifica las respuestas dadas por los participantes. Habrá que cerciorarse que esta columna inicie en el 8° espacio y que sólo exista un espacio de separación entre cada columna ya que de lo contrario el programa no podrá correr los resultados que le solicitemos.

3.1.3. En la tercera columna se debe colocar el número de opciones de respuesta, en este caso son 4 opciones por lo que el número que se coloca es el 4. Esta columna deberá iniciar en la espacio 10.

3.1.4. La cuarta columna corresponde a la cantidad de grupos que se toman en consideración, en este caso es un grupo por lo que se coloca el número 1. Esta columna deberá iniciar en el espacio 12

3.1.5. La quinta columna lleva la letra Y, que significa Yes, esta letra implica que se incluirán todos los reactivos de nuestro cuestionario.

3.1.6. Finalmente la sexta columna llevara la letra R.

3.1.7. Una vez más es importante verificar que sólo exista un espacio entre cada una de las columnas. Al finalizar el llenado de la hoja Control File se debe colocar el cursor en el último carácter escrito y se procede a guardar.

3.2. Se abre el archivo de texto Sample Data File, el cual al igual que el archivo Control File contiene columnas sobre las cuales se va a rescribir la información conforme a los resultados obtenidos de la respuesta de los participantes.

Figura. 4.2 Archivo Sample Data File

3.2.1. En la primera columna se coloca un número con el cual identificar el folio del instrumento y al participante que lo contestó.

3.2.1.1. En este caso faltaron 5 filas por lo que se tomaron las últimas 5, las cuales se copiaron y pegaron para obtener un total de 30 filas, número total de participantes.

3.2.2. Se procede a vaciar las respuestas de cada uno de los participantes de acuerdo al número de identificación que se les proporcionó. Habrá que verificar que el número y las respuestas del participante coincidan en la misma fila.

3.2.3. Al finalizar se deberá colocar el cursor en el último carácter y guardar los cambios al finalizar.

3.3. Se crea un tercer archivo de texto, esto desde el bloc de notas, que recibe el nombre de Output, el cual no contiene ningún dato. Este documento es muy importante ya que a partir de este archivo el programa dará acceso a la hoja de Word con la información que necesitaremos para el análisis de cada uno de nuestros reactivos.

4. Abrir el programa Iteman, en este caso se utilizó la versión 4.2

4.1. Se selecciona la pestaña con el nombre files.

Figura 4.3 Visualización del programa Iteman 4.2. Pestaña Files.

4.1.1. En la sección Data matrix file se selecciona el archivo de bloc de notas llamado Sample Data File, que es el archivo en que se colocaron las respuestas de los participantes para cada uno de los reactivos.

4.1.2. En la sección Item control file se selecciona el archivo de bloc de notas llamado Sample Control File, que es el archivo en que se colocó la clave de respuestas de nuestro instrumento.

4.1.3. Finalmente en la sección de Output file se selecciona el archivo de Output que se creó anteriormente.

4.2. Se selecciona la pestaña de Input Format.

Figura 4.4 Visualización del programa Iteman 4.2. Pestaña Input Format.

4.2.1. En la sección Number of examinee ID columns se coloca el número 5

4.2.2. En la sección Examine IDs begin in column se coloca el número 1

4.2.3. Y en la sección Item responses begin in column se coloca el numero 7

4.2.4. Los demás archivos se quedan con los valores predeterminados por el programa.

4.3. Se oprime el botón RUN.

4.4. El programa creara 2 archivos en el programa Excel con el nombre de Output y Output scores, y uno en Word con el nombre de Output. De estos únicamente se utilizará el archivo de Word que contiene la información estadística de los reactivos de nuestro cuestionario.

5. Consideraciones generales para la interpretación de los reactivos.

5.1. La hoja de Word con nombre Output contiene una gráfica y una tabla para cada uno de los reactivos que le solicitamos evaluar al ITEMAN.

5.2. El programa genera una división de los participantes en tres grupos, un grupo alto que se considera es el experto, un grupo medio que puede saber del tema sobre el que se está preguntando y un grupo bajo que no sabe sobre el tema.

5.3. El primer paso para la interpretación consiste en ubicar la correlación biserial puntual (Rpbis). Este valor debe ubicarse entre ±0.18 y ±0.20 lo que implica que el reactivo en cuestión discrimina entre los grupos alto, medio y bajo que creó el programa.

5.4. El segundo paso consiste en ubicar la proporción de dificultad de nuestro reactivo en la celda Prop. que se encuentra en la misma fila de la respuesta correcta. El valor de dicha celda se compara para ubicarlo dentro de uno de los rangos y se interpreta la dificultad del reactivo con los valores de la siguiente tabla:

Tabla 4.2 Valores Prop y nivel de dificultad del reactivo

Rango Interpretación0.00 - 0.200 Muy difícil

0.201 - 0.400 Difícil0.401 – 0.600 Regular0.601 – 0.800 Fácil

0.801 - 1 Muy fácil

5.5. Se debe de realizar el mismo paso anterior con el resto de opciones de respuesta para determinar el valor de dificultad de nuestros distractores, para evaluar su eficacia como tales.

6. Interpretación reactivo por reactivo.

6.1. Reactivo 1.

Tabla 4.3 Estadísticos del reactivo 1

Seq. ID Key Scored Num Options

1 Item01 A Yes 4

Option N Prop. RpbisA 28 0,933 -0,236B 2 0,067 0,236C 0 0.000 --D 0 0.000 --

La correlación biserial puntual de este reactivo es de -0.236, lo que indica que nuestro reactivo no discrimina entre los grupos alto, medio y bajo.

El nivel de dificultad de la respuesta correcta del reactivo es de 0.933 lo que lo ubica en el rango “muy fácil”, es decir la mayoría de los participantes contestaran correctamente al reactivo aunque no sepan la respuesta.

El distractor en la opción de respuesta B distrajo al grupo medio y los distractores en las opciones de respuesta C y D no funcionan como distractores ya que ningún participante del grupo medio ó bajo lo eligió.

Se concluye que se tendrían que replantear los distractores.

6.2. Reactivo 2.



2 Item02 B Yes 4

Option N Prop. RpbisA 1 0,033 -0,057

B 28 0,933 0,082

C 1 0,033 -0,057

D 0 0.000 --

La correlación biserial puntual de este reactivo tiene un valor de 0.08 lo cual indica que es un reactivo que no discrimina entre los grupos alto, medio y bajo.

El nivel de dificultad de la respuesta correcta es de 0.933 que la ubica en el rango “muy fácil”.

Los distractores en las opciones de respuesta A y C fueron electos por dos participantes del grupo bajo; el distractor en la opción de respuesta D no cumplió con su función ya que no fue electo por ningún participante del grupo medio o bajo.


6.3. Reactivo 3.



3 Item03 C Yes 4

Option N Prop. RpbisA 0 0.000 --

B 0 0.000 --

C 30 1,000 0,000

D 0 0.000 --

La correlación biserial puntual de este reactivo es de 0.000, lo que indica que nuestro reactivo no discrimina entre los grupos alto, medio y bajo.

El nivel de dificultad de la respuesta correcta del reactivo es de 1 lo que lo ubica en el rango “muy fácil”, es decir la mayoría de los participantes contestaran correctamente al reactivo aunque no sepan la respuesta.

Ninguno de los distractores en las opciones de respuesta cumplió con esta función.

Se concluye que se tendría que replantear el reactivo.

6.4. Reactivo 4.



4 Item04 A Yes 4

Option N Prop. RpbisA 30 1,000 0,000

B 0 0.000 --

C 0 0.000 --

D 0 0.000 --





6.5. Reactivo 5.



5 Item05 D Yes 4


B 6 0,200 0,125

C 0 0.000 --

D 5 0,167 0,037


El nivel de dificultad de la respuesta correcta del reactivo es de 0.633 lo que lo ubica en el rango “fácil”.

Los distractores en las opciones de respuesta B y D distrajeron al grupo medio y alto, lo que es un error ya que lo que se necesita es que se distraiga al grupo bajo y medio que se piensa son los que saben poco o nada de lo que se esta evaluando. El distractor en la opción de respuesta C no funciona como tal ya que ningún participante del grupo bajo o medio lo eligió.


6.6. Reactivo 6.



6 Item06 A Yes 4


B 8 0,267 0,197

C 0 0.000 --

D 0 0.000 --

La correlación biserial puntual de este reactivo es de -0.197, lo que indica que nuestro reactivo si discrimina entre los grupos alto, medio y bajo.

El nivel de dificultad de la respuesta correcta del reactivo es de 0.733 lo que lo ubica en el rango “fácil”.

El distractor en la opción de respuesta B cumplió su función ya que pudo distraer al grupo medio y bajo, sin embargo también distrajo al grupo alto. Los distractores de C y D no funcionan como tal ya que no fueron electos por ningún participante del grupo bajo o medio.


6.7. Reactivo 7.



7 Item07 D Yes 4

Option N Prop. RpbisA 0 0.000 --

B 0 0.000 --

C 0 0.000 --

D 30 1,000 0,000





6.8. Reactivo 8.



8 Item08 B Yes 4


B 10 0,333 0,045

C 19 0,633 -0,084

D 0 0.000 --


El nivel de dificultad de la respuesta correcta del reactivo es de 0.333 lo que lo ubica en el rango “difícil”. Menos de la mitad de los participantes eligieron esta opción como correcta. La mayoría de las elecciones se encuentran el distractor de la opción de respuesta C, sin embargo este distractor confundió a todos los grupos.

El distractor en la opción de respuesta D no cumplió con su función, se concluye que se deberán replantear los distractores.

6.9. Reactivo 9.



9 Item09 C Yes 4


B 9 0,300 -0,039

C 17 0,567 0,240

D 0 0.000 --

La correlación biserial puntual de este reactivo tiene un valor de 0.240, lo que indica que nuestro reactivo no discrimina entre los grupos alto, medio y bajo.

El nivel de dificultad de la respuesta correcta del reactivo es de 0.567 que lo ubica en el rango de “difícil”. Más de la mitad de los participantes eligieron esta opción como correcta. Se observa que los distractores B y A cumplen su función como tal. La opción de respuesta D no cumplió con la función de distractor. Se considera pertinente remplazar este distractor.

6.10. Reactivo 10.



10 Item10 A Yes 4


B 0 0.000 --

C 0 0.000 --

D 0 0.000 --





6.11. Reactivo 11.



11 Item11 A Yes 4


B 1 0,033 -0,213

C 4 0,133 -0,451

D 5 0,167 0,359


El nivel de dificultad de la respuesta correcta del reactivo es de 0.667 lo que lo ubica en el rango “fácil”, es decir la mayoría de los participantes contestaran correctamente al reactivo aunque no sepan la respuesta.

A pesar de que los distractores tienen una distribución dentro de las opciones de respuesta, se observa que la opción B si discrimina entre los grupos, es decir, confunde al grupo bajo; los distractores C y D confunden al grupo bajo y medio.


6.12. Reactivo 12.



12 Item12 C Yes 4


B 1 0,033 -0,205

C 25 0,833 0,494

D 2 0,067 -0,111



Los distractores tienen un valor Prop. muy bajo, lo que indica que no cumplen con su función.


6.13. Reactivo 13.



13 Item13 D Yes 4


B 2 0,067 -0,472

C 2 0,067 -0,114

D 24 0,800 0,324



Los distractores tienen un valor Prop. muy bajo, lo que indica que no cumplen con su función.


6.14. Reactivo 14.



14 Item14 A Yes 4


B 4 0,133 -0,404

C 1 0,033 -0,223

D 5 0,167 0,132


El nivel de dificultad de la respuesta correcta del reactivo es de 0.667 lo que lo ubica en el rango “fácil”, es decir la gran cantidad de los participantes contestaran correctamente al reactivo aunque no sepan la respuesta.

A pesar de que los distractores tienen una distribución dentro de las opciones de respuesta, se observa que cumplen ligeramente su función ya que logran confundir al grupo bajo.


6.15. Reactivo 15.



15 Item15 C Yes 4

Option N Prop. RpbisA 3 0,100 -0,146B 3 0,100 -0,453C 24 0,800 0,449D 0 0.000 --


El nivel de dificultad de la respuesta correcta del reactivo es de 0.800 lo que lo ubica en el rango “fácil”, es decir la gran cantidad de los participantes contestaran correctamente al reactivo aunque no sepan la respuesta.

A pesar de que los distractores tienen una distribución dentro de las opciones de respuesta, se observa que cumplen ligeramente su función ya que logran confundir al grupo bajo los distractores A y B. El distractor D no cumple con su función.


7. Consideraciones generalesCon base en los resultados obtenidos existe gran cantidad de reactivos que se necesitan remplazar o cambiar las opciones de respuesta que cumplan su función de distractor. Existe la posibilidad de poder aplicar el mismo instrumento a una población diferente a la elegida en este caso, por ejemplo, participantes de los últimos años de bachillerato o primeros semestres de licenciatura con el objetivo de ubicar el grado de dificultad de nuestros reactivos y del instrumento en general.

Manual de Elaboracion de Pruebas Objetivas Completo

Documents

Transcript of Manual de Elaboracion de Pruebas Objetivas Completo