Tema 4 Xpersentacixnx

10/26/2014

1

1

TEMA 4. La construccin del test

Introduccin Finalidad del test Aspectos adicionales en la construccin del test1. Contexto2. Caractersticas internas3. Proceso tras la redaccin de los tems4. Manual del test y sus revisiones5. Criterios para la valoracin del test6. Medicin del desempeo

2

1. Introduccin

La construccin de un test es un arte.Para la redaccin de los tems

Pero tambin hay que establecer un marco metodolgico

Se requiere

-Perspicacia-Tino-Concisin-Ingenio

10/26/2014

2

3

1. Introduccin

La forma de definir el objeto de la psicometra ha dado lugar a dos

escuelas psicomtricas:

ENFOQUEFUNCIONALISTA

ENFOQUEDE LOS RASGOS

4

1. Introduccin

Pronosticar criterios

socialmente relevantes

ENFOQUE FUNCIONALISTA

La construccin del test viene determinada por el uso pragmtico que deseemos hacer de l

Entiende la psicometra como una tecnologa aplicada a la construccin de tests tiles para

Evaluar los conocimientos acadmicos de

los sujetos

Clasificar a las personas en

distintas categoras

10/26/2014

3

5

1. Introduccin

ENFOQUE FUNCIONALISTA

El diseo del test consiste en

Identificar la utilidad que se desea lograr con el test

Especificar las reas de contenido relevantes

Desarrollar un esquema detallado que nos gue en la construccin de

los tems

6

1. Introduccin

ENFOQUE DE LOS RASGOS Surge del intento de situar la psicometra en el

campo de la ciencia. Tuvo su origen en el acercamiento cientfico a

nociones ingenuas o de sentido comn sobrela personalidad.

Las teoras factorialistas de la inteligencia sonotra corriente importante de este enfoque.

Los tests se disean para medir rasgos queson manifestaciones de la varianza biolgicaen aptitudes o personalidad.

10/26/2014

4

7

1. Introduccin

El desarrollo tecnolgico propiciado por el funcionalismo

La extensa metodologa de validacin de constructo propiciado por el enfoque

de los rasgos

Debemos aprovechar

8

2. Finalidad del test

Para qu se utilizar el test?

Objetivos

Medicin de un constructo terico

Evaluacin acadmica o conductual

Seleccin de

personal

Clasificacin diagnstica

10/26/2014

5

9


A partir de los objetivos, decisiones a tomar:

Relativas al nivel de instruccin

De diagnstico

De seleccinDe asignacin

De clasificacin

De orientacin

De screening

Si el sujeto domina o no ciertas destrezas

Identificar deficiencias para corregirlas

Admitir o excluir sujetos

Deteccin rpida

Comportamiento futuro

En qu lugar situar a un sujeto en una jerarqua (nivel)

Asignacin de tipo (grupo)

10

10/26/2014

6

11


Por ejemplo, destreza par el clculo aritmtico puede significar:

Ambas cosas pueden constituir atributos notablemente diferentes y una persona que

sobresaliente en una puede ser normal en la otra

Velocidad y exactitud con clculos simples con nmeros enteros

Habilidad para llevar a cabo de principio a fin

clculos largos y complejos con empleo de fracciones,

decimales y parntesis

12

3. Aspectos adicionales

Caractersticas de la poblacin

Restricciones temporales

Aplicacin individual o

colectiva

Contexto en el que se aplicar el test

10/26/2014

7

13





colectiva

EdadNivel educativo y culturalClase socialLengua maternaMedio rural/urbano


14





colectiva

Por ejemplo, para nios debe ser ms corto


10/26/2014

8

15





colectiva

Atencin a las instrucciones


16


Anlisis de contenido

Revisin de lo publicado

Incidentes crticos

Observacin directa

Juicio de expertos

Objetivos instruccionales

10/26/2014

9

17

3. Aspectos adicionales: formato

Para tests de ejecucin mxima

tem abierto tem cerrado

Se prefieren, porque:

1. La valoracin de los abiertos es ms subjetiva2. Su tratamiento es ms sencillo3. Ofrecen mejor ratio coste/beneficio

18


Eleccin mltiple

Seleccin o identificacin

Ordenacin del material estimular

Sustitucin/correcin

Completar

Construccin

Presentacin

Ms o menos adecuados en funcin de la complejidad

de los procesos

cognitivos a evaluar

10/26/2014

10

19

AERA (Taxonoma de Bloom):Jerarqua de procesos cognitivos (de < a > dificultad)

Conocimiento

Comprensin

Aplicacin

Anlisis

Sntesis

Evaluacin

Importante considerar qu porcentaje de tems de cada tipo

debera tener el test

20


Sinnimos/Antnimos

Marque la palabra que significa casi lo opuesto quelocuaz

SecoTaciturnoHostilRaroAbsurdo

ELECCIN MLTIPLE

10/26/2014

11

21


Analogas

Locuaz es a taciturno como amistoso es a:

VivazHostilOcupadoParlanchnSilencioso

ELECCIN MLTIPLE

22


Analogas

: : : :

a)

ELECCIN MLTIPLE

10/26/2014

12

23


Clasificacin

Cul corresponde a las 3 palabras: naranja, lima, taronjaa) Duraznob) Perac) Tomated) Limne) Manzana

ELECCIN MLTIPLE

24


Serie

Cul sigue a continuacin en la serie 3 6 9 12:

a) 13b) 14c) 15d) 16e) 17

ELECCIN MLTIPLE

10/26/2014

13

25


Multimental

Cul no pertenece al resto del conjunto:

a) 4 a) Lanudob) 6 b) Salchichac) 7 c) Pequinsd) 10 d) Barcinoe) 12 e) Galgo

ELECCIN MLTIPLE

26


El sujeto eligen entre respuestas posibles, pero el nmero es ms grande que en

eleccin mltiple

EJEMPLO: eliminar palabras redundantes en un texto

SELECCIN O IDENTIFICACIN

10/26/2014

14

27


Ordene las siguientes palabras para formar una oracin correcta

respuesta poda Juan saba no recordar la pero la

ORDENACIN DEL MATERIAL ESTIMULAR

Reordene las siguientes letras de modo que hagan una palabra inteligente: A C O N D U

Reordene los nmeros y smbolos de modo que formen una ecuacin: 2 2 3 4 ( ) + / =

28


Indique la palabra que completa la oracin:La joven _________ en su bicicleta hacia la aldeaa)Persigueb)Manejac)Fued)Dej

COMPLETAR

10/26/2014

15

29


Cmo seleccionar las alternativas incorrectas

Nmero de alternativas:

Ensayar cada tem en forma de ejercicios para completar y

despus identificar los errores ms comunes

Preguntarse si yo fuera caballo a dnde ira?

3

Muy laborioso

Habilidad del

redactor

30


Una alternativa incorrecta no ser til si:

Es demasiado parecida a la correcta

Es demasiado inconexa o inverosmil

La funcin de las alternativas incorrectas es disminuir la probabilidad de acertar por azar

10/26/2014

16

31

Recomendaciones para redactar tems de ejecucin mxima

Usar un planteamiento redactado como una pregunta completa

Si se alarga al doble

un test con rxx=0,8qu coeficiente se puede esperar?a) 0,85b) 0,90c) 0,95

La fiabilidad de un test:a)Aumenta conforme se alarga el testb)No puede ser mayor que la validezc)Disminuye con la homogeneidad del grupo

32

El planteamiento debe contener tanto del tem como sea posible, y las opciones de respuesta cortas

Durante el reinado de qu rey se produjo el descubrimiento de Amrica:a)Carlos Ib)Reyes Catlicosc)Felipe II

El descubrimiento de Amrica:a)Se produjo durante el reinado de Carlos Ib)Se produjo durante el reinado de los reyes catlicosc)Se produjo durante el reinado de Felipe II


10/26/2014

17

33

El planteamiento se expresa en forma afirmativa

De menor a mayor cul de los siguientes nmeros es el ms pequeo?a)2b)-3c)4

De menor a mayor cul de los siguientes nmeros no es el ms pequeo?a)2b)-3c)4


34

La respuesta correcta debe ajustar claramente; las incorrectas verosmiles, pero no tan parecidas a la

correcta como para confundir

Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Miguel de Unamuno


Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Francisco de Quevedo

10/26/2014

18

35

La respuesta correcta debe ser aproximadamente de la misma longitud que las incorrectas

Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Francisco de Quevedo


Cul de los siguientes autores escribi El Quijotea)Caldernb)Miguel de Cervantesc)Quevedo

36

Los trminos absolutos deben utilizarse espordicamente en las incorrectas

En pacientes que padecen demencia avanzada, tipo Alzheimer, el defecto de memoria:a)Nunca es severob)Puede tratarse con lecitinac)Posiblemente compromete al sistemacolinrgico


10/26/2014

19

37

Las alternativas deben ser gramaticalmente correctas y enunciadas de forma similar

Un hombre es trasladado a urgencias inconsciente. Despus de determinar que la va area est abierta, el primer paso en el tratamiento debera ser la administracin intravenosa de:a)Diazepamb)Examen del lquido cefalorraqudeoc)Glucosa con vitamina B1


38

Evitar que respuesta correcta incluya una palabra clave del planteamiento que pueda ser indicio de la correcta

Un hombre con antecedentes de alcoholismo e ingreso repetido en psiquiatra presenta confusin y agitacin. Dice que siente que el mundo es algo irreal. El sntoma se llama:a)Despersonalizacinb)Dficit focal de memoriac)Desrealizacin


10/26/2014

20

39

Usar la opcin ninguna de las anteriores slo para tems que tienen una respuesta correcta y no una

respuesta mejor

La funcin principal de la hormona adrenocorticotrfica es:

a)Regular la actividad de lacorteza de las glndulas suprarrenales

b)Producir la pigmentacin de lapiel

c)Provocar un descenso en la glucemia

La funcin principal de la hormona adrenocorticotrfica es:

a)Provocar un descenso en laglucemia

b)Producir la pigmentacin dela piel

c)Ninguna de las anteriores


40

Evitar la opcin todas las anteriores, suele ser inclusiva

Cuntos euros son setecientas cuarenta y ocho pesetas? a)3,5b)4c)4,5

Cuntos euros son setecientas cuarenta y ocho pesetas?a)4b)3c)Todas las anteriores son incorrectas


10/26/2014

21

41

Orden de las alternativas aleatorizado, pero respetando el orden creciente en nmero y el

cronolgico en fechas


Cuntas pesetas son sesenta y tres duros y medio? a)126,5b)317,5c)630,5

Cuntas pesetas son sesenta y tres duros y medio?a)317,5b)126,5c) 630,5

42

Algo sobre preguntas abiertas?Ms fciles de plantear pero ms laboriosas para corregir y subjetivas al puntuar

* En tems de respuesta corta (o completar cuando hayms de una opcin)

* En tems de respuesta abierta ms elaborada (ensayos),es esencial considerar la subjetividad que introduce el calificador

Nombra dos de los presidentes del Parlamento Espaol___________________ y ____________________

Ej. Christen et al (1994). Evaluacin del Pensamiento crtico (escala de 1 a 5)

50% acuerdo completoCada ensayo: 45% diferencias de hasta un puntodos evaluadores 5% diferencias de + de 1 punto 3er ev

10/26/2014

22

43


Para tests de ejecucin tpica

Respuestas dicotmicas

Respuestas tipo Likert

Listas de adjetivos bipolares

Expresin de la gradacin mediante nmero o palabras

Definir todos los grados, slo los extremos, extremos ms categora central, manteniendo la simetra

No ms de 7

Alternativas pares o impares

44


Problema en los tests de ejecucin tpica

Muy sensibles a los estilos o tendencias de respuesta

Propensin a responder de una forma peculiar en algunos formatos, independientemente de

contenido

AquiescenciaDiferencias individuales en la interpretacin de

expresiones indefinidas

10/26/2014

23

45

Evitar los enunciados que puedan ser interpretados de varias formas

Las caractersticas del candidato demcrata a la presidencia de EEUU le dan ventaja sobre el republicanoa)Totalmente de acuerdob)De acuerdoc)En descuerdod)Totalmente en desacuerdo

Recomendaciones para redactar tems de ejecucin tpica

46

Limitar cada frase a una sola idea

Ninguna mujer debe tener un hijo no deseadoa)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo

La vida humana es sagrada, pero ninguna mujer debe tener un hijo no deseadoa)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo


10/26/2014

24

47

Las frases expresan sentimientos, preferencias, actitudes o creencias, no aserveracines de hechos

Cada vez ms mujeres estn accediendo a la universidada)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo


48

Evitar las frases que puedan ser aceptadas o rechazadas por la mayora de las personas

Las personas con problemas mentales deberan ser internadas en centros especiales para siemprea)De acuerdob)Trmino medioc)En desacuerdo


10/26/2014

25

49

Las frases deben ser cortas y de estructura gramatical simple

Es gratificante poder expresar pblicamente las propias opinionesa)SIb)NO

No es gratificante el no poder expresar pblicamente las propias opinionesa)SIb)NO


50

Incluir en el test tantos enunciados positivos como negativos, para evitar la aquiescencia


MD MAEn la escuela aprendo cosas tiles 1 2 3 4 5 6 7En la escuela pierdo el tiempo 1 2 3 4 5 6 7

10/26/2011

26

51

Evitar los vocablos de significado universal o indefinido

Leo los peridicosa)Todos los dasb) Una vez a la semanac) Una vez al mesd) Menos de una vez al mes

Leo los peridicosa) Siempreb) Frecuentementec) Ocasionalmented) Casi nunca


52

Usar un vocabulario que pueda ser comprendido por la poblacin a la que va dirigido el test

En una encuesta dirigida a nios de 10 aos sobre las drogas, se incluye este tem:Las sustancias narcotrpicas producen un estado de somnolenciaa)De acuerdob)Trmino medioc)En desacuerdo


10/26/2014

27

53

Evitar la terminologa sexista y trminos que puedan resultar ofensivos o excluyentes

Las mujeres conducen peor que los hombresa)De acuerdob)Trmino medioc)En descuerdo


54

Medicin de aptitud


Medicin de personalidad

1. Se extiende en unadireccin, desdepoca hasta mucha

2. Se pide al sujeto larespuesta que sea elmejor desempeode que es capaz

1. Se concibe comobipolar

Se pide al sujeto unarespuesta franca ysincera

=

10/26/2014

28

55

Revisin de los tems

4. Proceso tras la redaccin de los tems

Estudio piloto

Participan:1. Expertos en el contenido2. Expertos en psicometra3. Sujetos de la poblacin

Estudio de campo

Prueba de funcionamiento del test: anlisis de tems

Anlisis del test y baremos Tests normativos Tests criteriales

56

5. Manual del test y sus revisiones

Fundamentacin terica del constructo

Usos a los que se puede destinar

Poblaciones a las que va dirigido

Instrucciones completas de administracin

Datos de precisin, muestras y procedimientos

Evidencias de validez, muestras y estimacin

Sugerencias sobre posibles usos puntuaciones

Baremos (muestras usadas para su obtencin)

10/26/2014

29

57

5. Manual del test y sus revisiones

1. Teora delconstructo medido

2. Contexto social3. Tcnicas de anlisis4. Uso del test

Tras cierto tiempo pueden

dejar el test obsoleto

REVISARLO Y ACTUALIZARLOUn test obsoleto puede comprometer seriamente la

informacin que obtengamos con l

AVANCESEN

5858

6. Criterios para la valoracin del test

Procede de una teora que define operativamente el atributo que mide el test?

Posee instrucciones estandarizadas y adecuadas a la poblacin a que se dirige, incluyendo breve y exacta explicacin y

ejemplos?

Si contiene tems de diferente dificutal estn ordenados por dificultad creciente?

Se hacen explcitos los procedimientos usados para el muestreo de tems?

10/26/2014

30

5959


Tiene instrucciones claras sobre cmo tratar las respuestas basadas en conjeturas, azar?

Si es de personalidad e incluye la opcin ?,especifica el significado de esa opcin?

Presenta pruebas de sesgo?

Tiene acogida favorable en cuanto a presentacin, material, etc.?

Est claro que no provoca recelos ni suspicacias entre los sujetos?

6060


Existe informacin suficiente en el manual sobre sus propiedades estadsticas? En caso

de la TRI estn calibrados sus tems?

Si es el test es de tiempo limitado,est especificado?

Es sencilla y fiable la forma de aplicacin y puntuacin?

Es suficientemente clara y sencilla la hoja de respuestas?

10/26/2014

31

6161


Especifica las diferentes muestras y el diseo muestral seguido en la tipificacin?

Refleja el manual la bibliografa utilizada en relacin con el constructo que mide el test?

62

7. Medicin del desempeo

En algunas reas es ms adecuado evaluar al sujeto en condiciones reales o simuladas

Hay quedecidir

- Qu aspectos de la habilidad es importante medir

- Si el desempeo es1. un proceso2. un producto

Que se va a evaluar conforme ocurra

La atencin se centra en el resultado final tangible

10/26/2014

32

63


COMO UN PROCESO

Depende del criterio de los evaluadores

1. Dividirlo en actividades elementalesorganizadas en una lista paraverificar

2. Identificar aspectos definidos decada actividad

3. Preparar a los evaluadores medianteobservacin

64


COMO UN PRODUCTO

Elaborar la prueba

teniendo en cuenta

1. Qu actividadrepresentar mejor ladestreza que se deseacuantificar

2. Qu aspectos delresultado debenevaluarse

3. Cmo deben ponderarseesos aspectos en laevaluacin total

Velocidad

Calidad

Tema 4 Xpersentacixnx

Documents

Transcript of Tema 4 Xpersentacixnx