EL ESTUDIO DEL SESGO EN LOS EL ESTUDIO DEL SESGO EN LOS TESTSTESTS

1) DEFINICIÓN DE SESGO2) SESGO EN LOS TESTS3) SESGO EN LOS ITEMS

3.1) TIPOS DE SESGO3.2) MÉTODOS DE DETECCIÓN 3.3) SOFTWARE

- Tests tienen importantes consecuencias.LSAT, GRE, SAT, PISA, TIMSS,…

- Habrá que asegurarse que lo que el test mide es relevante (validez) para lo que se aplica.

- Supuesto lo anterior, las puntuaciones en el test o ítems no deben depender de otras características (como género, idioma,..) distintas a las que el test mide.

Discriminación en grupos minoritarios: Afro-americanos, latinos, indios _americanos,

Discriminación por género…2

3

1

2

1

2

X X

X X

Y Y

Y Y

Y’=AX+B

2

1

Perspectiva Perspectiva Clásica: Validez Predictiva (sesgo en relación a Clásica: Validez Predictiva (sesgo en relación a la predicción de un criterio externo)la predicción de un criterio externo)

Educational Testing Service…->DIFEducational Testing Service…->DIF

Falacia Igualitarista?Falacia Igualitarista?

ALGUNOS CONCEPTOSFuncionamiento Diferencial del ítem (DIF): Existe DIF si la

probabilidad de acierto en el ítem es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo. Los estudios de DIF se ocupan de determinar si los ítems tienen o no este problema.

Funcionamiento Diferencial del test (DTF): Existe DTF si la suma de las probabilidades de acierto en el test es distinta para gente de uno y otro grupo, teniendo unos y otros el mismo rasgo.

Impacto es la diferencia en el rasgo entre los dos grupos.

Sesgo (bias): Efecto que se produce en las puntuaciones por alguna fuente de varianza irrelevante al constructo (measurement bias) o el efecto de tales fuentes en la covarianza entre las puntuaciones y un criterio (predictive bias). Por tanto, si hay DIF, se requiere un estudio del porqué difiere el rendimiento el grupo de referencia y el grupo focal, o mayoría y minoría. Si un ítem tiene DIF y un panel de expertos determina que la diferencia de puntuaciones no se debe al constructo medido. El DIF es una aproximación para estudiar el sesgo.

Grupo de referencia/Grupo focal

4

IMPACTO Y DIF

XXNNRKRK AARKRK PPRKRK NNFKFK AAFKFK PPFKFK

0-150-15 400400 4040 .1.1 10001000 200200 .2.2

15-3015-30 10001000 500500 .5.5 10001000 600600 .6.6

30-4530-45 10001000 900900 .9.9 400400 400400 11

TotalTotal 24002400 14401440 .6.6 24002400 12001200 .5.5

5

Dependen TAMBIEN de las diferencias verdaderas en el nivel de rasgo (Impacto)

DIF: Diferencias no explicadas por el nivel de rasgo

Paradoja de Simpson

TIPOS DE DIF

- DIF uniforme y no uniformeUniform DIF Against Focal Group

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3Theta

Pro

b.

of

Po

sit

ive R

esp

on

se

Reference

Focal

Nonuniform (Crossing) DIF

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1.0

-3 -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3Theta

Pro

b.

of

Po

sit

ive R

esp

on

se

Reference

Focal

6

What does alto mean?a. Againb.Alsoc. Countertenord.Highe. In adition

(ejemplo extraído de De ayala, 2009)7

Caso real (Ejemplo 1): Rendimiento

What is the way around this rectangle?

Answer:______

¿Cuál es el contorno del rectángulo?Grupo P(España) P(USA)0-15 0.15 0.2016-30 0.20 0.3031-45 0.23 0.3546-60 0.40 0.6561-75 0.45 0.7076-90 0.48 0.75

RASGO

654321P

rop

orc

ión

de

aci

ert

o

.8

.7

.6

.5

.4

.3

.2

.1

P_ESP

P_USA

8

2 inches

4 inches

Estudio de DIF (Ejemplo 2): AptitudesAbad, Colom, Rebollo, Escorial (2003): Sex differential functioning in the

Raven’s Advanced Progressive Matrices: evidence for bias. P.and Ind. Diff.

La media en Raven suele ser mayor en los hombres, pese a que no es mayor la media en “factor g”

9

Estudio de DIF (Ejemplo 3): personalidad

Reise, S.P., Smith, L. y Furr, R,M. (2001): Invariance of the NEO-PI-R Neuroticism Scale. Multivariate Behavioural Research, 36 (1), 83-110.

Faceta de ansiedad dentro de la escala de Neuroticisimo del NEO-PI-R:Items más fáciles para los hombres:

- A menudo me siento tenso e inquieto- Me preocupa con frecuencia por cosas que podrían salir mal

Items más fáciles para las mujeres:- Tengo más miedos que la mayoría de la gente- Me asusto con facilidad

Funcionamiento Diferencial del test:Ambos se cancelan.

¿Solución? ¿Eliminar ítems? ¿Construir 2 escalas?

10

Aspectos a considerar:

1.) Si el ítem tiene DIF

2.) Si el DIF del ítem es relevante desde el punto de vista práctico

3.) Si el DIF del ítem se traduce en un test con DTF.

11

DIF y multidimensionalidad

12

Peso en un rasgo

secundario alto para el grupo

FOCAL

Media & SD en el rasgo

secundarioIguales en los

dos grupos

Peso en un rasgo

secundario alto para el grupo

FOCAL

SD en el rasgo secundario

Iguales en los dos grupos

Media en el rasgo

secundario menor en el grupo Focal

DIF y multidimensionalidad

13

Peso en un rasgo

secundario alto para el grupo

FOCAL

Media en el rasgo

secundarioIguales en los

dos grupos

SD en el rasgo secundario menor en el grupo Focal

Peso en un rasgo

secundario alto para el grupo

FOCAL

Media & SD en el rasgo

secundariomenores en el

grupo Focal