Psicometría

Tema 6

Tema 6

Validez de las inferencias

Validez de las inferenciasMedición de variables psicológicas

Mediante conductas (indicadores de la variable a medir)

(con la medida obtenida en los indicadores obtendremos la medida en el constructo)

Construcción de instrumentos de medida (tests)

Un test ha de ser:

Fiable:

• Preciso: mediciones libre de errores

• Estable: no hay diferencia entre dos aplicaciones

Válido:

• Que el test mida lo que pretende medir

• Que las inferencias sobre V sean válidas: alto grado de correlación entre las medidas y el valor de constructo

Tipos de validez

• De contenido: el objetivo no es la correlación de la puntuación en un criterio, sino asegurarse de que los ítems son una muestra relevante y representativa del constructo– Test de conocimientos: que todos los contenidos a evaluar estén

representados en el test

• De constructo: garantizar que las conductas observables elegidas son indicadores de ese, y sólo de ese constructo.

• De criterio: grado de correlación con un criterio externo. Puede ser:– Perspectiva: corr.test/criterio a posteriori– Concurrente: corr.test/criterio simultánea– Retrospectiva: corr.test/criterio a priori

Validez de contenido

• Objetivo: evaluar hasta qué punto los ítems del test son una muestra representativa y relevante del constructo

• Especificación del dominio

• Relevancia de los ítems. – Especificar las conductas indicadores del constructo y valorar la relevancia de

cada ítem para cada una (especificación del dominio de cdtas)

– Método de Hambelton: grupo de jueces: mediana

• Representatividad de los items: todas las áreas y aspectos de las mismas han de estar representados (tanto en cuanto a los contenidos como objetivos propuestos)

ejercicio

• Un grupo de 100 expertos han de juzgar la relevancia de 3 items para medir la calidad de la enseñanza.

• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos

items 1 2 3 4 5

A 0 10 10 60 20

B 20 40 30 10 0

C 10 20 50 10 10

ejercicio

• Un grupo de 100 expertos han de juzgar la relevancia de 3 items para medir la calidad de la enseñanza.

• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos con frecuencias acumuladas

items 1 2 3 4 5

A 0 10 20 80 100

B 20 60 90 100 100

C 10 30 80 90 100

ejercicio

• N=100 3 items para medir la calidad de la enseñanza

• Tabla: Valoración asignada a cada uno de los ítems por el grupo de expertos con frecuencias acumuladas

items 1 2 3 4 5

A 0 10 20 80 100

B 20 60 90 100 100

C 10 30 80 90 100

Item A = 3,5 + 50−20

60= 4

Item B = 1,5 + 50−20

402,25

Item C = 2,5 + 50−20

50= 2,9

Validez de constructo

• Objetivo: garantizar que las conductas observables elegidas son indicadores de ese y sólo de ese constructo

• Procedimiento: medir un mismo constructo por varios procedimientos y varios constructos por el mismo procedimiento y hallar coeficientes de correlación

• Validez convergente: correlación alta entre medidas de un mismo constructo por distintos procedimientos

• Validez discriminante: correlación anterior significativamente mayor que la existente entre distintos constructos por el mismo procedimiento

• Validación de constructo es necesario:– Definir constructo y postular hipótesis

– Diseñar instrumento medida adecuado

– Obtener datos empíricos de relaciones entre las puntuaciones obtenidas y vbs. hipotetizadas

Validez de constructo

Estudios de validación de constructo están centrados en el análisis de la estructura (interna y externa) del test. el estudio de las interrelaciones entre las puntuaciones obtenidas por los sujetos en los distintos ítems del test (estructura interna) y en las relaciones entre las puntuaciones obtenidas en el test y otras medidas del mismo constructo obtenidas en medidas externas al mismo pero relevantes (estructura externa).

• Matriz multimétodo-multirrasgo. Validez convergente: grado de relación entre distintos test que miden el mismo constructo. Este indicador servirá como indicador de su validez discriminante.

• Análisis factorial técnica más utilizada para poner a prueba la estructura interna

Validez referida al criterio• Objetivo: estudiar la efectividad con la que se puede pronosticar la eficiencia

en un criterio a partir de la puntuación en un test (normalmente mediante el modelo de regresión)

• Para el estudio de validación referida al criterio– Definir el criterio que se quiere medir– Identificar el indicador que se va a utilizar para obtener la medida del criterio– Seleccionar una muestra representativa de la población– Aplicar test a la muestra y obtener la puntuación para cada uno de los sujetos– Obtener una medida de cada uno en el criterio en el momento de aplicación del test

(concurrente) o después de cierto tempo (predictiva)

• Necesidad de un indicador en el criterio que ha de ser:– Relevante. Necesidad de juicio de expertos– Libre de sesgos– Fiable (estable en el tiempo)– Accesible (en tiempo y coste)

Procedimientos para la validación referida al criterio:– Un predictor y un indicador de criterio (correlación y regresión simple)– Varios predictores y un indicador de criterio (regresión múltiple sig. Tema)– Varios predictores y varios indicadores del criterio (no veremos)– Basados en la teoría de la decisión: selección de sujetos (test y criterios dicotómicos. T7)

Validación 1 predictor/1 indicador

• Coeficiente de validez: coeficiente de correlación entre las puntuaciones obtenidas por los sujetos en el test y las obtenidas en el criterio

Indicadorcriterio Continua

T E S TDicotomizada dicotómica

continua PEARSON BISERIAL BISERIAL PUNTUAL

dicotomizada BISERIAL TETRACÓRICA Biserial φ

dicotómica BISERIALPUNTUAL

Biserial φ φ

Coeficiente biserial puntual

• Varía entre -1 y 1.

• Ej: Media= 5¸ 𝑀edia de los aptos = 5,75 Varianza=2,3

X Y

3 NA

4 A

4 NA

5 NA

5 A

6 A

8 A

rbp =ҧ𝑥𝑃− ҧ𝑥𝑞

𝑆𝑋𝑝𝑞 =

ҧ𝑥𝑃− ҧ𝑥

𝑆𝑋

𝑝

𝑞

5,75−5

1,51

0,57

0,43=0,57

Coeficiente Ф

• Ф =𝑐𝑏−𝑎𝑑

𝑎+𝑏 𝑐+𝑑 (𝑎+𝑐)(𝑏+𝑑)=

•23∗20−4∗3

4+20 23+3 (4+23)(20+3)=

448

24∗26∗27∗23=

448

622,5=0,72

criterio

test

0 1

1 a b

0 c d

• Varía entre -1 y 1.

criterio

test

0 1

1 4 20

0 23 3

Modelo de regresión linealpredictor y criterio continuas

– Coeficiente de validez: rxy si está próximo a +-1 hallaremos recta de regresión para hacer predicciones:

– Recta de regresión de Y sobre X: Y’=a + bX

– Error de estimación: E= Y-Y’

– Error típico de estimación: DT(E) Se representa por Sy.x

Conclusiones del modelo:

1. Media de las estimaciones=medias de Y

2. Media de los errores = 0

3. S2y= S2

y’ + S2y .x Y=Y’+E

4. Coeficiente de determinación = proporción varianza

explicada CD = 𝑟𝑥𝑦2 =

𝑠𝑦′2

𝑠𝑦2

5. Cálculo Sy.x

1= 𝑠𝑦′2

𝑠𝑦2 +

𝑠𝑦.𝑥2

𝑠𝑦2

𝑠.𝑦.𝑥2

𝑠𝑦2 = 1 − 𝑟𝑥𝑦

2 Sy.x = S.y 1 − 𝑟𝑥𝑦2

Modelo de regresión linealpredictor y criterio continuas

– Coeficiente de validez: indica la eficacia del test variable predictorapara estimar el criterio. Cuanto más alto el coeficiente de validez, la estimación será más exacta. Esta viene afectada x

– error de estimación: diferencia entre puntuación en el criterio y la que se pronostica mediante ecuación de regresión. Con C/sujeto comete 1 error

– Varianza residual, varianza error o error cuadrático medio: varianza de todos los errores de estimación cometidos con los sujetos de la muestra.

– En ecuaciones de regresión, para pronósticos se cumplen propiedades:• Media puntuaciones obtenidas en criterio es igual a media de puntuaciones

pronosticadas

• Suma de todos los errores de estimación es cero, y su media también

• Varianza de puntuaciones obtenidas por los sujetos en el criterio es igual a la varianza de las puntuaciones pronosticadas más la varianza de los residuos o varianza error

Intervalo de confianza para Y:

• Debido a errores de estimación hacemos estimaciones por intervalos, asumimos que la distribución es normal, cuya DT viene dada por el error típico de estimación y se establece intervalo en torno a una puntuación pronosticada.

• Pasos:

– Determinar nivel de confianza y buscar puntuación típica asociada– Calcular el error típico de estimación – Calcular el error máximo – Aplicar la ecuación de regresión correspondiente y obtener la

puntuación pronosticada– Establecer el intervalo de confianza

Interpretación de la evidencia obtenida x su capacidad predictora

• Coeficiente de determinación– Proporción de varianza común o asociada entre el test y el criterio

– proporción varianza explicada CD = 𝑟𝑥𝑦2 =

𝑠𝑦′2

𝑠𝑦2

• Coeficiente de alineación – Raíz de la proporción de varianza no explicada = inseguridad (proporción

de azar) que afecta a los pronósticos– Inverso al anterior oscila entre 0 y 1

CA = K =𝑠𝑦.𝑥

𝑠𝑦= 1 − 𝑟𝑥𝑦

2

• Coeficiente de valor predictivo– Proporción de seguridad con la que se hacen los pronósticos 1-CA

– 𝐶 ⋅ V ⋅ P = 1 − 1 − 𝑟𝑥𝑦2

ejercicio

• Estudio de validación relativo al criterio de un test de aptitud mecánica. Los sujetos son posteriormente evaluados por sus profesores de 0-10 utilizando como indicador su capacidad mecánica el tiempo, en horas, que tarda en reparar un coche

ejercicio

• Calcular Calcular coeficiente de validez

• Buena capacidad predictiva

6.473 − 43.61

(6.711 − 612)(6.335 − 432)𝑟𝑥𝑦

=

𝑟𝑥𝑦= 0,73

ejercicio

• Ecuación de regresión

• ത𝑋 =Σ𝑋

𝑁=61

6

• 𝑠𝑥2=

Σ𝑋2

𝑁- ത𝑋2=

711

6− 10,172 = 15,07

• 𝑠𝑦2=

Σ𝑌2

𝑁- ത𝑌2=

335

6− 7,172 = 4,43

• b =rxy

𝑠𝑦

𝑠𝑥= 0,73

2,10

3,88=0,395

• a = ഥ𝑌- ത𝑋 𝑏 = 7,17- 10,17.0,395 =3,15

– Puntuaciones directas: Y=3,15+0,395.X– Puntuaciones diferenciales Y= 0,395.X– Puntuaciones típicas: Zy’=0,73.Zx

• Y’= rxy

𝑠𝑦

𝑠𝑥(X- ത𝑋 )+ ഥ𝑌=

• y’= rxy

𝑠𝑦

𝑠𝑥x= rxy

𝑠𝑦

𝑠𝑥(X- ത𝑋 )

• Zy’= rxy Zx = rxy(X− ത𝑋 )

𝑠𝑥

ejercicio

• Calculamos las tres varianzas

• 𝑠𝑦2 = 4,43

• 𝑠𝑦′2 = 2,31

• S2y.x = 2,12

• Comprobar varianza de puntuaciones de los sujetos en el criterio es igual a varianza de las puntuaciones pronosticadas más la varianza de errores

• S2y= S2

y’ + S2y.x 4,43= 2,31+2,12

• Error típico de estimación

• Sy.x = S𝑦.𝑥2 = 2,12 =1,46

ejercicio

• Intervalo confidencial

• Tenemos los datos para hacer estimación acerca de la puntuación q se pronosticaría a un sujeto en el criterio a partir de su puntuación en el test

• Si sujeto obtiene en el test x=13

• Calculamos nivel confianza 95% Zc=1,96

• Error típico de estimación Sy.x =1,46

• Error máximo =1,96.1,46=2,86– En puntuaciones típicas el error típico de estimación será diferente

– Szy.zx = 1− 𝑟𝑥𝑦2 = 1 − 0,732 = 1− 0,53 =0,69

• Error máximo en puntuaciones típicas 1,96*0,69=1,35

• Y= 3,15+0,395(13)=8,28 puntuac directas

• Y=0,395 (13-10,17)=1,12 puntuaciones dif

• Zy=0,73*0,73=0,53 puntuac típicas

ejercicio

• Coeficiente determinación

• proporción varianza explicada CD = 𝑟𝑥𝑦2 =

𝑠𝑦′2

𝑠𝑦2 =

2,31

4,43=0,52

• Coeficiente de alineación – Raíz de la proporción de varianza no explicada = inseguridad (proporción de azar)

que afecta a los pronósticos– Inverso al anterior oscila entre 0 y 1

CA = K =𝑠𝑦.𝑥

𝑠𝑦= 1 − 𝑟𝑥𝑦

2 =0,69

• Coeficiente de valor predictivo– Proporción de seguridad con la que se hacen los pronósticos 1-CA

– 𝐶 ⋅ V ⋅ P = 1 − 1 − 𝑟𝑥𝑦2 =0,31