T4 PSCMTR_La Fiabilidad de Las Puntuaciones

PSICOMETRA (GRADO 2011 2012)TEMA 4 LA FIABILIDAD DE LAS PUNTUACIONES

1.- ORIENTACIONES DIDCTICASLa segunda parte del proceso es la evaluacin de la calidad mtrica de prueba piloto y construccin del instrumentto de medicin final.Seguimos las normas de los Standards for Educational and Psychological Testing (AREA/APA/NCME, 1999) donde se utiliza el trmino test para referirse a todos estos instrumentos de evaluacin.La primera parte del anlisis de los test ha sido por un grupo de expertos o jueces, pero el siguiente (basado en anlisis objetivo) lo har de las respuestas que han emitido estos jueces. Evaluado la calidad de los tems y eliminados los que no considerados adecuados, se sigue con anlisis de la calidad global incluyendo la evaluacin de precisin y estabilidad de las medidas (fiabilidad) y pertinencia de las inferencias realizadas (validez).Se trata de dar respuesta a la pregunta de hasta qu punto las puntuaciones obtenidas por los sujetos estn afectadas por errores de medida y en qu cantidad.2.- EL PROBLEMA DEL ERROR DE LA MEDIDAFiabilidad y precisin de instrumentos es requisito fundamental en medicin Psicolgica, por tanto evitar errores de medida:

Se define el error de medida como diferencia entre la puntuacin emprica obtenida por un sujeto en un test y su puntuacin verdadera, entendiendo por test cualquier instrumento de medicin psicolgica.n veces se aplica un test a un sujeto. Casi seguro que sus puntuaciones son muy parecidas pero no iguales. O bien por encima de puntuacin verdadera o bien por debajo. Se ha de intentar que la puntuacin obtenida de el mayor grado de inf real sobre la caracterstica objeto de estudio.A veces estos errores son debidos a cambios que operan en el propio sujeto, como su motivacin, contestacin al azar en algunos tems, condiciones fsicas en que se encuentre (errores de carcter aleatorio e impredecibles)

3.- EL MODELO LINEAL DE SPEARMANEste modelo establece que puntuacin emprica en un test (X) se considera COMBINACIN LINEAL de 2 componentes: (V)como puntuacin verdadera y (E) como error de medida que le afecta => X = V + EAsume los supuestos:1. Puntuacin verdadera (V) es la Esperanza matemtica de puntuacin (X)

V = E (X)Si a un sujeto se le pasa un n infinito de veces un mismo test, la MEDIA de todas las puntuaciones observadas (X) sera la puntuacin verdadera del sujeto.2. Correlacin entre punt. verda-deras de n sujetos en un test y los errores de medida, es igual a 0 ( cero)

r ve = 0No existe relacin entre los errores de medida y puntuaciones verdaderas.3. Correlacin entre los errores de medida que afectan a las punt.de los sujtos en dos test diferentes ( X1 y X2) es igual a 0 ( cero)

r e1e2 = 0

e1 => representa errores de medida en test 1 y e2 => en el n 2No exite razn para pensar que los errores cometidos en uno de ellos influyan

en el otro

A partir de los supuestos del modelo de Spearman, se deducen :Goretti Glez PSICOMETRA tema 4 1

E = X - V 1.- Error de medida es:diferencia entre la punt.emprica obtenida sujto ysu puntuacin verdadera. E -> error de medidaX -> puntaucin emprica del sujtoV -> puntuacin verdaderaE (e) = 0 2.- Esperanza matemtica de los errores demedida E (e) Esperanza matemtica de los errores, siempre que vaya E seguido de

parntesis es (esperanza)

X = V3.- La media de la punt.emprica es igual a la media de las puntuaciones verdaderas

Cov (V,E) = 0 4.- Covarianza entre puntuaciones verdaderas y los errores es igual a 0Sx = Sv + S e

5.- Varianza de punt.emprica es igual a la suma de la varianza de punt.verdaderas ms la varianza de los errores Sx -> varianza de punt.empricas.Cov (X,V) = Sv = var (V)

6.- Covarianza entre punt.empricas y punt.verdaderas es igual a varianza de puntuaciones verdaderas Sv -> varianza de punt.verdaderasr xe = S e Sx

7.- CORRELACIN entre punt.empricas y los errores es igual al cociente entre la desviacin tpica de los errores y desv.tpica de punt.empricasSe -> Desv.tpica de los errores

Cov (X1, X2) = Cov (V1, V2)

8.- Covarianza entre punt.empricas de dos tests(X1, X2) es igual a la covarianza entre las

punt.verdaderas (V1, V2)

4.- TEST PARALELOS. CONDICIONES DE PARALELISMOUna misma muestra de sujtos atiende a dos tests, X y X. Se consideran PARALELOS si adems de cumplirse los supuestos, se cumplen:1.- Las puntuaciones VERDADERAS de los sujetos sean iguales en ambos test; establecindose: X = V + Ey X= V + E2.- La VARIANZA de los errores de medida es la misma => S e = S e De estas condiciones de paralelismo, se deduce:1.- La media de las punt.empricas obtenidas en 2 tests supuestos PARALELOS es la misma.

X 1= X2 = .... = Xk

Esperanza mat.errores de medida es 0 y punt. Verdaderas son iguales en ambos tests, se da la igualdad entre las MEDIAS de punt.empricas

2.- Las VARIANZAS de las punt.empricas son iguales

Sx1 = Sx2 = ... = Sxk

Sx = Sx Sx = Sv + S eSx = Sv + S e

Sx1 = Sx2 = ... = Sxk

3.- CORRELACIN entre punt.empricas obt en 2 test paralelos ( rX, X) es igual al cuadrado de correlacin entre puntuaciones empricas y punt. verdaderas ; o bien, alcociente entre var de punt. Verdaderas y var de las punt. empricas

rX, X = rX V = S v coeficiente Sx

ndice de FIABILIDAD de un test

4.- Dos o ms test paralelos, las intercorrelaciones entre c/dos de ellos son iguales

rX1 X2 = rX1 X3 = rX2 X3 = ...... = rXj Xk5.- INTERPRETACIN TERICA DEL COEFICIENTE DE FIABILIDADDefinicin de COEFICIENTE DE FIABILIDAD de un test :...correlacin entre las punt.empricas obtenidas por una muestra de sujetos en DOS FORMAS

PARALELAS del test.

Goretti Glez PSICOMETRA tema 4 2

Tambin expresado como cociente entrre la varianza de las punt verdaderas y la var de las punt.empricasY ser interpretado entonces como :PROPORCIN de varianza de las punt.empricas de los sujetos que se debe a la varianza de las punt.verdaderas (es explicado por ella)Si la PROPORCIN AUMENTA, disminuye el error de medida => Si rxx = 1 (totalidad) => el Error = 0 ; y a la inversa, si PROPORCIN disminuye el error AUMENTA => rxx = 0 , entonces la varianza de errores de medida ser igual a varianza de puntuaciones empricas, (vamos,.. un caos!!)EJEMPLO: Calcular COEFICIENTE de fiabilidad de un test de razonamiento abstracto, sabiendo que la varianza verdadera de dicho test es el 80% de su varianza emprica.

rxx = S v Sx

Si rxx = rX V y rX V = > rX V = rxx rX V ===> NDICE DE FIABILIDAD de un testTambin expresado en funcin de la varianza de los errores: rxx = rX V = S v = 1 - Se = 1 - rX e Sx SxLa correlacin entre punt.empricas y los errores de medida rX e se puede obtener a partir de correlacin entre punt.obtenidas por los sjtos en las dos formas paralelas de un test. Se es la PROPORCIN de la DESVIACIN TPICA de las punt.empricas que se debe a la DESV.tpica de errores S x

=> r xe = 1 r xxRESUMIENDO: El coeficiente de fiabilidad segn Spearman se define como la correlacin entre las puntuaciones obtenidas por una muestra de sujetos en dos test paralelos, nos proporciona informacin para poder estimar la cuanta del error de medida

6.- TIPOS DE ERRORES DE MEDIDA

1- ERROR DE MEDIDA

Se = Sx 1 r xx

Diferencia entre puntuacin emprica y verdadera. E = X V(Medida individual del error que sjto comete. Diferencia existente entre la obtenida en el test y el nivel real del sujto en la Variable que medimos en el test) A la desv.tpica de los errores de medida se le llama ERROR TPICO. Este es una medida GRUPAL del error pues es calculado para todos los sujetos de la muestra.** En el formulario hay que tener en cuenta que si se nos da enunciado con punt. Tpicas hay que acudir a la frmula concreta para ello. Pg. 20

2- ERROR DE ESTIMACIN DE PUNT.VERDADERA

Svx = Sx 1 r xx r xxSvx = Se r xx

Diferencia entre la puntuacin verdadera del sjto y la verdadera PRONOSTICADA mediante modelo de regresin. E = V - V El ERROR TPICO es la desviacin tpica de los errores de estimacin Puntuaciones directas y diferenciales ; para puntuaciones tpicas: Szv zx = Sze r xx 3- ERROR DE SUSTITUCIN

E = X1 - X2 Se define como la Diferencia entre las punt.obtenidas por sjto en un test y las obtenidas en otro paralelo. Error tpico como desviacin tpica de los errores de sustitucin: Sx1 x2 = Sx 1 r xx 2 = Se 2

4- ERROR DE PREDICCIN

E = X1 X1 X1 = r12 Sx 1 (X2-X2) + X1

Sx 2

Diferencia entre las punt. Obtenidas por un sujeto en un test (X1) y las pronosticadas en ese mismo test (X1) a partir de una forma paralela (X2) X1 se obtiene mediante RECTA DE REGRESIN de X1 sobre X2 La desv.tpica define al ERROR TPICO DE PREDICCIN: Pg. formulario 21 para puntuacin directas o diferenciales y para puntauciones tpicas en pgina 22


Varianza verdadera de dicho test es el 80% de su varianza emprica, por tanto 80% = 0.80 de Sx .Sustituyo en la frmula y obtengo rxx = 0,80 ( varianza de las punt.empricas es VERDADERA MEDIDA DEL RASGO de razonamiento abstracto, pues punta casi, casi cerca del 1, por ello el error es nfimo de 0,20 20%)

COEFICIENTE deFIABILIDAD

Coeficiente de fiabilidad

7.- FACTORES QUE AFECTAN A LA FIABILIDAD

7.1. Longitud del testLa longitud de un test, el n de tems que lo componen es factor influyente en la fiabilidad. Cuanto ms tems representativos del rasgo, mayor ser la informacin que se obtenga de ese atributo. El error menor. La fiabilidad aumentar si aumenta la longitud del test. No obstante, si se reduce el n de tems y los resultados aportan escasa disminucin de fiabilidad, es aconsejable el hacerlo ms corto.Si los tems a aadir son a los existentes paralelos, se puede evaluar mediante la ecuacin de SPEARMAN-BROWN. R xx = nr xx = nr xx 1 + nrxx rxx 1 + (n-1)rxxECUACIN GENERAL SPEARMAN - BROWNn = EF EIEn caso longitud DOBLE Rxx = 2r xx 1 + r xx

R xx => coeficiente de fiabilidad del test despus de aumento o disminucin, de tantas n veces (n de veces de aumento o disminucin, no es n de tems)r xx => coeficiente de fiabilidad del TEST INICIAL EF => nmero de elementos finales del testEI => nmero de elementos inciales Al reducir la longitud , n ser menor a 1EJEMPLO:Se aplica test de percepcin visual compuesto por 50 tems a una muestra de sjtos y se obtiene un coeficiente de fiabilidad de 0,60.Si lo incrementamos en n veces ocurrira: (donde n poda ser 2 veces; 3 veces; 4 .....y sucesivamente)R xx = nr xx = 2 0,60 = 0,75; para n= 3 veces dara 0,82; para n=4 veces sera 0,86;...1 + (n-1)rxx 1 + (2-1)0,60 Pero cunto habra que ampliarlo para que sea suficientemente fiable y hasta qu punto razonable ese aumento?La ecuacin general da respuesta despejando la n. En otro caso se nos dice de querer aumentar (clave) la fiabilidad en un 0.93 n = Rxx( 1 - r xx ) = 0,93( 1 0,60) = 8,85 ~ 9 Sera el n de veces adecuado. rxx( 1 Rxx) 0,60(1 0,93)Habra que aumentar en 9 el n de tems inicial ( 50 x 9) = 450 tems (largusimo.....ufff)Quizs lo mejor es revisar el objetivo para el que se construye el test, mejorar los tems y analizar valor precisin aceptable. Si lo que deseamos es reducir el n de tems que componen un test (100 elementos)para saber cuntos debemos eliminar, se aplicara la misma frmula averiguando el n de veces de disminucin y luego se despejara de la frmula de elemntos finales (EF) y elementos iniciales (EI), descontando el resultado a los 100 tems iniciales.La relacin entre las varianzas emprica y verdaderaa del test modificado y del test inicial:SV = n sv

SX= n sx [ 1 + ( n -1) rxx]

SV => Varianza de punt.verdaderas del test FINAL o modificado ( OJO: maysculas)sv = > Varianza de punt.verdaderas del test INICIAL sin modificar (minsculas)

SX => Varianza de punt.empricas en TEST MODIFICADO o final. sx => inicial 7.2. Variabilidad de la muestraUn test puede presentar tantos coeficientes de fiabilidad como muestras distintas en las que se calcule. El coeficiente vara segn la HOMOGENEIDAD del grupo, siendo MENOR cuanto ms homogneo o con desv.tpica de las puntuaciones emprricas obtenidas de menor tamao. Partimos de dos grupos 1 y 2. (Tener en cuenta que rxx ser igual a coef.fiabilidad y a partir de ahora le pondremos a las xs sus nmeros , donde r11 para coef.fiabilidad de grupo 1; y r22 para grupo 2 )Si las desv.tpicas de un test se mantienen constantes, (independientemente de la variabilidad del grupo determinado) se establece que sus varianzas sean iguales: Se1 = Se2Y se asume despejando la siguiente: r22 = 1 - S 1 ( 1 - r11 ) = 1 - ( Se / Sx) S2


8.- LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDASUn test debe medir el RASGO que pretende (vlido) y las punt.empricas obtenidas al aplicarlo deben ser estables ( sean siempre lo ms parercidas posibles en diferentes ocasiones) y precisas (libre de errores).La fiabilidad del test es lo que se entiende como estabilidad de medidas, o grado de acuerdo entre las punt. obtenidas por los sujtos. Mtodos basados en ello son: el de formas paralelas y el test- retest8.1. Mtodo de las formas paralelas1 construir dos test ( X y X) paralelos. (muy costoso y desventaja,claro)2 aplicarlo a la muestra de sujetos representativos y en n considerable3 calcular el coeficiente de correlacin de Pearson entre las punt.de los sjtos en ambas formas.

rXX = rx1x2 = N X 1 X 2 -X 1 X 2 [N X - ( X) ] [N X(X)]donde X1X2 son puntuaciones obtenidas por los sujetos. Este coeficiente de fiabilidad tambin se le llama COEFICIENTE DE EQUIVALENCIA ( rXX ) Este mtodo presenta mayor control de las condiciones en la que los sjtos realizan las pruebas. 8.2. Mtodo test retestAplicable el MISMO TEST en dos momentos diferentes. Se calcula el coef.fiabilidad mediante la correlacin entre punt.empricas en ambas pruebas. X1X2 corresponden ahora a las punt.obtenidas en las pruebas del mismo test

rXX = rx1x2 = N X 1 X 2 -X 1 X 2 [N X - ( X) ] [N X(X)]Presenta la ventaja de ser solo uno el utilizado (menos trabajo de construccin de test) Si los rasgos a medir pudieran cambiar con el tiempo, se tomar en consideracin, pues no es que se aprecie inestabilidad en puntuaciones sino realmente el cambio manifiesto del valor en el rasgo.Inconvenientes de su aplicacin:1 Memorizacin por parte de sjtos de algunos tems. El que los memorice y responda influido por ello en la s.prueba afectar al valor del coef.fiabilidad.2 Intervalo de tiempo entre aplicaciones. Incrementarlo para minimizar el efecto de aprendizje o mem. Pero un incremento excesivo aumentar posibilidad de que el rasgo vare debido a fact.sociales,afectivos o incluso evolutivos, dndose infraestimacin del coef.fiabilidad.3 La actitud del sujeto. Su grado de cooperacin puede producir punt.baja o alta, dando resltado de fiabilidad + bajo + alto.El coeficiente de fiabilidad obtenido se denomina tambin COEFICIENTE DE ESTABILIDAD.

9.- LA FIABILIDAD COMO CONSISTENCIA INTERNAOtras formas de estimacin de fiabilidad es la que requiere de mtodos de solo UNA APLICACIN. Dentro de ellos exiten los que dividen al test en dos mitades y los que analizan con VARIANZA y COVARIANZA de las rsptas de los sjtos a los tems . Estos aportan un ndice de CONSISTENCIA INTERNA.9.1.Mtodos basados en la divisin del test en dos mitadesEstos presentan ventaja sobre los anteriores. Se utiliza nica aplicacin de un test, por lo que la estimacin de la fiabilidad no se ve afectada por intervalos de tiempo entre una y otra tarea; por la memoria, el aprdzaje,... Supone ahorro de tiempo y esfuerzo.Una vez pasado el test a muestra, con las punt.obtenidas se divide el mismo en dos mitades (labor no sencilla) y


se calcula la correlacin entre las punt.empricas en ambas partes y se termina aplicando frmula de correccin.Las mitades deben ser similares en dificultad y contenido, para que su correlacin entre puntuaciones se aproxi- me al valor mximo.Conseguir igualdad de valores de la MEDIA y la DESV.tpica es posible con estos agrupamientos , aunque se corre el peligro de agrupar tems anlogos en un solo lado.La construccin del test es importantsima. Son diversas las formas:1.- Dividir el test por la mitad. Puede presentar inconvenientes , porque muchos test se forman por tems cuya dificultad va en incremento, lo que supondra no mitades equivalentes; otros con contenido heterogneo, las mitadas tampoco seran comparables, y test con n elevado de tems, exige tener en cta.el cansancio de los sujetos.2.- Definir forma con elementos pares y otra con los impares (reduccin problemas anteriores)3.- Ordenar los tems en funcin de su grado de dificultad, calculando ndice de dificultad de c/tem y subdividirlos en pares e impares.4.- Asignacin de los tems al azar en cada mitad (no recomendable)Si los tems fueran de dificultad creciente, apareceran ordenados, por lo que lo mejor es la divisin en dos mitades y asignar a cada una elementos pares e impares.- Spearman - BrownLa fiabilidad se estima con las frmulas de - Rulonpara mtodos de las dos mitades - Guttman - Flanagan9.1.1. Spearman-BrownMtodo ms utilizado. Basado en la relacin entre la longitud de un test y el coeficiente de fiabilidad.1 Presentacin del test a la muestra. 2 Divisin en dos mitades paralelas. 3 (comprobar sup.de paralelismo) 4 Clculo de correlacin entre punt.obtenidas por los sujetos en ambas partes. 5 La CORRELACIN es el COEFICIENTE DE FIABILIDAD DE CADA MITAD del test,

rXX = rx1x2 = N X 1 X 2 -X 1 X 2 [N X - ( X) ] [N X(X)] y 6 Clculo de fiabilidad del TEST COMPLETO (frmula de Spearman-Brown en caso de longitud doble) Rxx = 2 r xx 1 + r xx

9.1.2. RulonLa frmula de Rulon de 1939 es utilizada para met.de dos mitades (an sin serlo), cuando las dos partes se consideran tau-equivalentes ( -equivalentes) o esencialmente -equivalentes .Los -equivalentes son aquellos en los que las punt.verdaderas de una muestra son iguales en ambas formas, pero las varianzas de error no tienen porqu serlo.Los esencialmente -equivalentes son los que la puntuacin verdadera de c/sujto en uno de los test es igual a la del otro ms una constante.Tanto en uno como en otro caso, las varianzas son iguales (se cumple el supuesto)1 Clculo de valores de punt.en los tems pares e impares, 2 clculo de las diferencias entre ellas, 3 clculo de su varianza (la de la dif.entre punt)r xx = 1 - S d Sx

Un coeficiente de fiabilidad de aproximadamente 0,61 se considera MEDIO, pues el valor mxim es la unidad (1)Goretti Glez PSICOMETRA tema 4 6

Rxx => coeficiente de fiabilidad del testr xx=> coeficiente de fiabilidad de cada una de las mitades

Ejercicio en pg.193 libro

R xx ==>Y lo que nos d ser el que emplearemos en el clculo de la del test completo.

Hallar la MEDIA de punt.directas o empricas (X) Hallar Varianzas de ellas: Cociente de sumatorio de punt.al cuadrado, entre n de sujetos; y a esto restarle la media al cuadrado. Hallar DIFERENCIAS ( d = P I) entre puntuaciones par e impar y HALLAR su MEDIA y su VARIANZA , pues lo necesitamos para aplicar en esta frmula.

9.1.3. Guttman FlanaganFLANAGAN (37) y GUTTMAN (1945) llegaron a la frmula equivalente de Rulon independientemente. Proporcionan el mismo valor. Su frmula: Rxx= 2 [ 1- (S p + S i ) ] SxSp y Si = > varianzas de las puntuaciones

en los tems pares e impares Sx => varianza emprica del test total.9.2.Metodos basados en la covariacin entre los temsEsta forma requiere ANLISIS de la VARIANZA y COVARIANZA de las respuestas de los sujetos a los tems, proporcinando el coeficiente una estimacin de CONSISTENCIA INTERNA de los tems del test.Seran: Coeficiente alpha de Cronbach y dentro de este las variantes de KR20 y KR21 de Kunder-Richardson, como casos particulares del alpha, si los tems que forman el test son dicotmicos.

9.2.1. Coeficiente alfa ( ) de CronbachIndicador de consistencia interna. FIABILIDAD del test en funcin del n de tems y de la proporcin de la varianza total del test debida a la COVARIACIn entre los tems. Cuanto ms covaren entre s los tems mayor ser la fiabilidad del test.

n= nmero de elementos o temsSj = s suma de las varianzas de los elementos del test (tems)cov(jk) = suma de las covarianzas de los temsSx = varianza de las puntuaciones en el testr = cociente entre la covarianza media de los tems y su varianza media (ojo con este)Frmula general: n

= n cov (jk) = n(r) = n Sx - Sj = = n 1 - Sj j k

n 1 Sx 1 + (n - 1) r n - 1 Sx n - 1 Sx

(Vaya....vaya... con la formulita!, y total para hallar COEFICIENTE DE ALPHA ( ) . Aqu la cuestin es que dependiendo de los datos que nos aporte el problema en su enunciado se recurre a una de ellas o a otra. Tenemos tambin la que utiliza para varianzas compuestas ( igual a la suma de las varianzas de todas las variables ms la de las covarianzas; o bien igual a la suma de las varianzas ms los n(n-1) trminos de covarianza media (va ...fcil!) : media Sx = Sj + n(n-1) rjk Sj ( rjk Sj => cov. Media entre elementos )

EJEMPLO: Siendo la COVARIANZA MEDIA entre todos los elementos de un test igual a 0,25, averiguar el coeficiente de fiabilidad del test sabiendo que est compuesto por 10 tems y que la VARIANZA emprica es igual a 40 puntos.Para hallar el coef.de fiabilidad de un test tengo que emplear la siguiente: = n 1 - Sj pero tengo que hallar Sj para poder seguir. Conozco ciertos datos y empleo la ltima expuesta n - 1 Sx

Utilizo la frmula y sustituyo datos: 40 = Sj + 10( 10-1) 0,25 => 40 = Sj + 90 0,25 => - Sj = 22,5 -40 (cambio signos = > Sj = 22,5 + 40 = 17,5 sustituyo y hallo el coeficiente de fiabilidad = 10 / 9 ( 1 17,5/40) = 0,62Goretti Glez PSICOMETRA tema 4 7

Hallar la MEDIA de punt.directas o empricas (X) Hallar Varianzas de ellas: Cociente de sumatorio de punt.al cuadrado, entre n de sujetos; y a esto restarle la media al cuadrado. Hallar P e I => puntuaciones par e impar y HALLAR sus MEDIAS y sus VARIANZAS , pues lo necesitamos para aplicar en la frmula.

9.2.1.1. Estimador insesgado de A medida que aumenta el nmero de sujetos en la muestra, el valor del alpha encontrado y el valor del estimador insesgado se aproximan, siendo iguales cuando N --> A partir de 100 sjetos hay pocas diferencias.Cuando => , cuando N -> Estimador Valor de N => nmero de sujetos de la muestra alfa ( no es media de alfa, ojo, ... sino el est.insesgado) insesgado alfa de Cronbach

= (N 3) + 2 N - 1

9.2.1.2. El coeficiente como lmite inferior del coeficiente de fiabilidad Alpha se puede considerar como estimacin del lmite inferior del coeficiente de fiabilidad de un test , siendo su valor menor o igual que el coef.de correlacin rxx (Guttman, 1945) rxx El coeficiente alfa es igual al coef.fiabilidad rxx cuando los tems del test sean paralelos.Otro estimador del lmite inferior del coeficiente de fiabilidad es el COEFICIENTE DELTA ( ) Guttman : n n cov(j,k) suma de las covarianzas de los tems = 1 Sj + (n - 1) Sx Sx Varianza del test total Sj => Varianza del elemento j del test

n => nmero de elementos del test o tems. cov(j,k) = Sx Sj => suma de covarianzas de los tems.9.2.1.3. Inferencias sobre Alfa nos proporciona estimacin de la fiabilidad de un test basado en consistencia interna. A principios de los aos 60 del s.XX los problemas referidos a las INFERENCIAS acerca del coeficiente alfa, desarrollaron teora muestral. KRISTOF y FELDT , derivaron un estadstico de contraste de alfa, distribuyndose segn F de Snedecor, y por el cual se determina INTERVALO CONFIDENCIAL para el valor de alfa en la poblacin.

Inferenciassobre alfa

1- Inferencias para un solo valor de alfa: estadstico F de Feldt

H 0 : = 0 H1 : 0

2- Inferencias sobre alfa para muestras independientesH 0 : = = H1 :

3- Inferencias sobre alfa para muestras dependientesH 0 : 1=2 H1 : 1 2

F = 1 1- Fgl = 1 Fgl invertdo

-> Dos muestras independientes: Estadstico W de FeldtW = 1 1 Se distribuye segn F con (N1-1) y (N2 1) grados libertad 1 - 2-> k muestras independientes: Estadstico de contraste deWoodruff y Feldt UX1 = [(1i) u ] Se distribuye con chi y k-1 gl S -> Dos muestras dependientes: Estadstico t de Studentt N- 2 gl t = ( ) N2 4(1)(1)(1r) -> K Muestras dependientes : Estadstico de Woodruff y Feldt UX2 = [(1 i ) u ] S - C


EJEMPLO: Muestra de 150 sujetos se les ha aplicado test y se ha obtenido un valor de alfa = 0,75 (este es el de cronbach) al aplicar la frmula con estos datos se ha obtenido un alfa insesgado de igualmente 0,75pero si en vez de 150 sujetos fueran 20 , el estimador insesgado sera de 0,78 (diferencia mayor).

Alfa = es el valor de alfa propuesto por Hiptesis para la poblacin. Alfa con el acento , sera el valor obtenido en la muestraN => n sujetos y n n de elementos o temsgl = grados de libertad (N-1) , (n-1) (N -1 ) Ejemplo: Nivel de confianza = 1 -alfa = (95%) 1- /2 = 1 - 0.95/2= 0.05/2 = 0,025 lmite inferior y 1- 0,025= 0,975 Fgl 0,025, (n 1)(N-1) ; (N - 1)

Se distribuye con chi X y k-1 glK => n de muestras o coeficientes

a) Inferencias para un solo valor de : Estadstico F de FeltF = 1 Valor de alfa en la poblacin 1- Valor de alfa en la muestra

F (N 1) , (n -1)(N 1) grados de libertad donde N nmero de sujetos en la muestra

y n n de tems del test.- Buscar en la tabla de pginas 104 y ms segn el nivel de confianza que se indique.

Para un ejemplo donde se nos de nivel de confianza 95%, debemos recordar que nivel de confianza es igual a 1 = n.c ( es el nivel de significacin)Si nos indican que n.c. = 1 - => se despeja = 1 n.cEn este caso sera = 1 - 0,95 = 0,05 Si es un contraste bilateral, y hubiera que hallar el intervalo con sus lmites, no nos queda otra que este nivel de significacin dividirlo en dos y todo esto para poder tener claro a qu tabla nos dirigiremos para resolver el problemilla. En este caso que nos queda 0,05 / 2 nos dara para repartir un 0,025 por el lado inferior y de 1 restar la misma parte por el lado superior, obteniendo 0,975Buscaramos en tabla correspondiente, en este caso la n 5 donde f 0,975 y si en el ejemplo N = 60 y n = 35 Obtendremos grados de libertad como:

F (N 1) , (n -1)(N 1) = F (60-1) , (35-1)(60-1) = F 59, (34 59) = F 59, 2006Vamos a la tabla correspondiente y nos fijamos en columna que figure 59 o el q sigue 60 y en fila buscaramos 2006, pero como no figura ser ir a Como resultado 1,39Para hallar el lmite inferior que en nto.caso sera un F 0,025 y al no figurar tabla correspondiente, se trabaja con la anterior pero al ser justo a la inversa, los datos de los grados sern al revs y dividiendo a la unidad 1 = 1 F 0,025, 2006,59 1,48Este 1,48 sale de tabla 5, pero buscamos grados en columna de 2006 ; y en la fila los grados 59 , siendo ahora a la inversa.

Con los datos obtenidos se despeja el alfa de la frmula de arriba y se halla intervalo con los valores lmites para ese nivel de confianza de 0,95 95%Al querer contrastar hiptesis nula igual a 0, y comprobando que el alfa est comprendido entre 0,76 y 0,89, la Ho no est en el intervalo por lo tanto se rechaza.

b) Inferencias sobre alfa para muestras independientes,donde se dan para dos muestras o bien, para k muestras.W = 1 1 Para dos muestras indpdtes 1 - 2

W = > comprueba la Ho: 1=2 Se distribuye con segn F(N -1),(N -1)1 y 2 => valores del coef.alfa en cada una de las muestrasN => n de sujetos en una y otra muestra.

Un W = 1,18 dentro de intervalo entre 1,58 y 0,63 y queriendo comprobar diferencias entre coeficientes con n.c.95%, evidenciara que no hay diferencias significativas pues se encuentra entre los valores lmites del intervalo. Se acepta la Hoc) k muestras independientes

UX1 = [(1 i ) u ] S

Para ms de dos muestras indpdtesHo: = = H1: (si fueran tres)

UX1 Se distribuye como chi (X) con n -1 gr.libertadK nmero de muestras o coeficientesu => MEDIA de los coeficientes transformados

donde, u = (1i) K

S = MEDIA aritmtica de varianzas de cada muestra = S i K Si = 2 9 (Ni 1) ( 1 i)

N = N i ( n i 1 ) ante estos ejercicios la cosa es que habr ni + 1 que empezar por el final para poder lle- gar al principio d) Inferencias sobre alfa para muestras DEPENDIENTES: con dos muestras y K muestras

Para dos muestras: t = ( ) N2

4(1)(1)(1r)

Distribucin segn t de Student con (N 2) grados libertadr => correlacin al cuadrado entre las puntuaciones de los sujetos en los dos test.Ojo, que parece que en los enunciados de problemas si nos ponen n.c 95%, hay que considerar siempre BILATERAL por lo que sera 0,975 y 0,025


Para k muestras dependientes:UX2 = [(1 i ) u ] S - C

- Sencillez de aplicacin y precisin, Woondruff y Feldt (1986) => UX2- Distribucin igual a X con (k -1) grados de libertad- K => n de muestras o coeficientes.

u. = [1] K ( 1 - i ) S = MEDIA aritmtica de varianzas de cada muestra = S i KSi = > 2 9 (Ni 1) ( 1 i)

N = N( n 1) n = K n + 1 1 / ni

C = MEDIA de las covarianzas Sjk; y C => covarianza entre las puntuaciones obtenidas en el test por la muestra j y la k C = S jk = 2r jk 9( N -1) ( 1 - j)( 1 - k )

C = Sjk = S jk k(k -1) / 2

9.2.2 Casos particulares del coeficiente (dicotoma en tems)Supuesto que los tems sean dicotmicos: cuanto mayor sea el nmero de tems, y cuanto mayor sea el valor de sus covarianzas, mayor ser su CONSISTENCIA INTERNA y mayor la FIABILIDAD. (KUNDER y RICHARDSON) La ecuacin se basa en que los tems del test son dicotmicos, y vendrn puntuados con un 1, en el caso de acierto o de rspta.favorable para medir VV no cognitivas; y con un 0 el fallo, o respuesta no favorable.Alfa puede expresarse:

= n 1 - Sj n - 1 Sx

Por otra parte la V dicotmica cualquiera hcon proporcin de aciertos ph, y proporcin de errores qh siendo :

qh = 1 - ph => Sh = ph qh

para hallar la proporcin ph = n de aciertos n de tems

FRMULA GENERAL, sera: KR20 = n 1 - pJ qJ n - 1 SxEn formulario pag.30 equiparan

KR20 = r xx COEFICIENTE DE FIABILIDADqJ => proporcin errores del elemento jpj => proporcin aciertos del elemento jpJ qJ => Varianza del elemento jSx => Varianza total del test

KUNDER RICHARDSON 21 : Para los test donde los TEMS son dicotmicos y presentan adems la MISMA DIFICULTAD.

KR21 = n 1 - npq = r xx n - 1 Sx MEDIA de las punt.empricasSimplificando: X - X KR21 = n 1 - n n 1 Sx Ejercicio de la pgina 211 no tiene desperdicio .Tener en cuenta que en KR20 y en KR21 si los resultados no son iguales aplicados a dos test concretos, significa que no son estrictamente paralelos.


9.3.Coeficientes basados en anlisis factorial de los tems: Theta ( ) y Omega ()Los coeficientes Theta de Carmines y Zeller (79) y Omega de Heise y Bohrnstedt (70) constituyen indicadores de la CONSISTENCIA INTERNA de los tems y una APROXIMACIN al coeficiente alpha. Basados en el ANLISIS FACTORIAL de los tems.Theta ( ) = n 1 - 1 n 1

Omega = 1 S j S i h j = cov (Xj , Xh) j= 1 h=1 j hOtra forma ms sencilla de expresar COEFICIENTE OMEGA es en funcin de las CORRELACIONES entre los tems:Omega = 1 n - h j n + 2 r jh r jh => representa correlacin entre los tems j y hEn general , para los mismos datos se verifica que La igualdad se verifica cuando los tems son paralelos.9.4.El coeficiente beta ( ) de RajuEn el caso de que un test se divida en varios SUBTEST , con desigual nmero de tems, y se quiera estimar consitencia interna a partir de las punt.totales de los sujetos en los subtest, el coeficiente alfa presenta el problema proporcionando un valor infraestimado de fiabilidad. El coeficiente beta (RAJU) proporciona una estimacin adecuada para un test compuesto de varios subtest. Se aplica cuando se desconocen las punt.de los sujetos en los tems de los distintos subtest. En caso de conocer los valores es mejor emplear el alfa. k . = Sx - Sj Sx => varianza de las puntuaciones globales de la BATERA Sx[1(nj/N) ] k => nmero de subtest de la batera. Sj => varianza del subtest j Ojo a los clculos de los cuadrados en(nj/N)

pues es del cociente de c/u y node suma total 10.- ESTIMACIN DE LA PUNTUACIN VERDADERA DE LOS SUJETOS EN EL ATRIBUTO DE INTERSTrataremos el cmo hacer estimaciones acerca del valor de la puntuacin verdadera de un sujeto en un test y del error que afecta a las punt.empricas . No se calcula exactamente pero s establecer el intervalo en el que estara con det.nivel de confianza.1 Mediante DESIGUALDAD de Chebychev2 Basado en la distribucin normal de los errores3 Basada en el modelo de REGRESIN LINEAL de mnimos cuadrados (mi favorito!!!!)

10.1 . Estimacin mediante la desigualdad de ChebychevSi no existe supuesto sobre distribucin de punt.empricas o de errores se aplica este:1 - 1 => NIVEL DE CONFIANZA utilizado kSe = error tpico de medida o desv.tpica En todos los casos nos pedirn la PUNTUACIN VERDADERA para utilizar estas frmulas.Goretti Glez PSICOMETRA tema 4 11

= primer evaluador de la matrz factorial. Varianza explicada por el primer factor antes de la rotacin(uy!!! qu recuerdos de Diferencias Ind.) Es indicador de UNIDIMENSIONALIDAD de los tems.Cuanto mayor sea la VARIANZA que explica el primer factor, mayor ser el valor de theta y la intercorrela - cin entre los tems , distribuyndose en una sola di - mensin)

Hj = COMUNALIDAD ESTIMADA DEL TEM J cov (Xj , Xh) suma de las covarianzasentre los tems j y h

K P{|XV| K (Se) } 1(1/K)

EJEMPLO: Se administra a una muestra de 200 sujetos un test de razonamiento numrico, se obtuvieron los siguientes resultados: X = 52Sx = 7 y rxx = 0,73 . Estimar la puntuacin verdadera de un sujeto que obtuvo en el test una puntuacin emprica de 65 puntos. Nivel de confianza 95% .Para todo K P{|XV| K (Se) } 1(1/K)s que el nivel de confianza es de 95% = 0,95 = 1(1/K) por lo que despejo: 1- 1/ K = 0,95 => ( K 1 ) / K = 0,95 => K 1 = 0,95 K => K= (0,95 K) + 1 1 K 0,95 K = 1 ==> K(1-0,95) = 1 ==> K 0,05 = 1 ==> K = 1 ==> K = 20 = 4,47 4,50 0,05Sustituyo en la formulita P {|XV| K (Se) } 0,95

P {|65V| 4,5 (Se) } 0,95 Nos falta hallar el Se por lo que utilizamos la correspondiente :Se = Sx 1 rxx => 7 1 0,73 = 3,64 As que P {|65V| 4,5 3,64 } 0,95 P {|65V| 16,38 } 0,95 Lo que significa que para un n.c de 0,95 95% la diferencia de puntuacin emprica a VERDADERA ser menor o igual a 16,38 ( as habr que estimar que si a 65 le sumo y le resto 16,38, obtendr el intervalo que quiero) -16,38 + 65 = 48,62 Y 65 + 16,38 = 81,38P {48,62 V 81,38 } 0,95Se considera un intervalo confidencial y dentro estar la puntuacin verdadera. El intervalo anterior es grande, por lo que se deduce que coef.fiabilidad era bajo, o bien que este mtodo de Chebychev no ha considerado el tipo de distribucin de las punt.empricas.

10.2 . Estimacin basada en la distribucin normal de los erroresAsume una distribucin NORMAL de los errores de medida (media 0, y varianza Se) y de las punt.empricas condicionadas a un det valor de V ( punt.verdadera)Pasos a seguir para hallar punt.VERDADERA:1 Fijar nivel de confianza (n.c) y determinar Zc correspondiente de la tabla distrb.normal (n.c95%=>1,96 de Zc)2 Calcular el error tpico de medida o desv.tpica ( Se)Se = Sx 1 rxx , para puntuaciones DIRECTAS o DIFERENCIALESSe = 1 rxx , para puntuaciones tpicas

3 Calcular el error mximo ( E max) que estamos dispuestos a admitir, afectado tamb por n.c.adoptado:E max = Zc Se o bien e max = ( Sze ) Zc4 Calcular el intervalo confidencial donde se encontrar la punt.verdadera:IC = X Emax en puntuaciones directasIC = x Emax ojo, x (minscula) en puntuaciones diferencialesIC = Zc e max en puntuaciones tpicas.Con este mtodo el INTERVALO CONFIDENCIAL se reduce. Su ventaja es que clarifica que la punt.emprica est afectada por cierto error de medida. (criticado por NUNNALY 1970)***Importante: si coef.fiabilidad es bajo, y con poca precisin de medida, los intervalos confidenciales son amplios. Y si los coef.de fiabilidad se aumentan, los valores extremos se acercan reduciendo el intervalo aproximndose a la punt.verdadera del sjto.

10.3 . Estimacin basada en el Modelo de RegresinEntre la correlacin de las punt.empricas y los errores de medida no hay igualdad a cero (0) pues se ven afectadas las puntuaciones por cierto componente de error producindose SESGO.Rxe = 1 rxx siempre ser igual o mayor de 0. Recordando, su valor mximo es cuando la fiabilidad del test sea nula ( rxx = 0 ) coincidiendo punt.empricas con errores; y su valor ser mnimo cuando la fiabilidad del test sea 1 y no existan errores, coincidiendo las empricas con las verdaderas.Goretti Glez PSICOMETRA tema 4 12

Como la correlacin, en cualquier caso es positiva, las puntuaciones empricas estn sesgadas, y por ello se establece el INTERVALO CONFIDENCIAL a partir de las punt. Verdaderas estimadas, calculadas mediante modelo de REGRESIN LINEAL segn criterio de mnimos cuadrados.Ecuaciones de la RECTA DE REGRESIN de Y sobre X

- PUNTUACIONES DIRECTAS:

Y= rxy ( Sy/ Sx) (X X) + Y

Ecuaciones de la RECTA DE REGRESIN para estimar el

VALOR de punt.VERDADERA de V sobre X

1.- Ecuacin de regresin en punt.directas de V sobre X:

V= rxxX + (X rxxX) V = rxx (X X) + X- PUNTUACIONES DIFERENCIALES:

x = ( X - X)

2.- Ecuacin de regresin en punt.diferenciales :

v = r xx x v= r xx (X - X)- PUNTUACIONES TPICAS:

ZX = X - X Sx

3.- Ecuacin de regresin en punt.tpicas:

Zv = r xx Zx

Ante cualquier problema que nos indique hallar PUNTUACIN verdadera de un sujeto, se aplicara la frmula segn los datos que nos hayan dado( bien directas, diferenciales o tpicas). Una vez hallado la estimacin de la punt.verdadera se fijar el intervalo confidencial a un n.c.det previamente establecido, donde se encuentre la p.v Adoptar n.c. Y detrminar el valor zeta crtico (tabla de la distr.normal Zc) Calcular error tpico o desv.tpica Svx = Sx 1 rxx rxx (para puntuaciones directas o diferenciales)

Szvzx = 1 rxx rxx (para puntuaciones tpicas)

Calcular los errores mximo de estimacin. Emax = Zc Svx ; y para tpicas Emax = Zc Szvzx Establecer el intervalo confidencial a partir de la estimacin puntual obtenida al aplicar las ecuaciones de regresin: V Emax ; .v Emax Zv Emax

11.- FIABILIDAD DE UNA BATERA DE TESTSe trata de clculo de fiabilidad de la batera en funcin de los coeficientes de fiabilidad, varianzas y covarianzas de los SUBTEST que la van a conformar..rtt = 1 - Sj Sj rjj ST ST = varianza de la batera TOTAL rjj = COEFICIENTE de fiabilidad del SUBTEST j. Vaya por ........,acabose el temita, je,je !...... y ahora no me apetece sino echarme un

baile as a lo Robert Williams y lo Tom Jones

http://www.youtube.com/watch?v=PYR4sUF2Ok4


T4 PSCMTR_La Fiabilidad de Las Puntuaciones

Documents

Transcript of T4 PSCMTR_La Fiabilidad de Las Puntuaciones