Tecnicas Psicometricas 2015 Confiabilidad y Validez

7/25/2019 Tecnicas Psicometricas 2015 Confiabilidad y Validez

1/34

VALIDEZ Y CONFIABILIDAD

Tcnicas Psicomtricas


2/34

PROPIEDADESPSICOMTRICAS- Estndares Tcnicos

VALIDEZ

Se refiere a lo que mide una

prueba y no puede expresarse en

general sino que debe consignarse

el uso particular para el que se

planea utilizar el instrumento

MIDE LA PRUEBA

EL CONSTRUCTO QUEPRETENDE MEDIR?

CONFIABILIDAD

Se relaciona con la

consistencia de la medicin,

al margen de que lo mida exactamente

Una prueba es confiable si es

consistente y precisa

LA PRUEBA FUNCIONA

DE MANERA SIMILAR o CONSTANTEBAJO DIFERENTES

CONDICIONES o CIRCUNSTANCIAS?

(Hogan, 2004)


3/34

CONFIABILIDADRefiere a:

a) la confianza que puede tenerse en una medicin

b) la consistencia de los puntajes obtenidos por las mismas

personas cuando son evaluadas con una misma tcnica, con

tcnicas equivalentes o en situaciones diferentes

NOCIN DE ERROR

TODA MEDICIN CONTIENE CIERTA CANTIDAD DE ERROR

La confiabilidad permite saber hasta qu punto las diferencias en las

puntaciones se deben a diferencias verdaderas existentes en la variable que

intentamos medir o hasta que punto se deben

a errores del proceso de medicin

VARIANZA DE ERROR

(Hogan, 2004)


4/34

TIPOS DE ERROR

ERRORES SISTEMATICOS Genera constantemente una

puntuacin elevada o bajaindependientemente de loscambios en el rasgo medido

Sesgo de medicin: fuente devariacin quesistemticamente afecta a laspuntuaciones de undeterminado grupo (secontrola a travs de

procedimientos de validez)

ERRORES ALEATORIOS Son impredecibles y forman parte

de todo proceso de medicin.

Se controla a travs de losmtodos para verificar la

confiabilidad


5/34

Supuesto fundamental de la medicinpsicolgica (TCT):

La puntuacin observable de una personaen un test es en funcin de doscomponentes:

su puntaje verdadero (no observable)

el error de medicin implcito en la prueba

Oi= Vi + Ei


6/34

* Desde la TCT la confiabilidad: proporcinde la variancia observada de laspuntuacin del test que se debe a la

variancia verdadera

Variancia: dispersin promedio de los

puntajes de test alrededor de la media


7/34

La confiabilidad se verifica mediante uncoeficiente de correlacin entre las medidasrepetidas de un fenmeno.

Un coeficiente de correlacin .80 sugiere queun 64% de la varianza observada se debe a la

variabilidad de la puntuacin verdadera.


8/34

FUENTES DE INESTABILIDADQUE AFECTAN A LA CONFIABILIDAD

CALIFICACIN DE LA PRUEBA: Variaciones en los criterios

de calificacin. Evitar que los contenidos sean tendenciosos oinsuficientes

CONTENIDO DE LA PRUEBA: Variaciones en el muestreo delos reactivos

CONDICIONES DE APLICACIN: Variaciones en laadministracin de la prueba: consigna, condiciones delambiente, tiempo, protocolos, etc

CONDICIONES PERSONALES: Variaciones que pueden darseen los evaluados: motivacin, atencin, preocupacionespersonales, estado de salud, cansancio, sueo, etc.

(Hogan, 2004)


9/34

DIMENSIONES DE LACONFIABILIDAD

1- ESTABILIDAD: en qu grado el puntaje de un individuo est libre deerrores de medicin por cambios personales aleatorios o en lascondiciones de administracin?. Metodo Test- retest y el metodo deformas equivalentes, cuando ambas formas del test son aplicadas conun intervalo de tiempo.

2- CONSISTENCIA INTERNA: en que grado la muestra de items es unafuente de error en la medicion?. En que grado los distintos items midenel mismo constructo o dominio?. Metodo de formas equivalentes, elmetodo de particion en mitades y el metodo del coeficiente alfa deCronbach.

3- CONFIABILIDAD INTER-EXAMINADORES: en que grado la medicionde un rasgo es independiente de la subjetividad del evaluador?.Metodo: Acuerdo inter-juez.


10/34

MTODOS PARA ESTABLECER LA CONFIABILIDAD

MTODO TEST-RETEST Evala: los cambios en las

condiciones personales y en las

condiciones de aplicacinConsiste en repetir

la toma en una segunda

oportunidad

Se obtiene coeficiente de estabilidad:coeficiente de correlacin

INCONVENIENTES

EFECTO DE LA PRCTICA y DE LA MEMORIAEL PROBLEMA DE LA MOTIVACION

DIFICULTAD PARA ESTABLECER TIEMPO ENTRE

TOMAS: atender a caractersticas variable medida yde la poblacin meta del testPOCA PRACTICIDAD

DEPENDE DEL TIPO DE CONSTRUCTO QUE SEMIDA


11/34

FORMAS EQUIVALENTES oPARALELAS

Busca evaluar falta de

confiabilidad debido al

muestreo del contenidoSe preparan dos formasequivalentes de la misma tcnica,

se las administra y se calcula la

correlacin entre los puntajes

obtenidos por las mismas personas

INCONVENIENTES

REDUCE PERO NO ELIMINA ELEFECTO DE LA PRCTICA

COSTOSODIFICULTAD PARA ESTABLECER LAEQUIVALENCIA Y DIFERENCIA ENTRELAS FORMAS


12/34

CONSISTENCIA INTERNA

Consiste en dividir la tcnica en mitadescomparables que luego se correlacionan.

Mtodo: separar tems pares e impares. Poco empleado.

Dificultad para lograr que las mitades obtenidas sean comparables

DIVISIN POR MITADES

METODO DE COVARIANZA DE LOS ITEMS

COEFICIENTE ALFA DE CRONBACH Y KUDER-RICHARDSON

Permiten evaluar si laprueba es homognea

Enpruebas

politmicas

En

pruebasdicotmicas


13/34

Coeficiente Alfa de Cronbach es la media de todaslas correlaciones de particion por mitades posibles.

En que medida los diferentes items miden unamisma variable?

El mtodo ms popular para estimar la consistenciainterna

No es apropiado para los test de velocidad o tiempolimitado (test-retest o formas equivalentes).

Aumenta con el nmero de items (uso adicional delcoef. de correlacin inter-item- entre 0.15 Y 0.50)


14/34

CONFIABILIDAD INTERJUECES:ndice de Kappa, permite estimar la concordancia

entre observadores (superior a .80) cuando se tratade escalas nominales.Coeficiente de Correlacin Intraclase, w de Kendallo kappa modificado, con escalas ordinales o

intervalares.

Se evala la variacin no sistemtica debida

solo a quienes califican la prueba


15/34

Dimensin de laconfiabilidad

Mtodo N de sesiones deadministracin

Estadsticos

Estabilidad Test-retest

Formas paralelas

2

2

r de Pearson

r de Pearson

Consistencia interna Coeficiente alfa deCronbach

Formas paralelas

Particin en mitades

1

1

1

Alfa, Kuder-Richardson

r de Pearson

r y frmula decorreccinSpearman-

BrownConfiabilidad entreexaminadores

Acuerdo entreexaminadores

1 Kappa, w deKendall,coeficiente decorrelacinintraclase


16/34

O= V + E Puntuacin verdadera es terica. Puedo

estimar la ubicacin del PV con un ciertogrado de confianza.

Error estndar de medicin (EEM)

Establecimiento de intervalos de confianza

Cuanto mayor es el coeficiente deconfiabilidad, menor el error estndar demedicin: ms confianza en la precisin delpuntaje observado (menor el intervalo)

Confiabilidad y puntuacionesindividuales


17/34

VALIDEZ

Se relaciona con la investigacin delsignificado terico de las puntuaciones de untest

Constructo terico: representacin abstractade un conjunto de comportamientosrelacionados (ej. personalidad, inteligencia,ansiedad, etc.)


18/34

HISTORIA VALIDEZ: Tres fases

1- OPERACIONAL (hasta 50): predominaperspectiva pragmtica de aplicaciones de lostests. Validez predictiva.

2- TEORA PSICOLGICA: Validez decontenido y de constructo

3- PERODO ACTUAL: se agrega importancia aluso del instrumento


19/34

VALIDEZ DE CRITERIO

VALIDEZ PREDICTIVA

En qu medida es posible anticipar un logroo comportamiento futuro?

MTODO: Se correlaciona el desempeo en la prueba con

algn criterio externo, establecido a futuroVALIDEZ CONCURRENTE

Se establece comparando las puntuaciones de una tcnica con

un criterio externo, pero en forma inmediata y no a futuro

MEDIDAS DECRITERIO

Criterio Externo

Otras Pruebas

Grupos Contrastados


20/34

VALIDEZ CONVERGENTE Y DISCRIMINANTE

Indica una correlacin alta entre

la prueba y algn criterioque se considera mideel mismo constructo

Supone una baja correlacincon constructos distintosal que se pretende medir

Mtodo: multirasgo-multimtodo

Alta correlacin entre los mismos rasgos medidos condiferentes mtodos.

Baja correlacin entre distintos rasgos

medidos con el mismo mtodo


21/34

VALIDEZ DE CONTENIDO

CONSTRUCTO

PRUEBA

ITEMS

Comprende la prueba una

muestra representativa delconstructo que mide?

MTODO: ANLISIS SISTEMTICO DE LOSCONTENIDOS DE LA TCNICA

MTODO: JUICIO DE EXPERTOS


22/34

TIPOS DE VALIDEZ

En qu medida la

prueba mide

el constructo

terico?

MTODOS:

ANLISIS FACTORIAL

CORRELACIN CON OTRAS PRUEBAS

VALIDEZ DE CONSTRUCTO: aspecto fundamental

e inclusivo de las restantes dimensiones de validez

TEORA

CONSTRUCTO

PRUEBA


23/34

ANALISIS FACTORIAL

Flia. de tcnicas estadsticas que ayudan aidentificar dimensiones comunes quesubyacen en mediciones diferentes

Matriz de correlaciones Formas diferentes de extraer los factores de

acuerdo a criterios matemticos

Varios procedimientos de rotacin parafavorecer la interpretacin

Tabla 1.Anlisis Factorial exploratorio del Juego Simn Dice, Parte I. Mtodo de rotacin Varimax.


24/34

Factor I

Inhibicin

Factor II

Activacin

A correr ,441

Tocarse la cabeza ,662

Hacer un giro ,734

Aletear los brazos,847

A saltar,774

Simn dice: a sentarse,333

Simn dice: a correr,441

Aplaudir ,824

Dar un paso adelante ,843

Dar un paso atrs ,872

Tocarse la nariz ,666

Simn dice: Hacer un giro ,747

Simn dice: Aletear los brazos ,775

p g ,

P i d t l t t l d l


25/34

Periodo actual o contextual delconcepto de validez

Importancia del uso del instrumento: nunca sevalida un test en si mismo sino que se verifica lavalidez para determinado proposito.

No se habla de tipos de validez sino de un

proceso de recoleccion de evidencia de validezpara un concepto unitario.

VALIDEZ: adecuacion, significacion y utilidad delas inferencias especificas hechas a partir de laspuntuaciones de un test

FUENTES INTERNAS DE


26/34

FUENTES INTERNAS DEEVIDENCIA

1- Evidencia basada en el contenido del test: esmas factible en pruebas de rendimiento dondese verifica la representatividad y relevancia del

contenido con respecto a objetivos, actividades,conocimientos y destrezas. Metodo: Juicio deexpertos


27/34

2- Evidencia basada en la estructura interna deltest: relaciones entre items y las dimensiones(factores o escalas) permiten confirmar la

existencia del constructo a medir.Metodo: Analisis Factorial


28/34

3- Evidencia basada en el proceso de respuesta

Se analizan los procesos cognitivos

comprometidos en el proceso de respuesta altest (por ej. Razonamiento, tendencia a laconformidad social, diferencias entre subgrupos

varones mujeres, grupos etnicos, etc)Metodo: entrevistas, protocolos de respuesta,procedimiento que analice cualitativamente lasrespuestas .

FUENTES EXTERNAS DE


29/34

FUENTES EXTERNAS DEEVIDENCIA DE VALIDEZ

Analisis de las relaciones de las puntuacionescon variables externas:

- medidas en base a algun criterio que el test

intenta predecir, o- Puntuaciones de otros tests que miden

constructos semejantes o diferentes

FUENTES EXTERNAS DE


30/34

FUENTES EXTERNAS DEEVIDENCIA DE VALIDEZ

1- Evidencia convergente- discriminante: secompara los puntajes con:

- otros test elaborados para medir el mismo

atributo- otros diseados para medir otros atributos

Mtodo: matriz multi-rasgo- multi-metodo

(matriz de correlaciones entre dos o masinstrumentos construidos para medirconstructos semejantes) Anlisis FactorialConfirmatorio.


31/34

2- Evidencia de las relaciones entre las puntuacionesdel test y criterios externos: muy importante encontextos aplicados (predecir)

a) Correlacin bivariada con un criterio: efectividaddel test para predecir el desempeo de unamuestra en una situacin real diferente del test ensi mismo.

Coeficiente producto-momento de Pearson para 2variables continuas

Coeficiente punto-biserial para escalas intervalares

Coeficiente de rangos de Spearman para escalasordinales

2- Evidencia de las relaciones entre las puntuaciones del


32/34

test y criterios externos: muy importante en contextosaplicados (predecir)

b) Correlacin mltiple con un criterio: enfoque multivariado quepermite esclarecer las interrelaciones entre un conjunto depredictores y uno o mas criterios. Finalidades:

- Predecir la pertenencia a un grupo

- Explicar la variabilidad de una variable dependiente- Verificar la estructura de un constructo

Mtodos:

- Anlisis Factorial

- Regresin Mltiple- Anlisis de senderos

- Anlisis discriminante

3 E id i d l i d l


33/34

3- Evidencia de las consecuencias de laaplicacion de tests

Son relevantes para la validez cuando se relacionacon alguna fuente de invalidez:

- Una pobre representacion del constructo

- Existencia de componentes no relevantes para el

constructo

No afectan a la validez la informacion referida a las

decisiones en politicas sociales (diferenciasintergrupales no necesariamente implica una falta devalidez del test)


34/34

Validez ecolgica

Grado en que la prueba tiene sentido en el mbito en elque se aplica.

Insiste por un lado en la semejanza entre las condiciones

de investigacin y las condiciones del mundo real en que

se produce un fenmeno; y por otro, en que el sujetoexperimente la situacin de investigacin con las mismas

propiedades que el investigador supone (Bronfenbrenner,

1977)

Tecnicas Psicometricas 2015 Confiabilidad y Validez

Documents

Transcript of Tecnicas Psicometricas 2015 Confiabilidad y Validez