1

Evaluacin Psicolgica I

Ficha de Ctedra -Uso Interno.

Tema 4 PARTE 1 b)

Normas tcnicas: VALIDEZ

Prof. Acua, M. I.

CONCEPTO DE VALIDEZ La validez se basa en la seguridad con que pueda apoyarse cualquier inferencia que se haga a

partir de los resultados de un test o tcnica psicolgica.

En las normas sobre el uso de los tests, se define a la validez como el grado en que las pruebas

acumuladas apoyan que la interpretacin propuesta a partir de las puntuaciones del test es adecuada

para la finalidad pretendida (AERA, APA, NCME, 1999, p. 11).

Oliden (2003) define a la validez como el aspecto esencial de la medicin en psicologa, relacionado

con la investigacin del significado terico de las puntuaciones obtenidas.

Nunally (1991) por su parte, expresa que las puntuaciones evidencian validez cuando se verifica que

el test realmente mide el constructo que pretende medir, justificando adecuadamente las inferencias

realizadas en funcin a sus resultados.

Messick (1989) seala que: la validez es un juicio evaluativo integrado de la medida en que la

comprobacin emprica y el fundamento terico sustentan la adecuacin y propiedad de las

inferencias y acciones basadas en las puntuaciones de los tests u otras formas de evaluacin (p.13)

La validez, al igual que la fiabilidad, no es una cualidad que caracteriza a los tests en abstracto, ni a

un test especifico ni a ciertos datos de un test, sino que es un problema de los juicios que pueden

hacerse sobre las puntuaciones del test en la medida en que stas se empleen para un determinado

propsito y en un determinado contexto (Urbina, 2007).

Momentos histricos del concepto

En la historia del concepto de validez, pueden identificarse tres etapas principales (Tornimbeni, Prez

& Olz, 2008; Urbina, 2007). En la primera, llamada operacional, se destaca una perspectiva

pragmtica de las aplicaciones de los tests, donde se considera a la nocin de validez como sinnimo

de correlaciones entre las puntuaciones de un test con un criterio que el test intenta predecir. Una

segunda etapa, surge con la publicacin del artculo de Cronbach y Meehl (1955) quienes presentan

el concepto de validez de constructo y se caracteriz al mismo como el aspecto fundamental e

inclusivo de las restantes dimensiones de validez: de contenido y de criterio. Finalmente, el perodo

actual se caracteriza por una extensin de la concepcin anterior, a la que se agrega la importancia

2 otorgada al uso propuesto para el test. Esto significa que, en realidad, nunca se valida un test en s

mismo sino que su validez se verifica para determinados propsitos (Tornimbeni et al., 2008, p. 103).

En esta etapa la validez esta vinculada al proceso de recoleccin de diferentes tipos de evidencia

para un concepto unitario.

El producto final del proceso de validacin es la medicin de un constructo que a) est bien definido

en trminos de una variedad de observaciones y, eventualmente b) se correlacione con otros

constructos de inters.

Fuentes de evidencia de validez

Oliden (2003) diferenci las fuentes de evidencia interna y de evidencia externa.

Fuentes internas de evidencia

Se relacionan con el test y sus componentes (tems) en s mismos. La lgica implcita de las

evidencias incluidas en esa categora se relaciona con el primer objetivo del proceso de validacin

de las puntuaciones del test, es decir, medir un constructo con un significado univoco, estrictamente

definido.

1) Evidencia basada en el contenido del test

Este tipo de evidencia se obtiene demostrando que el contenido del test es una muestra

representativa del dominio o constructo sobre el cual se desea realizar una inferencia (Murat, 1985).

Esta evidencia es ms factible de ser obtenida en pruebas de rendimiento donde se necesita verificar

la representatividad y relevancia del contenido con respecto a los objetivos, actividades, etc. En

cambio en los tests que evalan rasgos latentes la representatividad es menor en relacin con el

dominio de comportamiento que intentan medir, porque no se basan en un dominio de conocimiento

especfico como el caso de los tests de rendimiento.

Aunque en las fases iniciales de elaboracin de los tests de rasgos latentes, tambin se evala la

adecuacin y congruencia del contenido, la validacin final de los tests que miden constructos se

relaciona ms con los otros tipos de evidencia (Anastasi & Urbina, 1998, citados por Tornimbeni et

al., 2008). Sin embargo, en la construccin de todo tipo de test, se incluyen especificaciones

adecuadas del dominio de contenido que el test intenta representar.

Segn la APA para reunir evidencia de contenido, los mtodos pueden ser:

juicio de expertos que permite confirmar la relacin entre los tems del test y el dominio o

constructo a medir.

Procedimientos lgicos y empricos facilitados por la tecnologa computacional, que permite

generar tems que difieran sistemticamente en varias pautas del dominio.

De acuerdo a Martnez Arias (1995) las operaciones para realizar la validacin relacionada con el

contenido son:

a. Definicin del dominio de conocimiento o comportamiento a medir

b. Identificacin de expertos en ese dominio

3

c. Juicio de los expertos acerca del grado en que el contenido del test es relevante y

representativo. Tambin pueden juzgar la calidad formal de los tems utilizando escalas

numricas, y se les solicita observaciones complementarias.

d. Procedimiento estadstico para resumir los datos de la fase precedente.

No debe confiarse exclusivamente en el juicio de expertos para evaluar la calidad y pertinencia

de los tems, siempre es recomendable un estudio piloto con una muestra pequea de

caractersticas semejantes a la poblacin meta del test (Tornimbeni et al., 2008).

2) Evidencia basada en las estructura interna del test

Siguiendo a Tornimbeni et al. (2008), este tipo de evidencias indican si las relaciones entre los

tems y las dimensiones (factores, escalas) permiten confirmar la existencia de los constructos que

el test pretende medir. Es necesario verificar si los tems se agrupan estadsticamente del modo en

que se predice tericamente, y para ello el anlisis factorial es el procedimiento adecuado.

El anlisis factorial es un mtodo para agrupar las variables (tems, por ejemplo) que se

correlacionan fuertemente entre s y cuyas correlaciones con las variables de otros agrupamientos

(factores) es menor (Aiken, 2003).

3) Evidencia basada en el proceso de respuesta

El anlisis emprico y terico del proceso de respuesta del test puede suministrar evidencia

relacionada con la congruencia entre el constructo medido y la naturaleza del rendimiento o

respuesta emitida por los examinados (APA, 1999, citado por Tornimbeni et al., 2008). Por

ejemplo, en un test de razonamiento numrico es importante determinar si los examinados estn

realmente razonando para emitir sus respuestas, en lugar de seguir algn algoritmo estndar

(p.108), o verse influidos por la tendencia a la conformidad social (p. 109).

Se obtiene este tipo de evidencia, mediante entrevistas con los examinados, protocolos de

respuestas o cualquier procedimiento que permita realizar un anlisis cualitativo de las

respuestas individuales a los tems del test (p.e. anlisis de contenido).

Fuentes externas de evidencia

El anlisis de las relaciones de las puntuaciones del test con variables externas al mismo test es otra

fuente de evidencia. Las variables externas pueden ser las medidas de algn criterio que el test

pretende predecir, as como las puntuaciones de otros tests que miden constructos semejantes o

diferentes.

4) Evidencia convergente-discriminante

Tornimbeni et al. (2008) lo explican del siguiente modo: Al construir un test (p.e. una escala para

medir inestabilidad emocional) se deben comparar los puntajes obtenidos, tanto con otros tests

elaborados para medir el mismo atributo, como con los diseados para medir otros atributos. La

4

lgica de ambos procedimientos complementarios es evidenciar que el test en cuestin mide el

constructo al correlacionarse con otros tests reconocidos que miden el mismo constructo y no

correlacionarse con tests que miden constructos diferentes, pero relacionados.

La estimacin sistemtica de esta evidencia de validez puede realizarse mediante la matriz

multirrasgo-multimetodo con la que se obtiene una matriz de las correlaciones entre dos o ms

instrumentos construidos para medir constructos semejantes. La finalidad de este procedimientos

es demostrar que las correlaciones entre los test que miden un mismo rasgo (p.e. escalas de

ansiedad de dos tests diferentes) son ms elevadas que las correlaciones entre constructos

diferentes medidos por un mismo test (p.e. entre ansiedad y depresin del MMPI), y ms elevadas

aun que las correlaciones entre constructos diferentes medidos por tests diferentes (p.e entre la

ansiedad medida por un inventario y la depresin medida por otro). Otro mtodo para recoger

evidencia convergente-discriminante es el anlisis factorial confirmatorio.

5) Evidencia de las relaciones entre las puntuaciones del test y criterios externos.

Tornimbeni et al. (2008) destacan que este tipo de evidencia es importante en los contextos

aplicados de la psicologa en los que se busca predecir de manera precisa un determinado

comportamiento o desempeo a partir de las puntuaciones de un test. De acuerdo al nmero y

tipo de variables (nivel de medicin) predictoras y dependientes (criterios) pueden utilizarse

diferentes anlisis estadsticos dentro del modelo lineal general.

Veremos los procedimientos ms utilizados cuando se trata de una variables predictora y un

criterio (correlacin bivariada) y cuando se utilizan diversas variables para la prediccin de un

criterio (correlacin mltiple). Los diseos de investigacin para verificar la utilidad predictiva de

un test incluyen mtodos multivariados como el anlisis de regresin mltiple o el anlisis de

senderos (path analysis).

Entre los factores que pueden afectar las relaciones entre los puntajes de un test y las medidas

de criterio, los tres ms importantes son: las diferencias de grupo (sexo, edad, nivel

socioeconmico, etc.), variabilidad de las respuestas al test y al criterio y confiabilidad del test y

del criterio.

Actividad obligatoria: Realice la lectura del artculo: Estudios Psicomtricos del Self-Directed

Search (Forma E) en una muestra de estudiantes Argentinos (Cupani & Saurina, 2012). Disponible en PEDCO y en Evaluar http://revistas.unc.edu.ar/index.php/revaluar/index

IMPORTANTE. Reflexione sobre el objetivo, la metodologa y los resultados de la investigacin,

establezca relaciones con los conceptos trabajados en el tema 4.

6) Evidencia de las consecuencias de la aplicacin de test.

5

Es importante diferenciar la evidencia que es relevante para la validez, de aquellas que solo tiene

significacin para las decisiones en polticas sociales. En tal sentido, existe inters por conocer

las causas de las diferencias grupales observadas en los puntajes de tests en mbitos tales como

la seleccin laboral. Aunque la informacin acerca de las consecuencias de la aplicacin de tests

puede influir sobre las decisiones a propsito del empleo de tests, tales consecuencias no afectan

directamente la validez de las interpretaciones de las pruebas. Los juicios de validez o invalidez

de los tests en relacin con las consecuencias de su administracin dependen de una mayor

investigacin sobre las fuentes de dichas consecuencias (APA, 1999, citado por Tornimbeni et

al., 2008). Es decir, esta evidencia es relevantes cuando se relaciona con alguna fuente de

invalidez tales como la pobre representacin del constructo o la existencia de componentes no

relevantes para el constructo.

Generalizacin de la validez: el meta-anlisis

El meta-anlisis transforma los resultados estadsticos de investigaciones empricas

independientes a una mtrica comn, provee una estimacin simple de la fortaleza de la relacin

entre determinadas variables y permite comprobar estadsticamente si una serie de estudios

apoyan o refutan las hiptesis de investigacin.

Este mtodo comienza con la reunin, clasificacin y codificacin de las investigaciones

existentes sobre un tema. El propsito de la codificacin de los estudios particulares es verificar

si los resultados difieren en funcin de las caractersticas de los mismos.

Los resultados de las investigaciones podran ser difciles de comparar directamente por eso se

los debe transformar en una medida comn. Las dos medidas ms utilizadas son los niveles de

significacin (informa si los resultados han ocurrido por azar) y las medidas de tamao del efecto

(indica la intensidad de la relacin o del efecto de inters).

Una vez transformadas las unidades de anlisis de un meta-anlisis a una escala comn, se

aplican tcnicas estadsticas que permiten resumir los resultados particulares de las diferentes

investigaciones en un ndice global. El meta-anlisis se utiliza para generalizar la evidencia

predictiva de un test en relacin con un criterio, y puede emplearse para obtener evidencia de las

relaciones hipotetizadas entre constructos y criterios evaluados por diferentes instrumentos.

Como actividad optativa proponemos para aquellos que puedan leer el texto en ingls:

http://www.people.vcu.edu/~mamcdani/Publications/McDaniel%20et%20al%201994%20JAP%2

0Validity%20of%20interviews.pdf un interesante estudio sobre la entrevista laboral desde el

meta anlisis.