Confiabilidad y validez en Confiabilidad y validez en psicologíapsicología

Silva, A. (1992). Métodos Cuantitativos en Psicología. Un enfoque metodológico. México: Trillas.

Representación CuantitativaRepresentación Cuantitativa

de Datos Psicológicosde Datos Psicológicos

Dr. Daniel González LomelíDr. Daniel González Lomelí

IntroducciónIntroducción Los métodos de la evaluación conductual Los métodos de la evaluación conductual

consisten en la identificación de unidades consisten en la identificación de unidades de de respuestarespuesta significativas y las variables significativas y las variables que la que la controlancontrolan (organísmicas o (organísmicas o ambientales) con el propósito de entender ambientales) con el propósito de entender y modificar la conducta (Nelson y Hayes, y modificar la conducta (Nelson y Hayes, 1981).1981).

Técnicas de evaluación conductual:Técnicas de evaluación conductual:– EntrevistaEntrevista..– Observación directaObservación directa..– AutoinformeAutoinforme..– AutomonitoreoAutomonitoreo..– Aparatos mecánicosAparatos mecánicos y electrónicosy electrónicos..

Respuestas:

Cognoscitivas

Fisiológicas

Motoras

IntroducciónIntroducción En la evaluación conductual (EC):En la evaluación conductual (EC):

– La confiabilidad de sus instrumentos es una La confiabilidad de sus instrumentos es una condición necesaria para la validación de los condición necesaria para la validación de los mismos.mismos.

– IInformar sobre la validez de los tratamientosnformar sobre la validez de los tratamientos, , puesto que “la probabilidad de detectar una puesto que “la probabilidad de detectar una diferencia en la ejecución entre condiciones de diferencia en la ejecución entre condiciones de tratamiento está en función directa de la tratamiento está en función directa de la confiabilidad de la medida usada”confiabilidad de la medida usada”..

– La utilización de técnicas de La utilización de técnicas de observaciónobservación directadirecta se debe a que son congruentes con los se debe a que son congruentes con los supuestos teóricos de la EC, tales como:supuestos teóricos de la EC, tales como:

Que sea conductualQue sea conductual Que sea empíricaQue sea empírica

Nota: se cuestiona la confiabilidad y validez de las otras técnicas de EC

(autoinforme, entrevista, etcétera).

La observación directa: La observación directa: métodos de registrométodos de registro

La observación conductual directa se La observación conductual directa se lleva a cabo en medios naturales, en lleva a cabo en medios naturales, en situaciones análogas o en ambientes situaciones análogas o en ambientes estructurados, con la finalidad de estructurados, con la finalidad de identificar y cuantificar el segmento identificar y cuantificar el segmento conductual de interés, encontrar los conductual de interés, encontrar los determinantes de los cuales la determinantes de los cuales la conducta es función, así como conducta es función, así como también en la evaluación de los también en la evaluación de los resultados de la intervención.resultados de la intervención.

La observación directa: La observación directa: métodos de registrométodos de registro

En la EC no sólo interesa identificar En la EC no sólo interesa identificar las características relevantes del las características relevantes del segmento conductual que permita segmento conductual que permita describirlo sino, entre otras cosas, la describirlo sino, entre otras cosas, la forma de forma de medirmedir esas características. esas características.

La observación directa: La observación directa: métodos de registrométodos de registro

Cuando deseamos medir alguna Cuando deseamos medir alguna propiedad de la conducta mediante propiedad de la conducta mediante una técnica de observación directa una técnica de observación directa se debe tener en cuenta que la se debe tener en cuenta que la conducta ocurre de forma conducta ocurre de forma continuacontinua, , y que necesariamente debe ser y que necesariamente debe ser segmentada a partir del segmentada a partir del establecimiento de un límite establecimiento de un límite espaciotemporal determinado.espaciotemporal determinado.

La observación directa: La observación directa: métodos de registrométodos de registro

Sin embargo, puesto que la conducta no Sin embargo, puesto que la conducta no sólo ocurre en un espacio temporal sino sólo ocurre en un espacio temporal sino que también se presenta de una manera que también se presenta de una manera particular, es preciso además, especificar particular, es preciso además, especificar la la topografíatopografía de la respuesta. de la respuesta.

Estas propiedades de la conducta, la Estas propiedades de la conducta, la geografía y la topografía, son dos aspectos geografía y la topografía, son dos aspectos muy importantes cuando se va a llevar a muy importantes cuando se va a llevar a cabo la evaluación de una conducta cabo la evaluación de una conducta mediante un instrumento de medición mediante un instrumento de medición observacional directo.observacional directo.

La observación directa: La observación directa: métodos de registrométodos de registro

Una vez que el segmento conductual Una vez que el segmento conductual se ha identificado por medio de la se ha identificado por medio de la determinación del límite determinación del límite espaciotemporal en donde se va a espaciotemporal en donde se va a llevar a cabo la observación y se llevar a cabo la observación y se especifica la topografía, debe especifica la topografía, debe seleccionarse una estrategia para seleccionarse una estrategia para medir el parámetro o los parámetros medir el parámetro o los parámetros de interés.de interés.

La observación directa: La observación directa: métodos de registrométodos de registro

La cuantificación debe efectuarse La cuantificación debe efectuarse sobre el parámetro más relevante sobre el parámetro más relevante para la conducta particular, y puede para la conducta particular, y puede ser la frecuencia, la duración, ser la frecuencia, la duración, distancia de recorrido, ocurrencia por distancia de recorrido, ocurrencia por oportunidades, productos oportunidades, productos permanentes, etcétera.permanentes, etcétera.

ConfiabilidadConfiabilidad

Después de que se mide un evento Después de que se mide un evento conductual cabe preguntarse:conductual cabe preguntarse:– ¿¿RRealmente se está midiendo lo que se quiere ealmente se está midiendo lo que se quiere

medir?medir?– ¿¿RReflejan las medidas obtenidas las eflejan las medidas obtenidas las

variaciones de la dimensión del evento variaciones de la dimensión del evento conductual medido?conductual medido?

La confiabilidad ha de responder:La confiabilidad ha de responder:– ¿¿LLos datos obtenidos mediante un instrumento os datos obtenidos mediante un instrumento

son estables y relativamente predecibles?son estables y relativamente predecibles?– ¿Las mediciones obtenidas por medio de un ¿Las mediciones obtenidas por medio de un

instrumento corresponden a las verdaderas instrumento corresponden a las verdaderas medidas de la propiedad en cuestión?medidas de la propiedad en cuestión?

validezvalidez

confiabilidadconfiabilidad

ConfiabilidadConfiabilidad Instrumento de mediciónInstrumento de medición: cualquier tipo : cualquier tipo

de aparato (contador, relojes, galvanómetro, de aparato (contador, relojes, galvanómetro, entre otros) o procedimiento (entrevista, entre otros) o procedimiento (entrevista, encuesta, registro conductual, etcétera) que encuesta, registro conductual, etcétera) que proporcione datos acerca de la conducta o proporcione datos acerca de la conducta o evento de interés (Nava, 1984).evento de interés (Nava, 1984).

Índices de confiabilidadÍndices de confiabilidad::– Por ensayoPor ensayo o punto por punto o punto por punto. P. Porcentaje de orcentaje de

acuerdo y coeficientes de correlaciónacuerdo y coeficientes de correlación: : JiJi cuadrada, Coeficiente de contingencia C, el cuadrada, Coeficiente de contingencia C, el coeficiente phi, el coeficiente kappa, pi, coeficiente phi, el coeficiente kappa, pi, coeficiente de correlación intraclase.coeficiente de correlación intraclase.

– Por sesiónPor sesión.. Coeficiente de correlación de Coeficiente de correlación de Pearson, confiabilidad para datos Pearson, confiabilidad para datos secuenciales.secuenciales.

ConfiabilidadConfiabilidad

La La JiJi cuadrada: probar la “Bondad de cuadrada: probar la “Bondad de ajuste” de los datos de un ajuste” de los datos de un observador con un conjunto de observador con un conjunto de valores estándar esperados.valores estándar esperados.

FórmulaFórmula X2=Σt Σk (foij – feij)2

i=1 j=1 ------------- feij

foij es la frecuencia observada de la casilla ubicada en el renglón i de la columna j, y

feij es la frecuencia esperada de la casilla ubicada en el renglón i de la columna j. Se obtiene al multiplicar el total marginal del renglón i por el total marginal de la columna j, y dividiendo el producto por el total general (N).

ConfiabilidadConfiabilidad Tabla 3.3 datos hipotéticos de la conducta de un niño de Tabla 3.3 datos hipotéticos de la conducta de un niño de

levantarse de su asiento en el salón de clase.levantarse de su asiento en el salón de clase.

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

30

60

O1

O2

Matriz resultante al codificar los registros de ambos observadoresMatriz resultante al codificar los registros de ambos observadores

Observador 2

0 1

Observador 1

0

4

10

a

11

5

b

15

1

12

6

c

33

39

d

45

16 44 60

El cálculo de la El cálculo de la 22 está dado por la fórmula: está dado por la fórmula:2=Σt Σk (foij – feij)2

i=1 j=1 feij

2= (10 - 4)2 + (5 – 11 )2 + (6 – 12)2 + (39 - 33)2 = 16.36

4 11 12 33Nota: Una de las desventajas de este estimador es que sólo brinda un índice global de asociación para la totalidad de la distribución del código de observación, ya que aun cuando se realiza la contrastación no es posible tener un estimador puntual de la confiabilidad de dichos datos.

El coeficiente de contingencia El coeficiente de contingencia CC brinda una medida de asociación o relación entre los registros de los dos observadores

C = [ 2 ]

N + 2

C = [ 16.36 ] = 0.46

60 + 16.36Conclusión: el acuerdo entre observadores es de 0.46

El coeficiente El coeficiente phiphi ( ( ): mide la asociación entre los ): mide la asociación entre los registrosregistros de los dos observadores de los dos observadores

Fórmula del coeficiente Fórmula del coeficiente phiphi::

= ad – bc

(a + c) (b + d) (a + b) (c + d)

= (10) (39) – (5) (6)

(10 + 6) (5 + 39) (10 + 5) (6 + 39)

= 390 – 30 = 0.52

475200

El coeficiente El coeficiente kappa kappa (( ) ): calcula el acuerdo entre : calcula el acuerdo entre dos observadores al registrar una categoría dos observadores al registrar una categoría conductualconductual

La fórmula de es: = Po – Pc 1 - PcDonde:

Po es la proporción de acuerdos entre observadores, yPc es la proporción de acuerdos por azar.

Po = (10 + 39) = 0.817 60 Pc = [ (16 x 15) + (44 x 45) ] / 60 = 0.617

60 = 0.817 – 0.617 = 0.52

1 - 0.617SS = [ Po (1 – Po) ]

N (1 – Pc)2 Z = SS

SS = [ 0.817 (1 – 0.817) ] = 0.130.13

60 (1 – 0.617)2

Z = 0.52 = 4 0.130.13El valor de probabilidad asociado para este valor de Z conforme a la Tabla A del

apéndice II, es p (Z = 4) = 0.00003, el cual es significativo con igual a .01, ya que p < .001 por lo tanto, se puede concluir que el acuerdo entre observadores es mucho mayor que el que podría esperarse ocurriera por azar.

Coeficientes de confiabilidad cuando se registran más Coeficientes de confiabilidad cuando se registran más de dos categorías conductualesde dos categorías conductuales

A A B B C B A A A A A C C C B A C B B B C A A A A A C C C A

A A A A C C A A A A A C C C C A A C A A A B B A A A A C C B

A B B A C A A B B A A B B A A C A A C A A B B B B B B B C B

B B B B A B A A A A B B B B B C B B C A A C B B C C C C C B

30

60

Tabla 3.4. Datos hipotéticos obtenidos por dos registradores al medir las conductas de agresión (A), acercamiento afectivo (B) y aislamiento (C).

Observador 2

Observador 1

A

A

B C

C

B

15

6

11

7

4

26

21

13

60

9

8

25 18 17

Coeficientes de confiabilidad cuando se Coeficientes de confiabilidad cuando se registran más de dos categorías conductualesregistran más de dos categorías conductuales

Scott propuso un índice que llamó pi ( π ) para estimar el acuerdo entre los observadores, y se calcula por la ecuación π = Po – Pe

1 - PeDonde:

Po es la proporción de veces en que ambos observadores están de acuerdo en la aparición de una categoría conductual (diagonal de la matriz).

Po = 15 + 7 + 9 = 0.517

60

Pe es el acuerdo probable o esperado:

Categoría A observador 1: 26/60 = 0.433

Categoría A observador 2: 25/60 = 0.417

Promedio P1 = 0.425

Pe = (0.425)2 + (0.325)2 + (0.25)2 = 0.349

π = 0.517 – 0.349 = 0.26

1 – 0.349

Coeficientes de confiabilidad cuando se Coeficientes de confiabilidad cuando se registran más de dos categorías conductualesregistran más de dos categorías conductuales

El coeficiente Kappa también puede emplearse para calcular la confiabilidad en este tipo de registros. Calcular Kappa (κ) es más conveniente, puesto que puede contrastarse la significancia del valor obtenido.

Po = 15 + 7 + 9 = 0.517 60

Pc = [(25)(26) + (18)(21) + (17)(13)]/60 = 0.34760

κ = 0.517 – 0.347 = 0.26 1 – 0.347

SS = [ Po (1 – Po) ] N (1 – Pc)2

Z = = 0.26 = 2.62 SS 0.099

SS = [ 0.517 (1 – 0.517) ] = 0.099N (1 – 0.347)2

Conforme a la Tabla de valores de Z, este valor de Z tiene una probabilidad asociada de p (2.62) = 0.0044, que es menor de α = 0.01, por lo que puede concluirse que la confiabilidad obtenida por los observadores al registrar las tres categorías conductuales es significativa.

Cuando se utilizan más de dos observadores y se Cuando se utilizan más de dos observadores y se registra una sola categoría conductualregistra una sola categoría conductual

Coeficiente de Correlación Intraclase (CCI)

CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2]

(T) [ (N)(R) –T] (R - 1)

R es el número de observadoresN es el número de intervalos o sujetos de observaciónT es el total de intervalos en los que se presentó la conductaSi es el total de apariciones de la conducta a través de los

observadores en el intervalo o sujeto (i).

Ejemplo: Seis observadores entrenados registran la conducta de un niño de conversar en el salón de clase, durante 20 intervalos de observación de dos minutos cada uno. Al final de cada intervalo, si el niño estaba platicando los observadores anotaban un 1 en la hoja de registro, y en caso de que no fuera así, un 0. En la Tabla 3.5 se muestra los datos hipotéticos.

Tabla 3.5. Datos hipotéticos obtenidos por seis observadores al examinar la conducta de un niño, cuando platica en el salón de clase.

Intervalos deobservación

Observadores  1 2 3 4 5 6 Si

1 1 1 1 0 1 1 52 1 0 1 0 1 0 33 1 0 0 0 0 1 2

4 1 1 1 1 1 1 65 0 0 0 0 0 0 06 0 0 0 0 0 0 07 0 1 1 1 1 0 48 0 0 0 0 0 0 09 1 0 0 0 0 0 110 0 0 0 0 0 0 011 1 1 1 1 1 1 612 1 1 1 1 1 1 613 1 1 0 0 1 1 414 1 1 0 0 0 1 315 0 1 1 1 1 1 516 0 0 0 1 0 0 117 0 0 0 0 0 0 018 0 0 0 0 0 0 019 1 1 1 0 1 1 520 1 1 1 1 1 1 6  11 10 9 7 10 10 57

CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2]

(T) [ (N)(R) –T] (R - 1)

CCI = 1 – (20)(6) [(57)(6) – (25 + 9 + 4 + 36 + 16 + 1 + 36 + 36 + 16 + 9 + 25 + 1 + 25 + 36) ] =57 [ (20) (6) – 57] (6 – 1)

CCI = 1 – 8040 = 0.55

17955

En conclusión, se puede afirmar que la confiabilidad con la que estuvieron registrando los seis observadores la conducta de un niño de conversar en el salón de clase fue de 0.55