UNIVERSIDAD NACIONAL EXPERIMENTAL

“ FRANCISCO DE MIRANDA”

VICE-RECTORADO ACADÉMICO

ASOCIACIÓN VENEZOLANA DE EDUCACIÓN MATEMATICA

CAPÍTULO FALCÓN (ASOVEMAT)

Lcdo. Anthony Ramos

SANTA ANA DE CORO, FEBRERO DE 2010

CAPITULO FALCÓNASOVEMAT

1. Validez

2. Tipos de Validez

3. Factores que afectan la validez de una prueba

4. Importancia de la Validez

5. Confiabilidad

6. Procedimientos para estimar confiabilidad

5.1 Confiabilidad de reaplicación de pruebas (test-retest): Correlación de Pearson

5.2 Confiabilidad de formas equivalentes (Pruebas Paralelas): Spearman- Pearson

CONTENIDOCONTENIDO

5.3 Método División por mitades: Confiabilidad Pearson / Spearman – Brown. Confiabilidad Rulón. Confiabilidad Guttman.5.4 Confiabilidad de consistencia

interna (Homogeneidad) Confiabilidad KUDER –RICHARDSON (KR

20) Confiabilidad Alfa DE CRONBACH6. Importancia de la validez y ejemplos.

CONTENIDOCONTENIDO

Longitud Peso Tiempo Psicoeducativas

Es necesario probar empíricamente que el instrumento es VÁLIDO en todos los casos

¿Qué características deseamos que prediga? CRITERIO

La exactitud con que pueden hacerse mediciones significativas y adecuadas con un instrumento, en el sentido que mide realmente el rasgo que pretende medir (Ruiz; 2003)

Ausencia se sesgos. Representa la relación entre lo que se mide y aquello que realmente se quiere medir (Palella y Martins; 2006)

Grado en que un instrumento realmente mide la variable que pretende medir (Hernández, Fernandez y Baptista; 1998)

TIPOS DE VALIDEZTIPOS DE VALIDEZ

¿Cuan representativo es el comportamiento elegido como muestra del universo que se intenta representar?

¿Qué significado tiene el comportamiento con respecto a los atributos del individuo que son de interés para la medición?

¿Hasta donde se puede predecir la actuación de un sujeto a partir de su ejecución en la prueba?

Validez de ContenidoValidez de Contenido

Validez de ConstructoValidez de Constructo

Validez PredictivaValidez Predictiva

EVIDENCIA RELACIONADA CON EL CONTENIDOEVIDENCIA RELACIONADA CON EL CONTENIDO

Se determina hasta donde los itemes de un instrumento son representativos de las variables que se desea medir (grado de representatividad). Palella y Martins; 2006

No puede ser expresada

cuantitativamente (Ruiz; 2003)

Método: Validez de ContenidoTécnica: Juicio de Expertos

Ítems Congruencia Claridad Tendenciosidad Observaciones

Si No Si No Si No

12456789

1011

..........

..........

..........

..........

..........

..........

______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

EVIDENCIA RELACIONADA CON EL CONSTRUCTOEVIDENCIA RELACIONADA CON EL CONSTRUCTO

¿Hasta donde un instrumento mide realmente un determinado rasgo latente o una característica de las personas ? ¿Con cuanta eficacia lo hace? (Ruiz; 2003)

Verifica que el instrumento contenga todas las dimensiones, indicadores y variables que se reflejan en la operacionalización de variables. (Palella y Matins; 2006)

1. Ruiz (1988) desarrolló la escala AC 2000 que mide autoconcepto de alumnos de 6to.

grado

Método: Validez de ConstructoTécnica: Análisis Factorial

Con la Técnica Análisis Factorial comprobó que las dimensiones

(Autoconcepto: social, personal y escolar) tenían soporte empírico en

los datos

EVIDENCIA RELACIONADA CON EL CONSTRUCTOEVIDENCIA RELACIONADA CON EL CONSTRUCTO

2. Información Correlacional. Ruiz (1988)

Instrumento AC - 2000

Coeficiente de Correlación 0,79

Item Factor 1A. Social

Item Factor 2A. Escolar

Item Factor 3A. Personal

3 0.51 4 0,52 1 0,53

6 0,63 8 0,43 2 0,48

16 0,49 12 0,45 5 0,58

22 0,48 25 0,54 7 0,43

26 0,64 28 0,57 9 0,57

27 0,54 29 0,55 10 0,56

30 0,40 13 0,41

Escala Auto -.Estima de Coopersmith (1959)

EVIDENCIA RELACIONADA CON LA PREDICCIÓNEVIDENCIA RELACIONADA CON LA PREDICCIÓN

La PAA es un instrumento

Válido

Coeficiente de Correlación entre X e Y:

Spearman: 0,83 Pearson: 0,87

Método: Validez PredictivaTécnica: Análisis Correlacional

Alumno PAA (X) L (Y)

Egledis 650 75

Ronny 710 87

Frank 682 85

Victor 700 83

Vanesa 691 80

Liévana 705 82

Ruben 600 81

Maybeth 690 90

Julio 709 90

Marbelis 715 78

Establece la validez de un instrumento de medición comparándola con algún criterio externo. Entre más se relacionen los resultados del instrumento con el criterio,

mayor será su validez (Silva; 2009)

FACTORES QUE AFECTAN LA VALIDEZFACTORES QUE AFECTAN LA VALIDEZ

1. Construcción del Instrumento

2. Administración y Calificación

3. Respuestas de los sujetos

4. Naturaleza del Grupo o Criterio

a) Instrucciones imprecisas o vagasb) Estructura de la oración demasiado difícilc) Preguntas que sugieren las respuestas d)Ambigüedad en la formación de los reactivose) Pruebas demasiado cortasf) Ítems incongruentes con el contenidog) Ordenamiento inadecuado

a) Tiempo insuficiente para responder b) Ayuda adicional a algunos sujetos c) Subjetividad en la puntuación

a) Bloqueo de los sujetos al responder b) Situaciones externas

Principio: La validez es específica con respecto a un grupo en particular

Ej: comprensión de lectura el alumnos 6to grado y 9no. Grado

IMPORTANCIA IMPORTANCIA DE LA VALIDEZDE LA VALIDEZ

¿Cómo sabemos que estamos haciendo la inferencia correcta?

Consciencia de usar instrumentos

técnicamente bien calibrados

Un instrumento que no tiene una validez

demostrada no vale la pena aplicarlo

Construir un instrumento técnicamente bien hecho, implica en si

mismo una investigación

CONFIABILIDADCONFIABILIDAD

Se refiere al grado en que su aplicación de un instrumento repetida al mismo sujeto produce iguales resultados” Hernández, Fernández y

Bastita (1998) “(p.21)

Se refiere a la consistencia de los resultados. En el análisis de la confiabilidad se busca que los resultados de un cuestionario concuerden

con los resultados del cuestionario en otra ocasión. Menéndez (2009)

Se refiere al grado en que su aplicación repetida al mismo sujeto u objeto produce iguales

resultados. Silva (2009)

Reproducibilidad Estabilidad y

PredictibilidadSeguridad Precisión

Consistencia Interna u

Homogeneidad

CONFIABILIDADCONFIABILIDAD

Supuestos Básicos: La persona no cambia

-Diferentes tiempos (Test – Retest)-Diferentes observadores (Confiablidad interobservador)

- Diferentes versiones (Confiabilidad en paralelo)

Muñoz, (2009)

Grupo homogéneo: Confiabilidad bajaGrupo heterogéneo: Confiablidad alta

TIPOS DE CONFIABILIDADTIPOS DE CONFIABILIDAD

MÉTODO TÉCNICA PROPÓSITO

Test/retest Coeficiente r correlación de Pearson

Consistencia en el tiempo de los puntajes

Formas Equivalentes Coeficiente r correlación de Pearson

Estabilidad Temporal, consistencia de las

respuestas.

División por dos mitades Pearson/Spearman-Brown.Rulón

Guttman

Homogeneidad de los itemes al medir el

constructo

Análisis de homogeneidad de los

Itemes

KR 20 Coeficientes de fiabilidad como consistencia interna para itemes

dicotómicos (KR20).

Alfa de Cronbach Homogeneidad de los itemes con escala tipo

Lickert.

DESCRIPCIÓN DE LOS MÉTODOSDESCRIPCIÓN DE LOS MÉTODOS

Método: TEST – RETEST

Características: El investigador debe aplicar el mismo instrumento dos veces al

mismo grupo después de cierto período.

Debe calcular la confiabilidad del instrumento ANTES de la aplicación definitiva del mismo.

Coeficiente de Correlación de Pearson altamente positivo = Instrumento confiable.

Debilidades: El periodo de tiempo (corto – largo) entre las mediciones puede

confundir el coeficiente de confiabilidad.

DESCRIPCIÓN DE LOS MÉTODOSDESCRIPCIÓN DE LOS MÉTODOS

Método: FORMAS EQUIVALENTES

Características: Se administran dos o más versiones equivalentes de un mismo

instrumento. Deben ser similares en contenido, instrucciones, tipos de

preguntas y dificultad. Son administradas al mismo grupo en un período relativamente

corto. Los patrones de respuestas deben variar POCO entre las

aplicaciones. Coeficiente de Confiabilidad = Fórmula de Correlación de

Pearson.

Debilidades: Dificultad para obtener dos pruebas realmente paralelas Implica doble trabajo Confiable solo si la correlación entre los resultados de ambas

aplicaciones es positiva

DESCRIPCIÓN DE LOS MÉTODOSDESCRIPCIÓN DE LOS MÉTODOS

Técnica: Alfa de Cronbach

Características: Requiere sólo una aplicación del instrumento de medición. Produce valores que oscilan entre cero (0) y uno (1). No es necesario dividir en mitades los ítems del instrumento. Se aplica la medición y se calcula el coeficiente.

Técnica: Kuder – Richardson KR - 20

Permite calcular la confiabilidad con una sola aplicación del instrumento.

No requiere el diseño de pruebas paralelas.

Es aplicable sólo en instrumentos con ítems dicotómicos, que puedan ser codificados con 1 – 0 (correcto – incorrecto, presente – ausente, a favor – en contra, etc.) .

Pasos:1. Dividir los itemes de la prueba en dos partes iguales.2. Correlacionar las puntuaciones totales de las dos mitades.3. Multiplicar el coeficiente obtenido por 2 y dividir el término 1 más la correlación de las dos mitades, como se expresa en la fórmula que aparece en la siguiente lamina:

CONFIABILIDAD DIVISIÓN DE DOS MITADESCONFIABILIDAD DIVISIÓN DE DOS MITADESSpearman- BrownSpearman- Brown

FORMULA:

rtt= coeficiente de confiabilidad de las mitades.rhh= correlación de Spearman entre las dos mitades o los puntajes pares e impares.

CONFIABILIDAD DIVISIÓN DE DOS MITADESCONFIABILIDAD DIVISIÓN DE DOS MITADESSpearman- BrownSpearman- Brown

CONFIABILIDAD DIVISIÓN DE DOS MITADESCONFIABILIDAD DIVISIÓN DE DOS MITADESRulón (1939)Rulón (1939)

FORMULA:

rtt= coeficiente de confiabilidad de las mitades

Sd2= varianza de la diferencia de los puntajes pares e

impares.

St2= Varianza total de la prueba o escala.

Pasos:1. Calcula la diferencia de la varianza de las dos mitades para cada sujeto.2. Dividir la varianza de los puntajes totales.3. Restar esta proporción de la unidad (1,00).

CONFIABILIDAD DIVISIÓN DE DOS MITADESCONFIABILIDAD DIVISIÓN DE DOS MITADESRulón (1939)Rulón (1939)

CONFIABILIDAD DIVISIÓN DE DOS MITADESCONFIABILIDAD DIVISIÓN DE DOS MITADESGuttman y Flanagan (1939)Guttman y Flanagan (1939)

FÓRMULA:

rtt= coeficiente de confiabilidad

Sd2= varianza de la diferencia de los puntajes pares e

impares.

St2= Varianza total de la prueba o escala.

CONFIABILIDAD GUTTMANCONFIABILIDAD GUTTMAN

Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL

1 2 1,75 1 0 1 0,75 1,75 1 0 0 5,75 3,5 9,25

2 0 2 1 1 1 1 0,75 0 1 0

3 1 0,75 1 0,75 1 1 2 1 0 2

4 1 1 1 1 1 0,75 1 1 1 1

5 1 1 1 0 0,75 0 0 1 1 0

6 1 1 0 1 0,75 0 1 0 0 0

7 0 0 0 0 0,75 0 1,75 0 1 1

8 1 1 1 1 1 1 1 1,75 1 1

9 0 1 0 1 0 1 1 0 1 0

10 1 1 1 1 1 0 1 0 1 0

IMPARES: 1+3+5+7+9 Media

PARES:2+4+6+8+10 Varianza

PROCEDIMIENTO:

Correlación a través de proporciones de aciertos y desaciertos y varianza del total de aciertos.

APLICABLE EN:

Lista de Cotejo y cuestionarios de preguntas cerradas con opciones de respuestas dicotómicas (SI- NO)

CONFIABILIDAD KUDER-RICHARDSON (KR-20)CONFIABILIDAD KUDER-RICHARDSON (KR-20)

K= Número de Ítems.∑p.q= sumatoria de proporciones de aciertos por desaciertos.S2 T= Varianza del total de aciertos.

HOJA DE CÁLCULO 2 EN EXCEL

CONFIABILIDAD KUDER-RICHARDSON (KR 20)CONFIABILIDAD KUDER-RICHARDSON (KR 20)

CONFIABILIDAD KUDER-RICHARDSON (KR 20)CONFIABILIDAD KUDER-RICHARDSON (KR 20)

Sujetos 1 2 3 4 5 6 Total

1 1 0 1 1 1 1 52 0 0 1 1 0 0 23 1 1 1 0 1 1 54 1 1 0 1 1 0 45 1 1 0 0 0 1 3p

q

p.q

PROCEDIMIENTO:

Correlación a través de la varianza de cada ítem asociado por variables y la varianza de las puntuaciones totales.

APLICABLE EN :

Escalas de Estimación, Escala de Lickert, cuestionario de preguntas cerradas con opciones policotómicas , test de aptitud verbal, test de aptitud no verbal , test psicológico.

CONFIABILIDAD ALFA DE CRONBACHCONFIABILIDAD ALFA DE CRONBACH

K= Número de Ítems.S2= Varianza de los puntajes de cada ítems.S2T= Varianza de los puntajes totales.

Instrumento

HOJA DE CÁLCULO EN EXCEL

CONFIABILIDAD ALFA DE CRONBACHCONFIABILIDAD ALFA DE CRONBACH

Sujetos 1 2 3 4 Total de Puntajes

1 4 5 5 115

2 1 1 1 36

3 2 5 3 414

4 3 3 2 412

5 3 2 3 412

6 5 1 4 515

∑ 10 17 10 21 74

S2/Itemes 2 ∑S2/Itemes

St 2=11,47 9,27

CONFIABILIDAD ALFA DE CRONBACHCONFIABILIDAD ALFA DE CRONBACH

Se organizan los datos y se calcula la varianza del Ítem 1 y posteriormente el de los demás Ítems incluyendo los puntajes totales de la última columna:

CONFIABILIDAD ALPHA DE CRONBACHCONFIABILIDAD ALPHA DE CRONBACH

CONFIABILIDADCONFIABILIDAD

RANGOS MAGNITUD

0,81 A 1,00 Muy Alta

0,61 A 0,80 Alta

0,41 A 0,60 Moderada

0,21 A 0,40 Baja

0,01 A 0,20 Muy Baja

FUENTE: RUIZ (2002).

Importante: se sugiere repetir la validación del instrumento puesto que es recomendable que el resultado sea mayor o igual a 0,81

Una alta confiabilidad, por si sola, no garantiza “buenos” resultados científicos. Pero no puede haber “buenos” resultados científicos sin instrumentos confiables.

Carlos Ruiz Bolívar (2003)