Modelos de Validación y Confiabilidad en Pruebas de Admisión

MODELOS DE VALIDACIÓN Y CONFIABILIDAD DE PRUEBAS Y

EXÁMENES DE ADMISIÓN

Lic. Mario Posso RojasLic. Mario Posso [email protected]

PRUEBAS DE ADMISIÓNPRUEBAS DE ADMISIÓN¿Ingresare?¿Ingresare?

[email protected]

OBJETIVOOBJETIVO

DAR A CONOCER LOS MODELOS DE DAR A CONOCER LOS MODELOS DE VALIDACIÓN Y CONFIABILIDAD DE VALIDACIÓN Y CONFIABILIDAD DE PRUEBAS Y EXÁMENES DE ADMISIÓNPRUEBAS Y EXÁMENES DE ADMISIÓN

DETERMINAR LOS MODELOS DE DETERMINAR LOS MODELOS DE VALIDACIÓN Y CONFIABILIDAD MÁS VALIDACIÓN Y CONFIABILIDAD MÁS USADOS EN LOS EXAMENES DE USADOS EN LOS EXAMENES DE ADMISION Y PRUEBAS DE ADMISION Y PRUEBAS DE SELECCIÓNSELECCIÓN

[email protected]

IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

Institute of Higher Education, Shanghai Jiao Tong University,

IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

PRUEBAS DE SELECCIÓNPRUEBAS DE SELECCIÓN

MEDICION MEDICION EDUCATIVAEDUCATIVA

Se puede medir las facultades mentales y predecir

Comportamientos

INDIRECTA:INDIRECTA: C.I, R.E o A o M

Medir:Medir: Asignar Numerales a objetos o eventos de

acuerdo a reglas

- Indicadores: Prom, Capac.- Escalas: N, O, R, I - Validez - Confiabilidad

o

[email protected]@hotmail.com

Pruebas

Orales

Escritas

Elaborar

Respuestas

Elegir

Respuestas

Ensayo Libre

Ensayo Guiado

Respuesta breveDirecta

Incompleta

Alternativa simple

Alternativa triple

Alternativa múltipleDirecta

Combinada

Apareamiento

Estructuración autónoma

Estructuración cerrada

Discusión o Debate

TomarDecisión


Capacidad de un instrumento para obtener y Capacidad de un instrumento para obtener y proporcionar información directa y efectiva. proporcionar información directa y efectiva.

VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS

Trata de garantizar que el Trata de garantizar que el test test constituye una muestra adecuada y constituye una muestra adecuada y representativa del contenidorepresentativa del contenido que éste que éste pretende evaluar.pretende evaluar.- Definir tipos de contenidos y Definir tipos de contenidos y capacidad.capacidad.- Muestra representativa de contenidosMuestra representativa de contenidos

VALIDACIÓN DE VALIDACIÓN DE CONTENIDO:CONTENIDO:

VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBASValidez del Contenido para la Elaboración de Reactivos de Evaluación

Universidad: X Prueba : General

Área o AsigTODASTODAS

Temas:RM y V, Mt, CN, Hum y LRM y V, Mt, CN, Hum y L

ObjetivoMEDIR CONOCMEDIR CONOC

Hipótesis (Ho): “Los conocimientos de los estudiantes que terminan el año en Pre X, se pueden medir, indiciariamente,

mediante pruebas de selección múltiple confiables y válidas, en constructo, teniendo en cuenta los contenidos básicos de los Silabus

Capacidad General,Capacidades Específicas:

Matriz de ConsistenciaUniverso: Local X, Y, Z

Identifica AnalizaAplicaCompara Sintetiza JuzgaArgumenta

SILABUSSILABUS

Matriz de ConsistenciaMatriz de ConsistenciaContenidos

Capacidades RM RV Mat C.Na Huma Legua Total

Identifica 44 44 44 44 44 44 24

Compara 33 33 33 44 33 44 20

Argumenta 33 44 33 44 44 44 22

Aplica 55 55 55 44 33 33 25

Analiza 33 44 33 33 55 55 23

Sintetiza 33 55 33 55 55 33 24

Juzga 22 22 22 22 22 22 12

Nº de ítems 23 27 23 26 26 25 150

Elaborado por: Tiempo de Prueba: 3 [email protected]@hotmail.com

INDICADORES

OPERATIVIZACIÓN DE LA EVALUACIÓN OPERATIVIZACIÓN DE LA EVALUACIÓN DE CAPACIDADESDE CAPACIDADES

CAPACIDAD GENERAL

Capacidad específica




REACTIVOS

Grandes propósitos

Procesos que involucra la capacidad

Evidencia observable del

aprendizaje

Tareas que se ejecuta para evidenciar el aprendizaje

MED – DCN, 2007

Matriz de ConsistenciaMatriz de ConsistenciaContenidos

Capacidades2º Estrc.Atómo

4º UndQum Masa

6º Este-quiometri

a

9º QuímOrgán

Total

Identifica2 (T y

A)2 (T y A) 2 (T y A) 2 (T y A) 8

Compara2 (T y

A)2 (T y A) 2 (T y A) 1 T 7

Argumenta2 (T y

A)1 T 2 (T y A) 2 (T y A) 7

Aplica2 (T y

A)2 (T y A) 1 A 2 (T y A) 7

Analiza2 (T y

A)2 (T y A) 2 (T y A) 2 (T y A) 8

Sintetiza2 (T y

A)2 (T y A) 1 T 2 (T y A) 7

Juzga 1 A 2 (T y A) 2 (T y A) 1 A 6

Nº de ítems 13 13 12 12 50Elaborado por: Tiempo de Prueba: 1 [email protected]@hotmail.com

EJEMPLO EN SECUNDARIAEJEMPLO EN SECUNDARIAI) La relación correcta entre capacidad, pregunta y respuesta es: 1) Identificar – El ángulo de inclinación axial de la tierra es a) 2º b) 23,4º c) 24º d) 97,9º e) N.A

2) Análisis – El número de ángulo de inclinación axial varia por a) La forma de traslación de una estrella b) La Traslación de ese planeta c) La Forma de que ese planeta se formo d) N.A e) T.A

3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es: a) Estrella Roja b) Estrella azul c) Enana blanca d) Pulsar e) Quasar

4) Síntesis – Lo que causa que el Sol es se convierta en rojo es: a) Los años de la estrella b) La cantidad de Helio c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones

5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene: a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5

IDENTIFICAR


Trata de garantizar la existencia de un Trata de garantizar la existencia de un constructo psicológico que subyaga y dé constructo psicológico que subyaga y dé sentido y significado a las puntuaciones del sentido y significado a las puntuaciones del test. test. Modo de evaluar:Modo de evaluar:

Análisis Factorial y Matriz multimétodo-Análisis Factorial y Matriz multimétodo-multirrasgomultirrasgo

VALIDACIÓN CONSTRUCTO:VALIDACIÓN CONSTRUCTO:

VALIDACIÓN PREDICTIVAVALIDACIÓN PREDICTIVA

Pronostica CAPACIDAD. Se correlaciona Pronostica CAPACIDAD. Se correlaciona resultados obtenidos mediante Series resultados obtenidos mediante Series Temporales con uno o más de un grupo. Temporales con uno o más de un grupo. Aplicar varias pruebas que midan lo mismo a Aplicar varias pruebas que midan lo mismo a Un aula o Varias aulas, y ver Relación.Un aula o Varias aulas, y ver Relación.


Se mide en forma sucesiva el desempeño del Se mide en forma sucesiva el desempeño del estudiante en relación con una prueba o tarea estudiante en relación con una prueba o tarea específica. Análisis Estadístico Correlacional: específica. Análisis Estadístico Correlacional:

a) Correlación Por Rangos (rho)a) Correlación Por Rangos (rho)

b) Correlación Por Puntuaciones Netas (r)b) Correlación Por Puntuaciones Netas (r)

VALIDACIÓN CONCURRENTE:VALIDACIÓN CONCURRENTE:

O Validación por Referencia a un Criterio.O Validación por Referencia a un Criterio.

Finalidad:Finalidad: Contar con un mecanismo de Contar con un mecanismo de comprobación conductual para emitir comprobación conductual para emitir juicios y tomar decisiones.juicios y tomar decisiones.

VALIDACIÓN FUNCIONAL:VALIDACIÓN FUNCIONAL:

VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBASC

orre

laci

ón P

or R

ango

s (r

ho)

Cor

rela

ción

Por

Ran

gos

(rho

)Puntuación en: Lugar o Rango Diferencia d

Prueba (X) Criterio (Y) Prueba (RX) Criterio (RY) Lugares (D) D*D

10 6 19 19 0 00

20 20 2 1,5 0,5 0,250,25

15 15 12 11 1 11

14 10 15,5 18 -2,5 6,256,25

19 20 4,5 1,5 3 99

20 18 2 5,5 -3,5 12,2512,25

18 19 6,5 3,5 3 99

17 17 8 7,5 0,5 0,250,25

15 16 12 9 3 99

13 13 17,5 16 1,5 2,252,25

15 13 12 16 -4 1616

18 17 6,5 7,5 -1 11

15 13 12 16 -4 1616

20 19 2 3,5 -1,5 2,252,25

19 18 4,5 3,5 1 11

14 15 15,5 11 4,5 20,2520,25

13 14 17,5 13,5 4 1616

16 15 9 11 -2 44

15 14 12 13,5 -1,5 2,252,25

9 4 20 20 0 00

Suma (D)Suma (D) 128128

)1(

*61

2

2

NN

RD

rho

)120(20

128*61

2 rho

90,07980

7681 rho


Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Puntuación en: Puntuación al Cuadrado Prueba por

Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)

Abel 10 6 100 36 60

Aldo 20 20 400 400 400

Ary 15 15 225 225 225

Blas 14 10 196 100 140

Popper 19 20 361 400 380

Elba 20 18 400 324 360

Morgan 18 19 324 361 342

Mario 17 17 289 289 289

Flor 15 16 225 256 240

Hugo 13 13 169 169 169

DeVries 15 13 225 169 195

Lino 18 17 324 289 306

Lila 15 13 225 169 195

Irma 20 19 400 361 380

Juan 19 18 361 324 342

Nino 14 15 196 225 210

Nora 13 14 169 196 182

Olga 16 15 256 225 240

Réne 15 14 225 196 210

Rosa 9 4 81 16 36

Sumas 315 296 5151 4730 4901

Promedio 15,75 14,8

Desviac 3,16 4,29

yx SS

YXN

XY

r*

*

22

N

X

N

Xs

1,320

315

20

51512

xs

2,420

296

20

47302

ys

92,02,4*1,3

8,14*75,15204901

rPearson

VALIDEZ PREDICTIVAVALIDEZ PREDICTIVALa UNI compara los desempeños finales de los La UNI compara los desempeños finales de los alumnos de 1º año en un curso Algebra (A) con alumnos de 1º año en un curso Algebra (A) con los obtenidos en su Examen de Admisión (EA). los obtenidos en su Examen de Admisión (EA). Muestra: 10 estudiantes; A: Puntajes de 1 a 100 Muestra: 10 estudiantes; A: Puntajes de 1 a 100 para EA: de 200 a 800. Resultados Excel:para EA: de 200 a 800. Resultados Excel:

AlumAlum A B C D E F G H I J

EA (X) 650 710 682 700 691 705 666 690 709 715

A (Y) 75 87 85 83 80 92 78 81 90 90

Coeficiente de: a) Spearman: b) Pearson:

Interpretación: El EA es un procedimiento para el futuro desempeño de los alumnos de A.

0,83 0,87

buen

vaticinar


ANÁLISIS DE ÍTEMSANÁLISIS DE ÍTEMS

Grado de EficienciaDe los ítems

I.D I.D == NcNc NtNt

* Intervalos:* Intervalos:0,00 0,00 –– 0,50 Muy Fácil0,50 Muy Fácil0,51 0,51 –– 0,60 Fácil0,60 Fácil0,61 0,61 –– 0,70 0,70 ModeradoModerado0,71 0,71 –– 0,80 Difícil 0,80 Difícil0,81 0,81 –– 100 Muy difícil 100 Muy difícil

GRADO DEGRADO DEDIFICULTADDIFICULTAD

INDICE DE INDICE DE DISCRIMINACIÓNDISCRIMINACIÓN

I.Ds I.Ds = = A A –– B B N N

DEBE SER DEBE SER >> 0,25 0,25Relación entre ID y IDs Relación entre ID y IDs

Las ID > de 0,8 Las ID > de 0,8 Carece de IDsCarece de IDs


Índice Dificultad (I.D) Índice Dificultad (I.D)

I B (N) I.D

1 4 24 0,166672 5 24 0,208333 9 24 0,375004 22 24 0,916675 12 24 0,50006 7 24 =7/24…98 18 24 =18/2499 15 24 =15/24100 16 24 =16/24

AulaAula AA u

mar

po

sro

j@h

otm

ail.

com

mar

po

sro

j@h

otm

ail.

com

Índice de Discriminación (I.Ds)Índice de Discriminación (I.Ds)

II AA BB NN I.DsI.Ds

1 6 1 10 0,5

2 7 1 10 0,6

3 10

4 10

5 10

6 10

7 10

8 10

9 10

10 10

AulaAula AA u

I.Ds I.Ds = = A A –– B B = = 6 - 1 = 5 = 0,5 N N 10 10


PRUEBAS CONFIABLESPRUEBAS CONFIABLES

Rho = 1 – 6*EDRRho = 1 – 6*EDR

Aplicar el mismo instrumento 2 veces a un mismo grupo.Comparar mediante rho.Dificultad: Cambio conductual

Denota estabilidad yConstancia de los puntosVariación no significativa

TABLA DE EBELTABLA DE EBEL MÉTODO DE PRUEBAMÉTODO DE PRUEBAREITERADAREITERADA

)1(

*61

2

2

NN

RD

rho

PSICO-METRIA

PRUEBAS CONFIABLESPRUEBAS CONFIABLES

Debe ser Debe ser >> 0,60 0,60

2

2

11 t

i

s

s

k

kr

m

mt r

rr

1

2º1

MÉTODO PORMÉTODO PORBIPARTICIÓNBIPARTICIÓN

1º Varianzas similar

2º Diferente Varianza

KR20KR20

COEFICIENTES DE COEFICIENTES DE CONFIABILIDADCONFIABILIDAD

Kuder – RichardsonKuder – Richardson Alpha de CrobachAlpha de Crobach

KR21KR21

2s*

m-k m1*

1 kk

kr

2

2

1 s

pqs

k

kr

SPSSSPSS >> 0,80 0,80

2

22

2112º2

ts

ssr

GuttmanGuttman

EJEMPLOS DE APLICACIÓNEJEMPLOS DE APLICACIÓN

Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTALAlberto 1 1 1 0 1 0 1 1 0 0 4 2 6Betty 0 1 1 1 1 1 0 0 1 0 3 3 6

Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5

Federico 1 1 0 1 0 0 1 0 0 0 2 2 4Grover 0 0 0 0 0 0 1 0 1 1 2 1 3Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5Juana 1 1 1 1 1 0 1 0 1 0 5 2 7

Media u Varianza s

PAR: I2+I4+I6+I8+I10

IMP: I1+I3+I5+I7+I9

= 0,76

Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5 ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía


KURDER – RICHARDSON (KR21)KURDER – RICHARDSON (KR21)Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTALAlberto 1 1 1 0 1 0 1 1 0 0 6Betty 0 1 1 1 1 1 0 0 1 0 6

Carmen 1 0 1 0 1 1 1 1 0 1 7Dionisio 1 1 1 1 1 0 1 1 1 1 9Estelita 1 1 1 0 0 0 0 1 1 0 5

Federico 1 1 0 1 0 0 1 0 0 0 4Grover 0 0 0 0 0 0 1 0 1 1 3Hurtado 1 1 1 1 1 1 1 1 1 1 10Isabel 0 1 0 1 0 1 1 0 1 0 5Juana 1 1 1 1 1 0 1 0 1 0 7Suma 7 8 7 6 6 4 8 5 7 4 62

p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6

p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16

Prom: 06,2

Var: 4,62= 0,59

KR20KR20 = 0,54

ALFA CRONBACHALFA CRONBACHAlumnos 1 2 3 4 5 6 Total

Alberto 3 3 2 0 2 2 12

Bartola 2 0 0 0 1 1 4

Cristian 5 2 1 1 3 2 14

Dayana 4 1 2 1 4 0 12

Elmer 1 2 1 0 1 1 6

Federico 3 3 2 0 4 2 14

Desviación 1,29 1,06 0,74 0,47 1,25 0,74

Varianza 1,66 1,12 0,55 0,22 1,56 0,55

S2 = 15,21

Σ = 5,66

Calificación no

dicotomica= 0,75


PRUEBAS CONFIABLESPRUEBAS CONFIABLESEDUMÉ-TRICA

q

p

s

Xpr

tbisp *.

Orientado para Clasificar,en Categorías Los Logros de Aprendizaje. En forma estable.

CATEGORÍAS DE APRENDIZAJE

PUNTUACIÓN DECORTE

22

222

2

*1

1 Mit

Mitt

i

aLXs

LXss

s

k

kr

Cronbach - Livingston

EJEMPLOS DE EJEMPLOS DE APLICACIÓNAPLICACIÓN

r (Pearson) = 0,70 Pi = 70 y PE = 42

Cov (X, Y) = 0,70*21,03*23,36 = 343,88

77,627

52,443cr = 0,71

Ojo: Leer datos del taller

EJEMPLOS DE EJEMPLOS DE APLICACIÓNAPLICACIÓN

Preg 1º 2º 3º 4º Puntuación LMi

Max Puntos 2 2 4 8 Total 10 ptsAbel 2 0 2 4 8 NLDAldo 2 0 2 8 12 LDAry 2 1,5 4 6 13,5 LDBlas 2 1,5 2 2 7,5 NLD

Popper 2 0 3 2 7 NLDElba 2 0 0 0 2 NLD

Morgan 2 0 3 4 9 NLDMario 2 0 3 4 9 LDFlor 2 0 0 6 8 NLD

Hugo 2 1,5 4 2 9,5 NLDDesviación 0 0,81 1,34 2,27 u = 8,75 P = 12,16Varianza 0 0,65 1,79 5,15 s = 3,00 p = 0,30

Suma s = 7,59 q = 0,70

70,0

30,0*

3

75,816,12.bisprq

p

s

Xpr

tbisp *.

= 0,73


Antes de aplicar un Instrumento:Antes de aplicar un Instrumento:Porcentaje Mínimo:Porcentaje Mínimo:1. Del total de ítems para una evaluación.2. De Objetivos por lograr.3. Uniforme del total de ítems para cada objetivo4. Diferenciado del total de Ítems para cada objetivo5. Puntuación según competencia.6. Grado de complejidad por ítems.7. Relación entre relevancia de objetivo y complejidad de los Ítems.

Formas para determinarFormas para determinarNiveles de Logro Minimo Niveles de Logro Minimo

(Lmi)(Lmi)


MODELOS MÁS MODELOS MÁS USADOSUSADOS

Los tipos de pruebas más comunes en el Perú, son analizados generalmente, en tesis, mediante el Índice de dificultad y de discriminación, son estandarizados con Alfa Cronbach, Kurder Richarson 20 y 21, y validación más usada es la de Constructo, de Contenido, y la Concurrente y a veces la Predictiva .


BIBLIOGRAFÍA

1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2. http://redie.uabc.mx/vol2no1/contenido-backhoff.html

2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de Educación, Perú.

3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria, Julio/Diciembre, vol. 4, número 002, México.

4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.6) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall

Hispanoamericana.7) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.),

Educational Measurement. Washington, DC: American Council on Education.8) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales

de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú 9) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.10) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos,

procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.

MUCHAS

GRACIAS

[email protected] [email protected] http://marposroj1976.blogspot.com/http://marposroj1976.blogspot.com/

http://investigando.org/educandos/

Modelos de Validación y Confiabilidad en Pruebas de Admisión

Education

Transcript of Modelos de Validación y Confiabilidad en Pruebas de Admisión