Evaluacion - Mario Posso

LA CONFIABILIDAD DE LAS EVALUACIONES INTERNACIONALES. MÁS ALLÁ DE PISA

Mario Posso [email protected]@hotmail.com

EN QUE CONSISTE LA EVALUACIÓN EDUCACIONAL.

NECESIDADES Y RETOS

¿POR QUÉ Y QUÉ EVALUAMOS? Más allá de la Mente-Cerebro

MEDICION MEDICION EDUCATIVAEDUCATIVA

Se puede medir las facultades mentales y predecir

Comportamientos

INDIRECTA:INDIRECTA: C.I, R.E o A o M

Medir:Medir: Asignar Numerales a objetos o eventos de

acuerdo a reglas

- Indicadores: Prom, Capac.- Escalas: N, O, R, I - Validez - Confiabilidad

Hacia un instrumento invariable y confiable

Pruebas

Orales

Escritas

Elaborar

Respuestas

Elegir

Respuestas

Ensayo Libre

Ensayo Guiado

Respuesta breveDirecta

Incompleta

Alternativa simple

Alternativa triple

Alternativa múltipleDirecta

Combinada

Apareamiento

Estructuración autónoma

Estructuración cerrada

Discusión o Debate

TomarDecisión

LA LA ARTIFICIALIDAD ARTIFICIALIDAD

DE LA DE LA EDUCACIÓN EDUCACIÓN

Modelo de HumanidadModelo de Humanidad

LA ARTIFICIALIDAD DE LA LA ARTIFICIALIDAD DE LA EDUCACIÓN EDUCACIÓN

Modelo de HumanidadModelo de Humanidad ¿Qué característica debería o tiene?¿Qué característica debería o tiene? ¿Cuál es el elemento de la mente que es ¿Cuál es el elemento de la mente que es

constante en todos los lugares y tiempos?constante en todos los lugares y tiempos?

- Inteligencia (única, dicotómica o múltiple).- Inteligencia (única, dicotómica o múltiple).

- Conocimiento (común o científico) - Conocimiento (común o científico)

- - CapacidadesCapacidades

- - CompetenciasCompetencias

- Aprendizaje y Memoria - Aprendizaje y Memoria

- etc.- etc.

Indicador de Benjamin Bloom

SECUENCIA DE LOS APRENDIZAJES CONCEPTUALES

TEORÍASPRINCIPIOSCONCEPTOSHECHOS Y

DATOS

HECHOS Y CONCEPTOS COMO CONTENIDOS DEL APRENDIZAJE

Aprendizaje de: HECHOS CONCEPTOS

Consiste en: Copia literal Relación con conocimientos anteriores

Se alcanza por: Repetición (aprendizaje memorístico)

Comprensión (aprendizaje significativo)

Se adquiere: De una vez Gradualmente

Se olvida: Rápidamente sin repaso Más lenta y gradualmente

EVALUACION DEL APRENDIZAJE

LA ESTADÍSTICA DE LA VALIDEZ

Confiabil idad Vs Indicadores Nacionales

Rho = 1 – 6*EDRRho = 1 – 6*EDR

Aplicar el mismo instrumento 2 veces a un mismo grupo.Comparar mediante rho.Dificultad: Cambio conductual

Denota estabilidad yConstancia de los puntosVariación no significativa

TABLA DE EBELTABLA DE EBEL MÉTODO DE PRUEBAMÉTODO DE PRUEBAREITERADAREITERADA

)1(

*61

2

2

−−=

∑NN

RD

rho

PSICO-METRIA

PRUEBAS CONFIABLESPRUEBAS CONFIABLES

Debe ser Debe ser >> 0,60 0,60

−

−= ∑

2

2

11 t

i

s

s

k

kr

m

mt r

rr

+=1

2º1

MÉTODO PORMÉTODO PORBIPARTICIÓNBIPARTICIÓN

1º Varianzas similar

2º Diferente Varianza

KR20KR20

COEFICIENTES DE COEFICIENTES DE CONFIABILIDADCONFIABILIDAD

Kuder – RichardsonKuder – Richardson Alpha de CrobachAlpha de Crobach

KR21KR21

( )

−

−=

2s*

m-k m1*

1 kk

kr

2

2

1 s

pqs

k

kr

−

−=

SPSSSPSS >> 0,80 0,80

+−=2

22

2112º2

ts

ssr

GuttmanGuttman

INDICADORESINDICADORES

OPERATIVIZACIÓN OPERATIVIZACIÓN DE LA EVALUACIÓNDE LA EVALUACIÓN

CAPACIDAD GENERAL

Capacidad específica




REACTIVOS

Grandes propósitos

Procesos que involucra la capacidad

Evidencia observable del

aprendizaje

Tareas que se ejecuta para evidenciar el aprendizaje MED – DCN, 2007, 2009

APRENDIZAJES FUNDAMENTALE

S

COMPETENCIA/

Matriz de ConsistenciaMatriz de ConsistenciaContenidos

Capacidades RM RV Mat C.Na Huma Legua Total

Identifica 44 44 44 44 44 44 24

Compara 33 33 33 44 33 44 20

Argumenta 33 44 33 44 44 44 22

Aplica 55 55 55 44 33 33 25

Analiza 33 44 33 33 55 55 23

Sintetiza 33 55 33 55 55 33 24

Juzga 22 22 22 22 22 22 12

Nº de ítems 23 27 23 26 26 25 150

Elaborado por: Tiempo de Prueba: 3 [email protected]@hotmail.com

mailto:[email protected]

EJEMPLO EN SECUNDARIAEJEMPLO EN SECUNDARIAI) La relación correcta entre capacidad, pregunta y respuesta es: 1) Identificar – El ángulo de inclinación axial de la tierra es a) 2º b) 23,4º c) 24º d) 97,9º e) N.A

2) Análisis – El número de ángulo de inclinación axial varia por a) La forma de traslación de una estrella b) La Traslación de ese planeta c) La Forma de que ese planeta se formo d) N.A e) T.A

3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es: a) Estrella Roja b) Estrella azul c) Enana blanca d) Pulsar e) Quasar

4) Síntesis – Lo que causa que el Sol es se convierta en rojo es: a) Los años de la estrella b) La cantidad de Helio c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones

5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene: a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5

IDENTIFICAR

ANÁLISIS DE ÍTEMSANÁLISIS DE ÍTEMSGrado de Eficiencia

De los ítems

I.D I.D == NcNc NtNt

* Intervalos:* Intervalos:0,00 0,00 –– 0,50 Muy Fácil0,50 Muy Fácil0,51 0,51 –– 0,60 Fácil0,60 Fácil0,61 0,61 –– 0,70 0,70 ModeradoModerado0,71 0,71 –– 0,80 Difícil 0,80 Difícil0,81 0,81 –– 100 Muy difícil 100 Muy difícil

GRADO DEGRADO DEDIFICULTADDIFICULTAD

INDICE DE INDICE DE DISCRIMINACIÓNDISCRIMINACIÓN

I.Ds I.Ds = = A A –– B B N N

DEBE SER DEBE SER >> 0,25 0,25Relación entre ID y IDs Relación entre ID y IDs

Las ID > de 0,8 Las ID > de 0,8 Carece de IDsCarece de IDs

[email protected]@hotmail.com

EJEMPLOS DE APLICACIÓNEJEMPLOS DE APLICACIÓN

Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTALAlberto 1 1 1 0 1 0 1 1 0 0 4 2 6Betty 0 1 1 1 1 1 0 0 1 0 3 3 6

Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5

Federico 1 1 0 1 0 0 1 0 0 0 2 2 4Grover 0 0 0 0 0 0 1 0 1 1 2 1 3

Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5Juana 1 1 1 1 1 0 1 0 1 0 5 2 7

Media u Varianza s

= 0,76

Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5 ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía

BIPARTICION

BIPARTICION

KURDER – RICHARDSON (KR21)KURDER – RICHARDSON (KR21)Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTALAlberto 1 1 1 0 1 0 1 1 0 0 6Betty 0 1 1 1 1 1 0 0 1 0 6

Carmen 1 0 1 0 1 1 1 1 0 1 7Dionisio 1 1 1 1 1 0 1 1 1 1 9Estelita 1 1 1 0 0 0 0 1 1 0 5

Federico 1 1 0 1 0 0 1 0 0 0 4Grover 0 0 0 0 0 0 1 0 1 1 3

Hurtado 1 1 1 1 1 1 1 1 1 1 10Isabel 0 1 0 1 0 1 1 0 1 0 5Juana 1 1 1 1 1 0 1 0 1 0 7Suma 7 8 7 6 6 4 8 5 7 4 62

p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6

p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16

Prom: 06,2

Var: 4,62= 0,59

KR20KR20 = 0,54

ALFA CRONBACHALFA CRONBACHAlumnos 1 2 3 4 5 6 Total

Alberto 3 3 2 0 2 2 12

Bartola 2 0 0 0 1 1 4

Cristian 5 2 1 1 3 2 14

Dayana 4 1 2 1 4 0 12

Elmer 1 2 1 0 1 1 6

Federico 3 3 2 0 4 2 14

Desviación 1,29 1,06 0,74 0,47 1,25 0,74

Varianza 1,66 1,12 0,55 0,22 1,56 0,55

S2 = 15,21

Σ = 5,66

Calificación no

dicotómica

= 0,75



PRUEBAS CONFIABLESPRUEBAS CONFIABLESEDUMÉ-TRICA

q

p

s

Xpr

tbisp *.

−=

Orientado para Clasificar,en Categorías Los Logros de Aprendizaje. En forma estable.

CATEGORÍAS DE APRENDIZAJE

PUNTUACIÓN DECORTE

( )

( )

−+

−+

−

−=

∑

22

222

2

*1

1 Mit

Mitt

i

aLXs

LXss

s

k

kr

Cronbach - Livingston

EJEMPLOS DE EJEMPLOS DE APLICACIÓNAPLICACIÓN

r (Pearson) = 0,70 Pi = 70 y PE = 42

Cov (X, Y) = 0,70*21,03*23,36 = 343,88

77,627

52,443=cr = 0,71

VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBASValidez del Contenido para la Elaboración de Reactivos de Evaluación

Universidad: X Prueba : General

Área o AsigTODASTODAS

Temas:RM y V, Mt, CN, Hum y LRM y V, Mt, CN, Hum y L

ObjetivoMEDIR CONOCMEDIR CONOC

Hipótesis (Ho): Los conocimientos de los estudiantes se pueden medir, indiciariamente, mediante pruebas de selección múltiple confiables y válidas, en constructo,

teniendo en cuenta los contenidos básicos de los Silabus

Capacidad General,Capacidades Específicas:

Matriz de ConsistenciaUniverso: Local X, Y, Z

Identifica AnalizaAplicaCompara Sintetiza JuzgaArgumenta

SILABUSSILABUS

Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Cor

rela

ción

Por

Pun

tuac

ione

s N

etas

Puntuación en: Puntuación al Cuadrado Prueba por

Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)

Abel 10 6 100 36 60

Aldo 20 20 400 400 400

Ary 15 15 225 225 225

Blas 14 10 196 100 140

Popper 19 20 361 400 380

Elba 20 18 400 324 360

Morgan 18 19 324 361 342

Mario 17 17 289 289 289

Flor 15 16 225 256 240

Hugo 13 13 169 169 169

DeVries 15 13 225 169 195

Lino 18 17 324 289 306

Lila 15 13 225 169 195

Irma 20 19 400 361 380

Juan 19 18 361 324 342

Nino 14 15 196 225 210

Nora 13 14 169 196 182

Olga 16 15 256 225 240

Réne 15 14 225 196 210

Rosa 9 4 81 16 36

Sumas 315 296 5151 4730 4901

Promedio 15,75 14,8

Desviac 3,16 4,29

yx SS

YXN

XY

r*

*−=

∑

22

−= ∑∑

N

X

N

Xs

1,320

315

20

51512

=

−=xs

2,420

296

20

47302

=

−=ys

92,02,4*1,3

8,14*75,15204901

=−

=rPearson

VALIDEZ PREDICTIVAVALIDEZ PREDICTIVALa UNI compara los desempeños finales de los alumnos La UNI compara los desempeños finales de los alumnos de 1º año en un curso Algebra (A) con los obtenidos en de 1º año en un curso Algebra (A) con los obtenidos en su Examen de Admisión (EA). Muestra: 10 estudiantes; su Examen de Admisión (EA). Muestra: 10 estudiantes; A: Puntajes de 1 a 100 para EA: de 200 a 800. A: Puntajes de 1 a 100 para EA: de 200 a 800. Resultados Excel:Resultados Excel:

AlumAlum A B C D E F G H I J

EA (X) 650 710 682 700 691 705 666 690 709 715

A (Y) 75 87 85 83 80 92 78 81 90 90

Coeficiente de: a) Spearman: b) Pearson: Interpretación: El EA es un procedimiento para

el futuro desempeño de los alumnos de A.

0,83 0,87

buen

vaticinar



INDICADORES NACIONALES

¿¿Qué evalúan las Pruebas y Qué evalúan las Pruebas y Rankings InternacionalesRankings Internacionales ?? PRINCIPALES PRUEBAS INTERNACIONALES

¿¿ Qué evalúan las Pruebas Qué evalúan las Pruebas y Rankings y Rankings

InternacionalesInternacionales ??

IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDADPruebas y Rankings Internacionales

2009

http://www.booksamillion.com/bam/covers/0/87/447/718/0874477182.jpg

IMPORTANCIA DE LA IMPORTANCIA DE LA SELECTIVIDADSELECTIVIDAD

IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU VS MERCADO LABORAL VS MERCADO LABORAL

2008

UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU VS MERCADO LABORAL VS MERCADO LABORAL

LOS PROBLEMAS DE LA EVALUACIÓN LOS PROBLEMAS DE LA EVALUACIÓN EN LA EDUCACIÓN PERUANAEN LA EDUCACIÓN PERUANA

1.1. El sistema de pruebas nacionales existe de manera El sistema de pruebas nacionales existe de manera generalizada. 98% confiables, inferibles y válidas.generalizada. 98% confiables, inferibles y válidas.

2.2. Permite orientar con información fáctica la capacitación y Permite orientar con información fáctica la capacitación y formación. Rumbo mercado o nuevo mercado. formación. Rumbo mercado o nuevo mercado.

3.3. Evaluación esta suscrita al papel y no al desempeño, la Evaluación esta suscrita al papel y no al desempeño, la universidad y otros, prima el PODER DEL «VOTO».universidad y otros, prima el PODER DEL «VOTO».

4.4. Las Pruebas de selección ¿Qué Prueban?Las Pruebas de selección ¿Qué Prueban?

5.5. Las estrategias y toma de decisiones del MED, Universidad Las estrategias y toma de decisiones del MED, Universidad y organismos en que están sustentadas .y organismos en que están sustentadas .

6.6. Las tesis de la universidad colaboran o dan grados.Las tesis de la universidad colaboran o dan grados.

BIBLIOGRAFÍA1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de

Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2.

2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de Educación, Perú.

3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria, Julio/Diciembre, vol. 4, número 002, México.

4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.

5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.

6) Eccles, John C. (1975). El Cerebro. Morfología y dinámica. Ed. Interamericana, México – México. 236 pp.

7) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall Hispanoamericana.

8) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.), Educational Measurement. Washington, DC: American Council on Education.

9) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú

10) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.

11) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos, procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.

MUCHAS

GRACIAS

[email protected] [email protected]

Evaluacion - Mario Posso

Education

Transcript of Evaluacion - Mario Posso