Post on 04-Jul-2015
Introducción a la estandarización
de la evaluación
Dr. José Antonio Ruy-Díaz Reynoso
1
Estableciendo los estándares
Puntuaciones y estándares
Características de estándares creíbles
Métodos
Métodos relativos
Métodos absolutos
Métodos de contemporización
2
Examen de matemáticas
268357
1578113415
149931
3
Definición de la puntuación
Una puntuación es un número o una letra que representa que tan bien se ha desempeñado el alumno a lo largo de un continuum
Es el grado de exactitud de la respuesta / grupo de respuestas del alumno (para MCQ’s, la puntuación se basa en la respuesta correcta del alumno)
Para formatos que reproducen situaciones clínicas complejas (OSCE)
4
La puntuación…
Puede implicar ponderación (grados de exactitud)
Puede implicar una interpretación de las respuestas del alumno
5
Definición de estándar
Un estándar es una aseveración acerca de si el desempeño de una evaluación es lo suficientemente bueno para un propósito en particular.
Es una puntuación especial que sirve como frontera entre pasar o reprobar
6
Estándares
Los estándares se basan en juicios acerca del desempeño del alumno sobre un constructo educativo o social.
Requiere del juicio de expertos
Depende del contexto (ej. practicante competente o estudiante listo para graduarse)
7
Problemática para establecer el
estándarCompetente Incompetente
Pasa
Reprueba
Resultado De la
prueba
8
¿Cómo establecer la calificación de “pase”?: características de un estándar creíble
El método debe ser:
❑ Defendible
❑ Creíble
❑ Apoyado por un cuerpo de evidencia en la literatura
❑ Factible
❑ Aceptable para todas las partes interesadas Norcini, J. J. (2003). Setting standards on educational tests. Medical Education, 37, 464-469.
9
Tipos de métodos para establecer
estándaresEstándares relativos / métodos de normas de referencia
Estándares absolutos / métodos de criterios de referencia
Métodos de contemporización
10
Estándares relativos / métodos de normas de referencia
Se basan en una comparación entre los desempeños de los alumnos
Una proporción establecida de candidatos reprueba, independientemente de que tan bien se desempeñen (ej. El 84% superior pasa)
11
Estándares absolutos / métodos de criterios de referencia
Se basan en qué tanto saben los alumnos
El alumno pasa o reprueba dependiendo si cumple o no determinados criterios específicos (ej. El alumno debe contestar correctamente el 60% de las preguntas)
12
Métodos de criterios de referencia : juicio acerca de elementos individuales de la prueba
Método de Angoff
Método de Ebel
13
Método de Angoff
De 100 alumnos mínimamente competentes ¿cuántos cree Ud. que responderían correctamente? (no cuántos “deberían” responder correctamente).
Un alumno mínimamente competente ¿respondería correctamente a esta pregunta?
(Si = 1, No = 0)
14
Método de Angoff
Cada examinador estima la probabilidad de un alumno mínimamente competente que responda correctamente cada pregunta.
Multiplicando por 100 tenemos el tanto por ciento de alumnos mínimamente competentes que responderían correctamente.
La suma de estas probabilidades es la puntuación mínima de cada examinador
La puntuación mínima global es la mediana del conjunto de examinadores
15
Determinación de la puntuación mínima para el competente
16
Método de Ebel
Distingue tres categorías de items:
Esenciales
Importantes
No tan importantes
17
Determinación de la puntuación
18