Centro Nacional de Evaluación para la Educación Superior, A.C. Dirección General Adjunta de los...
-
Upload
pili-puente -
Category
Documents
-
view
215 -
download
0
Transcript of Centro Nacional de Evaluación para la Educación Superior, A.C. Dirección General Adjunta de los...
Centro Nacional de Evaluación para la Educación Superior, A.C. Dirección General Adjunta de los Exámenes Nacionales de Ingreso
[EXANI]
25 y 26 de noviembre de 2009Mérida, Yucatán
Proceso de construcción deuna prueba objetiva
CONTENIDO
Características de un instrumento de medición
Prueba objetiva y sus características
Proceso de construcción de una prueba objetiva:
- Planeación
- Diseño
- Construcción
- Ensamble
- Acciones de control
Características de un instrumento de medición
Validez. Es la congruencia que existe entre lo que se planeó
medir y lo que se mide
Confiabilidad. Se da cuando los resultados son estables y
consistentes
Objetividad. Se refiere a que el instrumento tiene independencia
respecto a la persona que lo aplica o califica
Es un instrumento de medición integrado por reactivos de respuesta
estructurada con solución única, destinado a obtener información que
sea comparable entre todos los sustentantes
¿Qué es una prueba objetiva?
1. Exploran una muestra representativa de conocimientos, habilidades o competencias
2. Pueden aplicarse a gran escala
3. Cumplen con reglas de diseño y calificación estandarizadas
4. Proporcionan información útil para la toma de decisiones
5. No benefician a un grupo determinado
6. Tienen una cobertura suficiente y relevante de lo que se desea medir
Características de las pruebas objetivas
1. Exigen el máximo rendimiento del sustentante
2. Se componen por reactivos de cuatro opciones
3. Contienen reactivos con diferente grado de dificultad y de complejidad
4. Cuentan con reglas fijas de diseño y aplicación, por lo que sus versiones son equivalentes aunque contengan una mezcla distinta de reactivos
5. Se califican de forma automatizada
Características de los EXANI
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Aspectos por considerar para iniciar el proceso
Se debe contar con…
personal calificado necesario para el diseño y construcción de la
prueba
tiempo suficiente para el ensamble de versiones según lo
planeado
recursos materiales y económicos
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Consejo Técnico
Funciones
Delimitar el propósito de la prueba y sus alcances (objeto de medida)
Definir la población a la que se destinará el examen
Dirigir el proceso de construcción del perfil referencial de la prueba
Validar la estructura de la prueba
Definir el perfil de los integrantes de los Comités Académicos
Cuidar que el instrumento sea vigente y que cumpla con las
características de validez, confiabilidad, objetividad, pertinencia y
relevancia
Misión
Apoyar al Ceneval en el diseño, perfeccionamiento y promoción de los exámenes
Integrantes del Consejo Técnico
Son académicos e investigadores de reconocido prestigio en el
ámbito de la evaluación educativa o en el campo de contenido de los
exámenes, con estudios en psicometría y filosofía de la educación
Estos especialistas son convocados por su trayectoria académica y
laboral, sin importar la institución educativa, asociación u organismo
al que pertenezcan
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Construcción de la estructura de la prueba
En los EXANI se toma como base el plan único de estudios, o bien
los planes de estudios de las instituciones con mayor matrícula o
relevancia en el país
Se convoca a un grupo de especialistas que, en mesas de trabajo,
delimitan los contenidos que se consideran indispensables para
cursar estudios del nivel educativo posterior
Contenido de la estructura de la prueba
La estructura de la prueba precisa los contenidos para la elaboración
del instrumento
En ella se encuentran las áreas, subáreas y temas que contendrá el
examen, el número de reactivos que deberán elaborarse para cada
contenido y su nivel de complejidad o profundidad
ÁREAS Reactivos para calificar
Reactivos piloto TOTAL
CÁLCULO 20 2 22
FÍSICA 20 2 22
MATEMÁTICAS 20 2 22
QUÍMICA 20 2 22
INGLÉS 20 2 22
TOTAL 100 10 110
Ejemplo de estructura: EXANI-II. Módulo Ingenierías y Tecnología
ÁREA SUBÁREA TEMANivel taxonómico
Dominio cognitivo1C 2C 3A 4A 5S 6E
CÁLCULO
Funciones Funciones: notación, clasificación y propiedades. X X Dominio, contradominio, tabulación y graficación. X X Operaciones con funciones. X X
Límites
Concepto y teoremas de límites. X X Límites de las funciones: polinomiales, racionales, trigonométricas, logarítmicas, exponenciales.
X X
Continuidad de funciones. X X Variación y cambio de funciones. X X
Derivadas
Concepto, definición e interpretación de la derivada. X X Derivada de funciones algebraicas y no algebraicas. X X Reglas y fórmulas de derivación. X X Derivadas de funciones trigonométricas, exponenciales y logarítmicas. X X Derivación implícita y de orden superior. X X Aplicaciones de la derivada. X X
Integrales
Concepto, definición e interpretación de la integral. X X La integral definida. X X Integración de funciones. X X Reglas y fórmulas de la integración. X X Integración de funciones exponenciales, logarítmicas y trigonométricas.
X X
Aplicaciones de la integral. X X
Ejemplo de estructura: EXANI-II. Módulo Ingenierías y Tecnología
Las estructuras son analizadas y validadas por el Consejo Técnico
Acciones de control
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
¿Qué es una especificación?
Es una plantilla con la descripción detallada de lo que se espera que
el sustentante sea capaz de realizar en el contexto de la prueba sobre
un contenido en específico
De acuerdo con el último nivel de la estructura del examen, se
desarrolla al menos una especificación por contenido
Las especificaciones facilitan el trabajo de los elaboradores de
reactivos y garantizan la validez de la prueba
Tipos de especificaciones
Concisa. Es una definición operacional del tema o subtema por
evaluar, que incorpora el contenido, la acción que realizará el
sustentante y el contexto en el que se dará dicha acción
Integral. Además de la definición operacional, contiene un
reactivo ejemplo elaborado según los lineamientos institucionales
Ejemplo de una especificación
Definición operacional
El sustentante será capaz de identificar, en un texto breve (con una extensión de entre 3 y 5 líneas), entre tres y cinco palabras que requieren acentuación.Ejemplo de reactivo
Elija las palabras que deben acentuarse en el fragmento siguiente.
Estoy seguro de lo que quiero, mas poco (practicamente1 nada) he hecho para alcanzarlo2. ¿Debese3 esto4 a una falta de animo5 luego de la perdida6 de Fátima, o a mi7 irremediable y permanente sensación de vacío?
A) 1, 2, 4, 7
B) 1, 3, 5, 6
C) 2, 3, 6, 7
D) 2, 4, 5, 7
Respuesta correcta
BBibliografía relacionada
Vázquez, A., et al. (1997). Taller de Lectura y Redacción II, México, Nueva Imagen.
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Elaboración de reactivos
La DGA EXANI ofrece el Taller de Elaboración de Reactivos
A partir del análisis cualitativo de los reactivos elaborados por cada
asistente, se constituye un Comité de Elaboración de Reactivos
De forma periódica, la DGA EXANI dictamina el desempeño de todos
los profesores en los bancos de reactivos para su inclusión o
permanencia en el Comité.
Se capacita a todos los profesores en el conocimiento de los
lineamientos técnicos, los criterios editoriales y de formato que
deben cumplir los reactivos
Acciones de control
Asimismo, se les instruye en el manejo del Banco de Reactivos para
Agentes Externos (BRAE), donde se cuenta con el registro de todos
los elaboradores, sus reactivos y las fechas en que estos últimos
fueron ingresados
Acciones de control
Acciones de control
Proceso de construcción de una prueba objetiva
Planeación Diseño
Decisión de iniciar el proceso
Conformación de un Consejo
Técnico
Definición del objeto de medida
Definición del perfil referencial
Diseño de la estructura de la prueba
Elaboración de especificaciones
Elaboración de reactivos
Revisión técnica, validación, piloteo y calibración de los
reactivos
Construcción
Ensamble
Análisis cualitativo
Éste se lleva a cabo en tres etapas:
Revisión técnica. Personal del Ceneval supervisa que los
reactivos cumplan con los lineamientos técnico pedagógicos del
Centro, exceptuando los de contenido
En esta etapa, el elaborador puede recibir retroalimentación para
la mejora de sus reactivos
Acciones de control
Análisis cualitativo
Validación de contenido. Un grupo de expertos en alguna de las
áreas de los exámenes verifica que los reactivos estén alineados
a la estructura de la prueba, y que el contenido y conceptos
utilizados sean veraces
Acciones de control
Acciones de control
Análisis cualitativo
Revisión de estilo. La Dirección General Adjunta de Difusión
verifica que los reactivos cumplan con las reglas ortográficas, de
puntuación y redacción, así como el formato y correcta inserción
de imágenes
Acciones de control
Análisis cuantitativo
Consiste en realizar un piloteo de los reactivos aprobados en
validación, incluyéndolos en versiones operativas de los
exámenes, a fin de obtener información sobre su calidad en
situación real
Acciones de control
Se capacita a un grupo de personas en los aspectos logísticos de
la aplicación de los exémenes
Personal del Ceneval supervisa aleatoriamente las aplicaciones y
elabora un reporte de incidencias a fin de evaluar a los aplicadores
Análisis cuantitativo
A partir de los datos de la aplicación se obtienen parámetros
estadísticos de cada uno de los reactivos piloteados y sus
opciones, lo que permite determinar si pueden incorporarse al
banco correspondiente
Los reactivos se analizan con Teoría Clásica y Teoría de
Respuesta al ÍTEM
Acciones de control
Acciones de control
Consideraciones finales para elaborar una prueba objetiva
Solicitar al Consejo Técnico la revisión de los cambios en la estructura y mantenerlo informado sobre el comportamiento del instrumento
Verificar la vigencia de los contenidos de la estructura
Incrementar la participación de los comités académicos
Mantener actualizados a los miembros de los comités
Establecer como meta incorporar en el banco, al menos, cuatro veces el número de reactivos en la prueba
GRACIAS
Sofía Velázquez Ramírez
Coordinadora del Área de Producción yValidación de Reactivos