Post on 30-Jun-2015
Diseño de Instrumentos de
Evaluación
DINÁMICA DE PRESENTACIÓN
OBJETIVO GENERAL
Al término del curso el participante identificará los lineamentos metodológicos para el diseño de
instrumentos de evaluación referidos en el elemento 2 del estándar de competencia EC 0049 “diseño de
cursos de capacitación presenciales, sus instrumentos de evaluación y material didáctico”. Aprobado por el CONOCER, a fin de aplicarlos en
el diseño de instrumentos para evaluar los alcances obtenidos de los objetivos de aprendizaje
propuestos en el diseño de sus cursos.
1. Perfil del Estándar de Competencia EC 0049
2. Aspectos teóricos para el Diseño de instrumentos
2.1 Conceptos de validez y confiabilidad
2.2 Características de los diferentes tipos de
instrumentos
2.3 Principios para la elaboración de reactivos
3. Estrategias de Evaluación y estructura del instrumento
Contenido Temático
EXPECTATIVAS
Celulares en vibrador
¿Algo más?
Reglas del Taller
Espero mi turno para hablar
Participación activa
Contrato de aprendizaje
Momentos de Evaluación
¿Qué saben?
Elemento 1 de 3
Diseñar cursos de capacitación presenciales
Elemento 2 de 3Diseñar instrumentos para la
evaluación de cursos de capacitación presenciales
Elemento 3 de 3Desarrollar materiales didácticos
para cursos de capacitación presenciales
“Diseño de cursos de capacitación presenciales,
sus instrumentos de evaluación y material
didáctico.”
Perfil del Estándar de Competencia EC 0049
ProductosConocimientos
Componentes de los Elemento 2 de Competencia del EC 0049
Criterios de evaluación expresados como:
Actitudes/Hábitos/Valores: ORDEN
Aspectos teóricos para el Diseño de instrumentos
Definición de validez y confiabilidad de los instrumentos de evaluación
Características de los siguientes tipos de instrumentos de evaluación
• De habilidades y destrezas• De conocimiento
Principios para la elaboración de reactivos
Definición de validez de los instrumentos de evaluación
GARANTIZA QUE SE CONSIDEREN TODOS
LOS CONTENIDOS QUE SE BUSCAN
EVALUAR Y QUE LA MUESTRA DE
CONTENIDOS QUE SE UTILIZO PARA INTEGRAR EL
INSTRUMENTO, ES REPRESENTATIVA DEL
CONSTRUCTO
VALIDEZ
Se pierde por:
A) Obviedad en el reactivo (aunque no tenga los conocimientos)
Reactivo:
Si las verduras llegan sucias al almacén del restaurant, ¿se deben lavar antes del consumo humano
V ( ) F ( )
INSTRUMENTOS DE EVALUACION
Deben estar directamente relacionadas al alcance de los objetivos propuestos
B) Ambigüedad Hacen fallar al evaluado (aunque tenga los conocimientos)
Reactivo: El fuego es un elemento peligroso V ( ) F ( )
Es la consistencia de los datos a través del tiempo, siempre que
un instrumento se aplique en situaciones similares, se obtendrán
resultados similares
INSTRUMENTOS DE EVALUACION
CONFIABILIDAD
Definición de confiabilidad de los instrumentos de evaluación
Genera resultados similares con independencia del momento y de la persona que aplique el instrumento. Se define por la consistencia y coherencia de los
resultados.
Conocimiento
y
Tipos de Instrumentos
Destrezas y habilidades
Lista de cotejo
Se aplica para evaluar productos, permite comparar los aspectos esperados en objetos o documentos contra las evidencias mostradas por el candidato.
Guía de Observación
Se aplica para evaluar desempeños, permite observar las actividades del candidato en el momento mismo de la evaluación.
Características de los siguientes tipos de instrumentos de evaluación:
Cuestionario
Interrogatorio oral o escrito que se utiliza para evaluar conocimiento. Integrado por distintos tipos de preguntas: afirmación, respuestas cortas, opción múltiple, respuesta amplia, complementación etc.
De habilidades y destrezas De conocimiento
Criterio de Evaluación Instrumento Ejemplo de reactivoConocimiento
Se recomienda de respuesta estructurada. Evalúan una idea y no
están sujetos a discusión.
Cuestionario1. Respuesta corta, respuesta larga2. Respuesta estructurada: (relación de columnas, opción múltiple, completamiento de orientaciones, respuesta alternativa)
Técnica instruccional que consiste en poner en práctica algún conocimiento, habilidad o destreza, con el fin de aprender con la práctica a) Diálogo – discusiónb) Dinámica grupalc) Expositivad) Demostración-ejecución
DesempeñoIncluir detalles que debe
demostrar la persona evaluada en el hacer.
Guía de observación Desarrolla los temas del curso:• Aplicando técnicas grupales• Usando los principios de educación para adultos• Manejando el lenguaje verbal y no verbal acordes a las características de los participantes
ProductoRegistros de las cualidades que debe presentar el objeto
o documento
Lista de cotejo El contenido de temas y subtemas contiene:•Objetivos de aprendizaje •Introducción•El desarrollo de cada tema •El desarrollo de cada subtema •La conclusión del tema
Benjamín Bloom (1970) expresó que el aprendizaje influye sobre distintas manifestaciones o áreas del comportamiento humano, éstas
son:
Área Cognitiva
Área Psicomotriz
Área Afectiva
DOMINIOS DE APRENDIZAJE
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
COGNITIVO: Conductas en las que
predominan procesos mentales o
intelectuales del individuo, que van desde
la simple memorización hasta la
aplicación de criterios y elaboración de
juicios que refieren de una actividad
intelectual compleja.
DOMINIOS DE APRENDIZAJE
DOMINIOS DE APRENDIZAJE
Fortalezas del uso de la taxonomía de Bloom
Define de una manera clara y precisa las tareas cognitivas relacionadas con cierto grado de dominio de la información ,
Proporciona los elementos necesarios para la evaluación del aprendizaje en término de tareas.
Ha servido de guía para realizar diversas tareas vinculadas con el proceso de enseñanza-aprendizaje.
• La American Educational Research Association la revisa Periódicamente, la taxonomía cuyo uso es generalizado en el medio educativo.
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
CUESTIONARIO
Tipos de Instrumentos
Comprensión
Aplicación
Análisis
Conocimientos
Síntesis
Evaluación
Simple
complejo
impl
icació
n
Niveles cognoscitivos por B. Bloom
CONOCIMIENTO
Un reactivo de conocimiento se caracteriza porque propicia la evocación o recuerdode información específica. Para contestar un reactivo de conocimiento, el alumnodebe recordar algún dato (fechas, eventos, lugares) o teoría (términos, definiciones, conceptos y principios) en su forma original.
Ejemplo:
Friedrich Fröbel fue un pedagogo que nació en:a) Alemaniab) Franciac) Estados Unidosd) Brasil
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
En un reactivo de este nivel se presenta la información de otra forma, se transforma, se buscan relaciones, se asocia, se interpreta (explica o resume); se presentan posibles efectos o consecuencias, se hacen generalizaciones y extrapolaciones. Por lo que requiere que el alumno manifieste su entendimiento de los conocimientos de una materia al: explicar las relaciones entre los datos o los principios, parafrasear, comprender afirmaciones no literales como simbolismos y metáforas, traducir material matemático o simbólico a un nuevo contexto, comparar, contrastar, reordenar ideas, realizar extrapolaciones, interpretar hechos, ordenar, agrupar, inferir causas y predecir consecuencias
Ejemplos:
1.- Con base en los resultados de un examen se determinó que María superó al 80% de sus compañeros, ésta es una interpretación:
A) referida a la normaB) de puntajes TC) referida a criterioD) de puntajes estandarizados
2.- Con la finalidad de saber cuál es la probabilidad de que dos bolas que se extraigan de una caja con 4 bolas blancas y 7 negras; la primera sea una blanca y la segunda negra, es necesario hacer uso del teorema de:
a) Pitágorasb) Désarguesc) Bayesd) Fermat
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
Comprensión
El reactivo de aplicación requiere del uso de abstracciones, reglas de procedimiento o métodos generalizados en situaciones particulares y concretas. Pueden ser también principios, ideas y teorías que deben recordarse de memoria y aplicarse para resolver problemas.
Ejemplos:
Se calientan verduras desde 12 hasta 120°C, usando vapor saturado a 160°C, si la cantidad de verduras es de 280 Kg/H, ¿cuál es la cantidad de vapor utilizada si la temperatura de los condensados a la salida del intercambiador es de 65°C?
A) 278.5*B) 782C) 2.785D) 872.2
Si el objetivo de una investigación es comparar las diferencias en la capacidad de creatividad entre hombres y mujeres de la carrera de Filosofía y Letras, ¿cuál de las siguientes hipótesis pudiera corresponder a dicho estudio?
a) Las estrategias de resolución de problemas usados por las mujeres suelen abarcar mayor número de alternativas que aquellas usadas por los hombres.
b) Los hombres son más creativos que las mujeres, ya que éstos pueden resolver problemas de manera más rápida y práctica en la cotidianeidad.
c) Las mujeres muestran mayor facilidad para el cambio de paradigmas debido a la estimulación familiar a la que estuvieron sujetas en su infancia. d) Los hombres no son más creativos que las mujeres y viceversa, sólo utilizan dicha habilidad de manera diferente ante las mismas circunstancias.
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
Aplicación
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible en http://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
AnálisisLos reactivos de análisis, requieren demostrar la capacidad para descomponer el todo en sus partes (razonar) y solucionar problemas a partir del conocimiento adquirido, el principal proceso es la capacidad para discriminar información.
Ejemplo:
Se calientan verduras desde 12 hasta 120°C, usando vapor sobrecalentado a 160°C, si la cantidad de verduras es de 280 Kg/H, ¿qué sucede con el vapor utilizado de 278.5°C y la temperatura de los condensados si la salida del intercambiador es de 65°C, considere que el Cp. del puré es de 0.875 Kcal/Kg°C.
A) El ciclo térmico disminuye el contenido energético del puréB) La temperatura es resultado de vapor seco por el tipo de intercambiadorC) El costo-beneficio incrementa 15% la rentabilidad de esta técnicaD) Los 278.5°C corresponden con vapor saturado por la Kcal/Kg.°C
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible en http://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
Cuando un alumno contesta un reactivo de síntesis debe organizar, ordenar y combinar fragmentos, partes o elementos para formar un todo, un esquema con un orden lógico que antes no estaba presente de manera clara. Dentro otras habilidades específicas se incluyen el proponer formas de comprobar las hipótesis (planear), deducir proposiciones y relaciones, generalizar a partir de hechos, relacionar conocimiento con varias áreas, predecir, sacar conclusiones y producir algo original después de fraccionar el material en sus partes componentes (usar viejas ideas para crear nuevas).
Ejemplo:
La profesora Tere tiene dos grupos de alumnos de primaria. En ambos grupos, más del cincuenta por ciento de los alumnos llegan tarde al aula diariamente. Ella ha decidido que a todos los alumnos del primer grupo les regalará una paleta cada vez que el 100% de los alumnos lleguen a tiempo; mientras que en el otro grupo ha decidido darles una paleta únicamente a los alumnos que lleguen temprano.
¿Qué predicciones se pueden acerca de las estrategias implementadas por la profesora Tere?
a) Que en ambos grupos se obtendrán resultados favorables por igual, ya que en los dos se utilizará el reforzamiento
positivo de la conducta de llegar temprano.
b) Que es más probable que más alumnos lleguen temprano en el primer grupo dada la presión de grupo, ya todos
recibirán el reforzamiento por su esfuerzo.
c) Que es más probable que más alumnos lleguen temprano en el segundo grupo por la utilización del reforzamiento
selectivo hacia los alumnos que si lo necesitan.
d) Que no habrá cambios significativos en ambos grupos, ya que la maestra no está aplicando adecuadamente los
principios de modificación conductual.
Síntesis
Fuente: CENEVAL. Dirección de Normas y Estándares (2004). Descripción de los niveles taxonómicos del dominio cognoscitivo. Disponible enhttp://192.168.1.140/intranet/admin/cons_documentos.php?ndf=81
Evaluación
En este caso consiste en realizar juicios de valor para determinar en qué medida la información satisface criterios definidos (patrones o normas).
Ejemplo:
(Se supone que los alumnos leyeron el libro al que hace referencia la pregunta, previamente) Marcela Serrano representa en su obra literaria “Nuestra Señora de la Soledad” la búsqueda de la ______________ a través de la _________________ emocional a la que se enfrenta el personaje principal en la edad adulta.a) riqueza/ liberaciónb) autorrealización/ crisis c) compañía/ ausenciad) felicidad/ negociación
• Preguntar por lo que se quiere medir.
• Recordar que el examen tiene como propósito conocer cuánto sabe el sustentante y no demostrar que no sabe.
• Corresponder a lo establecido por el perfil referencial de validez y la tabla de especificaciones.
• Explorar el desempeño cognitivo óptimo para el contenido evaluado.
• Se debe considerar el nivel educativo de los sustentantes, en nuestro caso se deberá de pensar que son sujetos que ya desempeñándose en campo laboral o profesional.
• La respuesta a un reactivo debe ser independiente a la de los demás.
• Colocar la respuesta correcta al azar.
• Jerarquizar los distractores de acuerdo a la plausibilidadel error más probableel no tan probableel menos probable
Principios para la elaboración de reactivos
• Cuestionamientos que puedan ser contestados a través del sentido común.
• Incluir información adicional.
• Preguntar sobre citas textuales de libros o que requieran respuestas memorísticas.
• Términos que den claves sobre la respuesta correcta.
• Tecnicismos o contenidos poco significativos.
• Preguntas sobre contenidos muy específicos o excesivamente generales.
EVITAR
Fuente: Haladyna T. M. (1999). Developing and validating multiple-choice test items. Lawrence Earlbaum Associates, Pulishers: Mahwan, New Jersey
Análisis cualitativo de reactivos
Lista de verificación para evaluar reactivos simples
Lista de cotejo para revisión de reactivos (aspectos de forma)
Características si no Observaciones
1 El reactivo se presenta en forma clara
2 El problema esencial se encuentra incluido en la base
3 El reactivo es conciso, sin verborrea inútil.
4 Se evita repetir en cada opción palabras o frases claves
5 Se encuentran cuatro opciones
6 Las respuestas están ordenadas en forma sistemática
7 Las opciones son plausibles como distractores
8 Las opciones no presentan pautas irrelevantes que permitan adivinar la respuesta
9 Existe una sola respuesta correcta
10 Se evita el uso de la opción “Todas las anteriores”
11 Se evita el uso de la opción “Ninguna de las anteriores”
12 Se evita el uso de opciones irrelevantes o superpuestas (sinónimas)
13 Se evita el uso de oraciones negativas o se subraya la negación
14 El reactivo es independiente de otros
15 Todas las opciones pertenecen al mismo campo semántico
16 Todas las opciones tienen aproximadamente el mismo número de palabras
17 El reactivo es original (no una copia de ejemplos de libros)
18 Hay correspondencia de género y número entre las opciones y el reactivo
19 Hay correspondencia entre el objetivo y el reactivo en su nivel taxonómico
20 Se presentó la justificación de los distractores
Lista de Cotejo
Tipos de Instrumentos
Evaluación de Producto
Se evalúan aquellas características esenciales de un producto: calidad, forma, color, condiciones de funcionamiento, aplicación de normas.
Entrega evidencia válida y rápida, la medición puede ser realizada con relativa objetividad. Sirve para evaluar cualitativamente.
Cuándo evaluar producto?
• Cuando se necesita ahorrar tiempo.• Cuando los pasos o elementos claves pueden ser inferidos observando el
producto final.• Cuando la única manera de lograr un producto aceptable es siguiendo el
proceso correcto.
LISTA DE COTEJO
Lista de cotejo para revisión de reactivos (aspectos de forma)
Características valor si no Observaciones
1 El reactivo se presenta en forma clara
2 El problema esencial se encuentra incluido en la base
3 El reactivo es conciso, sin verborrea inútil.
4 Se evita repetir en cada opción palabras o frases claves
5 Se encuentran cuatro opciones
6 Las respuestas están ordenadas en forma sistemática
7 Las opciones son plausibles como distractores
8 Las opciones no presentan pautas irrelevantes que permitan adivinar la respuesta
9 Existe una sola respuesta correcta
10 Se evita el uso de la opción “Todas las anteriores”
11 Se evita el uso de la opción “Ninguna de las anteriores”
12 Se evita el uso de opciones irrelevantes o superpuestas (sinónimas)
13 Se evita el uso de oraciones negativas o se subraya la negación
14 El reactivo es independiente de otros
15 Todas las opciones pertenecen al mismo campo semántico
16 Todas las opciones tienen aproximadamente el mismo número de palabras
17 El reactivo es original (no una copia de ejemplos de libros)
18 Hay correspondencia de género y número entre las opciones y el reactivo
19 Hay correspondencia entre el objetivo y el reactivo en su nivel taxonómico
20 Se presentó la justificación de los distractores
EJEMPLO DE LISTA DE COTEJO
PSICOMOTRIZ: Se refieren a
las conductas que se realizan
con precisión, exactitud,
facilidad, economía del
tiempo y esfuerzo.
DOMINIOS DE APRENDIZAJE
Guía de Observación
Tipos de Instrumentos
Manipulación
Precisión
Control
Imitación
Automatización
Creatividad
Simple
complejo
impl
icació
n
Niveles de tipo psicomotor por b. Bloom
Evaluación de Desempeño
Consiste en un listado de aspectos a evaluar (habilidades, conductas, destrezas etc.), y es entendido básicamente como un instrumento de verificación.
Es decir, actúa como un mecanismo de revisión durante el proceso de enseñanza-aprendizaje de ciertos indicadores prefijados y la revisión de su logro o de la ausencia del mismo.
Puede evaluar cualitativa o cuantitativamente, dependiendo del enfoque que se le quiera asignar. O bien, puede evaluar con mayor o menor grado de precisión o de profundidad.
Guía de observación
La Guía de Observación también se puede utilizar para verificar si el capacitando sigue un proceso o una metodología en forma consistente basándose en los lineamientos y estándares establecidos.
La Guía de Observación es una herramienta que puede utilizar para observar sistemáticamente un proceso al ocupar una lista de preguntas cerradas.
¿Cómo se elabora?
A) Revise los pasos del proceso o conducta que ha decidido observar. B) Seleccione los pasos críticos del proceso o metodología.
C) Elabore una lista de preguntas para verificar si los pasos dentro del proceso o metodología efectivamente se llevan a cabo. Estas preguntas deberán ser cerradas, esto quiere decir que las únicas respuestas posibles serán un “no” o un “siEs importante considerar que la información que se vacíe en el formato propuesto no es limitativa, esto es que usted puede incluir la información que considere relevante o necesaria para efectos de identificación).
D) Lleve a cabo las observaciones y recolecte los datos.
Nombre de la Materia: Grado y grupo:Plantel:
Profesor: Clave:
Alumno: Fecha de aplicación:
Descripción: Guía de observación (50%) Código: GO.01No Acciones a evaluar
REGISTRO DE
CUMPLIMIENTOOBSERVACIONES
SI NO NA
1 Se coloca la bata de trabajo con base en las especificaciones.(1)
2 Verifica que su área de trabajo se encuentre limpia y ordenada(1)
3 Verifica que el equipo de seguridad se encuentre en condiciones funcionales.(1)
4 Indica los departamentos que intervienen en el proceso de producción en cuanto a: (2)
a) Trazo y corteb) Almacénc) Confecciónd) Mantenimiento
5 Identifica los formatos de producción en: (2)
a) orden de producción
b) hoja de especificaciones
Ejemplos de Guía de ObservaciónEjemplo 1:INSTRUMENTO DE EVALUACIONDesempeño a evaluar: Aprovisiona los materiales de trabajo de acuerdo a la orden de producción
INSTRUCCIONES: Observe si la ejecución de las actividades que se enuncian las realiza el capacitando que se esta evaluando y marcar con una “X“ el cumplimiento o no en la columna correspondiente, así mismo es importante anotar las observaciones pertinentes.
NO. COMPORTAMIENTO A EVALUAR
1ER. DÍA 2º. DÍA 3ER. DÍAPROMEDIO FINALAlm Inst Alm Inst Alm Inst
1 Transmite ideas de forma clara y concreta.
2 Enfoca sus comentarios al tema abordado.
3 Comparte su experiencia centrándose en el tema.
4 Da retroalimentación oportuna y propositiva.
5 Recibe retroalimentación y la aprovecha.
6 Genera un ambiente de entusiasmo por el aprendizaje.
TOTALES
Desempeño a evaluar: Líneas de orientación del curso-taller: Enfoque en el aprendizaje y Gestión de un clima de aprendizaje.
CONDICIONES DE OPERACIÓN:•Esta guía de observación deberá ser aplicada por el instructor y por el compañero (pareja) de trabajo del evaluado.•Siempre al finalizar cada día de trabajo.•Primero la responde compañero y después el instructor. Sería ideal que lo pudieran hacer simultáneamente.•El instructor se queda con el instrumento después de cada día de trabajo.INSTRUCCIONES: Anote en el cuadro correspondiente el número que se ajuste a la percepción que usted tiene de su compañero de
trabajo respecto a las conductas que se anotan. considere la siguiente escala:
1. Pésimo. Me sorprende negativamente. 0 puntos2. Insuficiente. 5 puntos3. Suficiente. 7 puntos 4. Excede mis expectativas. Me sorprende positivamente. 10 puntos
PRINCIPIOS PARA LA ELABORACIÓN DE REACTIVOS
Reactivo o Constructo (Un constructo es una construcción teórica
que se desarrolla para resolver un cierto problema ).
Pregunta, proposición, planteamiento y/o problema diseñado que busca obtener información sobre un aspecto que se quiere medir, con el fin de explorar la presencia o ausencia de una competencia determinada.
Diseño de reactivos
Requisitos• Consistencia entre el contenido del objetivo a
evaluar y el Reactivo diseñado, y
• Consistencia en los resultados
Respuesta Abierta
Tipos de reactivos
La solucion esperada puede ser variable y no esta previamente estipilada, la valoracion de las respuestas implica un análisis de expertos
Respuesta Estructurada
Presentan soluciones esperadas, únicasy establecidas de antemano, sirven para identificar Fácilmente si el candidato cumple o no con dicha respuesta
Este tipo de reactivos permite medir habilidades tales como la capacidad de recordar e integrar ideas; la capacidad de expresarse por escrito; la capacidad de suministrar interpretaciones y aplicaciones de los datos, y no sólo reconocer.
Los reactivos de ensayo se clasifican en dos gruposReactivos de ensayo de respuesta restringida: Limita a veces no sólo el contenido, sino también la respuesta del capacitando.Ejemplo:
Exponga en no más de veinticinco palabras……Explique en una cuartilla…………Exprese en cinco líneas…….
Reactivos de ensayo de respuesta extensiva: Da margen de libertad para que el capacitando pueda organizar su respuesta. Esta Libertad le permite demostrar su capacidad para seleccionar, organizar, evaluar e integrar ideas, relacionándolas de manera coherente y expresándolas en forma lógica y sintética.Ejemplo:
Explique qué es la globalizaciónEscriba su autobiografía
Tipos de reactivo de Respuesta Abierta
Falso VerdaderoConsiste en una aseveración que quien contesta debe marcar como falsa o verdadera, en cada reactivo hay solamente dos posibles respuestas: falso o verdadero. Ejemplo: Instrucciones: Indique si es falsa (F) o verdadera (V) cada una de las siguientes afirmaciones, anotando F o V en el paréntesis de la derecha. 1.- México se encuentra geográficamente ubicado en Centroamérica(F) 2.- La Ley Federal de trabajo es un documento administrativo en México(F) 3.- La ciencia que estudia a los seres vivos es la Biología
(V)
Tipos de reactivo de Respuesta Estructurada
Opción múltipleConsta de una pregunta o enunciado incompleto (base) y varias opciones de respuesta o complemento posibles entre los cuales habrá que elegir la respuesta correcta. Las respuestas incorrectas reciben el nombre de distractores. Ejemplo: Instrucciones: Seleccione la respuesta que considere correcta para la siguiente pregunta, marcando con X sobre la letra.1.- ¿Cuál de las siguientes características es fundamental para un instructor? a) Carisma b) Paciencia c) Dominio del tema d) Conocimiento del medio
Tipos de reactivo de Respuesta Estructurada
Tipos de reactivo de Respuesta Estructurada
Columna A Columna B
1.- Colores de la bandera de Argentina ( ) a) Verde, blanco y rojo
2.- Colores de la bandera de Cuba ( ) b) Azul cielo y blanco
3.- Colores de la bandera de Canadá ( ) c) Azul intenso, blanco y rojo
4.- Colores de la bandera de Italia ( ) d) Rojo y blanco
Relación de columnas Consta de una columna con varias situaciones o problemas a resolver y otra columna con una lista de posibles respuestas de donde se debe elegir la correspondiente. La acción del participante es vincular ambas columnas. Ejemplo: Instrucciones: Para cada planteamiento de la columna A, seleccione la respuesta que considere correcta en la columna B, colocando la letra en el paréntesis correspondiente
Completamiento de oracionesSe solicita que la persona que conteste complete un enunciado, seleccionando una o dos palabras faltantes.Ejemplo: Instrucciones: Elija la palabra que complete correctamente el siguiente enunciado: La circunferencia es el conjunto de __________ del plano que están a una misma distancia del centro.puntoslíneasvectoresCoordenadas
Tipos de reactivo de Respuesta Estructurada
Tipos de reactivo de Respuesta Estructurada
Jerarquización / OrdenamientoEste tipo de reactivos se caracterizan por ofrecer al examinado una lista de elementos o datos a los cuales debe dar un orden específico de acuerdo con el criterio que se indica en las instrucciones (cronológico, lógico, evolutivo, por rangos, etc.) No existen normas para regular el número de elementos o datos a ordenar, sólo se sugiere no emplear menos de 5 ni más de 10 cuestiones para ordenar.
Por ejemplo:Instrucciones: Anote dentro del paréntesis, el orden correspondiente a los planetas según su cercanía con el Sol; en donde el número 1 será el más cercado al Sol y el 9 el más lejano.
Venus ( ) Tierra ( ) Mercurio ( ) Urano ( ) Saturno ( )
Júpiter ( ) Neptuno ( ) Marte ( ) Plutón ( )
Localización / IdentificaciónSe caracterizan por contener una serie de indicaciones, referidos a conductas que han de verificarse sobre un material esquemático o gráfico dado en el mismo reactivo (mapas, diagramas, cuadros sinópticos, ilustraciones, modelos, etc.)Ejemplo:
Escribe los nombres de los lóbulos señalados en el dibujo.
Tipos de reactivo de Respuesta Estructurada
Selección múltiple / Opción múltipleUna pregunta de selección múltiple consta de un enunciado o base, en el que puede plantearse un problema en forma de pregunta directa o de afirmación incompleta.La lista de respuestas (que pretende ser de 3 a 5) que se presentan como soluciones, recibe el nombre de alternativas. Al capacitando se le solicita que seleccione la respuesta correcta o simplemente la mejor.La alternativa correcta recibe el nombre de solución y las alternativas incorrectas se llaman distractores.Ejemplo:Enunciado. ¿Cuál de las afirmaciones siguientes expresa la relación entre los procesos de evaluación y de medición de la educación? Alternativasla evaluación en el punto de partida de la medición (distractor)La medición proporciona la información para ser interpretada por la evaluación. (solución)Son dos procesos que se dan simultáneamente dentro del proceso de enseñanza-aprendizaje. (distractor)Evaluar es medir el rendimiento de los alumnos (distractor)
Tipos de reactivo de Respuesta Estructurada
4. Distractor:Opción que representa una respuesta incorrecta.
Fuente: Haladyna T. M. (1999). Developing and validating multiple-choice test items. Lawrence Earlbaum Associates, Pulishers: Mahwan, New Jersey
Componentes de un reactivo de opción múltiple
1. Base o enunciado:Oración(es) que da(n) lugar a una respuesta.
2. Texto o gráfico:Narrativa o material gráfico que puede o no acompañar al
enunciado.
3. Respuesta:Ejecución que realizará el examinado de acuerdo con lo que
solicita el enunciado
Recomendaciones para la elaboración de la base del reactivo
Puede presentarse en forma declarativa o interrogativa.
Emplear un lenguaje simple.
Redactarse de manera clara, concisa y completa.
Omitir los artículos en el inicio de las oraciones cuando sea pertinente.
Entenderse sin necesidad de leer las opciones de respuesta
BASE O ENUNCIADO DEL REACTIVO
Oración(es) que da(n) lugar a una respuesta.
Fuente: Haladyna T. M. (1999). Developing and validating multiple-choice test items. Lawrence Earlbaum Associates, Pulishers: Mahwan, New Jersey
Evitar:
Incluir información adicional.
Incluir oraciones o frases negativas.
Utilizar abreviaturas de las unidades de medida salvo que se requiera la comprensión de las misma
Fuente: Haladyna T. M. (1999). Developing and validating multiple-choice test items. Lawrence Earlbaum Associates, Pulishers: Mahwan, New Jersey
Lineamientos generales para la elaboración de las opciones de respuesta
Recomendaciones para la elaboración de la Respuesta
Colocarlas al final del enunciado.
Ser de la misma longitud.
Presentarlas en orden lógico (las cifras en forma descendente o ascendente y las fechas en orden cronológico).
Sólo una opción debe ser correcta.
Cuidar su congruencia gramatical con la base o enunciado del reactivo (género y número).
Ejecución que realizará el examinado de acuerdo con lo que solicita el enunciado.
Evitar
Opciones de respuesta “ninguna de las anteriores” y “todas las anteriores”, o dejar alguna en blanco
Repetir palabras en las opciones (escríbalas en la base).
Emplear sinónimos.
Que la opción correcta sea muy extensa; misma extensión en las opciones.
Fuente: Haladyna T. M. (1999). Developing and validating multiple-choice test items. Lawrence Earlbaum Associates, Pulishers: Mahwan, New Jersey
Recomendaciones para la elaboración de distractores Ser atractivos.
Ser plausibles (que se admite o recomienda como bueno).
Ser creíbles.
Ser incorrectos.
Tener relación con la categoría temática del enunciado.
Representar los errores más comunes que pueden cometer los sustentantes.
Ponderar su valor de uno a tres, donde uno es el distractor más cercano a la respuesta correcta y tres el más lejano.
Lineamientos generales para la elaboración de los distractores
Opción que representa una respuesta incorrecta.
EjemploOpción # 1:¿Cuál es el Estado al Sur de la República Mexicana con mayor extensión territorial? Opción # 2: Identifica el Estado con mayor extensión territorial del Sur de la República Mexicana:
Opciones de Respuesta:a)Oaxacab)Tabascoc)Chihuahuad)Guerrero
Justificación de los distractores (¿por qué es un distractor?): a) respuesta correctab) pertenece al mismo campo semántico ya que es un Estado ubicado al Sur de la República Mexicanac) error más frecuente ya que es el Estado más grande de la República Mexicanad) son Estados vecinos y su extensión territorial es muy similar
• Preguntar por lo que se quiere medir.
• Recordar que el examen tiene como propósito conocer cuánto sabe el sustentante y no demostrar que no sabe.
• Corresponder a lo establecido por el perfil referencial de validez y la tabla de especificaciones.
• Se debe considerar el nivel educativo de los sustentantes, en nuestro caso se deberá de pensar que son sujetos que ya desempeñándose en campo laboral o profesional.
• La respuesta a un reactivo debe ser independiente a la de los demás.
• Colocar la respuesta correcta al azar.
• Jerarquizar los distractores de acuerdo a la plausibilidad (creíble, admisible , veraz)
el error más probableel no tan probableel menos probable
Principios para la elaboración de reactivos
Redactar de manera clara y sencilla Evitar negaciones Contar con una sola respuesta correcta
CONCLUSION
• Cuestionamientos que puedan ser contestados a través del sentido común.
• Incluir información adicional.
• Preguntar sobre citas textuales de libros o que requieran respuestas memorísticas.
• Términos que den claves sobre la respuesta correcta.
• Tecnicismos o contenidos poco significativos.
• Preguntas sobre contenidos muy específicos o excesivamente generales.
EVITARCONCLUSION
ESTRATEGIAS DE EVALUACIÓN
Diagnóstica
Formativa
Sumativa
Satisfacción del curso
Funciones de la evaluación
Funciones de la evaluación.Las evaluaciones se inician por muchos motivos y funciones. Scriven (1967) inventó los términos de evaluación diagnóstica, formativa y final o sumativa, para referirse a las funciones de la evaluación según el momento en que ésta se realizará.
Función diagnóstica de la evaluación:
Permite al evaluador identificar los conocimientos previos de los capacitados, es decir aquellos conocimientos que tienen sobre la materia. Proporciona información útil al instructor para decidir el nivel de profundidad en que deben abordarse los nuevos elementos del contenido y las relaciones entre ellos.
Esta función es motivadora ya que posibilita a los capacitados tomar conciencia de las lagunas, imprecisiones y contradicciones de sus esquemas de conocimiento y la necesidad de superarlas.
Permite explorar los aprendizajes, habilites, destrezas y actitudes previos, necesarios o convenientes para abordar la formación considerada en el curso, esto permite al capacitador (instructor) tomar decisiones sobre la intervención formativa más conveniente y sobre estrategias que proporcionen las bases requeridas en caso de ser necesario
Función formativa de la evaluación:
Proporciona información para la mejora y desarrollo de una actividad en curso. Se concreta en la observación sistemática del proceso de aprendizaje del capacitado con la ayuda de pautas o guiones de observación y el registro de la información así obtenida en hojas individuales o grupales especialmente diseñadas para facilitar el seguimiento de dicho proceso.
Permite explorar el dominio que van alcanzando los participantes de formación en diferentes momentos de la formación con relación a los aprendizajes, habilidades y actitudes requeridos en el curso y con ello valorar los aprendizajes alcanzados por los participantes. En términos de su función reguladora, se efectúa al terminar un conjunto organizado de aprendizajes (temas, unidad o curso) y permite al instructor ir tomando decisiones con respecto a la calificación, acreditación y competencia del participante, así como en la relación con la retroalimentación que el instructor deberá proporcionar al participante en forma oportuna para que rectifique errores y consolide aciertos.
Función Sumativa de la evaluación:
Permite determinar el alcance de los objetivos y el punto alcanzado en las intenciones educativas planeadas. Mide los resultados de los aprendizajes de los capacitados para comprobar si se ha alcanzado el nivel exigido.
Permite explorar el dominio que han alcanzado los participantes al concluir la intervención formativa, con respecto a los aprendizajes, habilidades y actitudes planeados. La información obtenida permitirá identificar la evolución, interés y dificultades de los participantes, pertinencia de las estrategias y materiales didácticos, actitudes propias y formas para tomar decisiones respecto al proceso de formación
Evaluación de Satisfacción:
Es una primera dimensión que permite deducir el éxito de un evento de capacitación. Se observa en término de impacto causado a los participantes por la personalidad del instructor, lo novedoso del contenido temático, las formas de impartir el curso, las condiciones ambientales, entre otros factores.
Es un indicador de gusto, más que de efectividad. Se obtiene por medio de cuestionarios, dinámicas grupales o por observación por parte del instructor o del coordinador.
Para evaluar la satisfacción de los participantes en relación al curso que asistieron debemos preparar un Instrumento de Evaluación de Escalas estimativas, las cuales miden el dominio afectivo, por lo que ahí se registran las actitudes que se pueden tener ante una situación.
ESTRUCTURA DEL INSTRUMENTO
TÍTULO DEL INSTRUMENTO•Evaluación Diagnostica•Evaluación Intermedia y/o formativa•Evaluación Final y/o sumativa
DATOS DE IDENTIFICACIÓN•Curso: •Nombre de participante: •Nombre del instructor: •Fecha:•Registro de las respuestas•Contenido evaluativo: Resultados de aprendizaje a evaluar •Propósito del instrumento: identifica el uso del instrumento
RECOMENDACIONES PARA RESOLVER LA PRUEBA•Contienen las indicaciones para el evaluador, •Establecen los tiempos para la evaluación,•Especifica las instrucciones de uso para el
evaluado,
INSTRUCCIONES POR TIPO DE REACTIVO PARA EL EVALUADO
Especificar de forma clara y precisa lo que debe hacer el evaluado
Indica el valor de cada reactivo y la escala definida
REACTIVOS
Deben corresponder al nivel taxonómico de los objetivos de aprendizaje a evaluar
Aplicar los principios para la elaboración de reactivos.
Estructura del Instrumento de Evaluación
SE DEBE INCLUIR EL CUESTIONARIO CONTESTADO
ESCALA DE CALIFICACION DEL INSTRUMENTO:
Estructura del Instrumento de Evaluación de satisfacción del curso
• Contiene espacios para los datos de identificación
• Registro de comentarios;• Indica instrucciones generales • Escala de estimación del nivel de satisfacción
del curso• Incluye reactivos sobre :• Las características del evento,• El contenido del curso, • Los materiales didácticos y de apoyo, • El desempeño del instructor.
EVALUACIÓN DE
SATISFACCIÓN
Perfil del Estándar de Competencia EC 0049
SINTESIS
Aspectos teóricos para el Diseño de instrumentosConceptos de validez y confiabilidadCaracterísticas de los diferentes tipos de instrumentosPrincipios para la elaboración de reactivos
OBJETIVO GENERAL Al término del curso el participante identificará los
lineamentos metodológicos para el Diseño de
instrumentos de Evaluación referidos en el elemento 2
del Estándar de Competencia EC 0049 “Diseño de
cursos de capacitación presenciales, sus
instrumentos de evaluación y material didáctico”.
aprobado por el CONOCER, a fin de aplicarlos en el
Diseño de Instrumentos con fines de certificación
Estrategias de Evaluación y estructura del instrumento
Expectativas
Evaluación
Final
Compromiso de aplicación del aprendizaje
Evaluación de satisfacción del curso
Recomendaciones para el aprendizaje
continuo
ICECCT 1, Escobedo