Sistemas de evaluaciónen línea

Elvira Navas PEvaluación y Recursos DigitalesCEPR08

Auge de las evaluaciones “en-línea”

Una de las áreas con mayor desarrollo en el campo del “eLearning” se refiere a las evaluaciones “en-línea”. Este desarrollo responde fundamentalmente a: Facilidad de desarrollo

En el mundo tecnológico es relativamente sencillo el desarrollo de herramientas que faciliten la producción de pruebas de evaluación. De hecho existe una variada oferta, colocando estas herramientas al alcance de cualquier docente interesado.

Amplitud de usoEl uso de las evaluaciones se ha expandido más allá de evaluar conocimientos. Se están usando para exponer a las personas a experiencias de aprendizaje, reducir curvas de aprendizaje, afianzar habilidades, conocimientos y destrezas adquiridas, y para motivar proporcionando un sentido de logro.

Actores

Entre los actores que intervienen en el sistema de evaluación “en-línea” encontramos: El diseñador

Encargado de elaborar las preguntas de evaluación. El instructor/docente

Encargado de diseñar y realizar las pruebas.Puede ser el mismo diseñador.

El usuarioLa persona que toma las pruebas de evaluaciones.

Beneficios

Diversidad de pruebas Reutilización de elementos Evaluaciones adaptativas Retroalimentación oportuna Facilita el desarrollo

Desventajas

Dudas sobre la identidad del usuario Corrección de respuestas abiertas Corrección de preguntas con respuestas cortas. Dificultades de tipo técnico.

Características de las evaluaciones “en-línea”

Registro automático de resultados Uso de banco de preguntas Orden aleatorio de las preguntas Retroalimentación Puntaje Almacenar resultados Tiempo Esquemas de navegación por las pruebas

Recomendaciones al diseñar pruebas

Incorpore instrucciones claras Cuando coloque al usuario frente a una pregunta de

completación o selección múltiple, asegúrese de incluir instrucciones claras y completas.

Por ejemplo, aclare si errores de tipeo bajarán puntos o si hay más de una respuesta correcta.

Al utilizar un puntaje variable, asegúrese de proveer instrucciones precisas al usuario sobre cómo serán corregidas sus respuestas.

Recomendaciones al diseñar pruebas

Tome previsiones de diseño tales como: Numero de preguntas Tiempo estimado de la prueba Tipo de preguntas Puntuación estimada para cada pregunta. Criterios de corrección de cada pregunta.

Peligros de los programas para generar evaluaciones Las herramientas para crear evaluaciones en-línea

enfrentan los mismos problemas que tiene el método tradicional de papel y lápiz, más otros retos asociados a la tecnología … Las preguntas NO están relacionadas a los objetivos del

curso.(debe estar de acuerdo además al nivel del objetivo) Número inadecuado de preguntas. No debe ser ni muy bajo

que resulte insuficiente ni muy alto que resulte en cansancio que desmejore el resultado real.

Evaluación desproporcionada de la memorización.

Diseño de ítems de evaluación

Componentes del Ítem de evaluación

Enunciado de la pregunta que presenta un problema.Puede ser un campo estático de texto, que permanece visible mientras el usuario responde y suplementado por una ilustración.También puede ser un gráfico, clip de video o sonido.

Opciones de respuesta Navegación Evaluación de la respuesta

Componentes del Item de evaluación

Retroalimentación. Según la estrategia:

No ofrece información alguna. Ofrece la respuesta correcta e

información complementaria. Ante un error, explica porque no

es correcta la respuesta. Ante un error, ofrece asistencia

(“coaching”). Ofrece una pista para facilitar un

nuevo intento. Ofrece oportunidad de

desplazarse a otro lugar (hipervínculo).

Ofrece mensajes de motivación.

Según medios utilizados: Muestra un texto. Muestra clip de sonido o animado. Mezcla de los anteriores.

Según el alcance: Genérica. Para buenas y para malas. Específica a cada opción.

Según el momento: Inmediata. Al finalizar prueba. Bajo solicitud del usuario.

Tipos de ítems de evaluación

Arrastrar y soltarDrag and Drop En este tipo de ítem se evalúa que el usuario sea

capaz de seleccionar y arrastrar un objeto para dejarlo caer (soltarlo) en la posición correcta.

Exige que el usuario tenga la habilidad para arrastrar y soltar objetos en la pantalla.

Por su contenido visual y por exigir cierta interactividad, es un item de evaluación atractivo para los usuarios.

Respuesta larga - Ensayo

En este tipo de ítem el usuario debe responder a preguntas abiertas.

Para la evaluación de este tipo de ítems, existen al menos dos opciones: Evaluación automática

Se se localizan palabras claves (su presencia o ausencia) predefinidas por el diseñador.Es previsible cierto margen de error en esta identificaciónautomática.

Con la ayuda de un experto en contenidosLas respuestas son enviadas electrónicamente a unespecialista para que verifique su correctitud y las comente.Obviamente habrá retardo para conocer los resultados.

Área activa -- Hot Spot

En este tipo de ítem se le exige al usuario que seleccione una posición sobre una imagen.

Requiere utilizar un ratón o una pantalla sensible al toque.

Pareo (entre dos listas) Se presentan dos categorías de elementos para que el usuario

relacione un elemento de una categoría con uno de la otra categoría.

La representación visual del pareo puede diferir desde una línea de conexión hasta un conjunto de cajas de selección.

Las preguntas de pareo evalúan a nivel de memorización y son consideradas una variación de preguntas de selección.

Para desarrollar este tipo de preguntas: Verifique el diseño de interfase para que los elementos ocupen la pantalla

sin la necesidad de desplazarse (scroolling). Considere el efecto de distintas resoluciones de pantalla sobre su diseño. Evite utilizar herramientas que dibujan una línea entre los elementos

conectados. Provea algunos distractores y evite que las columnas contengan la misma

cantidad de elementos, ya que esto facilita la respuesta a medida que quedan eliminados los elementos.

Selección – Verdadero y Falso Las preguntas de verdadero y falso son apropiadas para evaluar

memorización de información factual. Son preguntas generalmente sencillas de escribir. Si memorizar

no es acorde al objetivo, re-evalúe su uso.

Para desarrollar preguntas de verdadero y falso: Escriba una pregunta de verdadero y falso para cada hecho que deba

memorizarse. Evalúe hechos significativos, en lugar de trivialidades. Escriba enunciados que inequívocamente sean verdadero o falso. Escriba oraciones cortas. Elimine detalle innecesario que pueda confundir al usuario. Evite oraciones negativas y doble negaciones que pueden añadir una

sobrecarga cognitiva innecesaria.

Selección simple

Se le presenta al usuario un conjunto de opciones para que seleccione aquella que es correcta.

Dentro de esta categoría también se encuentran los ítems de “verdadero y falso”.

Para que tengan una buena efectividad es necesario un buen diseño del ítem (redacción de la pregunta y de las opciones).

Existe el peligro de redactar opciones muy sencillas de responder.

Selección múltiple

Similar a la de selección simple, se le presenta un conjunto de opciones al usuario para que seleccione todas aquellas que son ciertas o verdaderas.

Este tipo de ítem exige al usuario reflexionar sobre cada una de las opciones, por tanto ofrece una buena oportunidad de aprendizaje.

Las preguntas de selección múltiple evalúan hechos y la aplicación de conocimientos. Son preguntas más difíciles de escribir pero son la base para bifurcaciones, análisis de ítems, aprendizaje adaptativo y personalización.

Selección múltiple Para desarrollar preguntas de selección múltiple:

Evalúe una sola pieza de información por pregunta. Utilice sólo distractores creíbles. Utilice 4 ó 5 distractores. Evite utilizar respuestas que sean fácilmente descartadas. Revise la pregunta para identificar pistas que haya colocado

inadvertidamente. Chequee que la herramienta permita dar crédito a respuestas

parcialmente correctas. Evite utilizar “ninguna de las anteriores” o “todas las anteriores” como

distractores. En caso de utilizarlas, verifique que pueden pasar como respuestas

posibles. Coloque las respuestas en un orden lógico. Por ejemplo cuando

aparecen fechas o números, colóquelos en orden.

Completación

En los ítems de evaluación de “completación” el usuario debe colocar las palabras faltantes a un texto dado.

El diseñador debe tener en cuenta (prever) cómo debe reaccionar la prueba ante errores tipográficos del usuario y asegurarse de incorporar múltiples opciones correctas.

Las preguntas de completación (fill in the blanks) evalúan hechos o aplicación de conocimientos. Son preguntas retadoras al escribirlas debido a limitaciones existentes en algunas herramientas para aceptar sólo palabras o frases exactas.

Completación Para escribir preguntas de completación:

Escriba preguntas que tengan una respuesta sencilla. Mantenga presente las limitaciones de la herramienta. Utilice un solo espacio vacío por pregunta. Utilice este tipo de pregunta cuando desee que el usuario recuerde

información en lugar de seleccionar o identificar información. Considere el riesgo de errores de tipeo y de respuestas debatibles. Si la herramienta no puede aceptar un conjunto de respuestas posibles,

prepárese para una revisión manual para ser justo.

Recomendaciones al diseñar items de evaluación

Minimice el “adivinar” y evite preguntar información trivial.

Evite que se necesite scrolling. En cuanto al diseño de las opciones redáctelas de

manera que….

Recomendaciones al diseñar items de evaluación Sean comparables en contenidos, longitud y lógica.

Facilita la validez de los distractores. Además, estadísticas demuestran que el 65% de las veces la

opción correcta es la más extensa. Se debe a que suele ser la más detallada y completa. Asegúrese que la correcta no sea la opción más larga.

No se repitan. Evite que aparezcan palabras repetidas en cada opción. Hace

más difícil su entendimiento. Las palabras repetidas deben formar parte del enunciado.

Sean semejantes en su lenguaje . Evite que por la sintaxis pueda inferirse cual es la

opción correcta.

Recomendaciones al diseñar items de evaluación Ordenadas lógicamente.

Si son números, colóquelos ordenadamente. Distractores reales (creíbles).

Esto puede ser lo más difícil. Un distractor luce razonable, pero no es técnicamente correcto.

Deben utilizarse para separar a los usuarios en dos grupos: aquellos que entienden el material y aquellos que no tienen el suficiente conocimiento.

Errores que comúnmente cometen los usuarios, son excelentes distractores.

No incluyan “ninguna de las anteriores” o “todas las anteriores”.

Bibliografía consultada

QuestionMark. Learning about assesment. http://www.questionmark.com/us/learningcafe/index.htm#learning_about_assessments

Creating Effective Assessments- Presentación en Power Point

How to Write Good Test Questions – presentación en PowerPoint