Diseño de Instrumentos de M di ió C LíMedición para Cursos en Línea

Dra. Aury M. Curbelo

http://www.digitaleducationtechnology.comp // g gy

Obejtivos

• Al finalizar este taller los participantes:▫ Conocerán los principios fundamentales sobre el

diseño de instrumentos de medición para cursos en diseño de instrumentos de medición para cursos en línea.

▫ Conocerán los que son las rúbricas,▫ Conocerán los tipos de rúbricas▫ Conocerán como diseñar rúbricas para la evaluación

de cursos en líneade cursos en línea.▫ Conocerán los programas de computadoras

disponibles para el diseño de rúbricas.▫ Diseñaran rúbricas utilizando el programa Rubricator.

"For as long as assessment is viewed as For as long as assessment is viewed as something we do 'after' teaching and learning are over, we will fail to greatly improve , g y pstudent performance, regardless of how well or how poorly students are currently taught or motivated."

Grant Wiggins, 1998

I d ióIntroducción

Hmieleski y Champagne (2000).

“Though college students can order textbooks, register for courses, view grades, and apply for j b i h W ld Wid W b jobs using the World Wide Web, a recent survey by Rensselaer Polytechnic Institute's Interactive and Distance Education Assessment (IDEA) and Distance Education Assessment (IDEA) Laboratory found that nearly all colleges conduct course evaluations at the end of the term using a paper-based format.

I d ió ( )Introducción (cont.)

Esto significa que: • Esto significa que: ▫ Este tipo de evaluación no le sirve ni al profesor, ni a

los estudiantes, ni a la institución por las siguientesrazones: razones:

Resultados llegan semanas despúes que se ha terminadoel semestre.Los resumes de estas evaluaciones son ambiguos y con Los resumes de estas evaluaciones son ambiguos y con vagas explicaciones.Los estudiantes saben que sus comentarios van a ser leídos solo muchas, muchas semanas despúes.M h d l i ll b Muchas de estas evaluaciones se llevan a cabo en condiciones de gran estrés (e.g., para ascensos, promoción, requisitos institucionales, otros) en lugar de ser una herramienta para mejorar el proceso de ser una herramienta para mejorar el proceso de enseñanza y aprendizaje.

Desventajas de los modos tradicionales dej

evaluación de cursos• FormatoFormato▫ 98% de las universidades que ofrecen cursos en línea

utilizan formas de evaluación en papel ( estudiorealizado por IDEA Lab 1999)realizado por IDEA Lab ,1999).

• Frecuencia de la retroalimentación▫ Al final del semestre o mucho más tarde.

• Recibo de informes finales tardes▫ 25% dos semanas▫ 64% emtre un (1) mes64% emtre un (1) mes▫ 90% entre dos (2) meses

• CostosC t d l l $ $ t di t ñ▫ Costo del papel $0.25 a $ 4.00 por estudiante por año.

http://ts.mivu.org/default.asp?show=article&id=795

Pasos para utilizar evaluaciones en Pasos para utilizar evaluaciones en línea

• Retroalimentación inmediata (profesor y para los estudiantes)

• Interpretación de resultados inmediatos• Comentarios de los estudiantes organizados y a

tiempo.p• Respuesta individual.• Privacidad garantizada• Protección contra fraudeProtección contra fraude• Uso de contraseñas• Costos• Efectividad• Efectividad• Tiempo

Ejemplos de cuestionarios en líneaEjemplos de cuestionarios en línea

htt // li i d / / l t /• http://slim.emporia.edu/program/evaluate/• http://www.emporia.edu/asem/sample_eval.ht

mm• http://www.unomaha.edu/~wwwpa/postcours

e.html

http://slim.emporia.edu/program/evaluate/e2.htm

http://www.emporia.edu/asem/sample_eval.htm

http://www.unomaha.edu/~wwwpa/postcourse.htmlhttp://www.unomaha.edu/ wwwpa/postcourse.html

Ejemplo de softwaresEjemplo de softwares

• http://www.quia.com/

http://school.discovery.com/quizcenter/quizcecom/quizcenter/quizcenter.htm

Ejemplo de softwares (cont.)j p ( )

• http://www.questiontools.com/index.html

Otras alternativasOtras alternativas

• “Every time I introduce rubrics to a group of y g pteachers the reaction is the same — instant appeal (“Yes, this is what I need!”) followed l l b (“ d f h bclosely by panic (“Good grief, how can I be

expected to develop a rubric for everything?”). When you learn what rubrics do and why you When you learn what rubrics do—and why—you can create and use them to support and assess student learning without losing your sanity.”student learning without losing your sanity.▫ Heidi Goodrich Andrade (2004)

Q é úb i ? ¿Qué es una rúbrica?

• Según Rodríguez (2004):▫ Una rúbrica es una guía que intenta Una rúbrica es una guía que intenta

evaluar el funcionamiento de un alumno basado en la suma de una alumno basado en la suma de una gama total de criterios, más que de una sola cuenta numérica. sola cuenta numérica. ▫ Una rúbrica es una herramienta de

evaluación usada para medir el trabajo evaluación usada para medir el trabajo de los alumnos.

¿Qué es una rúbrica? (cont.)

• Rodríguez (2004):▫ Una rúbrica es una guía de trabajo tanto para

los alumnos como para los profesores.▫ Normalmente se entregan a los alumnos antes

d i i i d t i d t b j d de iniciar un determinado trabajo para ayudar a los alumnos a pensar sobre los criterios en los cuales su trabajo será juzgado los cuales su trabajo será juzgado.

▫ Una rúbrica favorece el proceso de enseñanza/aprendizaje. / p j

¿Qué es una rúbrica? (cont )¿Qué es una rúbrica? (cont.)

ú h d i l• Según The George Lucas Educational Foundation (2004):

L úb i i t ▫ Las rúbricas son sistemas multidimensionales que proporcionan

i t i l t b j d consistencia en los trabajos de evaluación de los estudiantes. L úb i tili d d l ▫ Las rúbricas se utilizan desde el comienzo hasta la terminación de un

tproyecto.

¿Qué es una rúbrica? (cont.)

• Según The George Lucas Educational Foundation (2004):Foundation (2004):

▫ Proporcionan un sistema específico de medida para tareas específicas y se medida para tareas específicas y se pueden adaptar para cada proyecto. Mientras más complejos sean los ▫ Mientras más complejos sean los proyectos más complejas son las rúbricasrúbricas.

Tipos de Rúbricas

• Según Gómez, Aguirre, Posso y García (2004):( 4)▫ Rúbrica Comprensiva

El profesor evalúa la totalidad del proceso o producto sin juzgar por separado las partes que lo componen.

▫ Rúbrica AnalíticaEl f lú i i i l t d l dif t El profesor evalúa inicialmente, por separado, las diferentes partes del producto o desempeño y luego suma el puntaje de estas para obtener una calificación total.

Tipos de Rúbricas (cont.) • Rúbrica Comprensiva• Rúbrica Comprensiva▫ Se utilizan cuando pueden aceptarse

pequeños errores en alguna de las partes del pequeños errores en alguna de las partes del proceso, sin que ellas alteren la buena calidad del producto final.

▫ Son más apropiadas cuando las actividades de desempeño requieren que el estudiante

d t i produzca una respuesta sin que necesariamente haya una respuesta correcta única única.

Tipos de Rúbricas (cont )Tipos de Rúbricas (cont.)

• Rúbrica AnalíticaRúbrica Analítica▫ Se prefieren cuando se necesita que los

trabajos tengan una respuesta muy enfocada.j g p y▫ Se utilizan para situaciones en las cuáles hay

más de dos respuestas válidas y la creatividad no es importante en la respuesta.

Tipos de Rúbricas (cont.)p ( )

• Rúbrica Analítica▫ El proceso de calificación es más lento,

especialmente porque se evalúan individualmente diferentes habilidades o individualmente diferentes habilidades o características que requieren que el maestro examine el producto varias veces.examine el producto varias veces.

▫ Por eso tanto su elaboración como su aplicación requieren tiempo. p q p

¿Por qué utilizar las rúbricas? ¿ q• Rodríguez (2004):▫ Las rúbricas mejoran los productos finales de Las rúbricas mejoran los productos finales de

los alumnos y por lo tanto aumentan el aprendizaje.

▫ Cuando los alumnos reciben rúbricas de ▫ Cuando los alumnos reciben rúbricas de antemano, entienden cómo los evaluarán y pueden prepararse por consiguiente. D ll d úb i h ié d l ▫ Desarrollando una rúbrica y haciéndola disponible a los alumnos les proporcionará la ayuda necesaria para mejorar la calidad de su

b j i itrabajo y para aumentar su conocimiento.

¿Por qué utilizar las rúbricas? (cont.)

• Según Goodrich Andrade (2004):Las rúbricas son herramientas de gran ▫ Las rúbricas , son herramientas de gran alcance para enseñar y para avalúo.

▫ Pueden mejorar el aprovechamiento ▫ Pueden mejorar el aprovechamiento académico de los estudiantes, así como observar su progreso. p g

▫ Las rúbricas son útiles por que ayudan a los estudiantes a ser jueces sobre la calidad de sus trabajos y de los trabajos de los otros.

¿Por qué utilizar las rúbricas? (cont.)

• Las rúbricas reducen la cantidad de tiempo que pasan los profesores en la evaluación de los pasan los profesores en la evaluación de los trabajos de los estudiantes.

• Las rúbricas proveen a los estudiantes una Las rúbricas proveen a los estudiantes una retroalimentación continua sobre sus fortalezas y áreas de necesidad para mejorar.

¿Por qué utilizar las rúbricas? (cont.)

• Goodrich Andrade (2004):“One student actually didn’t like rubrics for ▫ One student actually didn t like rubrics for this very reason: “If you get something wrong,” she said, “your teacher can prove you knew she said, your teacher can prove you knew what you were supposed to do!” (Marcus 1995).

V t j d úb iVentajas de usar rúbricas• Para los profesores: • Para los alumnos:p▫ Pueden aumentar la

calidad de su instrucción directa

▫ Los alumnos conocen las expectativas del profesor instrucción directa

proporcionando el foco, el énfasis, y la atención

profesor. ▫ Los alumnos pueden

utilizar rúbricas como en los detalles particulares como modelo para los

herramienta para desarrollar sus capacidades modelo para los

alumnos. ▫ Los profesores pueden

tili l úb i

capacidades.

reutilizar las rúbricas para varias actividades.

V j d úb i ( )Ventajas de usar rúbricas (cont.)

• Utilizar las rúbricas provee para que los estudiantes entiendan qué es lo que se espera de élentiendan qué es lo que se espera de él.

• Indican las expectativas para un proyecto. ▫ Con ayuda de las rúbricas los estudiantes entienden y

que aprender es ganar habilidades específicas (en temas académicos específicos y desarrollan habilidades en la solución de problemas) habilidades en la solución de problemas).

• También proveen a los estudiantes la oportunidad de hacer una autoevaluación -- para reflexionar en el proceso de aprendizaje.

¿Cómo construir rúbricas?

• Paso #1 ▫ Busque modelos:

Busque los trabajos de sus estudiantes que reflejenBusque los trabajos de sus estudiantes que reflejenun buen y no-tan-buen trabajo. Identifique las características que hacen los buenosde los no tan buenosde los no-tan-buenos.

• Paso #2▫ Haga una lista donde enumere los criterios de g

evaluación para el proyecto. Utilice la discusión de los modelos para comenzaruna lista sobre los aspectos de calidad de los trabajosuna lista sobre los aspectos de calidad de los trabajosasignados a sus estudiantes.

¿Cómo construir rúbricas? (cont )¿Cómo construir rúbricas? (cont.)• Paso #3

Cl ifi l d d lid d ▫ Clasifique los grados de calidad. Describa los niveles desde el mejor hasta el peor y luegocomplete los niveles medios básados en sus criterios de

lid dcalidad.Establezca con claridad dentro de esa área o unidad un (unos) objetivo(s) , desempeño(s), comportamiento(s), competencia(s) o actividad(es) en los que se va a enfocarcompetencia(s) o actividad(es) en los que se va a enfocar.Determine cuáles va a evaluar.

• Paso #4▫ Describa lo más claramente posible, los criterios de

desempeño específicos que va a utilizar para llevar a cabo la evaluación de esas áreas.

Estos criterios deben permitir establecer qué tanto ha aprendido el estudiante del tema que se está trabajando.

¿Cómo construir rúbricas? (cont )¿Cómo construir rúbricas? (cont.)• Paso #5▫ Diseñe una escala de calidad para calificarlas, esto es,

establezca los niveles de desempeño que puede alcanzar el estudiante. Estos pueden ir por ejemplo, de

l t h t b excelente hasta pobre. • Paso #6▫ Someta la rúbrica a un panel de expertos para validez

d l ide la misma.Revise lo que ha plasmado en la rúbrica para asegurarse de que no le falta nada.

• Paso #7• Paso #7▫ Haga una prueba piloto de la rúbrica

Practique el modelo o rúbrica con sus estudiantes.

Adaptado de Gómez, Aguirre, Posso y García (2004) “Matrices de Valoración, Rúbricas” EDUTEKA: Julio 27 de 2002.

Errores comunes en la construcción de RúbricasErrores comunes en la construcción de Rúbricas

• Según Center for Technology in Learning (1997-2002)2002)▫ No identifiquen claramente los criterios por los cuales

los estudiantes van a ser evaluados. E l l ( é i lit ti ) ▫ Error al escoger una escala (e.g., numérico, cualitativo) que no está bien adaptada para recoger el tipo de información que sted necesita.

▫ Error al escoger entre una rúbrica analítica vs. una comprensiva.

Por ejemplo, eligiendo una rúbrica comprensiva cuandousted desea recoger la información de avalúo sobre un número de habilidades y de comportamientos específicosde pensamiento crítico. id ifi l l á d l l i ▫ No identificar claramente los estándares la excelencia,

o los criterios, para cada nivel de evaluación.

Otras consideraciones

• EDUTEKA (2004) recomienda que una vezclarificado los pasos anteriores comience a construir la rúbrica teniendo en cuenta lo siguiente:siguiente:▫ La escala de calidad para calificar los diversos aspectos

a evaluar, se ubica en la fila horizontal superior, con una gradación que vaya de mejor a peor una gradación que vaya de mejor a peor.

▫ En la primera columna vertical se ubican los aspectoso elementos que se han seleccionado para evaluar.

Otras consideraciones (cont.)( )

• EDUTEKA (2004) recomienda: ( 4)▫ Que en las celdas centrales es donde se describe de la

forma más clara y concisa de los posibles criterios que se van a utilizar para evaluar distintos aspectos del se van a utilizar para evaluar distintos aspectos del proyecto.

▫ Recuerde que las estas celdas centrales explican cuáles son las características de un trabajo excelente, de uno malo y las variaciones intermedias entre el uno y el otrootro.

Gómez Aguirre Posso y García (2004) “Matrices de ValoraciónGómez, Aguirre, Posso y García (2004) Matrices de Valoración, Rúbricas” EDUTEKA: Julio 27 de 2002.

CRÉDITOS:Matriz de Valoración diseñada y usada por la profesora Maria del Pilar Aguirre en laMatriz de Valoración diseñada y usada por la profesora Maria del Pilar Aguirre en la Clase de Español, para el grado duodécimo, del Colegio Bolívar, Cali, Colombia. Fecha de publicación en EDUTEKA: Julio 27 de 2002.Fecha de la última actualización: Julio 27 de 2002.

Programas de computadoras para construir rúbricasProgramas de computadoras para construir rúbricas

• http://www.teach-nology.com/web_tools/rubrics/

http://landmark-project.com/classweb/tools/rubric_builder.php3

http://www.rubrics.com/rubricator/index.htmlp

RubricatorRubricator

Rubistar

• http://rubistar.4teachers.org/index.phphttp://rubistar.4teachers.org/index.php

Ejercicio de PrácticaEjercicio de Práctica

Instrucciones• Seleccione un compañero de trabajo para crear la

brúbrica.• Seleccione un criterio, una competencia, o un

objetivo que usted desea evaluar en los trabajos de objetivo que usted desea evaluar en los trabajos de sus estudiantes. ▫ Ejemplo;

Evaluación de una página de web por sus estudiantesEvaluación de una página de web por sus estudiantesutilizando la técnica de resolver problemas (problem solving approach).Un proyecto de colaboración entre grupos paraUn proyecto de colaboración entre grupos paradesarrollar un video instruccional.

• Busque el website de http://rubistar 4teachers org/index phphttp://rubistar.4teachers.org/index.php

• Prepare la rúbrica.

Rubistar• http://rubistar.4teachers.org/index.php

RubistarRubistar

Otros enlaces

• http://www.cyberbee.com/content.pdf• http://www.cyberbee.com/design.pdf• http://www.essdack.org/tips/webpagerub

i ht lric.html• http://ts.mivu.org/default.asp?show=artic

le&id=795le&id=795

PreguntasPreguntas

http://www.digitaleducationtechnology.com