Interactive training materials

53
Programa Graduado Sistemas de Instrucción y Tecnología Educativa Evaluación Formativa de Materiales Interactivos de Adiestramiento Carlos Muñiz / Elvin O. Candelaria / Santia E. Velázquez Vera Dra. Rosa Ojeda - EDU 618

description

Presentación basada en el capítulo 7 del libro Formative Evaluation for Educational Technologies de Barbara N. Flagg. Se utiliza el caso de SANDY Corporation quienes, desde 1984,se dedican al adiestramiento profesional y desarrollaron un sistema de evaluación de 13 fases.

Transcript of Interactive training materials

Page 1: Interactive training materials

Programa Graduado Sistemas de Instrucción y Tecnología Educativa

Evaluación Formativa de Materiales Interactivos de Adiestramiento

Carlos Muñiz / Elvin O. Candelaria / Santia E. Velázquez Vera

Dra. Rosa Ojeda - EDU 618

Page 2: Interactive training materials

Introducción

Presentación basada en el capítulo 7 del libro Formative Evaluation for Educational Technologies de Barbara N. Flagg.

Caso: Interactive Training Materials

Page 3: Interactive training materials
Page 4: Interactive training materials
Page 5: Interactive training materials

¿Por qué SANDY Corporation?Compañía dedicada al adiestramiento de

personal y a las comunicaciones desde 1984.

Sus equipos han encontrado métodos de evaluación efectivos para llevarse a cabo durante el proceso de desarrollo.

Ha desarrollado programas interactivos para las 100 compañías de mayor prestigio según la revista FORTUNE.

Page 6: Interactive training materials

Para hacer el escogido de estas compañías, la revista FORTUNE se une a “Great place to work Institute” quienes llevan a cabo la encuesta empresarial más grande e importante. Esta encuesta refleja la voz de los empleados mediante 57 preguntas.

Por ejemplo, el año pasado se contactaron 1,500 empresas y sólo 407 respondieron. De éstas, GOOGLE obtuvo el primer lugar.

Page 7: Interactive training materials

Videodisco interactivoVideodisco interactivoProceso de desarrollo

Page 8: Interactive training materials

Proceso de desarrolloEstudiar el proceso antes de discutir las

técnicas de evaluación.

Recuerdar que el videodisco es la integración del uso de la computadora, audio y video.

Este proceso requiere planificación, análisis, creatividad y ejecución del diseño.

Para que sea efectivo, el tiempo debe ser apropiado.

Tener muy claro el proceso de las 13 fases.

Page 9: Interactive training materials

Lo que explicó el cliente

Lo que se entendió

Cómo el experto lo

diseñó

Lo que hizo el programador

Lo que describió el consultor

Cómo se documentó Lo que se creó

Lo que pagó el cliente

Lo que entendió la audiencia

Lo que se necesitaba en

realidad

Page 10: Interactive training materials

¿Qué se espera?¿Qué se espera?

Page 11: Interactive training materials

Definir las metas, contexto

y especificacione

s técnicas

Diseñar lo que se pideNuevo

contenido y necesidades

revisadas

Diseño e implementación

Diseño revisado

Producto efectivo y fácil

de usar

Conceptos y visualización Prototipo

Evaluación

Page 12: Interactive training materials

Conozca las

necesidades

Storyboard o

prototipo

Pruebas guiadas

Lista de cotejo o flujograma

Presentación del producto final

Uso efectivo

Resumen

1

2

34

5

Page 13: Interactive training materials

Las 13 fases del proceso de desarrollo

Page 14: Interactive training materials

Llevar a cabo el lanzamiento del proyecto

Llevar a cabo el lanzamiento del proyecto

Llevar a cabo el análisisLlevar a cabo el análisis

Establezaca los criterios de evaluación

Establezaca los criterios de evaluación

Prepare el plan de implementaciónPrepare el plan de implementación

Diseñe la aplicaciónDiseñe la aplicación

Enlace los elementos computadorizados

Enlace los elementos computadorizados Produzca el videoProduzca el video

Mezcle y realice pruebasMezcle y realice pruebas

Valide el programa y haga revisiones finales

Valide el programa y haga revisiones finales

Manufactura y copiasManufactura y copias

Implementación y presentaciónImplementación y presentación

EvalúeEvalúe

MantenimientoMantenimiento

Page 15: Interactive training materials

Todos los participantes del proyecto participan en reunión para la aprobación final de la oferta.

En ésta, se inician las metas del programas a ejecutar, discusión del proceso de desarrollo, asignación y clarificación de roles y responsabilidades, así como, el horario programado.

Exige trabajo colaborativo.

Page 16: Interactive training materials

Se establecen los requisitos del programa.

Se definen y organizan las metas, estrategias, y contenido del programa.

Se conducen las entrevistas e investigaciones a determinar:- Necesidades de la audiencia- Perfiles de la audiencia- Tareas y secuencia de tarea- Investigaciones de artículos, y otras asuntos de ambientes de aprendizaje.

Page 17: Interactive training materials

Se identifican las metas en su totalidad.

Los patrones de pruebas se establecen para medir la efectividad del proyecto.

Se estudia el costo por hora, eficacia y la aceptación del estudiante.

Page 18: Interactive training materials

Documentación de la audiencia, las estrategias, y las herramientas a entregar.

Se dirige hacia la preparación del inicio del proyecto.

Page 19: Interactive training materials

Se definen los objetivos medibles y el contenido en cada segmento.

Se establece un plan de prueba del programa.

Se utilizan elementos discretos de los medios, incluyendo el guión, video y audio, actividades computarizadas, y la estructura del programa.

Finalmente, se inicia la integración de los componentes en un “storyboard” o narrativo, lo que dará pie a la toma de decisiones.

Page 20: Interactive training materials

Fase de ProducciónLuego del proceso tantoevaluativo como narrativo,los componentes de los medios computarizados semezclan para crear lasprimeras imágenes. Estasprimeras producciones seintegran para seguircualquier dato de lainformación requerida.

Page 21: Interactive training materials

Producción de VideoAquí se aplica todo el

análisis y desarrollo del diseñ0

Incluye todas las fases de producción.

Planificación de la geografía del video (minimiza tiempo de búsqueda) Computadora/Video/Audio

Page 22: Interactive training materials

Unión y Prueba

Los componentes de lacomputadora y del videodisco son mezclados, verificando la secuencia y ramificación.

El texto se conduce según el plan de prueba desarrollado durante la fase de diseño y también incluye corregir las imágenes. Se verifica la logística del programa.

Page 23: Interactive training materials

Validación y Revisión FinalAnalista

Usuarios RepresentantesRevisiones

en Resultado

s

+- +

Page 24: Interactive training materials

Manufactura y CopiasVideodiscos

Disco de programación

Materiales del usuario que se pondrán en práctica.

Preparar las guías de la documentación del programa.

Page 25: Interactive training materials

Implementación y EntregaSe le presenta el programa a los usuarios de la audiencia.

Lo ponen en práctica, según desarrollado en la fase 4.

Page 26: Interactive training materials

Lleve a cabo la evaluaciónSe mide el logro de las metas totales del proyecto, usando los patrones de pruebas fijadas en la evaluación de la fase 3.

Análisis de los informes generados por los componentes del mantenimiento de registros del programa.

La colección de datos de las técnicas, tales como; Exámenes Entrevistas Sesiones del grupo

Page 27: Interactive training materials

Mantenimiento del Programa

Depuración, revisión.

Actualizaciones apropiadas para el lanzamiento del programa a los usuarios finales.

Page 28: Interactive training materials

Evaluación formativa dentroEvaluación formativa dentrodel proceso de desarrollodel proceso de desarrollo

Page 29: Interactive training materials

Fases

Avalúo de necesidades

Evaluación formativa de

la preproducción

Evaluación formativa de la

producción

Page 30: Interactive training materials

Avalúo de necesidadesAquí el programa toma forma de acuerdo al

bosquejo. Se organiza por temas y subtemas.

Comprensión:

¿Qué información es extraña? ¿Qué falta?

¿Tiene secuencia?

¿Hay opciones para el usuario?

Interactividad:

¿El usuario se siente cómodo? ¿El programa ejerce control?

¿El usuario puede aumentar el nivel de dificultad?

Page 31: Interactive training materials

Grupo Focal

Page 32: Interactive training materials

Funciones del grupoReflejar sus

paricularidades acerca del producto.

Organizar los tópicos en orden de importancia.

Añadir tópicos si era necesario.

Resultado: Sugirieron que el material presentado se colocara completo para que la parte de adiestramento en mercadeo incorporara todos los tópicos así como casos hipotéticos; y que una demostración se colocara separada como apoyo.

Page 33: Interactive training materials

Funciones del grupoInteractividad:

(sugerencias)

No solamente flexible, sino activo.

El mismo material para adiestramiento, demostraciones y audiencia general.

Debe incluir diversos audios dirigidos a cada audiencia.

El usuario debe tener la opción de encender y apagar el audio.

Page 34: Interactive training materials

Evaluación formativa de la Evaluación formativa de la preproducciónpreproducción

Page 35: Interactive training materials

Primer prototipoDurante la fase de diseño se hace un examen

detallado del contenido y visuales a través de un “storyboard” o narrativo.

Este narrativo debe presentar lo que el aprendiz experimentará de manera secuencial.

Puede incluir:

Texto Gráficas Audio

Page 36: Interactive training materials

¿Qué se evalúa?Comprensión: ¿El método de

presentación se entiende y es consistente?

¿ El usuario es capaz de seguir la secuencia de un segmento al otro?

Interactividad: ¿Pueden

entender cómo moverse hacia dónde desean?

¿El nivel de control y movimiento, ¿es poco o demasiado?

Apariencia: ¿Es atractivo a

la audiencia?

¿Logra comprometerse la audiencia?

La mezcla de elementos tecnológicos, ¿es variada?

Page 37: Interactive training materials

Metodología:Metodología: Atención individualOne-on-One walk-through

Evaluador Evaluador Evaluador Evaluador

Page 38: Interactive training materials

Tono de voz

Tiene que ser evaluado.

Puede afectar la comprensión y la apariencia.

Page 39: Interactive training materials

Narrativo FinalNarrativo Final

Page 40: Interactive training materials

EjemplosPueden variar de acuerdo al proyecto, sistema de autor, lenguaje o programa.

Page 41: Interactive training materials

Debe incluir...Texto

Visuales

Descripción del movimiento

Interactividad

Enlaces

Page 42: Interactive training materials

¿Qué se evalúa?Comprensión:

¿La información y el contenido están claros y fácil de recordar?

¿ Se cumplen los objetivos?

Las instrucciones y los ejercicios están claros?

Interactividad:

¿Los participantes son capaces de moverse a través del programa?

¿Cómo responden al nivel de interactividad?

Apariencia:

¿Los usuarios disfrutan del programa?

¿Se quedan interesados?

¿Encuentran retos?

Page 43: Interactive training materials

¿Qué hacer? Utilizar nuevamente la metodología 1-1.

Actividades computadorizadas más completas.

El evaluador provee los enlaces no incluídos.

Los participantes deben hacer selecciones y tomar decisiones en cada ramificación.

El evaluador describe con más detalles el lugar o ambiente y los personajes.

El usuario trabaja por una hora y pasa dos con el evaluador.

Page 44: Interactive training materials

Interactividad

VS

Aunque no hubo una interactividad “real” a través de las opciones de las ramificaciones en el narrativo, pudieron presentar insumos para el diseño final.

Page 45: Interactive training materials

Quejas frecuentes

Instrucciones no precisas.

Fraseo o léxico equivocado.Personajes o casos no

reales.Idioma o sincronía de voz.SecuenciaInteractividad por ser en

papel.No permite regresar a

temas previos.Falta de orejitas o “hints”.

Page 46: Interactive training materials

Lo que gustó

Estructura Segmento de preguntas Retroalimentación inmediata. Valoración, sentirse parte del

proceso.

Page 47: Interactive training materials
Page 48: Interactive training materials

Verificación del disco Esta versión debe ser en

un disco barato. Debe pasar por dos

evaluaciones formativas: En el lugar de desarrollo En el lugar del cliente.

Page 49: Interactive training materials

¿Qué se evalúa?Comprensión:

¿El programa es claro, definido así como sus ejercicios, estructura y sus niveles?

¿Les interesa salir a probar las nuevas técnicas?

Interactividad:

¿Los participantes son capaces de interactuar a través del programa?

¿Cumple con las necesidades?

¿Aprende el usuario?

Apariencia:

¿Los usuarios disfrutan del programa?

¿Mantienen el interés?

¿El tono de voz es adecuado?

Page 50: Interactive training materials

Métodos de evaluación Recolección de datos

Observación Si se estancan Si omiten partes o

ejercicios.

Cuestionarios

Mapa de progreso

Anotaciones

Otros

Page 51: Interactive training materials

Resultados según categorías

8 personas / 1h30 min con el programa / 30 mins con evaluador

Page 52: Interactive training materials

CategoríasTiempo y Dinero

• Instrucciones más detalladas

• Diferentes formatosreferentes a las

preguntas

Interactividad de videos

Toque de pantalla

Page 53: Interactive training materials

Conclusión Asuntos de comprensión, instrucciones o apariencia pueden ser evaluados en papel; pero la evaluación a la parte interactiva, cuesta.

Es importante recopilar información durante el desarrollo. Sin embargo, la retroalimentación y patrones encontrados tienen igual relevancia.

La evaluación formativa en una herramienta importantísima para obtener el potencial deseado. No obstante, las dificultades son primordiales para esa perfección.