Tomado de: Ingeniería de software educativo

Alvaro H. Galvis Panqueva Ediciones Uniandes 1992

CAPÍTULO 10

EVALUACIÓN DE MECs POR JUICIO DE EXPERTOS

LA EVALUACIÓN SISTEMATICA

La evaluación de software educativo es una actividad permanente a lo largo del ciclo del

desarrollo del mismo. En primera instancia, la determinación de necesidades de apoyo

computacional resulta de una evaluación de los problemas educativos que se podrían

atender con materiales computarizados. Por otra parte, hay necesidad de evaluar los

materiales existentes que aparentemente responden a las necesidades de instrucción

detectadas, a fin de decidirse si se adquieren, si se amerita preparar un nuevo material o

si se debe adecuar el existente. Así mismo, cuando se elabora el diseño de un MEC es

necesario juzgar la calidad de sus componentes y de las relaciones que los atan: el

diseño debe favorecer el logro de lo que se busca , en la forma mas eficiente.. En forma

semejante, durante el desarrollo del software es necesario evaluar la calidad de la

implementación del diseño, tanto para los productos parciales como finales. Por

supuesto, cuando el producto está completo su evaluación es insoslayable antes de darlo

para uso público.

Lo anterior no es una sorpresa ni una necedad. Es simplemente evaluación sistemática.

La evaluación, entendida como obtención de información para toma de decisiones

(PDQ70) , es aplicable a todas y cada una de las etapas de la vida de un sistema. La

descripción anterior es un ejemplo de este tipo de evaluación, la cual se aplica a cada

aspecto de un sistema: su contexto, insumos, proceso y productos.

En el caso de una aplicación computacional, tiene sus ventajas seguir este enfoque

sistémico: es garantía de relevancia y pertinencia en lo que se busca, favorece el uso

racional de los recursos, permite eficiencia y eficacia en el desarrollo. Estos atributos se

desprenden de los tipos de evaluación que se aplican, como se ilustran en la figura 10.1.

Evaluación de contexto

Permite definir objetivos

relevantes y prioritarios

Evaluación de productos

Permite verificar logro de

objetivos y ajustar el

siguiente ciclo.

Evaluación de insumos

Permite estructurar el

sistema

Evaluación de proceso

Permite reorientar el

desarrollo del sistema

proceso

contexto

Modelo CIPP de un sistema

(contexto, insumos, proceso, productos)

insumo

o

producto

Figura 10.1 Tipos de evaluación y decisiones asociadas. (PDK70)

La evaluación por juicio de expertos se puede aplicar a distintos tipos y momentos de la

evaluación de un MEC. Sin embargo, no es la única fuente y manera de evaluar un

material. Por este motivo es importante establecer qué es lo que interesa evaluar en cada

etapa y qué elementos cabe evaluar por arte de cada una de las diferentes fuentes (p.ej.

expertos, usuarios del material). A la definición de este marco comprensivo se dedicará

la siguiente sección del capítulo. La tercera sección tratará sobre la operacionalización

del diseño evaluativo, mediante juicio de expertos, integrada al proceso de producción o

efectuada sobre el producto de esta.

EVALUACIÓN SISTEMÁTICA DE MECs.

A diferencia de la evaluación subjetiva, en la cual cada cual juzga aquello que se evalúa

usando sus propios puntos de vista y según como le parece, en la evaluación sistemática

de software es necesario usar criterios preestablecidos que sean relevantes y

consistentes.

Por otra parte, para cada fuente de información hay necesidad de crear instrumentos de

evaluación valederos y que hagan operativos tales criterios; lo valedero tiene que ver

con que la fuente tenga autoridad para informar o emitir conceptos sobre lo que se

indague.

Así mismo, es imprescindible recolectar, procesar y analizar la información en forma

eficiente, práctica, válida y confiable, tomando en cuenta los criterios definidos para

valorar el estado de cada variable.

COMPONENTES, VARIABLES, Y CRITERIOS DE EVALUACIÓN.

Usar criterios preestablecidos tiene implícitos varios requerimientos. El primero de ellos

es la necesidad de hacer explícito un conjunto de variables que permitan evaluar aquello

que interesa. También conlleva otro elemento; debe buscarse fundamento sólido a la

definición de criterios de valoración asociados a cada variable en aras de asegurar

consistencia en la evaluación.

La figura 10.2 muestra estas ideas en forma operacional. Los procesos se encierran entre

cuadrados y las relaciones con otros procesos posteriores se apuntan con letras

encerradas entre círculos.

Caracterizar

el sistema

que se va a

evaluar

Definir los

componentes

que se van a

evaluar

Definir

variables e

identificadores

para cada

componente

Definir criterios

de valoración

para cada

variable

a

Ω

Figura 10.2 Paso 1: Definir variables, componentes y criterios de evaluación

Caracterización del sistema que se va a evaluar

Esta es la base del proceso. En el caso que nos interesa hablamos de MECs, materiales

educativos computarizados, orientados a satisfacer necesidades educativas prioritarias,

que cumplan un papel que otros medios de instrucción no están en capacidad de

desempeñar, que hagan el mejor uso del potencial educativo del computador (dentro de

las posibilidades que ofrezca la configuración disponible) y que sean viables de usar por

parte de los destinatarios del paquete.

Definición de componentes que se van a evaluar

Se llama componente a un aspecto importante que no se puede medir directamente a

través de una variable sino de un grupo coherente de estas.

En este caso debemos considerar tres componentes: de calidad educativa, la calidad

computacional y la viabilidad del uso del material.

Especificación de variables por componente.

Al desagregar un componente en las variables que indican, o permiten conocer, su

estado se especifica lo que significa, e incluye, cada una de estas variables agregadas.

Para el caso que nos interesa, la primera columna de las tablas 10.1, 110.2, y 10.3

específica las variables en que se desagrega cada componente.

Información de retorno

Tabla 10.1 Desagregación del componente CALIDAD EDUCACIONAL

Variables

Indicadores y criterios

1.- Aprendizaje del alumno Nivel de logro superior a un X% (nivel

mínimo en que se desea el logro)

2.- Opinión y actitud del alumno Positiva frente al estudio y frente al uso del

paquete

3.- Objetivos que persigue el material Se deben apoyar prioritariamente.

Nivel de dificultad apropiado para la

necesidad educativa detectada

4.- Función educativa que cumple el tipo

de MEC

No hay mejor medio de enseñanza

aprendizaje

Permite subsanar las necesidades

educativas detectadas

5.- Función administrativa que cumple el

MEC

Recopila información relevante para el

profesor

6.- Contenido – o micromundo de base

para descubrirlo-

Coherente y suficiente para lograr los

objetivos propuestos

7.- Ejemplos y ejercicios – o situaciones

excitantes – para resolver

Relevantes y congruentes con el contenido

y los objetivos

Suficiente para promover el logro de los

objetivos

Variados en forma y/o contenidos

8.- Reorientación sobre el desempeño Retroinformación (implícita o explícita)

relevante oportuna y amigable

9.- Estrategia de instrucción

Motivación y refuerzo

Secuencia y su control

Estilo de pensamiento

Coherente con la función educativa que

debe cumplir el material

Consistente con la didáctica especial o las

investigaciones aplicables

Coherente con la estructura de contenidos

y características del tema

Adecuada a las características de los

usuarios

10.- Forma de presentación

Diseño de pantallazos

Uso de gráficos y sonido

Amena.

Adecuada para la audiencia y contenido en

cuanto a mensajes, ilustraciones así como

en densidad de información.

Adecuado uso de apoyo visual y sonoro.

Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86)

Tabla 10.2 Desagregación del componente CALIDAD COMPUTACIONAL

VARIABLES INDICADORES Y CRITERIOS

11.- Funciones Para cada tipo de usuario

(alumnos/profesor)

Eficaz cumplimiento de funciones

Con ayudas para aprovechar funciones al

necesitarlas

Permite ajustes locales/usuario

12.- Interfaz programa - usuario Sencillez operativa. Ritmo de avance

controlable

Consistencia a lo largo del programa.

Posibilidad de abandono y reinicio.

Claridad de mensajes. Elástica captura de

respuesta.

13.- Tiempos de respuesta y de despliegue

de pantallas

Eficientes.

Adecuada a las características de los

destinatarios

14.- Manual del usuario Claro y suficiente en: Descripción del

propósito, instrucciones de iniciación,

instrucciones para uso de opciones,

mensajes de error e instrucciones de

corrección.

15.- Manual de mantenimiento Claro y suficiente en: macro estructura,

macro algoritmos, documentación del

diseño físico de datos

16.- Programación Estructurada, legible y documentada.

17.- Estructura de informática Eficiente para cumplir las funciones

propuestas

Eficientes con alto volumen de datos

18.- Uso de recursos computacionales Maximiza el uso de recursos disponibles

del equipo.

Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86

Tabla 10.3 Desagregación del componente VIABILIDAD DEL MATERIAL

VARIABLES INDICADORES Y CRITERIOS

19.-Requerimientos del software Sistema operacional, compilador, lenguajes

manejadores (gráficos, de periféricos, de

archivos est.) viables de usar

20.- Requerimientos del hardware Memoria principal y secundaria, tipo de

pantalla, periféricos para interfaz con

usuarios y otros equipos, viables de

disponer

21.- Requerimientos locativos Puestos de trabajo, condiciones de

aislamiento sonoro y/o espacial, instalación

eléctrica, viables de disponer

22.- Requerimientos de personal Personal para apoyo u orientación a

usuarios o para administrar paquete,

viables de conseguir y vincular

2.- Requerimientos financieros Costos de inversión y costos de operación

viables de atender

Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86

Determinación de indicadores y definición de criterios.

Los indicadores son hechos o fenómenos que permiten observar el estado de una

variable. Los criterios son estándares o niveles mínimos aceptables que sirven para

saber si la variable está en estado adecuado. Se definen consultando lo que la

investigación y la práctica muestran como evidencia de que el estado de cada variable es

el deseado.

Para el caso que nos interesa, la segunda columna de las tablas 10.1, 10.2 y 10.3

especifica los indicadores y criterios asociados a cada variable.

FUENTES, INSTRUMENTOS Y PROCEDIMIENTOS DE EVALUACIÓN.

Una vez que se ha identificado aquello que se quiere evaluar, es necesario determinar a

partir de que fuentes, con qué y como se realizará la recolección de la información. El

“con qué” implica preparar instrumentos y definir procedimientos que permitan recabar,

de cada fuente, la información que tiene autoridad para brindar.

Para la definición y preparación de instrumentos de recolección de información es clave

la identificación de fuentes que permitan recolectar información consistente de cada

variable. Los instrumentos deben ser, tan sencillos y claros como se pueda, un medio

para recolectar y sistematizar la información que interesa de cada fuente.

El gráfico siguiente muestra la operacionalización de estas ideas. Como se observa el

punto de partida es la definición de variables resultantes del paso 1 anterior (apuntador

a) y el resultado de esto en un conjunto de instrumentos que van a ser usados luego en la

redacción de la información. (Apuntador B)

Fuentes para obtener información

Son aquellas personas, documentos o medios a partir de los cuales se puede establecer

el estado de una variable. En el caso que nos interesa cabe considerar: especialistas en

contenido, en metodología y en informática, cada uno encargado de velar, desde su

perspectiva, por la calidad educativa y computacional del material. Así mismo, el

administrador del sistema de instrucción (profesor) y el usuario final (alumno) están

llamados a participar en la evaluación.

Momentos en que se deberá evaluar el MEC

Puesto que se está siguiendo un enfoque sistemático, estos son: antes, durante y al final

de su producción: en cada una de estas instancias la evaluación sirve para tomar

decisiones: efectuar ajustes o seguir adelante.

Cuadros de balanceo de instrumentos por fuente de información.

Define lo que en cada momento y a partir de cada fuente se debe evaluar. Se formula

mediante una matriz cuyo contenido son las variables que se van a evaluar por instancia

y fuente. En el caso que nos interesa el cuadro de balanceo de instrumentos de

evaluaciones se expresa en la tabla 10.4

Identificar

fuentes y

momentos para

recolectar la

información

Establecer

cuadro de

balanceo por

instrumento

Confeccionar

y probar

instrumento

Definir

procedimientos

Recolección

Información

Información de retorno

Tabla 10.4 Cuadro de balanceo de instrumentos de evaluación por fuente de

información

Momentos para evaluación Fuentes de información para la evaluación del software

E.C. E.M. E.I. A.S. AT/AR

Antes del desarrollo

(análisis y diseño)

3, 4 y 5 11, 16, 17 20, 21

3, 6, 7 8, 9 18, 19 22 3

4, 5, 8, 9 6, 7, 11 4, 5, 9

20, 21 20, 21

Durante y al final del

desarrollo

3 11, 12, 13

6, 7, 10 8, 9, 10 14 a 17 2

4, 5, 8, 9 6, 7, 11,

12

10 3, 6, 7, 8

9, 11, 12

Como producto terminado

3 3 a 5 14 a 17 20,21 1 y 2

6, 7, 10 8 a 13 18 y 19 22 3

4, 5, 8, 9 6, 7 10 a 13 6 a 12

20, 21 20, 21 21

Convenciones: EC - Especialista EN contenidos (profesor de la especialidad)

EM - Especialista en metodología (diseñador instruccional)

EI - Especialista en informática (ingeniero en sistemas)

A.S. - Administrador del sistema de instrucción

A.T. - Alumno Típico de la población objetivo

A.R. - Alumno representativo de la población objetivo

Números en resaltado - Variables sobre los que evalúa con propiedad

Número en normal - Variables sobre los que podría opinar

Instrumentos de evaluación

A partir de las especificaciones del cuadro de balanceo se preparan instrumentos de

evaluación para cada una de las fuentes que se desea consultar.

En el caso de nuestro interés, por ejemplo, para cada instancia del desarrollo del

material es posible construir instrumentos para las fuentes identificadas, elaborando

ítem a partir de lo que se desea evaluar y de los criterios predefinidos.

En la segunda parte de este capítulo se puede observar un conjunto de instrumentos

construidos para evaluar MECs, mediante juicio de especialistas, en contenido,

metodología e informática Estos instrumentos son de utilidad al final del desarrollo de

un Mec, como base para determinar sus cualidades. Así mismo, son útiles cuando se

está analizando la conveniencia de adquirir software disponible comercialmente, al final

de la etapa de análisis.

Procedimientos para la recolección de información

Los instrumentos por sí solos no son suficientes para que su uso sea eficiente. Se

necesita especificar como se deben usar, es decir, establecer procedimientos para

recolección de información. A diferencia de las instrucciones para diligenciar los

instrumentos, en esta guía se indica al responsable de conducir la evaluación como

escoger los evaluadores, como organizar la evaluación, como recopilar la información y

qué hacer con esta una vez obtenida. Para el caso que hemos venido desarrollando

también se tiene una guía para usar el material, que es complementaria al diseño de los

instrumentos y a estos; aparece al inicio de la siguiente sección del capítulo.

RECOLECCIÓN, PROCEDIMIENTO Y ANÁLISIS DE INFORMACIÓN

Esta fase final del proceso de evaluación sistemática no es menor importante que las

anteriores. De la adecuada recolección, procesamiento y análisis de la información

dependen en buena medida la pertinencia y relevancia de las recomendaciones sobre lo

evaluado.

Figura 10.4 Paso 3: Recolectar información, analizar y valorar resultados, recomendar.

Recolección de información de fuentes seleccionadas

Los procedimientos e instrumentos diseñados se utilizan para la recolección de

información a partir de las fuentes seleccionadas.

En el caso que analizamos, evaluación durante el desarrollo del MECs, es necesario

recabar información de cuatro tipos de fuentes: expertos en contenido, en metodología y

en informática, cuyas observaciones permiten hacer un primer ajuste; y los alumnos

representativos, con los que se efectúan las pruebas uno a uno del material, cuyos

resultados sirven de base para ajustar los elementos de la interfaz.

Procesamiento de la información recolectada

La información recopilada de cada fuente se procesa dependiendo de lo que se planeó

obtener de la evaluación y usando los métodos que correspondan. Los datos numéricos

pueden recibir tratamiento estadístico, mientras que los descriptivos categorización por

grupos afines.

Recolectar

información de

fuentes

seleccionadas

Procesar

información

recolectada

Analizar y

valorar

información

Formular

recomendaciones

sobre lo

evaluado.

Análisis y valoración de la información.

El análisis de los resultados se lleva a cabo con base en los criterios definidos al final

del primer proceso. El analista debe confrontar la información que, sobre cada una de

las variables, arrojan las diferentes fuentes, establecer su consistencia y las posibles

razones de inconsistencia, cuando las haya. Así mismo, se debe tratar de hallar la razón

de las valoraciones, pues los ajustes que haya que realizar al material son, precisamente,

aplicables a las posibles causas de los problemas detectados.

Formulación de recomendaciones sobre lo evaluado.

La formulación de las recomendaciones es la conclusión lógica del paso anterior. El

analista debe sugerir que aspectos del material requieren ajustes, en función de los

estándares de calidad que aun no hayan sido alcanzados.

VALORACIÓN DE MECs USANDO JUICIOS DE EXPERTOS: GUÍA DE

TRABAJO

Este material presupone que usted maneja la terminología y los conceptos relativos al

diseño de un MEC y que sabe observar y describir un MEC. En caso de que no sea así,

revise el capítulo 2 antes de seguir adelante.

A continuación se ofrece una metodología que le ayudará a observar y valorar los

componentes educativo, de control, de comunicación y computacional en un MEC. Esto

le permitirá dar una opinión fundamentada sobre el material observado, desde su

perspectiva de especialista en contenido, metodología o informática.

La guía de trabajo consta de 3 partes:

1.- Procedimiento que se debe seguir en la evaluación de software por parte de

expertos.

2.- Formatos para evaluación detallada de MECs por parte de expertos (EMEC.02,

EMEC-03,, EMEC-04) , que van a ser usados diferenciadamente por los especialistas en

contenido, metodología e informática.

-EMEC-02: Evaluación DE MECs por especialista en contenido

-EMEC-03: Evaluación de MECs por especialista en metodología

-EMEC-04: Evaluación de MECs por especialista en informática

3.- Formato para sintetizar resultados y recomendaciones para la evaluación de MECs

por parte de expertos (EMEC-05),para ser utilizados por quien conduce la evaluación.

PROCEDIMIENTO PARA EVALUAR SOFTWARE POR EXPERTOS

La evaluación de MECs puede ser necesaria por una o dos razones: se está en el

desarrollo de un material educativo computarizado o se está analizando la conveniencia

de adquirir o usar un material que podría servir como apoyo al proceso de enseñanza

aprendizaje.

Si se está desarrollando un MEC, es indispensable llevarla a cabo. Se describe

plenamente el MEC, se observa y se evalúa usando el formato EMEC-XX y se formula

conclusiones y recomendaciones.

Si se está evaluando un MEC existente, para establecer en que medida puede satisfacer

una necesidad, conviene hacer una depuración inicial mediante “valoración

comprensiva” (véase formato EMEC-01 en el capítulo 2) en la que se fundamenta la

necesidad de evaluar el material. De ser conveniente, se procede como en el caso

anterior.

Inicia evaluación

por expertos

Se trata de un

Material que

está en

desarrollo?

Hacer evaluación

comprensiva y diligenciar

formato EMEC-01

Diligenciar el formato

DEMEC para descripción

de MECs

Evaluar software con expertos en

contenido, metodología e informática y

diligenciar formato EMEC-02,03 Y 04.

Sacar conclusiones y

recomendaciones sobre el

software evaluado,

formato EMEC-055

Fin evaluación por

expertos

No

Vale la pena

seguir adelante

con la

evaluación?

Sí

No

Figura 10.5 Procedimiento para la evaluación de MECs mediante juicio de expertos.

Según se observa en el procedimiento, es fundamental que el evaluador esté en el

contexto de los que se va a observar y evaluar. Sin conocer los detalles que sustentan la

necesidad del material, es imposible hacer una valoración bien fundamentada del MEC.

Por otra parte,, es conveniente que las recomendaciones finales surjan por algo más que

agregación de las recomendaciones parciales de los especialistas. Si bien ésta es

conveniente, quien conduce la evaluación debe analizar ,, junto con los expertos y el

grupo de diseño y producción, las recomendaciones de aquellos acerca del material

objeto de evaluación. Lograr un consenso es importante.

FORMATO EMEC-02

VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN

CONTENIDO

DATOS BÁSICOS

Título:______________________________________________________________

Autor:______________________________________________________________

Versión:_________________ Fecha de elaboración:_________________________

Evaluador:_______________ Fecha de evaluación:_________________________

INSTRUCCIONES

Utilice la página 2 de este instrumento para tomar nota de los aspectos que, en su

criterio, requieren ser ajustados, por defectos de contenido. Cuando termine de observar

el material, diligencie las páginas 3 y 4. En ellas debe dar su opinión como experto en

contenido, sobre cada uno de los aspectos de interés y,, a partir de esto, concluir sobre

los aspectos positivos y negativos del material desde su perspectiva.

Finalmente sintetice en los siguientes espacios su opinión y recomendaciones.

VALORACIÓN COMPRENSIVA.

Como experto en contenido considero que

la calidad del material, en lo que se refiere

a las siguientes variables, puede expresarse

como:

(encierre con un círculo la opción que

mejor refleje su opinión)

ESCALA PARA VALORACIÓN

Ex = excelente

Bu = bueno

Rg = regular

Ma = malo

Na = no aplicable

Objetivos que persigue Ex Bu Rg Ma Na

Contenido que incluye Ex Bu Rg Ma Na

Desarrollo del contenido Ex Bu Rg Ma Na

Micromundo (s) para exploración Ex Bu Rg Ma Na

Herramientas para trabajar en el

micromundo

Ex Bu Rg Ma Na

Ejemplos que ofrece Ex Bu Rg Ma Na

Ejercicios o retos que propone Ex Bu Rg Ma Na

Retroinformación que provee Ex Bu Rg Ma Na

RECOMENDACIÓN (Marque solo una de las siguientes opciones y sustente en la página 4)

1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)

2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver

pag 4)

3.- No recomiendo usar el material (ver mis razones en la pag. 4)

Formato EMEC-02

A medida que observe el material, tome nota de los defectos que encuentre desde el

punto de vista del contenido o de su tratamiento didáctico (forma de enseñarlo). En la

columna de la izquierda anote el problema y ubicación, en la de la derecha posibles

soluciones.

Problemas de contenido

Posibles soluciones

Formato EMEC-02 Especialista en contenido:

Cuando haya terminado de observar el material educativo

computarizado, de su opinión sobre los indicadores de cada una de las

variables siguientes, encerrando en un círculo el nivel de la escala que

mejor refleje su opinión.

TA total acuerdo

AC acuerdo

DA desacuerdo

TD total desacuerdo

NA no aplica Objetivos Vale la pena apoyarlos con computador TA AC DA TD NA

Su nivel corresponde a lo que conviene apoyar con computador TA AC DA TD NA Contenido Es coherente con los objetivos que se buscan TA AC DA TD NA

Es suficiente para lograr los objetivos si se tienen las bases TA AC DA TD NA Es actualizado TA AC DA TD NA Tiene vigencia y validez científica , aun para casos extremos TA AC DA TD NA Es transferible o aplicable a variedad de contextos TA AC DA TD NA

Desarrollo

Del

contenido

La información es clara y concisa TA AC DA TD NA El contenido está lógicamente organizado TA AC DA TD NA Hay transición gradual entre las partes del contenido TA AC DA TD NA La estructura del contenido es evidente para el usuario TA AC DA TD NA El usuario siempre sabe donde está dentro del desarrollo del

contenido TA AC DA TD NA

Micro-

mundo Tiene significado para el aprendiz TA AC DA TD NA Es relevante para lo que se desea que el alumno aprenda TA AC DA TD NA Permite proponer y enfrentar situaciones existentes TA AC DA TD NA Permite proponer y enfrentar situaciones de variado nivel de

complejidad TA AC DA TD NA

Permite aprender a partir de la experiencia TA AC DA TD NA Herramientas Son sencillas de usar por parte del usuario aprendiz esperado TA AC DA TD NA

Son suficientes para enfrentar las situaciones problemáticas que

se persiguen TA AC DA TD NA

Cuenta con ayuda de utilización para quien lo requiera TA AC DA TD NA Son las precisas que se requieren para explorar o resolver los

retos TA AC DA TD NA

Ejemplos Son relevantes para ilustrar el contenido TA AC DA TD NA Ilustran aspectos clave del contenido TA AC DA TD NA Son suficientes para entender el contenido TA AC DA TD NA

Ejercicios

O

Retos

Permiten ejercitar y comprobar el dominio de cada uno de los

objetivos TA AC DA TD NA

Su formato corresponde al nivel de los objetivos propuestos TA AC DA TD NA Son variados y suficientes como para lograr el dominio de cada

objetivo TA AC DA TD NA

Permiten transferir y generalizar el contenido a diferentes

contextos TA AC DA TD NA

Retro-

información

Corresponde en cada caso a la actuación o respuesta del

usuario TA AC DA TD NA

Es suficiente para reorientar la solución de ejercicios o para

confirmar su logro TA AC DA TD NA

Es amigable, no amenazante, no agresiva TA AC DA TD NA Orienta con luz indirecta (da pistas, claves o explicaciones) TA AC DA TD NA

Formato EMEC-02

Aspectos Positivos en el contenido – mayores cualidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

____________

Aspectos negativos en el contenido – mayores debilidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Uso potencial del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Sugerencia para lograr que el MEC se pueda usar:

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

FORMTO EMEC –03

VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN

METODOLOGÍA

DATOS BÁSICOS

Títuuoo:_______________________________________________________________

___

Autor:_________________________________________________________________

___

Versión:__________________Fecha de elaboración:___________________________

Evaluador:_________________Fecha de

evaluación:_____________________________

INSTRUCCIONES

A medida que observe el material, utilice la página 2 del instrumento para tomar nota

de los aspectos que, a su criterio, requieren ser ajustados por defectos de metodología.

Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar

su opinión como experto en metodología, sobre cada uno de los aspectos de entrés y, a

partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su

perspectiva.

Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones.

VALORACIÓN COMPRENSIVA

Como experto en metodología considero

que la calidad del material, en lo que se

refiere a las siguientes variables,, puede

expresarse como:

(encierre en un circulo la opción que mejor

encierre su opinión.

Escala para valoración

Ex – excelente

Bu – Bueno

Rg – regular

Ma – malo

Na – no aplica

Objetivos que persigue Ex Bu Rg Ma Na

Sistema de motivación Ex Bu Rg Ma Na

Sistema de refuerzo Ex Bu Rg Ma Na

Actividad del usuario Ex Bu Rg Ma Na

Metodología utilizada Ex Bu Rg Ma Na

Reorientación para la actividad del usuario Ex Bu Rg Ma Na

Ayudas que ofrece Ex Bu Rg Ma Na

Interfaz de entrada Ex Bu Rg Ma Na

Interfaz de salida Ex Bu Rg Ma Na

RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la

página 4)

1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)

2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver

pag 4)

3.- No recomiendo usar el material (ver mis razones en la pag. 4)

Formato EMEC 03

A medida que observe el material, tome nota de los defectos que encuentra desde el

punto de vista metodológico o del tratamiento didáctico. En la columna de la izquierda

anote el problema y la ubicación, en la de la derecha posibles soluciones.

Problema de metodología

Posibles soluciones

Formato VSE – 03

Especialista EN metodología. Cuando haya terminado de observar el material educativo

computarizado, de su opinión sobre los indicadores de cada una

de las variables siguientes, encerrando en un círculo el nivel de la

escala que mejor refleje su opinión.

TA total acuerdo

AC acuerdo

DA desacuerdo

TD total desacuerdo

NA no aplica

Objetivos

Están claramente definidos o se interfieren

fácilmente del material TA AC DA TD NA

Son coherentes con la necesidad educativa que

es prioritaria atender TA AC DA TD NA

Motivación

Es apropiada a la audiencia a quien se dirige el

material TA AC DA TD NA

Mantiene el interés para lograr los objetivos

con un buen nivel de eficacia TA AC DA TD NA

Refuerzo

Corresponde a la expectativa creada en la

motivación TA AC DA TD NA

Está asociada a eventos claves en el logro de

los objetivos de instrucción TA AC DA TD NA

Actividad

usuario

La metodología favorece que el usuario

participe activamente en el aprendizaje TA AC DA TD NA

Se aprende mediante una relación dialogal

entre el usuario y el programa TA AC DA TD NA

Exige que el usuario piense, para resolver las

situaciones problemáticas TA AC DA TD NA

Metodología

Está fundamentada en una didáctica apropiada

para lo que se desea enseñar TA AC DA TD NA

Utiliza consistentemente los principios

metodológicos aplicables TA AC DA TD NA

Está muy bien escogida, considerando las

opciones aplicables al caso TA AC DA TD NA

Reorientación

Es amigable, no es amenazante ni agresiva TA AC DA TD NA Da pista, claves o explicaciones antes que

resolver el problema TA AC DA TD NA

Permite saber por qué se ha fallado en la

solución del problema TA AC DA TD NA

Ayudas

Permite consultar sobre la forma de uso del

paquete cando se requiere TA AC DA TD NA

Permite consultar la teoría o síntesis de ella

cuando se requiere TA AC DA TD NA

Da pistas metodológicas para resolver las

situaciones problemáticas TA AC DA TD NA

Interfaz de

entrada

La forma de usar los dispositivos de entrada es

sencilla para el usuario típico TA AC DA TD NA

Hay formas de consultar con facilidad los

comandos disponibles TA AC DA TD NA

Los comandos o mecanismos de control se

adecuan a las características del usuario TA AC DA TD NA

Hay consistencia en la forma como se piden las

respuestas a los usuarios TA AC DA TD NA

El programa entiende mensajes abiertos

semejantes al mensaje natural TA AC DA TD NA

Interfaz de

salida

La selección de dispositivos de salida soporta

bien las funciones de apoyo TA AC DA TD NA

Las pantallas NO están sobrecargadas de

información TA AC DA TD NA

La velocidad de desligues de mensajes es

apropiada para el usuario TA AC DA TD NA

El tamaño y tipo de letra permiten leer en

forma rápida y comprensivamente TA AC DA TD NA

Los gráficos y animaciones enriquecen lo que

se aprende TA AC DA TD NA

Las cortinas musicales son agradables TA AC DA TD NA Los efectos sonoros fijan la atención , destacan

ideas y aspectos claves TA AC DA TD NA

El vocabulario o terminología es adecuada para

el nivel cultural del usuario TA AC DA TD NA

Los símbolos o íconos utilizados corresponden

a los dela disciplina del material TA AC DA TD NA

FORMATO EMEC – 03

Aspectos Positivos en la metodología – mayores cualidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

____________

Aspectos negativos en la metodología – mayores debilidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Uso potencial del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Sugerencia para lograr que el MEC se pueda usar:

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

FORMATO EMEC 04

VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN

INFORMÁTICA

DATOS BÁSICOS

Títuuoo:_______________________________________________________________

___

Autor:_________________________________________________________________

___

Versión:__________________Fecha de elaboración:___________________________

Evaluador:_________________Fecha de

evaluación:_____________________________

INSTRUCCIONES

A medida que observe el material, utilice la página 2 del instrumento para tomar nota

de los aspectos que, a su criterio, requieren ser ajustados por defectos de computación.

Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar

su opinión como experto en metodología, sobre cada uno de los aspectos de interés y, a

partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su

perspectiva.

Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones.

VALORACIÓN COMPRENSIVA

Como experto en informática considero

que la calidad del material, en lo que se

refiere a las siguientes variables,, puede

expresarse como:

(encierre en un circulo la opción que mejor

encierre su opinión.

Escala para valoración

Ex – excelente

Bu – Bueno

Rg – regular

Ma – malo

Na – no aplica

Funciones de apoyo a los usuarios Ex Bu Rg Ma Na

Estructura lógica del material Ex Bu Rg Ma Na

Interfaz entre usuario y programa Ex Bu Rg Ma Na

Estructuras de datos Ex Bu Rg Ma Na

Requerimientos de uso del paquete Ex Bu Rg Ma Na

Mantenimiento del paquete Ex Bu Rg Ma Na

Documentación del paquete Ex Bu Rg Ma Na

RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la

página 4)

1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)

2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver

pag 4)

3.- No recomiendo usar el material (ver mis razones en la pag. 4)

Formato EMEC – 04

A medida que observe el material, tome nota de los defectos que encuentra desde el

punto de vista informático o del tratamiento didáctico. En la columna de la izquierda

anote el problema y la ubicación, en la de la derecha posibles soluciones.

Problema de computación

Posibles soluciones

Formato VSE – 04

Especialista en computación. Cuando haya terminado de observar el material educativo

computarizado, de su opinión sobre los indicadores de cada una de

las variables siguientes, encerrando en un círculo el nivel de la

escala que mejor refleje su opinión.

TA total acuerdo

AC acuerdo

DA desacuerdo

TD total desacuerdo

NA no aplica

Funciones de

apoyo

Las funciones de apoyo para el alumno son las

previstas en el diseño TA AC DA TD NA

Las funciones de apoyo para el alumno son

están bien implementadas TA AC DA TD NA

Las funciones de apoyo para el profesor son

las requeridas en el diseño TA AC DA TD NA

Las funciones de apoyo para el profesor son

están bien implementadas TA AC DA TD NA

Estructura

lógica

Atiende todas las funciones de apoyo

definidas para los usuarios TA AC DA TD NA

Es modular, muestra estructuración en el

trabajo de programación TA AC DA TD NA

Favorece un tratamiento eficiente a los

problemas de dimensión del programa TA AC DA TD NA

Hay separación entre la estructura lógica y los

datos del programa TA AC DA TD NA

Interfaz

Hace buen uso de las oportunidades que

brinda el equipo y el software TA AC DA TD NA

Es eficiente para el intercambio de

información entre usuario y programa TA AC DA TD NA

Tiene consistencia a todo lo largo del

programa TA AC DA TD NA

Estructuras de

datos

Aprovechan posibilidades que brinda la

herramienta y el equipo seleccionado TA AC DA TD NA

Permiten un manejo eficiente de los datos que

utiliza el programa TA AC DA TD NA

Tienen un límite de crecimiento apropiado a

los requerimientos de uso TA AC DA TD NA

Hay manejadores para consultar o adecuar el

contenido de los archivos TA AC DA TD NA

La organización y modo de acceso a los

archivos favorece eficiente ejecución TA AC DA TD NA

Requerimientos

de uso

Los requerimientos de memoria principal no

obstaculizan “correr” el programa TA AC DA TD NA

El tipo de pantalla y tarjeta gráfica

corresponden o se pueden emular TA AC DA TD NA

Las unidades de almacenamiento

corresponden o se pueden adecuar TA AC DA TD NA

El tamaño de los archivos de datos es

manejable en las unidades disponibles TA AC DA TD NA

El sistema operacional requerido está

disponible o se puede obtener TA AC DA TD NA

Están disponibles los sistemas de

comunicación en redes requeridos TA AC DA TD NA

Las interfaces con otros equipos están

disponibles, o se pueden obtener TA AC DA TD NA

Las utilidades o librerías requeridas están

disponibles, o se pueden obtener TA AC DA TD NA

El personal para dar soporte al uso del paquete

está disponible, o se puede conseguir TA AC DA TD NA

El contenido variables del programa se puede

editar mediante manejadores TA AC DA TD NA

Mantenimiento El código fuente está disponible TA AC DA TD NA La programación es estructurada y legible,,

está documentada en el programa TA AC DA TD NA

El manual es suficientemente completo para

dar mantenimiento al programa TA AC DA TD NA

Permite consultar la teoría o síntesis de ella

cuando se requiere TA AC DA TD NA

Da pistas metodológicas para resolver las

situaciones problemáticas TA AC DA TD NA

Hay formas de consultar con facilidad los

comandos disponibles TA AC DA TD NA

Los comandos o mecanismos de control se

adecuan a las características del usuario TA AC DA TD NA

Hay consistencia en la forma como se piden

las respuestas a los usuarios TA AC DA TD NA

El programa entiende mensajes abiertos

semejantes al mensaje natural TA AC DA TD NA

Las pantallas NO están sobrecargadas de

información TA AC DA TD NA

La velocidad de desligues de mensajes es

apropiada para el usuario TA AC DA TD NA

El tamaño y tipo de letra permiten leer en

forma rápida y comprensivamente TA AC DA TD NA

Los gráficos y animaciones enriquecen lo que

se aprende TA AC DA TD NA

Las cortinas musicales son agradables TA AC DA TD NA Los efectos sonoros fijan la atención ,

destacan ideas y aspectos claves TA AC DA TD NA

El vocabulario o terminología es adecuada

para el nivel cultural del usuario TA AC DA TD NA

Los símbolos o íconos utilizados

corresponden a los dela disciplina del material TA AC DA TD NA

Documentación

La documentación para el usuario – alumno es

clara y suficiente TA AC DA TD NA

La documentación para el usuario – profesor

es clara y suficiente TA AC DA TD NA

La documentación para mantenimiento es

clara y suficiente TA AC DA TD NA

FORMATO EMEC – 04

Aspectos Positivos en la implementación – mayores cualidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

____________

Aspectos negativos en la implementación – mayores debilidades del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Uso potencial del MEC

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Sugerencia para lograr que el MEC se pueda usar:

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_______________

Formato EMEC – 05

INFORME FINAL EVALUATIVO SOBRE UN MEC

Identificación

Título:

___________________________________________________________________

Autor:

___________________________________________________________________

Versión:________________ Fecha de

elaboración:________________________________

Distribuidor del MEC:

_______________________________________________________

Participantes en la evaluación

Expertos en contenido Fecha de evaluación

_____________________________

_________________________________

_____________________________

_________________________________

_____________________________

__________________________________

Expertos en metodología Fecha de evaluación

_____________________________

_________________________________

_____________________________

_________________________________

_____________________________

__________________________________

Expertos en informática Fecha de evaluación

_____________________________

_________________________________

_____________________________

_________________________________

_____________________________

__________________________________

Coordinador (es) de la evaluación

______________________________________________________________________

______________________________________________________________________

______

Síntesis de recomendaciones sobre el material (frecuencia)

Recomendaciones E. Contenido E. Metodología E. Informática Usarlo con ningún p poco

cambio

Usarlo solo si se ajusta

previamente

NO usarlo (ni adquirirlo)

Síntesis de opiniones sobre el material (frecuencia)

Expertos en contenido

excelente

Bueno

Regular

Malo

No aplica Objetivos que persigue Contenidos que incluye Desarrollo del contenido Micromundos para exploración Herramientas para el micromundo Ejemplos que ofrece Ejercicios que propone Retroinformación que provee

Expertos en metodología

excelente

Bueno

Regular

Malo

No aplica Objetivos que persigue Sistema de motivación Sistema de refuerzo Actividad del usuario Metodología utilizada Reorientación a actividad usuario Ayudas que ofrece Interfaz de entrada Interfaz de salida

Expertos en informática

excelente

Bueno

Regular

Malo

No aplica Funciones de apoyo a los estudiantes Estructura lógica del material Interfaz entre usuario y programa Requerimientos del paquete Mantenimiento del paquete documentación del paquete

Síntesis de aspectos positivos

Perspectiva de contenido

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva de metodológica

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva de informática

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Síntesis de aspectos negativos

Perspectiva de contenido

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva metodológica

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva informática

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Síntesis de sugerencias para lograr que el paquete se pueda utilizar

Perspectiva de contenido

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva metodológica

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________

Perspectiva informática

______________________________________________________________________

______________________________________________________________________

______________________________________________________________________

_________