Instrumento de Evaluación para Determinar la Calidad de

los Objetos de Aprendizaje Combinados Abiertos de tipo

Práctica

Yosly Hernández Bieliukas a,b,

, Antonio Silva Sprock b and César Velásquez

Amador c

a Universidad Central de Venezuela, Facultad de Ciencias, Unidad de Educación a Distancia

Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela

yosly.hernandez@ciens.ucv.ve b Universidad Central de Venezuela, Facultad de Ciencias, Escuela de Computación

Av. Los Ilustres, Los Chaguaramos, Caracas, 1043, Venezuela

antonio.silva@ciens.ucv.ve, cUniversidad Autónoma de Aguascalientes, Centro de Ciencias Básicas,

Av. Universidad N°940, Cdad.Universitaria, C.P.20131, Aguascalientes, Ags., México.

vace555@hotmail.com

Resumen: Actualmente los Objetos de Aprendizaje (OA) se han difundido como un concepto de creación de recursos educativos reutilizables que apoyen el Proceso de Enseñanza y Aprendizaje, Sin embargo, la solo incorporación de los

mismos no es garantía de calidad en la formación educativa, ni en el resultado del mismo, generándose en consecuencia, la imperiosa necesidad de evaluar y poder establecer niveles óptimos de calidad. Con base a ello, en este trabajo se presenta la construcción de un Instrumento de Evaluación para un tipo en particular de OA, los Combinados Abiertos de tipo Práctica, a partir de un modelo de calidad integral, con base en las características de pedagógicas, tecnológicas y de interacción humano computador bases en la concepción del recurso, además de los aspectos que se consideran en el estándar para evaluar la calidad del software ISO 9126. Con el objetivo de definir y establecer los aspectos mínimos que son necesarios desde las tres disciplinas bases en su concepción, para que el recurso sea considerado de calidad.

Palabras Claves: Objetos de Aprendizaje, Combinados Abiertos de Práctica, Calidad, Estándar ISO/IEC 9126,

Instrumento de Evaluación, Modelo de Calidad.

Abstract. Currently Learning Objects (LO) have been spread a concept of creation of reusable educational resources to support the Process of Teaching and Learning, however, the only addition of the same is no guarantee of quality in educational training, or the result of it, generating therefore an urgent need to assess and to establish optimal levels of quality. Based on this, this paper presents the construction of an Assessment Instrument for a particular type of LO, the Open Combined Type Practice, from a comprehensive quality model, based on the characteristics of pedagogical, technological human interaction and computer databases in the design of the resource, in addition to the aspects that are considered the standard for assessing software quality ISO 9126. In order to define and establish the minimum features

that are needed from all three disciplines in design basis for the appeal to be considered quality.

Keywords:Learning Objets, Open Learning Object combined Type Practice, Quality, Standard ISO / IEC 9126, assessment instrument, Quality Model,

INTRODUCCIÓN

La incorporación de las Tecnologías de la Información y Comunicación (TIC) en la Educación ha permitido

extender los ambientes de enseñanza y aprendizaje, para así poder desarrollar ambientes virtuales colaborativos e

interactivos, con el uso de diferentes recursos didácticos multimedia, que permitan el logro de la intencionalidad de

los mismos. Es por ello, que en el ámbito educativo se ha desarrollado un concepto que busca la reutilización,

permanencia, interoperabilidad, accesibilidad y compatibilidad de los recursos digitales para el desarrollo de cursos

y programas de formación en línea a través de la Web, los llamados Objetos de Aprendizaje (OA).

Los OA son recursos didácticos e interactivos en formato digital con un objetivo específico, creados con el

propósito de ser reutilizados, adaptados, editados y/o combinados para los diversos entornos virtuales de enseñanza y aprendizaje, caracterizándose por la introducción de información auto descriptiva expresada como los metadatos.

Como apoyo al proceso educativo muchas personas se han enfocado en desarrollar y emplear los OA, lo que

permite que en un determinado momento se puedan reutilizar en distintos contextos según la pertinencia y

disposición, además de responder a la misma necesidad educativa. Motivado a ello, es importante tener mecanismos,

criterios e instrumentos que permitan evaluarlos y así determinar la calidad de los mismos, considerando todos los

elementos fundamentales en su concepción, así como también, el contexto y modo de uso.

Actualmente, existen diferentes tipos de instrumentos, pero sólo consideran algunos aspectos pedagógicos,

tecnológicos o de interacción humano computador del recurso, no de forma integral, aunado a ello no identifican qué

tipo de OA se evalúa; en vista de ello, aplicar diversas formas de evaluación por separado no resulta tan provechoso

en vista de que engloba diferentes enfoques y perspectivas de los autores, porque lo que no hay un consenso en

cuáles son los aspectos que se deben considerar para que un OA sea de Calidad.

Por lo antes expuesto se requiere de un proceso de evaluación completo e integral, donde se abarquen los aspectos fundamentales que deben estar presentes en un recurso y determinan su calidad. Con base a ello, a

continuación, en este trabajo se presenta el diseño y la construcción de un instrumento de evaluación integral de la

calidad para los OA combinado abierto de tipo práctica, partiendo de un modelo de calidad, desde las tres

dimensiones importantes en la concepción del mismo: pedagógica, tecnológica y de interacción humano

computador. Todo esto de forma más completa que los modelos e instrumentos de evaluación de calidad existentes,

basado en el estándar internacional para evaluar la calidad de software ISO/IEC 9126 [1], las características

fundamentales que deben estar presentes y el tipo de OA.

LOS OBJETOS DE APRENDIZAJE COMBINADOS ABIERTOS DE TIPO PRÁCTICA

Los OA de tipo Combinado Abierto según [2] consisten en un largo número de recursos digitales combinados

entre sí, de cualquier tipo, mezclados en una computadora en tiempo real, donde sus componentes pueden ser

directamente empleados para su reutilización. Además, combinan la instrucción con la práctica, creando así una

unidad instruccional completa. Por ejemplo, un recurso que sea una página Web y esté compuesta por diversos

componentes (imágenes, videos, texto, entre otros) que se encuentran en un formato reutilizable, además de estar

combinados y disponibles. Es importante destacar, que son los que tienen un mayor potencial de reutilización en los

diversos contextos educativos y los más utilizados, además de estar inmersos en el manejo de la información tipo

Web.

Ahora bien, estos recursos son productos informáticos y educativos al mismo tiempo, porque se encuentran en

formato digital y apoyan el proceso educativo, por lo que es importante en su conceptualización considerar las características pedagógicas, tecnológicas y de interacción humano computador presentes, es por ello que se ha

definido y se proponen tres dimensiones para agrupar estos aspectos desde la respectiva perspectiva, teniendo así la

dimensión pedagógica, tecnológica e interacción humano computador.

LA DETERMINACIÓN DE LA CALIDAD DE LOS OBJETOS DE APRENDIZAJE

COMBINADOS ABIERTOS DE TIPO PRÁCTICA

La calidad para cualquier entidad digital (software), la define [3] como el cumplimiento de los requisitos de

funcionalidad y desempeño, explícitamente establecidos, de los estándares de desarrollo documentados y de las

características implícitas que se esperan de todo software desarrollado profesionalmente.

Por otro lado, otros autores [4] definen la calidad de los OA como el grado de utilidad que tienen para el logro de

las metas pedagógicas planteadas, conllevando el trabajo del estudiante y por ende propiciar del aprendizaje.

Con base a lo anterior, se puede definir como calidad de los OA el grado de cumplimiento de un conjunto de requisitos y/o elementos asociados a: (a) desempeño y (b) funcionalidad del OA desde el punto de vista tecnológico,

(c) usabilidad del OA desde el punto de interacción humano computador, y (c) el grado utilidad que presentan para

el logro de los objetivos pedagógicos planteados, desde el punto de vista pedagógico

La calidad de un OA es un aspecto muy particular dentro del proceso de selección de un OA para su uso en

determinados contextos, porque como recurso educativo digital pueden ser desarrollado por diferentes fuentes

(docentes, estudiantes, diseñadores instruccionales) y los requerimientos, intencionalidad, estrategias, actividades y

demás aspectos claves planteados pueden variar, según las necesidades, lo que conlleva a que sean revisados y

evaluados en función del ámbito en el cual van a emplearse para promover así su pertinencia y disposición.

El OA debe estar acorde al contexto en el cual se empleará, así como también la audiencia a la cual está destinado,

para su adecuada integración a los procesos de Enseñanza y Aprendizaje, buscando obtener los mejores resultados y

que los objetivos planteados se cumplan de la mejor forma.

Para determinar la Calidad de los OA se puede centrar en la evaluación del proceso de desarrollo del mismo o en

el producto como tal, es decir el OA resultante; por otro lado, [5] plantean de una manera formal cómo abordar el

problema de la calidad desde distintas perspectivas, las cuales corresponden a evaluar el proceso de desarrollo del

OA, propiamente del OA, el conocimiento obtenido con el uso del OA y la operación del OA. Aunado a ello en [6]

plantean que también puede hablarse de calidad en los metadatos del OA, es decir, medir la completitud, la claridad

y coherencia de los metadatos, la información que describe al OA. En vista de ello, para este trabajo de

investigación se realizó el estudio del proceso para la evaluación de la calidad de los OA desde la perspectiva del

producto resultante, es decir el OA.

MODELO DE CALIDAD PARA LOS OBJETOS DE APRENDIZAJE COMBINADOS

ABIERTOS DE TIPO PRÁCTICA

Para construir un Instrumento de evaluación integral primero se deben definir los elementos que caracterizan a

los OA Combinados Abiertos de tipo Práctica que se deben valorar, así como también, indicadores de evaluación

sobre cada uno de ellos, lo que permitirá determinar la Calidad de los mismos, por ello se procedió a definir un Modelo de Calidad, siguiendo el proceso definido en [7].

Un modelo de calidad estándar e integral para los OA define cuáles son las características deseables que debe

cumplir, desde las dimensiones bases en su concepción: pedagógica, tecnológica y de interacción humano

computador, en función a los aspectos y estándares asociados, teniendo como resultado un conjunto de indicadores

de evaluación. A partir de este modelo se procederá a la construcción del Instrumento de Evaluación.

Para la construcción del modelo de calidad de los OA Combinados Abiertos tipo Práctica se siguió el proceso

sistemático propuesto por [7], el cual está compuesto por 6 pasos ( ver FIGURA 1) y parte de la caracterización del

dominio de los OA, identificando el tipo correspondiente, en función de ello se definieron y establecieron las

características pedagógicas, tecnológicas y de interacción humano computador asociadas. Una vez determinados

estos aspectos se procedió a realizar una instanciación del estándar internacional ISO/IEC 9126 [1], con base a los

rasgos de evaluación de calidad que plantea, aplicables a los OA y que están en relación con las características

definidas del recurso, estableciendo así los indicadores de evaluación, para finalmente validar el modelo por juicio de expertos.

A continuación se describe la aplicación de cada uno de los pasos del Proceso, destacando que el modelo de

calidad para los OA Combinados Abiertos de Tipo Práctica, es muy similar al presentado en [7] para los OA

Combinados Abiertos de Tipo Instrucción, debido a que ambos tienen muchos aspectos en común; lo fundamental

de este trabajo es presentar el instrumento de evaluación que se creó partiendo del modelo obtenido.

FIGURA 1. Proceso Sistemático para la Producción de un Modelo de Calidad Integral [7].

1.- Caracterizar el Dominio de Objetos de Aprendizaje

Con base a la clasificación planteada por [8], para esta investigación se trabajó con los OA Combinado Abierto

de tipo Práctica, porque están destinados principalmente al autoaprendizaje y permiten una alta interacción con el

aprendiz, en el cual se incentiva a la realización de un conjunto de actividades, que facilitan el proceso de

asimilación de los contenidos desarrollados dentro del OA, para poder lograr los objetivos de aprendizajes

planteados que conduzcan a la construcción del conocimiento.

2.- Definir las Características Pedagógicas de los Objetos de Aprendizaje

Es importante definir y caracterizar a los OA desde una dimensión pedagógica, porque tienen una intención

educativa, que permite establecer secuencias lógicas para la efectividad del proceso de enseñanza y aprendizaje,

además de promover la construcción y difusión del conocimiento. Dentro de las características más resaltantes se

pueden mencionar: diversidad de estilos de aprendizaje, objetivos de aprendizaje, contenidos de aprendizaje,

actividades de aprendizaje, recursos, interactividad y evaluación.

3.- Definir las Características Tecnológicas de los Objetos de Aprendizaje

Los OA abarcan aspectos tecnológicos y pueden tratarse desde el área de la Ingeniería de Software, debido a que se pueden ver como un producto de software, además de estar basados en estándares para facilitar el intercambio

entre diversos sistemas y plataformas, así como también, la reutilización y escalabilidad en entornos educativos.

Dentro de las características más resaltantes se pueden mencionar: Accesibilidad (basado en metadatos),

flexibilidad, adaptabilidad, portabilidad e interoperabilidad, además de la disponibilidad y licenciamiento.

4.- Definir las Características de Interacción Humano Computador de los Objetos de

Aprendizaje

Los OA deben poder motivar e interesar a los aprendices, para propiciar el trabajo con el mismo y así impulsar el

aprendizaje. Se debe tener presente que como un recurso digital debe cumplir con ciertos atributos que lo hagan

atractivo al aprendiz y éste no los rechace, como lo es el uso apropiado de los colores, las fuentes, presentación y

disposición de la información, navegabilidad, entre otros, esto refiere a que sea usable. Dentro de las características

más resaltantes se pueden mencionar: diseño visual (texto, imágenes, audio, video), ayudar a la memorización y la

recuperación ante fallas.

5.- Instanciación del Estándar ISO/IEC 9126 al dominio de Objetos de Aprendizaje

definido

Para realizar el proceso de instanciación del Estándar ISO/IEC 9126 [1] en el dominio de los OA Combinados Abiertos de Tipo Práctica se utilizó el proceso definido por [7], el cual se compone del análisis para cada una de las

características y subcaracterísticas del estándar y las características del OA desde las tres dimensiones, previamente

definidas, para así determinar si se podía establecer una relación, todo esto con base a los aspectos definidos y la

pertinencia de esas características en el contexto (ver FIGURA 2).

FIGURA 2.- Proceso de Instanciación del Estándar ISO/9126 [7]

A continuación, se presenta las relaciones entre las características del estándar y de los OA Combinado Abierto

de tipo Práctica, las cuales se definen por grupos que son las respectivas dimensiones del modelo de calidad:

En la Dimensión 1 se tiene la Característica Funcionalidad, permite verificar si el OA cuenta con las

funciones adecuadas que permitan satisfacer las necesidades planteadas, por ello las subcaracterísticas que están

relacionadas son:

● Idoneidad: evaluar si el OA puede cumplir las tareas apropiadas, refiere si tiene definido claramente los

Objetivos de aprendizaje, Contenidos, Actividades de Aprendizaje y los Estilos de Aprendizaje.

● Exactitud: determinar si el OA es acorde para lo que fue creado, por lo que está relacionado con que tenga

Objetivos de aprendizaje, Contenidos y un conjunto de Actividades de Aprendizaje.

● Interoperabilidad: si el OA puede interactuar con otros sistemas, lo que refiere a la accesibilidad del

mismo.

En la Dimensión 2 se tiene la Característica Eficiencia, la capacidad que tiene el OA para proporcionar una

ejecución apropiada, relativa a la cantidad de recursos empleados, por ello la subcaracterística que está relacionada

es:

● Uso y comportamiento de los recursos: los tiempos de respuesta del OA, la cantidad de recursos

empleados y la duración de uso, las cuales están relacionadas a la Adaptabilidad y Flexibilidad del mismo. En la Dimensión 3 se tiene la Característica Usabilidad, la capacidad que posee el OA para ser entendido,

aprendido, utilizado y atractivo, por ello las subcaracterísticas que están relacionadas son:

● Comprensibilidad: el esfuerzo que debe hacer el aprendiz para reconocer la estructura lógica, por lo que

está relacionado con los contenidos abordados, las actividades de aprendizaje, la accesibilidad,

disponibilidad, la ayuda a la memorización y el diseño visual que presente el recurso.

● Facilidad de Aprendizaje: el esfuerzo que debe hacer el aprendiz en aprender a usar el recurso, por lo que

está relacionado a la presentación de los contenidos en el OA, las actividades de aprendizaje, la

interactividad y el diseño visual del mismo.

● Atracción: la capacidad del OA para atraer y captar al usuario, lo que está directamente relacionado con el

diseño visual y la interactividad dentro del OA.

En la Dimensión 4 se tiene la Característica Confiabilidad, la capacidad que tiene el OA para mantener un nivel de funcionamiento especifico al ser utilizado en determinadas condiciones, por ello la subcaracterística que

está relacionada es:

● Tolerancia a Fallas: es la habilidad de mantener un nivel de funcionamiento en caso de fallas del OA o

errores de interfaz, está relacionada a la forma en que se presenta recuperación ante diversas fallas que

puedan ocurrir por parte del aprendiz en su manejo.

En la Dimensión 5 se tiene la Característica Mantenibilidad, la capacidad que tiene el OA para ser

modificado, por ello la subcaracterística que está relacionada es:

● Facilidad de Cambio: mide el esfuerzo necesario para modificar aspectos del OA, está relacionada a la

Flexibilidad , Disponibilidad y Adaptabilidad del mismo.

Y finalmente en la Dimensión 6 se tiene la Característica Portabilidad, la posibilidad del OA para ser

transferido de un ambiente a otro, por ello la subcaracterística que está relacionada con los OA se describe de la

siguiente forma:

● Facilidad de Ajuste: lo que permite evaluar si el OA se adhiere a estándares que permitan la portabilidad e

interoperabilidad del mismo.

6.- Definir los Indicadores de Evaluación

Con base a las seis dimensiones definidas que conforman el modelo de calidad, se procedió a establecer los

indicadores de evaluación para los OA combinados abiertos de tipo práctica en función de los aspectos y

características deseables en ellos, se presentan a continuación:

● Funcionalidad: Presencia del Objetivo (s) de Aprendizaje (s) , Pertinencia y vigencia de los contenidos,

Presencia de la fuente bibliográfica, Lenguaje acorde al contexto del OA, Presencia de Ejemplos, Soporte a

diversos estilos de aprendizaje, Pertinencia de las actividades de aprendizaje, Correspondencia de los

contenidos abordados con el objetivo de aprendizaje planteado, Estandarización del OA, Correspondencia de

las actividades de aprendizaje con los objetivos y contenidos planteados.

● Eficiencia: Optimización del uso de los recursos de hardware y software para descargar y desplegar el

recurso, Tamaño del OA y Tiempo Típico de Aprendizaje.

● Confiabilidad: Restablecer el estado en el que se encontraba el aprendiz antes de ocurrir un error, Uso de

mensajes de aviso ante acciones que no se pueden cancelar y ocasionen errores.

● Usabilidad: Relación con otros OA o recursos Web, Granularidad del contenido, Claridad del contenido,

Respeto de las reglas de ortografía y gramática, Secuencia lógica de los contenidos ,Divulgación progresiva

de los contenidos, Claridad en la definición de las actividades de aprendizaje, Uso de metáforas, Consistencia en la presentación del contenido, Uso de las fuentes, Uso de los Colores, Visibilidad del texto, Manejo de

Formatos Uniformes, Navegabilidad dentro del objeto, Uso de los recursos audiovisuales con respecto al

contenido textual, Utilización de un sistema de ayuda pertinente, fácil y descriptivo, Tipo de Interactividad,

Motivación al uso del recurso, Distribución de los elementos dentro del OA, Incorporación de mecanismos o

funcionalidades que promuevan interacción con el aprendiz.

● Mantenibilidad: Adaptación a diversos contextos educativos, Facilidad de cambio y actualización del OA,

Presencia de los metadatos, Presencia del OA en Repositorios públicos y /o lugares especializados donde se

puedan encontrar.

● Portabilidad: Dependencia de Software, Dependencia de Hardware, Compatibilidad con distintos

navegadores Web, Especificación de requerimientos técnicos.

CONSTRUCCIÓN DEL INSTRUMENTO DE EVALUACIÓN

Un Instrumento es utilizado para recolectar datos, el cual consiste de un conjunto de preguntas respecto de una o

más variables a medir. En función del desarrollo del objetivo de este trabajo, se diseñó y construyó un instrumento a

partir del modelo de calidad propuesto, el cual permite realizar una recolección de información útil para evaluar y

determinar la calidad de los OA Combinados Abiertos tipo Práctica, que permita establecer así su pertinencia a los

contextos educativos donde se pueda emplear.

Una vez definido el modelo de calidad, presentado anteriormente, donde están descritos los indicadores de evaluación, se procedió a construir un Instrumento de Evaluación siguiendo un proceso sistemático que se describe a

continuación (ver FIGURA 3).

FIGURA 3. Proceso Sistemático para la Construcción del Instrumento de Evaluación

1.- Identificar el Tipo de Instrumento

Existen diversos tipos de cuestionarios o instrumentos de medición, cada uno con características diferentes,

varios autores, tal como lo sostiene [9] definen tres (3) tipos básicos: a) Restringidos o Cerrados: solicitan respuestas

breves, específicas y delimitadas; b) No Restringidos o Abiertos: solicitan una respuesta libre y c) Mixtos:

consideran en su construcción tanto preguntas cerradas como abiertas.

Ahora bien, para el diseño y construcción del instrumento de evaluación, se identificó con qué tipo se trabajaría,

determinando así que sería con los de tipo restringido o cerrado, en vista de que permiten limitar las respuestas, son

fáciles de llenar, mantienen al sujeto en el tema, además de fáciles de clasificar y analizar, siendo estas sus

principales ventajas, tal como lo señalan [9].

2.- Identificar el Tipo de Preguntas

Una vez identificado el tipo de instrumento, se determinó el tipo de preguntas que conformarían el mismo,

siendo éstas de tipo cerrado, con el objetivo de presentar a los sujetos opciones de respuestas previamente

delimitadas.

3.- Definir las Dimensiones y Preguntas

Se definieron sesenta y tres (63) ítems, a partir de los indicadores de evaluación correspondientes a las seis (6)

dimensiones y sus respectivas subdimensiones definidos en el modelo de calidad descrito anteriormente: Funcionabilidad (idoneidad, exactitud e interoperabilidad); Eficiencia (uso y comportamiento de los recursos);

Usabilidad (comprensibilidad, facilidad de aprendizaje, atracción); Confiabilidad (tolerancia a fallas);

Mantenibilidad (facilidad de cambio) y Portabilidad (facilidad de ajuste).

4.- Definir la Escala de Evaluación

El instrumento contempló el diseño de una escala de evaluación, en donde el evaluador al emplearlo tiene

diferentes alternativas de respuestas que muestran la actitud favorable o no hacia las afirmaciones de cada ítem. Se

utilizó una escala de likert del 1 a 5, con los valores: Totalmente en Descuerdo, En Desacuerdo, Indiferente, De Acuerdo y Totalmente de Acuerdo, respectivamente. Aunado a ello, con base a la suma de los valores de cada

dimensión del Instrumento se definió una valoración final de la Calidad en: Excelente, Muy Buena, Buena, Regular

y Mala.

5.- Definir el Porcentaje de Evaluación

Finalmente, como el instrumento está compuesto de seis (6) dimensiones, los cuales refieren a los aspectos que

plantea el estándar ISO/IEC 9126 detallado en el respectivo modelo de calidad descrito anteriormente, y no pueden ser evaluadas de la misma forma, porque los aspectos que las conforman tienen mayor valor de relevancia e

impacto, además son los mínimos necesarios para determinar la Calidad del OA, se les estableció un porcentaje a

cada una, teniendo así: Funcionabilidad y Usabilidad veinte y cinco por ciento (25%), Eficiencia y Confiabilidad,

diez por ciento (10%), Mantenibilidad y Portabilidad quince por ciento (15%) respectivamente.

Las dimensiones que tienen mayor valoración son: Funcionalidad y Usabilidad (25%), debido a que representan

el funcionamiento adecuado del OA para cumplir con los objetivos propuestos, y la capacidad para que éste pueda

ser entendido, aprendido, utilizado y atractivo a los aprendices, respectivamente, seguido de la Mantenibilidad y

Portabilidad (15%), que están basadas en la posibilidad de ser modificado y/o adaptado a los diversos contextos

educativos, además de ser transferido de un ambiente a otro, respectivamente, para finalmente tener la Confiabilidad

y Eficiencia (10%), que permiten mantener un nivel de funcionamiento específico en determinadas condiciones y

proporcionar una ejecución apropiada en relación a la cantidad de recursos empleados, respectivamente.

Validación del Instrumento de Evaluación para Determinar la Calidad

Una vez construido el instrumento de evaluación de la calidad para los OA Combinados Abiertos de tipo

Práctica, para obtener la versión final se realizó la validación a través de juicio de expertos de las diferentes áreas

involucradas: Ingeniería de Software, Objetos de Aprendizaje, Tecnología e Informática Educativa y Tecnología

Instruccional, destacando la evaluación de tres expertos nacionales y dos internacionales, teniendo un total de cinco

evaluadores, lo que permitió corregir aspectos en cuanto a la claridad de los ítems y la presentación del instrumento.

Para realizar la validación se construyó un instrumento, a través del cual se valoró la claridad y congruencia de cada uno de los ítems de las respectivas dimensiones, además de las observaciones planteadas por los expertos. En

base a los resultados de la valoración se obtuvo:

● Inicialmente se contaba con sesenta y tres (63) ítems, se eliminó uno, y el instrumento final quedo con

sesenta y dos (62) ítems, debido a que este ítem eliminado repetía información a evaluar.

● Se modificó el veinticuatro por ciento (24%) de los ítems, lo que corresponde a trece (13) de los

cincuenta y uno (51) planteados, en vista de que no estaban definidos claramente y/o congruentemente

según el caso.

● Se reubicó el veinte por ciento (20%) de los ítems, lo que corresponde a diez (10) de los cincuenta y

uno (51) planteados, con base a su establecimiento en las dimensiones más acordes para el aspecto que se evaluaba.

Finalmente, es importante señalar que el sesenta por ciento (60%) de los expertos, lo que refiere a tres de los

cinco evaluadores, resaltó que fue un trabajo excelente, un instrumento muy completo, organizado y bien llevado a

la generalidad, el cual considera diversas situaciones en las que se puede evaluar un OA, con las respectivas

observaciones que fueron tomadas en cuenta y reflejadas en el instrumento final.

RESULTADOS

A continuación se presenta el instrumento de evaluación final, que permite determinar la Calidad de los OA Combinados Abiertos de tipo Práctica.

ESCALA DE EVALUACIÓN PUNTUACIÓN

A S P E C T O S

To

talm

en

te

en

desa

cu

erd

o

En

desa

cu

erd

o

Ind

ifere

nte

De

acu

erd

o

To

talm

en

te

de

acu

erd

o

1 2 3 4 5

F U N C I O N A L I D A D (25 %)

Idoneidad

Los Objetivos de Aprendizaje aparecen definidos de forma clara y precisa

Se muestra información sobre la vigencia y/o actualidad de los Contenidos

Los Contenidos están definidos acordes a los aprendices

Se presenta las referencias bibliográficas de los contenidos abordados

El lenguaje escrito e imágenes transmite las ideas de forma organizada, estando acorde a los aprendices

Se Incorporan ejemplos relevantes para ilustrar los contenidos

Se emplean imágenes, acordes a los aprendices, con el propósito de reforzar y/o complementar el contenido

Se emplean animaciones y videos, acordes a los aprendices, con el propósito de

reforzar y/o complementar el contenido

Se emplea audio, acorde a los aprendices, con el propósito de reforzar y/o

complementar el contenido

El uso de diversos recursos audiovisuales, acorde a los aprendices, aporta un

valor agregado al contenido presentado

Las actividades están definidas acordes a los aprendices

Exactitud

El contenido abordado es coherente con los objetivos que se plantean en el

Objeto de Aprendizaje

El contenido abordado facilita el logro de los objetivos planteados

Las actividades planteadas son coherentes con los objetivos que se establecen

en el Objeto de Aprendizaje

Las actividades planteadas facilitan la comprensión de los contenidos

abordados

ESCALA DE EVALUACIÓN PUNTUACIÓN

A S P E C T O S

Tota

lmen

te

en

desa

cu

erd

o

En

desa

cu

erd

o

Ind

ifere

nte

De

acu

erd

o

Tota

lmen

te

de

acu

erd

o

1 2 3 4 5

Interoperabilidad

El Objeto de Aprendizaje cumple con los estándares y/o lineamientos

internacionales

Totales

Puntuación mínima para catalogarlo de Calidad Buena: 12 Puntuación Total

(puntaje * 0,25):

E F I C I E N C I A (10%)

Uso y Comportamiento de los Recursos

El tiempo de respuesta a las acciones de los aprendices es idóneo de acuerdo a

los requerimientos de software y hardware

La velocidad de ejecución de los procesos del Objeto de Aprendizaje

(animaciones, videos presentación de textos, imágenes, entre otros aspectos

relevantes) es rápida y se comporta de igual forma en distintos computadores

El tiempo de uso del Objeto de Aprendizaje es aceptable y/o se puede ajustar.

No excede la capacidad de atención de los aprendices

Totales

Puntuación mínima para catalogarlo de Calidad Buena: 0,9 Puntuación Total

(puntaje * 0,1):

U S A B I L I D A D (25%)

Comprensibilidad

El Objeto de Aprendizaje tiene relación con otros objetos o recursos Web que

permiten profundizar y/o completar la información presentada

Existe una congruencia semántica entre el Objeto de Aprendizaje y los otros

objetos o recursos Web con los que guarda relación

El contenido se presenta en un nivel de detalle acorde a los aprendices

Se presentan los contenidos de una forma estructurada y organizada

Los contenidos se presentan de una forma gradual y sucesiva acorde a los

aprendices

El contenido no tiene fallas ortográficas y la construcción de las ideas y frases

es correcta

Se emplean metáforas intuitivas y adecuadas a los aprendices

Las actividades se presentan de forma estructurada y organizada

Las actividades están definidas en un nivel de detalle acorde a los aprendices

Las actividades presentan situaciones que le permiten al aprendiz experimentar

y descubrir nuevos conocimientos

Facilidad de Aprendizaje

Se exhibe una lista de los contenidos que serán abordados

La estructura de presentación de los contenidos es consistente y coherente en

todo el Objeto de Aprendizaje

La estructura de las actividades es consistente y coherente en todo el Objeto de

Aprendizaje

El mapa de navegación del Objeto de Aprendizaje está estructurado

lógicamente y se accede fácilmente (iconos, menús entre otros) a la información

presentada

ESCALA DE EVALUACIÓN PUNTUACIÓN

A S P E C T O S

Tota

lmen

te

en

desa

cu

erd

o

En

desa

cu

erd

o

Ind

ifere

nte

De

acu

erd

o

Tota

lmen

te

de

acu

erd

o

1 2 3 4 5

El Objeto de Aprendizaje le permite al aprendiz explorar el Objeto de

Aprendizaje de manera flexible y libre

El Objeto de Aprendizaje le permite al aprendiz saber donde se encuentra en un

determinado momento

El funcionamiento de los enlaces y/o botones no presenta inconvenientes

No presenta recursos audiovisuales que distraigan la atención del aprendiz

No es necesario conocimiento o entrenamiento previo para utilizar el Objeto de

Aprendizaje

El Objeto de Aprendizaje dispone de un sistema de ayuda descriptivo y

pertinente

Las fuentes utilizadas dentro del Objeto de Aprendizaje facilitan la legibilidad y

visibilidad de los textos

El uso de los colores dentro del Objeto de Aprendizaje es adecuado para la

presentación de los contenidos

Se manejan formatos uniformes dentro del Objeto de Aprendizaje

El diseño de la interfaz es claro y atractivo

El diseño de la Interfaz es intuitivo

En el Objeto de Aprendizaje se observa una interactividad de tipo mixta en la

que el aprendiz interactúa enviando datos al recurso, y a su vez el recurso envía

información al aprendiz

En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo

activa donde el aprendiz interactúa enviando datos al recurso

En el Objeto de aprendizaje se puede observar sólo una interactividad de tipo

expositiva donde el recurso envía información al aprendiz

Atracción

El Objeto de Aprendizaje motiva y atrae al aprendiz para que se incorpore a una

situación de aprendizaje activo

Existe una simetría en la distribución de los contenidos y/o los recursos

empleados

Se incorporan mecanismos o funcionalidades que promueven la interacción con

el aprendiz

Totales

Puntuación mínima para catalogarlo de Calidad Buena: 23,25 Puntuación Total

(puntaje * 0,25):

C O N F I A B I L I D A D (10 %)

Tolerancia a fallas

En caso de presentarse un error o una falla el Objeto de Aprendizaje conduce al

aprendiz para que pueda continuar desde el punto en el que se encontraba antes de

ocurrir el mismo

El aprendiz se siente apoyado, orientado y sin temor de cometer errores porque

el Objeto de Aprendizaje le ofrece la asesoría necesaria

ESCALA DE EVALUACIÓN PUNTUACIÓN

A S P E C T O S

Tota

lmen

te

en

desa

cu

erd

o

En

desa

cu

erd

o

Ind

ifere

nte

De

acu

erd

o

Tota

lmen

te

de

acu

erd

o

1 2 3 4 5

Totales

Puntuación mínima para catalogarlo de Calidad Buena: 0,6 Puntuación Total

(puntaje * 0,1):

M A N T E N I B I L I D A D (15%)

Facilidad de Cambio

El Objeto de Aprendizaje está orientado a ser empleado en diversos contextos

educativos

El Objeto de Aprendizaje provee una documentación completa que explica los

objetivos y las características del mismo para que pueda usarse y/o modificarse sin

dificultad

El Objeto de Aprendizaje fue desarrollado utilizando herramientas de amplia

distribución, el cual puede ser adaptado y/o modificado

El Objeto de Aprendizaje presenta su registro de metadatos descritos siguiendo

un formato estándar

El Objeto de aprendizaje se encuentra en un repositorio público y/o lugar

especializado donde se puede ubicar fácilmente para ser utilizado

Totales

Puntuación mínima para catalogarlo de Calidad Buena: 2,25

Puntuación Total

(puntaje * 0,1):

P O R T A B I L I D A D (15%)

Facilidad de Ajuste

El Objeto de Aprendizaje no requiere de algún sistema operativo en particular

para poder ser visualizado

El Objeto de Aprendizaje no requiere de algún software en particular para poder

ser visualizado

No Existe una dependencia de hardware para poder visualizar el Objeto de

Aprendizaje

El Objeto de Aprendizaje puede ser visualizado en distintos navegadores Web

Se especifican requerimientos técnicos particulares para poder visualizar el

Objeto de Aprendizaje

Totales

Puntuación mínima para catalogarlo de Calidad Buena: : 2,25 Puntuación Total

(puntaje * 0,1):

Valoración General de la Calidad de los Objetos de Aprendizaje

Combinados Abiertos de tipo Instrucción

Puntuación General:

sumando las seis dimensiones

Rangos para evaluar la

Calidad del Objeto de

Aprendizaje

56-69 Excelente

42-55 Muy Buena

29-41 Buena

15-28 Regular

Menor que 14 Mala

CONCLUSIONES

En este trabajo se presentó un instrumento de evaluación de la calidad, validado por juicio de expertos, para un

determinado tipo de OA, el cual partió del modelo de calidad planteado, donde los ítems o preguntas se definieron a

partir de cada uno de los indicadores de evaluación presentados en el mismo. Es importante señalar que el modelo y

el instrumento están basados en ISO/IEC 9126, por lo que las seis dimensiones que lo conforman corresponden a los

aspectos de evaluación que propone el estándar (Funcionalidad, Eficiencia, Usabibilidad, Confiabilidad,

Mantenibilidad y Portabilidad), teniendo así inmersas las tres dimensiones bases en la concepción de un OA

(pedagógica, tecnológica y de interacción humano computador), todo esto con la finalidad de minimizar el sesgo que

puede estar asociado a un evaluador dependiendo su grado experticia, logrando así una evaluación integral con una

visión interdisciplinaria, a diferencia de las propuestas de evaluación de calidad existentes estudiadas y presentadas,

donde se aprecian las diferentes visiones por separado que consideran pertinentes.

Se utilizó el estándar ISO/IEC 9126 debido a los OA son un producto de software, lo que permite aprovechar las ventajas que proporciona el uso de estándares reconocidos a nivel internacional. Todo esto con la finalidad de

adaptar al dominio de los OA aquellos aspectos que fueron pensados para el software y aplican al contexto, debido a

que de esta manera se puede valorar la calidad de los aspectos tecnológicos y de interacción humano computador en

correspondencia a lo educativo.Lo importante de esta propuesta de un proceso de evaluación de calidad integral es

que logró definir indicadores de evaluación y lineamientos comunes con base a estándares reconocidos

internacionalmente y utilizados, buscando así generalizar los rasgos o aspectos mínimos necesarios que deben estar

presentes en un OA para que sea considerado de Calidad. Siendo éste un elemento fundamental y determinante en el

uso y la reutilización adecuada de estos recursos, para poder valorar la disposición pertinente en los diversos

contextos educativos que respondan a la misma necesidad de aprendizaje.

REFERENCIAS

1. International Organization for Standardisation (ISO) (1991). ISO/IEC: 9126 Information technology-Software Product Evaluation-Quality characteristics and guidelines for their use –1991.

2. Wiley, D. A. (2000). Connecting learning objects to instructional design theory: A definition, a metaphor, and a taxonomy. In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Descargado 11/Marzo/2008, de: http://reusability.org/read/chapters/wiley.doc

3. Pressman, R. (1998). Ingeniería del software. Un enfoque práctico. 4ª. Edición. McGrawHill. 4. González R., Arteaga J. y Rodríguez F. (2006). Formato para la Determinación de la Calidad en los Objetos de

Aprendizaje. Universidad Autónoma de Aguascalientes. Aguascalientes, México.

5. Velázquez Amador, C., Muñoz Arteaga, J. y Garza González, L.. (2007). Tecnología de Objetos de Aprendizaje, Capítulo VI La Calidad de los Objetos de Aprendizaje. Primera Edición 2007. D.R. Universidad Autónoma de Aguascalientes y Universidad de Guadalajara. Editorial de la UAA. ISBN: 978 970 728 101 4. Aguascalientes, Ags., México. pp 129-170.

6. Vidal, C. L., Segura, A. A., y Prieto, M. E. (2008). Calidad en objetos de aprendizaje. Actas de SPDECE08, Salamanca. Descargado el 30 de marzo de 2011, de: http://www.web.upsa.es/spdece08/contribuciones/139_CalidadEnObjetosDeAprendizajeTypeInstSpringerFinalVidalSeguraPrietov99.pdf.

7. Hernández,Y., Montaño, N., Miguel, V., y Velázquez, C. (2010). Una Propuesta para el Desarrollo Sistemático de un Modelo de Calidad Integral para los Objetos de Aprendizaje Combinados Abierto de Tipo Instrucción. Actas del V Congreso Latinoamericano de Objetos de Aprendizaje LACLO 2010. Universidad Prebisteriana Mackenzie, Sao Paulo, Brasil. Septiembre 2010. ISSN: 1982-1610.

8. Hernández,Y., Montaño, N., Miguel,V. y Velazquez, C. (2009). Una Experiencia en la Construcción de un Modelo de Calidad Pedagógica para Objetos de Aprendizaje. Actas de la 1ra La Conferencia Conjunta Iberoamericana sobre Tecnologías de Aprendizaje, CcITA 2009. Mérida, México. ISBN: 978-607-7573-17-3

9. Jiménez, J; García, J & Aguilar, F. (2006). Guía técnica para la construcción de cuestionarios. Centro Interdisciplinario de Investigación y Docencia en Educación Técnica (CIIDET). Año 3, núm. 6. Enero-Junio México. ISSN 1870-1477.