INFORME

EVALUACIÓN DE UN SISTEMA

DE GESTIÓN DEL APRENDIZAJE (LMS)

FABIOLA PULGARIN CRUZ

UNIVERSIDAD DE SANTANDER UDES

FACULTAD DE EDUCACIÓN

MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA

SANTIAGO DE CALI – VALLE

2015

INFORME

EVALUACIÓN DE UN SISTEMA

DE GESTIÓN DEL APRENDIZAJE (LMS)

FABIOLA PULGARIN CRUZ

Trabajo presentado a

Mg. Ricardo Andrés Prieto Bolaños

UNIVERSIDAD DE SANTANDER UDES

FACULTAD DE EDUCACIÓN

MAESTRIA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA

SANTIAGO DE CALI - VALLE

2015

INTRODUCCIÓN

Hoy día el avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en

el Sistema Educativo, y en Organizaciones que sirven de soporte a los procesos de

negocios productivos y administrativos en todos los campos a nivel comercial e

industrial, generando expectativas con la inclusión de nuevas herramientas

tecnológicas.

Estas nuevas herramientas como son el Inter espacio, el cómo, el qué se puede

enseñar, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la

gestión de la comunicación, evaluación, diagnóstico y del seguimiento oportuno y

constante de su proceso de aprender, permiten establecer unos criterios claros, para

controlar los diferentes elementos, que intervienen en el desarrollo de las necesidades

propias de cada persona.

En este informe se hace un análisis detallado sobre la evaluación de un Sistema de

Gestión del Aprendizaje LMS (Learning Management System), el cual es un sistema

de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar

y apoyar las diversas actividades previamente diseñadas y programadas dentro de un

proceso de formación completamente virtual (eLearning) o de formación semi –

presencial (Blended Learning). (Cañellas (2010). Los Sistemas LMS tienen amplios

propósitos, tanto para empresarios, docentes y educandos, ya que el elegir una

plataforma, se vuelve complejo en el mercado actual, hay diferentes opciones

comerciales y de libre distribución, aparecen nuevos sistemas de gestión del

aprendizaje y las actualizaciones permanentes de las versiones, tiene mejoras

importantes, generando problemas para la toma de decisiones en cuanto a la

evaluación de la calidad se refiere como tal, llevando a que se establezcan las

características de calidad que deben ser tenidos en cuenta en el modelo de calidad al

adelantar la evaluación de un sistema LMS.

INFORME

EVALUACIÓN DE UN SISTEMA

DE GESTIÓN DEL APRENDIZAJE (LMS)

Haciendo referencia a lo leído en el en el libro multimedial Capítulo 4: Evaluación

de la Calidad de la Tecnología Educativa, se da un informe detallado con respecto a los

diferentes elementos y características de calidad que deben tenerse en cuenta, para la

evaluación de un Sistema de Gestión del Aprendizaje (LMS), para ello se hará uso de

las siguientes tablas, con lo cual será más entendible y comprensible la información.

A continuación se describen diferentes propuestas y modelos relacionadas con la

Evaluación de LMS.

CARACTERIZACIÓN DE LA CALIDAD

Según (Menéndez& Castellanos 2011), Kapp

plantea que la calidad de una plataforma e –

Learninng está dada por cinco características:

Mantenimiento, Compatibilidad, Usabilidad,

Modularidad y Accesibilidad, las cuales al ser

evaluadas de forma individual, aseguran el

entendimiento de las diferentes necesidades

tecnológicas. Cada una de estas características es

vital para el éxito. Kapp no establece criterios de

medición, dejando por lo tanto a los usuarios su

definición.

MARCOS TICS Y MEDOLOGÍA ELSE

(Lanzilotti, Ardito, Costabile, & De Ange, 2006),

proponen un nuevo marco llamado TICS (Tecnology,

Interaction, Content, Services), orientados en los

aspectos más interesantes, que deben ser

considerados cuando se diseña o evalúa un Sistema

de Gestión del Aprendizaje. Por consiguiente, la

propuesta enfatiza la interacción usuario- plataforma,

PROPUESTAS Y MODELOS CON LA EVALUACIÓN LMS

definida por: Tecnología, Interacción, Contenidos y

Servicios, de los cuales se obtiene una guía y una

metodología de evaluación llamada elSE, la cual

combina técnicas de inspección, realizada por

expertos, que permite identificar, luego se hace un

análisis con respecto a las TICS y después se aplica

una técnica llamada Tareas abstractas ( TA), que

describe las actividades las cuales deben ser

realizadas y por ende se puedan ver como patrones de

evaluación y formuladas según una plantilla, que

posteriormente se clasifican en dos categorías:

Aprendizaje del Contenido y Calidad de Uso.

MARCO PARA EL ANALISIS

DE LA POTENCIALIDAD Y VALIDEZ

Georgiakakis constituye la utilidad y calidad de uso de

un LMS a través de un proceso el cual se da en dos

pasos: Explorar y determinar su naturaleza con base a

sus características, examinar la usabilidad y la utilidad.

No obstante el modelo propone una serie de criterios

pedagógicos- técnicos, dividiéndolo a su vez en

práctico y educativo. Emplea listas de cotejo y una

matriz de decisión para identificar las características y

luego clasificarlos. Después de definidas se procede

entonces a establecer una serie de criterios como: Fácil

de aprender y comprender, Eficiente en la ejecución de

tareas, eficiente en la navegación, Retorno a lugares

seguros y muy agradables. Finalmente, los valores con

los que se evalúa son del 1 al 5.

MARCOS PARA LA EVALUACIÓN

Según Beshears, la evaluación se puede hacer con los

siguientes criterios: Requerimientos conocidos,,

Requerimientos futuros desconocidos,,

implementación, Soporte y Costo entre otros. Se

distribuyen 100 puntos entre ellos, también se puede

realizar una lista de características para cada uno de

ellos del 0 al 5. Si bien es cierto, la suma de estos

valores determina la calidad de la herramienta.

CALIDAD BASADA EN LAS HERRAMIENTAS

Está basada en la presencia o ausencia de

herramientas, los cuales están clasificados en ocho

categorías y en un conjunto de herramientas, que la

encontramos en un sitio web llamado Edu Tools, en

donde a través de un formulario, el desarrollador indica

las herramientas que suministra el sistema, donde será

evaluado por un grupo de verdaderos expertos. Dentro

de las categorías y herramientas se pueden destacar

las siguientes: Herramientas de Comunicación ( Chat,

Foro),Herramientas de Productividad ( marcadores,

búsqueda interna) ,Herramientas para el desarrollo del

estudiante ( Autoevaluaciones, Portafolio),

Herramientas Administrativas ( Autenticación,

Registro), Herramientas de Publicación de Curso

(Herramientas de Control de Calificaciones, Monitoreo

de Estudiantes), Diseño Curricular (Plantillas de

Cursos, Administración del Currículo), Hardware /

Software (Requiere un navegador Web,

Requerimientos BD), Precio / Licenciamiento (Costo,

Código abierto).

SISTEMAS DE GESTIÓN DE CONTENIDOS DE

CÓDIGO ABIERTO

Estos Sistemas definen trece criterios generales entre

los que tenemos: Costo de Uso, Mantenibilidad,

Usabilidad y Soporte, Perfil del Vendedor y de la

Herramienta, Modularidad, acorde a Estándares,

Capacidad de Integración, Integración de Objetos de

Aprendizaje, Efectividad y Eficacia, Escalabilidad,

Seguridad, Consideraciones de Hardware / Software y

Soporte Multilenguaje.

Además se tiene una lista de características y

herramientas: Administración, Seguridad, Acceso,

Integración con otros Sistemas, Diseño de Cursos,

Desarrollo e Integración, Monitoreo de Cursos, Diseño

de Actividades, Colaboración en Línea y

Comunicaciones y las Herramientas de Productividad.

Es por ello, que cada característica emplea, una escala

de 0 a 5, donde 0 es no existe pobre, 3 es promedio

básico estándar y 5 excede las expectativas del

estándar.

Tabla 1. Desarrollo propio. Fuente, Propuestas y modelos relacionadas con la Evaluación de LMS.

Es de vital importancia contemplar dentro de estos aspectos, a los estándares de

educación a distancia los cuales están enmarcados en diferentes organizaciones que

crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre

LMS:

ESTANDARES DE EDUCACIÓN A DISTANCIA

NORMAS Y ESPECIFICACIONES

ADL ( Advanced Distributed Learning Iniciative)

Es una iniciativa del Departamento de Defensa

(DoD) de los Estados Unidos, para implementar y

desarrollar herramientas y tecnologías de

aprendizaje. Fue creada en el auspicio de la Oficina

del Subcretario de Defensa para el Personal Y

Preparación (Office of the Under Secretary of

Defence for Personnel and Readiness. OUSD P & R)

para potenciar el uso de las tecnologías de la

información para modernizar el aprendizaje

estructurado. (Wikipedia, 2014). La ADL, fue la

impulsadora del estándar de e- learning

internacional SCORM y en la actualidad

promociona el desarrollo de Tin Cap API, y amplia

principios y guías de trabajo necesarias para el

incremento y la implementación eficiente, efectiva y

en gran escala de formación educativa sobre

nuevas tecnologías web.

AICC ( Aviation Industry CBT Committee

Fue creado en el año 1988, es un grupo internacional

de profesionales del entrenamiento y capacitación

basada en tecnología. (Gobierno Venezolano). Es una

organización sin fines de lucro, reúne a los formadores

de la aviación, los desarrolladores de cursos, los

proveedores de software, diseñadores y fabricantes,

para posteriormente desarrollar normas,

recomendaciones de tecnología y análisis de las

mejores prácticas, compartiendo los estándares y

realizando un proceso de certificación, así mismo los

miembros contribuyen a desplegar las normas de las

tecnologías de la información de vanguardia. Entre sus

objetivos se tiene, conseguir una formación más

rentable, eficiente y sostenible:

1. Asistir en la elaboración de guías de

referencia aeronáutica, que promuevan las

ventajas económicas y la eficacia de los

medios de entrenamiento computarizado.

2. Permitir la interoperabilidad entre los diversos

productos y plataformas de uso de la tcc.

3. Proporcionar un foro abierto para la discusión

del entrenamiento de tcc (terapia- cognitivo-

conductual) y los sistemas de tecnología de la

formación en general.

Se puede afirmar, que fue el primer organismo creado

entre diferentes sistemas, para instaurar un conjunto de

normas que permitiese el intercambio de cursos CBT

(Computer Based- Training).

Las especificaciones AICC cubre nuevas áreas, que

van desde los objetos de aprendizaje (LO) hasta los

LMS. Las compañías deben cumplir con al menos con

unas de estas directivas y recomendaciones ( AGRs):

AGR 01: Publications

AGR 02: Courseware Delivery

Stations

AGR 03: Digital Audio

AGR 04: Operating/ Windowing

System

AGR 05: CBT Peripheral Devices

AGR 06: Computer- Managed

Instruction

AGR 07: Courseware Interchange

AGR 08: Digital Video

AGR 09: Icon Standards: User

Interface

AGR 10: Web- Based Computer-

Managed Instruction

AICC, se basa en la comunicación mediante mensajes

HTTP, para conseguir que se produzca la correcta

interpretación de los cursos por parte del LMS,

llamándose a este protocolo mediante las siglas HACP,

que significan HTTP AICC CMI Protocol.

IMS ( Global Learning Consorcio)

Es un grupo independiente sin ánimo de lucro, que

inició su labor en 1997, impulsado por el NLII ( National

Learning Infrasctuture Initiative), que es una

organización apoyada por Educase. IMS trabaja en Pos

al avance de la tecnología, que pueda aplicarse en

gran escala y mejorar de forma asequible la

participación y los logros educativos. Por tanto, los

miembros son proveedores líderes, instituciones y

organizaciones gubernamentales que hacen posible el

futuro de la educación, colaborando con iniciativas de

interoperabilidad y adopción. Es así, como IMS

patrocina Learning Impact, el cual es un programa de

premios y conferencia globales, para reconocer el

impacto de la tecnología innovadora en el acceso a la

asequibilidad y calidad de la educación. (PRNewswire-

HISPANIC PR WIRE, 2014).

La misión de IMS, es desarrollar y promover

especificaciones abiertas, para facilitar las actividades

del aprendizaje en línea.

Actualmente IMS tiene 16 especificaciones, ya que

cada una de ellas está enfocada en una necesidad

distinta del proceso de enseñanza. Hay

especificaciones que se refieren a metadatos de los

objetos educativos, al formato de empaquetamiento y

distribución de los cursos, a la información del usuario,

a la secuenciación de contenidos educativos o incluso

al diseño de la actividad educativa en su conjunto.

IEEE LTSC ( Learning Technology Standards

Committee)

Este comité perteneciente al Institute of Electricial and

Electronic Engineers (IEEE), cubre prácticamente todos

los aspectos de aprendizaje basados en ordenador. Su

misión principal es desarrollar estándares técnicos,

prácticas recomendadas y guías para componentes de

software, herramientas, tecnologías y métodos de

diseño, que posibiliten el desarrollo, implantación,

mantenimiento e interoperabilidad de implementación

de sistemas educativos. El LTSC, está organizado en

subcomités que se encargan de áreas de trabajo

determinadas como la definición de la arquitectura de

sistemas de e- learning o la definición de metadatos,

para objetos educativos. Se puede decir, que en estos

momentos el área de mayor impacto, es la relacionada

con los metadatos de los recursos educativos, ya que

el Standard Learning Object Metadata (Stándard IEEE

1484. 12.1- 2002), es el estándar oficial que más se

está utilizando actualmente en e- learning. El LTSC, se

encarga de preparar normas técnicas, prácticas y guías

recomendadas, para el uso informático de

componentes y sistemas de educación como de su

interoperación. El estándar IEEE 1484.11.1- 4 evalúa

los LMS.

ISO/IEC ISO/ IEC TR 29163- 4: 2009

Cubre lo esencial de Learninig Management System

(LMS) agrupa los diferentes estándares como IMS,

AICC Y ADL.

PROJECT OKI

Por sus siglas en inglés ( Open Knowledge Iniciative,

Iniciativa de Conocimiento Abierto), busca encontrar las

ventajas y beneficios que ofrece, para el desarrollo de

LMS.

OKI, de MIT es un proyecto de colaboración con la

Universidad de Harvard, la Universidad Estatal de

Carolina del Norte, la Universidad de Michigan, la

Universidad de Pennsylvania, y la Universidad de

Wisconsin.

El OKI se describe así mismo en su sitio de internet

como una arquitectura que desarrolla y promueve las

especificaciones que describen como los componentes

de un entorno de software, los cuales se comunican

entre sí y con otros sistemas empresariales, no es más

que una arquitectura abierta y extensible para

tecnología utilizada en el aprendizaje especialmente,

para la educación superior.

Las especificaciones de OKI, permiten la

interoperabilidad sostenible y la integración mediante

la definición de normas, para la arquitectura orientada a

servicios (SOA) y la llamada definición de interfaces de

servicio abierto (OSIDs).

A través de este trabajo OKI, buscar abrir nuevas

oportunidades de mercado con una amplia gama de

dominio de aplicación de software.

PORTAFOLIO

Crea especificaciones y normas que describe el tipo de

información, que puede ser almacenada en el portafolio

y como debe llevarse a cabo el registro a nivel de

datos. El portafolio del estudiante es un medio de

“tareas”, dinámicas y progresivas sobre las principales

fortalezas y logros del aprendizaje, Por otro lado,

describe los documentos y materiales, los cuales

colectivamente sugieren el alcance y la calidad de las

actividades del estudiante.

W3C

El Consorcio World Wide Web ( W3C), es una

comunidad internacional, donde las organizaciones que

tiene personal con tiempo completo y el público en

general, trabajan conjuntamente, para desarrollar

estándares Web y accesibilidad en la Web y que

abarcan el los LMS, el cual es liderado por el inventor

de la Web ( Tim Berners - Lee).

Tabla 2. Desarrollo propio. Fuente, estándares de Educación a distancia, Normas y Especificaciones

Vale resaltar en los LMS normas y estándares. Los Sistemas de Gestión de

Aprendizaje, que emplea las TIC, para su funcionamiento, deben entenderse como un

software, que media los procesos inmersos en estos sistemas.

LMS NORMAS Y ESTÁNDARES

Los Sistemas de Gestión de Aprendizaje, deben

revisarse desde el punto de vista evaluativo,

obedeciendo a los aspectos técnicos según la

norma ISO/ IEC 9126 sin ser tan riguroso. Esta

norma busca poder medir la calidad de un

programa informático.

Entendiendo por calidad “la propiedad o conjunto

de propiedad, es inherente al software, que permite

determinar su valor”. Para ello, propone la

descomposición del atributo de calidad en otros

más sencillos y fáciles de medir. De esta forma se

establecen los requisitos de la calidad de un

programa y se consigne un mayor conocimiento

del programa estudiado.

MODELO DE CALIDAD ISO/ IEC 2500

Es la integración de las normas ISO/ IEC 9126 e ISO

14598, que pretende el desarrollo de productos de

software conforme a su especificación y evaluación de

calidad. Este define tres vistas, para evaluar dicha

calidad.

La vista interna está relacionada con las propiedades

del software asociadas a las primeras fases del

desarrollo (tamaño, complejidad, etc.).

La vista externa se enfoca a la validación del producto

en términos de efectividad y rapidez, uso de memoria,

etc.

La vista de uso, se refiere a la percepción del usuario

con respecto a la efectividad del producto para la

ejecución de las tareas. Por consiguiente, cada vista

define una serie de métricas. Esto permite detectar

fortalezas y debilidades de un sistema y se enfoca en

la toma de decisiones para la compra y la comparación.

ESTÁNDAR ISO/ IEC 19796-1

Este es el primer estándar de calidad, para el

aprendizaje, la educación y la capacitación. Entonces,

en el Marco de Referencia, se basa en la descripción

de calidad ( RFDQ) y consta de dos partes:

Un modelo de procesos como clasificación de

referencia y un esquema de descripción, para el control

de la calidad.

El modelo de procesos, considera todo el ciclo de vida

del e- Learning y tiene las siguientes características:

Integración, completitud, apertura, adaptabilidad y

unicidad. Vale mencionar que también se divide en

siete categorías (análisis de necesidades, análisis de

marco de trabajo, concepción/ diseño, desarrollo/

producción, implementación, proceso de aprendizaje y

evaluación/ optimización) y treinta y ocho subprocesos,

donde se debe especificar los métodos y métricas a

tener en cuenta.

Tabla 3. Desarrollo propio. Fuente, LMS normas y estándares

Ahora bien, es de vital importancia conocer los Pro y Contra de diferentes

propuestas y modelos de procesos, con el fin de diferenciar las fortalezas/ debilidades

que consigo traen:

PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS

KAPP

La propuesta presentada por Kapp, tiene como

inconveniente su generalidad al no constituir de

forma clara, una metodología, ni un rango de

valores, para la evaluación.

BESHEARS

Su propuesta está enfocada, al proceso de

implementación, lo que quiere decir, que se vuelve

complejo, para aquellos que no tienen conocimiento al

respecto.

GEORGIAKAKIS

Plantea un aspecto importante que es la usabilidad,

traza un esquema de clasificación y unos niveles que lo

hacen sencillo de utilizar, solo que su evaluación la

hacen verdaderos expertos y en ambientes

controlados.

EN EL MARCO DE LAS TIC

En cuanto a este marco, se puede ver su enfoque a la

parte tecnológica, donde cobra la importancia a la

interacción usuario- sistema. Su principal ventaja son

las inspecciones basadas en patrones, haciéndola

objetiva, solo el número de AT´ S, si son generados,

puede no cubrir todas las características.

EDU TOOLS

Ofrece un marco genérico y un listado de

funcionalidades deseables para las herramientas,

haciendo de esta forma, que su medición sea sencilla,

mediante una lista de cotejo. Sin embargo, su

desventaja, radica en la presencia o ausencia de

elementos, que hacen que se realicen una larga

revisión de la calidad del sistema.

CÓDIGO ABIERTO

La herramienta de código abierto, establece una

metodología cuantitativa, para aplicar a la evaluación

de calidad de un sistema LMS, solo que esta medición

es subjetiva y su valor por lo tanto, está dado en la

percepción global.

NORMAS ISO 9126 e ISO 14598

Es así, como esto lo hace limitado aunque su ventaja

es que se puede definir, una colección de

características y la forma en que serán medidas,

estableciendo unos criterios y objetivos que evitarán las

valoraciones subjetivas.

ISO/ IEC 19796-1

Se enfoca mucho en el proceso de implementación de

un esquema de aprendizaje, haciendo que el LMS, no

sea parte del estándar sino de un subproceso. Su

ventaja radica en que proporciona un documento

enfocado a la generación de métricas y mediciones de

calidad.

Tabla 4. Desarrollo propio. Fuente, Pro y Contra de diferentes propuestas y modelos

CONCLUSIONES

El avance vertiginoso de las Tics, se convierte en un reto a nivel mundial en todo el

Sistema Educativo, y en Organizaciones en todos los campos a nivel comercial,

industrial y educativo, posibilitando a los empresarios (calidad en los procesos de

negocios productivos y administrativos), a los docentes fortalecer sus prácticas

pedagógicas.

Las nuevas herramientas como el Inter espacio, el cómo, el qué se puede enseñar,

en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la gestión de la

comunicación, evaluación, diagnóstico y del seguimiento oportuno y constante de su

proceso de aprender, posibilitan a los usuarios, docentes y educandos establecer unos

criterios claros, para controlar los elementos, que intervienen en el desarrollo de los

procesos.

El Sistema de Gestión del Aprendizaje LMS (Learning Management System),es un

sistema de gestión de aprendizaje online, que permite administrar, distribuir,

monitorear, evaluar y apoyar las diversas actividades previamente diseñadas y

programadas dentro de un proceso de formación completamente virtual (eLearning) o

de formación semi –presencial (Blended Learning).

Los Sistemas LMS tienen amplios propósitos, tanto para empresarios, docentes y

educandos, hay diferentes opciones comerciales y de libre distribución, con nuevos

sistemas de gestión del aprendizaje y actualizaciones permanentes de las versiones,

para lograr mejoras en el ámbito educativo y empresarial.

Los estándares de educación a distancia están enmarcados en diferentes

organizaciones que crean normas y especificaciones, para la interoperabilidad y calidad

del servicio entre LMS:

WEBGRAFÍA

Libro electrónico multimedial: Evaluación de la Calidad de la Tecnología Educativa.

Cap. 4 Evaluación de la Calidad del Software Educativo. Recuperado de

http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/cap4.html

Cova, A., Arrieta, X., & Duran, J (2007). Revisión de Modelos para Evaluación de

Software Educativo. http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L

.000.008. MG/Documentos/ Anexos/cap4/2.pdf

Dominique, S.- L., & witold, S. (2000). Enhancing ISO/IEC 25021 Quality Measure.

Elementos for wider application within ISO 25000 series. Recuperado de

http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008. MG/Documentos

/Anexos/cap4/1.pdf

Menéndez, V., Domínguez, C. M. (2011). La Calidad en los Sistemas de Gestión del

Aprendizaje. Recuperado dehttp://aulavirtual.eaie.cvudes.edu.co/publico/lems/

L.000.008.MG/Documentos/Anexos/cap4/3.pdf