Metodología de Medición y Evaluación de la Usabilidad de Sitios Web educativos María Elena Alva...

Metodología de Medición y Evaluación de la Usabilidad de

Sitios Web educativos

María Elena Alva Obeso

Director: Juan Manuel Cueva LovelleDirectora: Ana Belén Martínez Prieto

Universidad de Oviedo – Departamento de Informática

Tesis Doctoral

23 de Junio de 2005 2

– Introducción– Estudio de la Evaluación de la Usabilidad– Estudio de Metodologías Relacionadas– Objetivos– Metodología Propuesta– Prototipo– Resultados– Conclusiones– Futuras Líneas de Investigación

Contenido

Tesis Doctoral


– Proliferación de sitios web – Utilidad vs usabilidad– Evaluación de la usabilidad – Enfoque centrado en el dominio comercial – Establecer el quién, el qué y el có– mo evaluar sitios educativos

• Audiencia• Requisitos de evaluación• Métodos y técnicas actuales

Problema

Introducción


Un nuevo enfoque de evaluación caracterizado por:– Dirigido a un dominio de aplicación– Uso de usuarios y expertos– Clasificación del usuario – Fases de aplicabilidad– Establecimiento de requisitos– Desarrollo de herramientas de soporte

Propuesta

Introducción


Contenido

Tesis Doctoral



Usabilidad

Introducción

ISO 9241 ISO 9126

Nielsen


Métodos considerados por categoría y autor(es)

Estudio de la evaluación de la usabilidad

Métodos de evaluación


Clasificación resultante de los métodos de evaluación de usabilidad analizados


Métodos de evaluación (II)



Métodos de evaluación (III)



Los métodos de evaluación de usabilidad se apoyan en el uso de técnicas que ayudan en la recolección de información y que facilitan la detección de problemas.

Técnicas de evaluación



Técnicas de evaluación (II)

– Son baratos– Fáciles de aplicar a una muestra grande de

usuarios– Se pueden repetir las veces que sea necesario– Proporcionan rápidamente datos cuantitativos y

cualitativos– Encuentra preferencias subjetivas del usuario– Evalúa de manera formal y estandarizada juicios,

opiniones y sentimientos subjetivos, sobre la usabilidad del prototipo, sistema, etc.

– Permite verificar la aceptación del sistema con el ambiente normal de operación del usuario

– Pueden también ser usados para medir respuestas subjetivas en un contexto experimental

Características comunes de

Listas y Cuestionarios


Contenido

Tesis Doctoral



Estudio de las metodologías relacionadas

Metodologías existentes

– Por los estudios realizados parece claro suponer que los métodos, técnicas y herramientas desarrolladas para la evaluación de la usabilidad deben ser utilizados de una manera coordinada y sistemática, a fin de que permitan obtener los resultados deseados. Es decir, deberían estar enmarcados en un modelo que organice su uso en una secuencia apropiada a los fines establecidos.

– Se han revisado algunas metodologías de evaluación de usabilidad, con el fin de detectar características comunes y estrategias que sean de utilidad en la evaluación de un sitio Web educativo.



Inconvenientes derivados

– Enfocadas a la evaluación de aplicaciones comerciales– Emplean métodos empíricos, que implementan escenarios

artificiales – Costosas y difíciles de implementar– Evalúan el desempeño del producto y el desempeño y

experiencia del usuario– Carecen de un conjunto de requisitos adecuados a la

audiencia y al dominio



Solución

–Integración de métodos, técnicas y herramientas en una proceso coherente metódico y sistemático que permita evaluar la usabilidad de sitios educativos de una manera rentable

–Para ello, es necesario establecer las diferentes clasificaciones de dominio, etapas de desarrollo y usuarios a fin de enfocar de una mejor manera el proceso de evaluación y lograr resultados más objetivos


Contenido

Tesis Doctoral



Fundamentales

Objetivos

– Descripción de una metodología para la evaluación de la usabilidad de sitios web educativos

– Empleo de un modelo de puntuación para medir el nivel de usabilidad en la metodología propuesta

– Diseño de un conjunto de herramientas de soporte al proceso de evaluación y al procesamiento de los datos obtenidos


Objetivos de la metodología

Objetivos

– Evaluación múltiple. Combina dos evaluaciones: de expertos y de usuarios.

– Combinación de métodos. Combina los métodos de inspección y de indagación con el fin de descubrir problemas que puedan ser pasados por alto por uno u otro.

– Configuración de los métodos de inspección. Posibilidad de seleccionar aquellos métodos con los que este más familiarizado el experto.

– Consideraciones de audiencia. Estudio de la audiencia, teniendo en cuenta características específicas como edad, nivel de experiencia, etc.


Objetivos

–Extensión de la evaluación a las fases de análisis y diseño. Se pretende que la evaluación abarque las diferentes etapas de desarrollo del producto. –Configuración de los parámetros de medición. Establecer los parámetros de evaluación, en una estructura jerárquica, adecuada al tipo de sitio y usuario. –Aplicación de un modelo de puntuación. Sobre los parámetros definidos en la estructura jerárquica anterior.

Objetivos de la metodología(II)


Objetivos

Objetivos de la metodología(II)


Contenido

Tesis Doctoral



Estructura de la Metodología

Metodología propuesta

La metodología ME-USitE (Metodología de Evaluación de la Usabilidad de Sitios Educativos) comprende las etapas:


Análisis


La etapa de análisis comprende las siguientes fases:

Definición del dominio

Análisis de la audiencia

Etapas del ciclo de desarrollo

Análisis de las metas de evaluación de la usabilidad


Ciclo de vida - Diseño

Metodología propuesta ?


Diseño: Evaluación de expertos


Dos objetivos principales:

Que un grupo de especialistas (personas con cierto conocimiento en aplicaciones Web, y/o evaluación de usabilidad) comprueben, de acuerdo a su experiencia y juicio, si el sitio en evaluación cumple o no las reglas establecidas en la evaluación.

Determinar el impacto que producen en el nivel de usabilidad las reglas incumplidas


Diseño: Evaluación de expertos (II)


Realizado aplicando los métodos de inspección Se caracterizan por ser de los más efectivos en la obtención de

resultados y de los más simples de aplicar. Permiten la combinación entre ellos, se emplearán:

Heurísticas [NIE90], [NIE93], Consistencia [FLO00], Estándares [ISO93b], [ISO01] y Guías de comprobación [NIE94b] y [MAC94].



Valoración del impacto. Consiste en medir el impacto que produce una regla no cumplida en el nivel de usabilidad del sitio. Basado en el modelo de Lisney y Schang [LIS04] Considera tres elementos:

• Severidad. Indica si el problema es una molestia al usuario o si le

impide completar la tarea. • Importancia. Determinada por el tipo de sitio educativo(formativo,

informativo). • Extensión. Relacionado con la difusión del problema en el sitio.

Impacto = ½ (Severidad + Importancia + Persistencia).

Diseño: Evaluación de expertos (III)



Efecto del evaluador. Establece en que medida las parejas de evaluadores están de acuerdo sobre los problemas que tiene la aplicación en evaluación. Es decir, tiene en cuenta el número de problemas que dos evaluadores tienen en común (Pi Pj), dividido por el número de problemas que ellos detectan colectivamente (Pi Pj), y promediado por todos los posibles pares de evaluadores que han participado en el proceso de evaluación (½n(n-1))

Tasa =

Diseño: Evaluación de expertos (IV)


Ciclo de vida - Diseño


?


Diseño: Evaluación de usuario


Dos objetivos fundamentales:

— Analizar la percepción del usuario y determinar en que medida el sitio les

proporcionan la usabilidad necesaria para concluir con éxito su objetivo.

— Determinar problemas de usabilidad tales como: aprendizaje, contenido,

operabilidad, comunicación, método, satisfacción y atractividad, etc.



Modelo de Evaluación del usuario

1. Número de participantes

2. Balance de participantes

3. Reclutamiento de participantes

4. Categorización el usuario

5. Selección de los parámetros de medición de evaluación

6. Modelo de medición

Diseño: Evaluación de usuarios (II)



4. Categorización del Usuario: Modelo de Perfil del usuario de sitios

Web educativos (PU). — Basado en el modelo de Borges [BOR02]. — Considera cuatro elementos de categorización (ECi): nivel educativo,

uso del ordenador, tiempo dedicado al uso del ordenador, uso de Internet.

— Emplea un cuestionario para la obtención de los datos referentes a los elementos de categorización

— Cada elemento en el cuestionario ésta asociado un rango de valores de respuesta que determinan el perfil del usuario (PU).




El perfil de usuario puede ser definido mediante la siguiente ecuación:

Diseño: Evaluación de usuarios (III)

4

1i i

i

PU EC

i i iEC f Vop

Donde i:

, 1,4i y (i) es obtenida por la ecuación:

Primer elemento: Nivel Educativo del usuario Para el primer elemento (EC1), Vop1 toma directamente el valor de la opción seleccionada 1Vop1 5

Valor de las opciones de respuesta (Vop)



Segundo elemento: Tiempo dedicado al uso del ordenadorPara el segundo elemento (EC2), el valor de Vop2 es calculado mediante la ecuación:

Diseño: Evaluación de usuarios (IV)

2 2 2

1

3Vop Vop Pop

3 ( )

op true

Vop Pop

Tercer elemento: Actividad de uso con el ordenadorPara el tercer elemento de categorización de perfil (EC2), se realiza una suma de los pesos (Vop2) de las opciones seleccionadas (ya que permite respuestas múltiples):



Cuarto elemento: Uso de Internet Para el categorización de perfil (EC4) se ha considerado la evaluación de los sitios mas frecuentemente recorridos por el usuario dentro de un conjunto de sitios preestablecidos y considerando además la frecuencia de acceso.

Diseño: Evaluación de usuarios (V)

12

41

1

4 i ii

Vop Vsop Psop



5. Selección de los parámetros de medición de evaluación Definida en un árbol de requisitos. Basada en un modelo jerárquico. Propone un modelo de tres niveles de parámetros (criterios,

métricas y atributos) Basados en los estándares ISO 9241 [ISO93b], [ISO93a], ISO 9126

[ISO01], [ISO91] y los indicadores de evaluación de recursos

educativos considerados por González [GON03] y Boklaschuk

[BOK01]:

Diseño: Evaluación de usuarios (VI)










6.1 Clasificación de los parámetros 6.2 Asignación de pesos a los parámetros del árbol de requisitos

6.3 Puntuación elemental de los atributos (PE). 6.4 Cálculo de la Puntuación de agregación





— Basado en el modelo de puntuación de preferencia lógica LSP (Logic

Scoring of Preference) [ERD80], [DUJ80], sobre la teoría de redes

neuronales —Emplea las valoraciones de los usuarios como capa de entrada para

obtener las puntuaciones elementales —Las puntuaciones obtenidas para los niveles superiores a través de

puntuación agregada determinan las capas intermedias—El resultado final representa la capa de salida.

Diseño: Evaluación de usuarios (VII)










6.1 Clasificación de los parámetros

6.2 Asignación de pesos a los parámetros del árbol de requisitos





6. Modelo de medición. Pasos:

6.1 Clasificación de los parámetros del árbol de requisitos: esenciales,

deseables u opcionales. Uso de la técnica Delphi [LIN75].

6.2 Asignación de pesos a los parámetros del árbol de requisitos.

Establece una preferencia relativa (peso) a cada parámetro que conforma el

árbol de requisitos, aplicando la técnica SMART [EDW77].

Diseño: Evaluación de usuarios (VIII)











6.3 Puntuación elemental de los atributos (PE).

6.4 Cálculo de la Puntuación de agregación




6.3 Puntuación elemental de los atributos (PE). Para obtener dicha

puntuación será necesario:

a) Asignación de un valor para el atributo. El usuario asignará un

valor numérico (entre 1 y 5) a cada atributo.

Diseño: Evaluación de usuarios (IX)

, 1, , .iv i n 1 5iv Siendo n = número de atributos del subárbol

b) Obtención de la puntuación elemental. ( ).

El valor asignado por el usuario a un atributo debe ser normalizado

por medio de una función de transformación, mediante la cual dicho

valor se convierta en una Puntuación Elemental sobre una escala

de 0 a 100.

1 2, , , nPE pe pe pe



6.4 Cálculo de la Puntuación de agregación. — Se basa en las puntuaciones elementales — Obtiene las valoraciones para los niveles superiores del árbol de

requisitos a partir de las puntuaciones elementales

a) Definición de la estructura de Agregación. Toma como entrada las puntuaciones elementales (PE) y los

pesos (W) asignados a cada atributo Genera como salida las puntuaciones agregadas, PA

Diseño: Evaluación de usuarios (X)

1

1n

ii

w

Donde



b) Selección de la función de agregación.

Se basa en una función de agregación general llamada “promedio de potencia de peso” [DUJ82], [SUS87].

Diseño: Evaluación de usuarios (XI)

rrnn

rr PEwPEwPEwPA1

2211 )( El valor de r, genera un espectro de funciones de agregación

[DUJ74] llamadas funciones de Conjunción-Disyunción Generalizada (GCD)



Diseño: Evaluación de usuarios (XII)

c) Definición de los operadores lógicos de la función de agregación.

En caso de agregación simple se empleará: Parámetros opcionales el operador aritmético (A) Parámetros deseables el operador cuasi-conjunción débil

(C-) Parámetros esenciales el operador de cuasi-conjunción

fuerte (C+).

En el caso de agregación compuesta, se empleará: Para una combinación de parámetros esenciales-

deseables y/o esenciales-opcionales el operador cuasi-

conjunción media (CA) Para la combinación deseable-opcional: operador

aritmético (A).


Ciclo de vida - Resultados


?



Técnicas para la obtención de datos

1 Obtener los datos del usuario. Uso de un cuestionario que considera dos partes.

• Preguntas generales (edad, sexo, mano del uso de ratón) para clasificar los resultados obtenidos.

• Preguntas específicas para obtener datos que permitan ubicarle en un perfil específico (Nivel de estudios, Uso de Internet, Frecuencia de uso y tipos de sitios más visitado y frecuencia).

2. Obtener datos de la evaluación del usuario. Para ello se han considerado parámetros de primer (criterios), segundo (métricas) y tercer (atributos) nivel. Sin embargo, serán los atributos los únicos parámetros que el usuario evaluará, incluidos en forma de pregunta en un cuestionario.

Recolección y Procesamiento de los Resultados de la Evaluación



3. Obtener datos de la evaluación del experto. Se ha elaborado una lista

de verificación para cada una de las inspecciones, que permitan verificar

su cumplimiento.

• En el caso de una inspección heurística o de estándares se utiliza una

escala de valor único (“SI” o “NO”).

• Para el caso de una inspección de consistencia o de guías de

comprobación se utiliza una escala discreta de 1 a 5 que indica el grado

de cumplimiento de la regla evaluada.




Criterios de aceptabilidad del nivel de usabilidad Basados en los propuestos por el estándar ISO 14598 [ISO99] y en los

criterios de confiabilidad establecidos para los cuestionarios SUMMI [VEE98]

y MUMS [VEE03]

Región de aceptación comprendida en el intervalo de puntuación 40–60 %.

Emplea una escala de 0 a 100 con una media de 50 y una desviación

estándar de 10%.



Contenido

Tesis Doctoral

– Introducción– Estudio de la Evaluación de la Usabilidad– Estudio de metodologías Relacionadas– Objetivos– Metodología Propuesta– Prototipo– Resultados– Conclusiones– Futuras Líneas de Investigación


Prototipo

El proceso de evaluación y medición de los resultados en la herramienta propuesta (ME-UsitE) involucra: Aplicación de cuestionarios de preguntas a usuarios (para la obtención de su perfil). Uso de cuestionarios para la obtención de los datos de la evaluación. Uso de listas de verificación por parte de los expertos. Procesamiento de la información obtenida para lograr resultados concretos. Consumo de recursos y tiempo.

Necesidad de una herramienta

Necesidad de una Herramienta


Prototipo

Herramientas de evaluación

Herramientas deEvaluación

Usuario

Experto

• Soporte para la evaluación

• Soporte para la medición y procesamiento

• Soporte para la inspección

• Soporte para el procesamiento de datos


Prototipo

Soporte para la evaluación. Soporte para diferentes tipos de usuarios. Control de los sitios de evaluación. Control de usuarios evaluadores. Determinación del nivel y perfil del usuario evaluador.

Herramienta de evaluación de usuario del prototipo


Prototipo

Almacenamiento del árbol de requisitos. Selección del sitio a evaluar. Selección de tareas.

Herramienta de evaluación de usuario del prototipo (II)


Prototipo

Configuración de la evaluación. Aplicación del cuestionario de evaluación. Actualización del árbol de requisitos. Documentación y ayuda.

Herramienta de evaluación de usuario del prototipo (III)


Prototipo

Soporte para la medición y procesamiento Cálculo de la puntuación agregada.Obtención de la puntuación global y total. Obtención de puntuaciones parciales. Obtención de la puntuación por nivel de usuario

Herramienta de evaluación de usuario del prototipo (IV)


Prototipo

Soporte para la Inspección. Opciones de registro. Gestión de sitios.

Herramienta de evaluación de experto del prototipo


Prototipo

Almacenamiento de los requisitos de evaluación. Selección de tareas críticas Selección del método de inspección a aplicar Selección del sitio a evaluar.

Herramienta de evaluación de experto del prototipo (II)


Prototipo

Evaluación aplicando la(s) lista(s) de verificación Facilidades de comunicación Actualización/modificación de evaluación Comentarios/sugerencias a los problemas detectados

Herramienta de evaluación de usuario del prototipo (III)


Prototipo

Soporte para el procesamiento de datos Cálculo de la puntuación total. Cálculo de la puntuación para un método especifico. Cálculo de la puntuación de un experto.

Herramienta de evaluación de usuario del prototipo (IV)


Contenido

Tesis Doctoral



Resultados

Aplicación de la metodología a un sitio real Educar.org (http://www.educar.org)

Resultados


Resultados

Puntuación agregada (PA) de usuarios por perfil

Resultados: Evaluación de usuario

Puntuación global

0

0,1

0,2

0,3

0,4

0,5

0,6

Novato Intermedio Avanzado

Novato Intermedio Avanzado


Resultados: Evaluación de experto

Puntuaciones Totales y de Impacto

Resultados

Evaluación global por método

0,589

0,605

Heurísticas

Estándares


Resultados: Resumen

Ambos resultados totales, de los usuarios (42,8%) y de los expertos (53,6%) se encuentran en la región satisfactoria, con un nivel aceptable de usabilidad. Sin embargo, será necesario revisar tanto los problemas críticos y urgentes encontrados por los expertos como aquellos encontrados por los usuarios para elevar el nivel de satisfacción.

El grado de correlación entre la evaluación de expertos y la de usuarios es de 0,658

Resultados


Contenido

Tesis Doctoral



Conclusiones

Evaluación sistemática de la usabilidad de sitios educativos

Nuevo modelo de evaluación

Facilidad de ampliación a diferentes perspectivas de

evaluación

Reducción de costos

Facilidad de adaptación a otros dominios

Reutilización del modelo de puntuación

Resultados más destacables


Resultados

Reducción de tiempos y recursos empleados en la

evaluación

Adaptación a la audiencia objetivo

Selección o configuración de los métodos de inspección

Personalización de la evaluación

Reducción del desinterés por parte del evaluador

Ventajas


Contenido

Tesis Doctoral



Líneas de investigación

Ampliación de la metodología al dominio de sitios Web educativos en general.

Ampliación de la metodología a nuevos y diferentes niveles de audiencia.

Modelo de puntuación utilizando redes neuronales artificiales en la evaluación de la usabilidad de sitios Web.

Uso de herramientas colaborativas en el proceso de evaluación. Ampliación de la herramienta de evaluación de la usabilidad a

tecnologías wap. Ampliación de la herramienta de evaluación con audio y vídeo. Desarrollo de una herramienta de análisis de usabilidad.

Futuras Líneas de Investigación


Publicaciones

Alva, M.; Martinez, A.; Cueva, J.; Sagástegui, H.; Lopez, B.: Comparison of methods and existing tools for measurement of usability in the Web. ICWE 03: Third International Conference on Web Engineering 2003 - Spain. LNCS/LNAI Proceedings - Springer Verlag (2003).

Publicaciones derivadas

Alva, M.; Martinez, A.; Cueva, J.; Suarez M.; Sagástegui, H. : Factores fundamentales en la evaluación de sitios web educativos: perfil del usuario, clasificación y parámetros de evaluación de usabilidad. I Congreso Español de Informática- VI Congreso de Interacción Persona-Ordenador2005- España (2005).

Alva O., María, E. & Martínez P., Ana B & Cueva L., Juan M. & Sagástegui Ch., Hernán.: Usabilidad: Medición a través de métodos y Herramientas. Interaccion2003- Actas del Congreso en edición Electrónica (2003).


Publicaciones

Sagástegui Ch. H., Labra G. E., Cueva L. J., Alva O. M., Morales G. J.: A Collaborative E-learning Component for the IDEFIX Project . ICWE 03: Third International Conference on Web Engineering 2003 - Spain. LNCS/LNAI Proceedings - Springer Verlag (2003).

Publicaciones derivadas

Alva O., María, E. & Martínez P., Ana B & Cueva L., Juan M. & Joyanes A., Luis.: Análisis de Métodos de Evaluación de Usabilidad en HCI . SISOFT 2003. Actas del Congreso en edición electrónica. Perú (2003).

Sagástegui, Hernán, Labra, José, Cueva, Juan, Alva, María.: Approach of the Collaborative learning in the Design of a Component "e-Learning" for the Project IDEFIX in the Open Source Scope . Second International Conference on Multimedia and Information & Communication Technologies -ICTs- in Education - ADVANCES IN TECHNOLOGY-BASED EDUCATION. España (2003).

Metodología de medición y Evaluación de la Usabilidad de Sitios Web educativos

María Elena Alva ObesoJunio, 2005

Universidad de Oviedo – Departamento de Informática

Tesis Doctoral

Fin de la Presentación

Metodología de Medición y Evaluación de la Usabilidad de Sitios Web educativos María Elena Alva...

Documents

Transcript of Metodología de Medición y Evaluación de la Usabilidad de Sitios Web educativos María Elena Alva...