Analisis Usabilidad Open ERP

ANÁLISIS DIMENSIONAL DE LA USABILIDAD DEL SOFTWARE OPENERP

ERIK MAURICIO DOMINGUEZ CASTRO

COD 415631

Trabajo de grado presentado para optar al título de Administrador de Empresas

DIRIGIDO POR:

BEATRIZ HELENA DIAZ PINZON PhD.

UNIVERSIDAD NACIONAL DE COLOMBIA

FACULTAD DE CIENCIAS ECONÓMICAS

Bogotá, 2011

TABLA DE CONTENIDO

INTRODUCCIÓN................................................................................................................................. 3

1. MARCO CONCEPTUAL ............................................................................................................. 4

1.1 Sistemas de información ..................................................................................................... 4

1.2 Usabilidad ............................................................................................................................ 5

1.3 Usabilidad, Uso y Utilidad ................................................................................................... 7

1.4 Evaluación de la Usabilidad .............................................................................................. 10

1.2.1 Test de usuarios ........................................................................................................ 11

1.2.2 Cuestionarios ............................................................................................................. 13

1.2.3 Evaluación heurística ................................................................................................ 15

1.2.4 Herramientas de software ......................................................................................... 17

1.2.5 Proyectos integrados ................................................................................................. 23

1.2.5.1 MUSIC ....................................................................................................................... 23

1.2.5.2 UWIS ......................................................................................................................... 23

2. CASO DE ESTUDIO ................................................................................................................. 26

2.1 Software OpenERP. .......................................................................................................... 26

2.2 Red Wings ......................................................................................................................... 26

2.3 Metodología utilizada. ....................................................................................................... 27

2.4 Resultados ......................................................................................................................... 29

2.5 Evaluación Fiabilidad Dimensiones. .................................................................................. 30

2.6 Análisis factorial ................................................................................................................. 30

2.7 Análisis por dimensiones ................................................................................................... 34

2.1 Análisis por variables......................................................................................................... 37

2.2 Relación entre el perfil del usuario y la percepción de usabilidad. ................................... 39

3. CONCLUSIONES ...................................................................................................................... 40

4. POSIBLES LINEAS DE INVESTIGACIÓN ............................................................................... 42

LISTADO DE TABLAS ...................................................................................................................... 43

LISTADO DE GRÁFICOS ................................................................................................................. 44

LISTADO DE ANEXOS ..................................................................................................................... 45

BIBLIOGRAFÍA .................................................................................................................................. 54

INTRODUCCIÓN

“Las empresas están intentando hacer sus aplicaciones más amigables con el

usuario. Su mejor propuesta hasta ahora ha sido coger todos sus folletos y

estamparles “amigable con el usuario” en la portada.”

Bill Gates

En la actualidad vemos como cada vez va tomando más peso en las organizaciones la inserción de

los sistemas de información como una herramienta necesaria para que la empresa adquiera un

carácter competitivo y alcance sus objetivos estratégicos de mediano y largo plazo. Sin embargo,

muchas veces los desarrolladores de software se centran en la ejecución de los procesos y pasan

por alto la interacción entre el usuario y el ordenador, factor que es clave para la consolidación de

un sistema de información que cumpla con los objetivos establecidos.

En este contexto surge el término de usabilidad, entendida como la percepción del usuario acerca

del esfuerzo necesario para el uso del sistema, convirtiéndose en una característica determinante

para la implementación de un sistema de información en una organización.A nivel organizacional el

hecho de que un sistema cuente con esta característica se ve reflejado en un aumento de

eficiencia, disminución de reprocesos, baja resistencia a la inserción del sistema y menores costos

en capacitación. Por otro lado, la característica de usabilidad responde a una necesidad social de

inclusión a las nuevas tecnologías, más en un país como Colombia que cuenta con el índice de

Sociedad de Información (ISI) más bajo a nivel latinoamericano (Everis, 2010), lo que se debe

principalmente al bajo acceso a las TIC, pues Colombia es el país con menor penetración regional

en la variable de ordenadores por mil habitantes, presentando un valor de 118 para este indicador.

El presente trabajo tiene como objetivo principal ilustrar al lector sobre el concepto de usabilidad y

las principales metodologías de su medición, para lo cual se comienza presentando una revisión de

las teorías y métodos más importantes sobre la materia, para posteriormente presentar como

estudio de caso un análisis de la usabilidad del software OpenERP, el cual es un sistema de

informacióngerencial integrado que permite la planeación de recursos empresariales.

El análisis del software OpenERP se realizó a partir de la aplicación de encuestas y entrevistas a

diferentes grupos muestrales, midiendo de esta forma la percepción de usuarios expertos e

inexpertos y diseñadores del software acerca de cada dimensión que compone el concepto de

usabilidad, para posteriormente identificar las de mayor influencia, análisis que es completado con

el análisis transversal de los elementos de contexto de uso y usuario, los cuales juegan un papel

importante en la percepción de la usabilidad de un sistema de información.

1. MARCO CONCEPTUAL

En este aparte serán definidos los conceptos a ser empleados en el presente trabajo. En primer

lugar, se definirá el concepto de sistemas de información y su importancia para las organizaciones,

para luego abordar desde diferentes perspectivas el concepto de usabilidad y pasar a presentar las

principales metodologías desarrolladas para su medición. Finalmente, se presenta una

comparación del concepto usabilidad con otros términos asociados.

1.1 Sistemas de información

Desde el punto de vista técnico, un sistema de información se puede definir comoun “conjunto

decomponentes interrelacionados que capturan, almacenan, procesan y distribuyen la información,

para apoyar la toma de decisiones, el control, análisis y visión en una organización”(Laudon &

Laudon, 2008). En el Diagrama 1 puede apreciar la interacción que presentan los sistemas de

información al interior de la organización y su relación con el entorno.

(Laudon & Laudon, 2008)

Como se puede observar, al interior de la organización el sistema de información realiza tres

operaciones (Laudon & Laudon, 2008):

La Entrada o recolección de datos tanto de la empresa como de su entorno, siendo los

datos secuencias de hechos en bruto que representan eventos.

Diagrama 1. Sistema de información.

ENTRADA

Procesamiento:

Clasificar Ordenar Calcular

SALIDA

Retroalimentación

SISTEMA DE INFORMACIÓN

ORGANIZACIÓN

ENTORNO Proveedores Clientes

Estado Accionistas Competidores

El procesamiento,que consiste entransformar los datos recolectados de acuerdo a unos

criterios establecidos con el fin de que sean útiles en la toma de decisiones al interior de la

organización.

La salida, que transfiere la información a las personas que la necesitan para el desarrollo

de sus funciones.

Finalmente, el sistema necesita una retroalimentación a la organización de la salida con el

objetivo de mejorar la recolección de los datos.

Es necesario aclarar que el concepto sistemas de información abarca más que los conceptos de

software y hardware, pues estos se reducen al concepto de tecnologías de la información, mientras

que el concepto de sistemas de información es más complejo y pertenece a un campo

multidisciplinario que da cabida a múltiples enfoques de estudio (Laudon & Laudon, 2008).

1.2 Usabilidad

La palabra usabilidad se deriva del término anglosajón usability, cuya traducción más acertada

sería “facilidad de uso”, pero al no contar en el idioma español con una palabra que describa con

precisión este concepto, se usa el término usabilidad a pesar de no aparecer en el diccionario de la

Real Academia Española.El término usabilidad surgió hacia los años 80´s en Estados Unidos para

remplazar el término “amigable para el usuario”,cuya interpretación en ese entonces había

adquirido una indeseable connotación subjetiva y vaga(Bevan, Kirakowskib, & Maissela, 1991).

El principal autor sobre el tema de usabilidad es el profesor Jakob Nielsen, doctor en ingeniería

conocido como el “gurú de la usabilidad,” quien la define como“un atributo de calidad que evalúa cuán

fácil de usar son las interfaces de usuario. La palabra usabilidad también se refiere a los métodos para

mejorar la facilidad de uso durante el proceso de diseño”(Nielsen J. , Usability Engineering, 1993).

Por otro lado, al interior de las normas ISO que trabajan la usabilidad, se identifican dos enfoques

desde los cuales se puede abordar este concepto (Bevan N. -b., 1995), los cuales se presentan a

continuación:

El punto de vista orientado al producto o enfoque “bottom-up”, el cual aborda la usabilidad

desde la ergonomía. Bajo este enfoque la norma ISO(9126 1991) define la usabilidad como“Un

conjunto de atributos relacionados con el esfuerzo necesario para su uso, y en la valoración individual de

tal uso, por un conjunto de usuarios establecidos o implicados”.

El punto de vista orientado al usuario o enfoque "top-down" interpreta la usabilidad como la

capacidad de utilizar un producto para los fines previstos y se puede medir en términos de

esfuerzo mental y la actitud de los usuarios. Bajo este enfoque la norma ISO (9241-11 1998)

define la usabilidad como“El grado en que un producto puede ser usado por determinados usuarios

para lograr sus propósitos con eficacia, eficiencia y satisfacción en un contexto de uso específico”.

Diagrama 2. Concepto de usabilidad

Para medir la usabilidad de un producto se ha identificado “… atributos cuantificables de forma

objetiva (eficacia y eficiencia) y atributos cuantificables de forma subjetiva(satisfacción)”(Hassan,

Martín Fernández, & Iazza, 2004), los cuales son definidos de la siguiente forma (ISO, 9241-11

1998):

Eficacia: La exactitud y la plenitud con la que los usuarios alcanzan metas especificadas.

Eficiencia: los recursos gastados con relación a la certeza y la plenitud con la que los

usuarios logran las metas.

Satisfacción: la comodidad y la aceptabilidad del uso.

Contexto de uso: Los usuarios, objetivos, tareas, equipos (hardware, software y

materiales), y elentorno físicoy social enqueun producto es usado.

El contexto de uso es un elemento esencial para la compresión sistémica del concepto usabilidad,

dado que la usabilidad no sólo se determina por el producto, sino también por el contexto en el cual

es usado y las características del usuario. De esta manera, no se puede decir que se cuenta con

un “producto usable” o un “producto inusable”, ya que por ejemplo un producto que es inusable

paraun usuario inexperto, puede ser usable para usuarios capacitados (Bevan N. , 1995).

Las relaciones entre producto, usuario y tareas se pueden abordar desde diferentes ambientes

(Diagrama 3): El primero es un ambiente técnico en el cual sólo se analiza la relación entre el

producto y el desarrollo de la tarea, seguido de un ambiente físico dónde se analiza la relación

entre producto, tarea y usuario; para finalmente pasar al ambiente organizacional y social que

abarca la concepción del usuario acerca de los objetivos de la tarea.

Por otro lado, el usuario medirá la calidad de uso del producto utilizando por un lado el grado de

satisfaccióny por otro las medidas de rendimiento como son efectividad y eficiencia; las cuales

están claramente interrelacionadas.

Diagrama 3. Calidad de uso, medida determinada por el contexto de uso.

(Bevan N. , 1995)

1.3 Usabilidad, Uso y Utilidad

Dada la tendencia de confundir el término usabilidad con los conceptos de uso y utilidad, a

continuación se presenta una disertación sobre el significado de cada término, con el objetivo de

clarificar las diferencias que existen entre los mismos.

En primer lugar, el término uso hace referencia a si los usuarios utilizan o no el sistema de

información, para lo cual hay que diferenciar entre la imposición y la libre elección del uso del

sistema de información.

Cuando el uso del sistema es impuesto, el usuario usará el sistema para poder continuar en la

organización, pero no necesariamente confiará en el mismo y en consecuencia tratará de realizar

sus labores con sistemas paralelos o reducir al máximo su uso, lo que no permite utilizar sus

potencialidades. En contraposición, cuando el usuario tiene el poder de decisión para usar o no el

sistema, el uso estará en directa relación con ladisposición a usarlo, actitud que es denominada

como “aceptabilidad” y está principalmente en función de la utilidad y facilidad de uso percibida del

sistema(Davis, 1989).

La utilidad percibida se entiende como “el grado en que una persona cree que el uso de un sistema

particular podría mejorar el rendimiento de su trabajo” (Davis, 1989). Por otro lado, a partir de lo

presentado en el aparte anterior, se puede deducir que la facilidad de uso hace referencia a

usabilidad, entendida como la cantidad de esfuerzo que el usuario espera ejercer para utilizar el

sistema.

Con el objetivo de predecir la aceptación y uso de nuevas tecnologías, incluyendo sistemas de

información, Davis desarrolló el modelo de aceptación de la tecnología (TAM) a partir de la teoría

de la acción razonada, presentando un gran avance con respecto a esta teoría al brindar una

metodología que se puede generalizar al estudio de diferentes situaciones.

El modelo TAM es uno de los modelos con mayor reconocimiento actual, siendo uno de los más

citados y usados (López Bonilla & López Bonilla, 2006), el cual ha servido de base para desarrollar

otros modelos para predecir la aceptación y uso de la tecnología y sistemas de información, los

cuales contemplaron características intrínsecas del usuario y variables del entorno; entre los que

sobresalen:

Modelo motivacional.

Teoría del comportamiento planeado (TPB).

Combinación modelos TAM y TPB.

Modelo de utilización del PC.

Teoría de la difusión de la innovación.

Teoría del aprendizaje social.

Posteriormente, ViswanathVenkatesh y otros autores realizaron una investigación en la cual

evaluaron la fiabilidad, pertinencia y validez de las variables utilizadas en el análisis propuesto por

cada uno de los anteriores modelos, llegando a la formulación del modelo denominado Teoría

unificada de la aceptación y uso de la Tecnología (UTAUT)(Venkatesh, Morris, Davis, & Davis,

2003).

Como variables explicativas de la intención de uso, el modelo UTAUT propone cuatro variables, las

cuales a su vez se encuentran interrelacionadas con determinadas características intrínsecas del

usuario (Diagrama 4). Las variables propuestas son:

Rendimiento esperado, entendido como el grado en el cual un individuo cree que el

sistema le ayudará a mejorar el rendimiento en su trabajo, para lo cual se toman como

constructos los elementos de utilidad percibida, motivación extrínseca, ventaja relativa y

expectativa de productos. Esta variable se encuentra relacionada con el género y la edad

del usuario.

Influencia social, quehace referencia al grado en cual un individuo percibe que es

importante para los otros que el use el nuevo sistema. Esta variable se encuentra

relacionada con la edad, genero, experiencia y voluntad de uso del usuario.

Condiciones facilitativas, que son definidas como el grado en el cual un individuo cree

que existe una infraestructura técnica y organizacional para soportar el uso del sistema.

Esta variable está relacionada con la edad y experiencia del usuario.

Expectativa de esfuerzo, quehace referencia a la facilidad de uso del sistema y se

encuentra dada por la facilidad de uso percibida, complejidad y facilidad de uso. Esta

variable se encuentra correlacionada con el género, edad y experiencia del usuario.

Diagrama 4. Modelo Teoría unificada de la aceptación y uso de la tecnología.

(Venkatesh, Morris, Davis, & Davis, 2003)

El modelo UTAUT recolecta y analiza datos de usuarios finales a partir de la aplicación de una lista

de verificación (

ANEXO 1) donde se introducen preguntas para establecer una medida para cada factor del

modelo. Esta lista fue probada en estudios empíricos siendo capaz de explicar el 70% de las

variaciones en las intenciones de los usuarios.

Cabe resaltar que la definición de la variable expectativa de esfuerzo se asemeja al concepto de

usabilidad dado en el presente trabajo. Adicionalmente, las preguntas utilizadas para la medición

de la expectativa de esfuerzo utilizadas en el modelo UTAUT son coherentes con algunos

cuestionarios usados para evaluar la usabilidad, los cuales son presentados en el siguiente aparte.

No obstante, dado que la usabilidad es sólo una de las variables del modelo, el análisis no se

centra en ella y por lo tanto no indaga acerca de variables específicas que la puedan explicar.

Finalmente, es necesario resaltar que en el presente estudio se evidenció que la relación existente

entre la experiencia usando el sistema y expectativa de esfuerzo es inversa, lo cual se da porque

entre el usuario más haya utilizado el sistema, se le hará más fácil, aún cuando el sistema presente

problemas de diseño. Por esta razón para evaluar la usabilidad del sistema y encontrar sus

problemas de diseño es mejor desarrollar las pruebas con usuarios inexpertos.

1.4 Evaluación de la Usabilidad

La usabilidad es un “concepto empírico, lo que significa que puede ser medida y evaluada, y por

tanto no debe entenderse como un concepto abstracto, subjetivo o carente de significado. De

hecho, la usabilidad es un atributo de calidad cuya definición formal es resultado de la

enumeración de los diferentes componentes o variables a través de los cuales puede ser

medida”(Hassan Montero & Ortega Santamaría, 2009) .

El proceso de evaluación de la usabilidad busca a través de la calificación de sus componentes,

identificar factores a mejorar en elsistema de información. El camino para evaluar la usabilidad

suele nublarse ante una revisión bibliográfica de los diferentes medios que en la actualidad se han

desarrollado para tal fin, pues en diferentes libros de texto especializados, revistas y normas, hay

un continuo uso confuso de términos como modelo, método, técnica y herramienta. El presente

estudio acoge las definiciones dadas por el profesor RonanFitzpatrick, quien habla de “estrategias”

para evaluar la usabilidad que emplean una variedad de “métodos” de evaluación

Y se diferencian en los recursos disponibles en el momento de la evaluación, los cuales pueden

ser Usuarios reales o representativos en una simulación o usando un Sistema información

real(Fitzpatrick, 1999).

A partir de la combinación de los s recursos anteriormente mencionados, se generan cuatro

estrategias de medición de la usabilidad:

Ingeniería virtual, en la cual los estudios de usabilidad se realizan con una representación

de los usuarios y del sistema de información.

Modelado suave, en la cual para el estudio de usabilidad usuarios reales trabajan con

prototipos o representaciones del sistema de información.

Revisión fuerte, en la cual los estudios de usabilidad se realizan con el sistema real y una

representación de los usuarios.

Mundo real, en la cual la evaluación de la usabilidad se realiza con usuarios reales y el

sistema de información ya diseñado y en funcionamiento.

Las anteriores estrategias se pueden ubicar en una matriz dos por dos (Diagrama 5),generando

una medida con alta o baja calidad de acuerdo a los recursos utilizados, de esta forma la medida

con mayor calidad se obtiene cuando se trabaja con equipos y usuarios reales.

Alta

Sistema real

Revisión fuerte Mundo real

Representación del sistema

Baja

Ingeniería virtual Modelado suave

Baja

Representación del

usuario

Alta

Usuario real

Diagrama 5. Estrategias de medición de la usabilidad

(Fitzpatrick, 1999)

Es necesario aclarar que adicional a la clasificación anteriormente presentada, se pueden

encontrar distintas metodologías de clasificación de acuerdo a múltiples criterios (Alva Obeso,

2005). Adicionalmente, hay que tener en cuenta que los métodos no pertenecen exclusivamente a

una estrategia determinada, razón por la cual no se incluyeron en la anterior figura. A continuación

se presentará cada uno de los métodos más comunes, describiendo en qué estrategia pueden ser

usados.

1.2.1 Test de usuarios

En este método se enmarcan las pruebas que tratan de simular el uso del sistema por parte de

usuarios reales o potenciales. Se basa en la observación de cómo un grupo de usuarios lleva a

cabo una serie de tareas encomendadas por el evaluador, analizando los problemas de usabilidad

con los que se encuentran (Montero & Fernández, 2003).

El primer paso para realizar el test de usuarios es analizar hacia qué público va dirigido el sistemay

el objetivo que tiene. Paso seguido, se procede a establecer una serie de tareas representativas de

las funciones del sistema, las cuales deben cumplir con las siguientes características (Kuniavsky,

2003):

Ser razonables: Es decir, tareas típicas que un usuario real llevaría a cabo.

Estar descritas en términos de objetivos finales: La tarea debe contextualizarse bajo un

objetivo o motivación mayor.

Ser específicas: La tarea no puede ser demasiado genérica, sino que debe describir

objetivos concretos con el fin de poder comparar los problemas encontrados con los del

resto de participantes.

Ser factibles: Encomendar al usuario tareas irrealizables no aporta información útil sobre

los problemas reales de usabilidad del sistema de información. En estas pruebas lo que se

debe evaluar es el diseño a través de los usuarios, no al contrario.

Duración razonable: Si la tarea requiere demasiado tiempo para ser completada, sería

recomendable descomponerla en sub-tareas.

Una vez elegidas las tareas a realizar, se procede a elegir las personas que participaran en el

ejercicio, los cuales deben tener perfiles acordes a los usuarios reales o potenciales, muestren

interés por el tipo de sistema de información a evaluar y, de ser posible, que tengan experiencia

usando sistemas de información de naturaleza similar (Hassan Montero & Ortega Santamaría,

2009).

Se considera que el número apropiado de usuarios para hacer la prueba es cinco, quienes pueden

detectar la mayoría de problemas relacionados con la usabilidad (Diagrama 6 )(Nielsen J. , 2000):

% P

roble

mas d

e u

sabili

dad

encontr

ados

Número de usuarios en el test

Diagrama 6. Relación entre Problemas de usabilidad encontrados y número de usuarios

(Nielsen J. , 2000)

El siguiente paso es citar de forma individual a los sujetos de estudio e indicarles las tareas que

deben realizar, proceso durante el cual se les observa y se toma registro de lo que sucede, ya sea

de manera escrita, grabándolos en video o usando aplicativos desarrollados para dicho fin. Dado

que el objetivo del test no es sólo identificar en qué se equivoca el usuario, sino adicionalmente

encontrar las razones, se recomienda el uso del protocolo “think-aloud” o “pensamiento en voz

alta”, en el cual se le pide al usuario que comente en voz alta lo que desarrolla y los inconvenientes

que se le presentan; dado que este procedimiento puede afectar al usuario y tropezar el desarrollo

de la prueba, en la actualidad se habla del “ think-aloud” retrospectivo, donde el usuario sólo

comenta el proceso al terminar.

El principal limitante de este método es que al realizar las pruebas en un ambiente controlado, los

resultados pueden ser distintos al mundo real. Adicionalmente, es una técnica que presenta un alto

costo dado que se tienen que capacitar a los evaluados y el largo tiempo que se tiene que dedicar

a la prueba. Sin embargo, el coste de las pruebas con usuarios se justifica por el retorno de

inversión derivado (Hassan Montero & Ortega Santamaría, 2009).

1.2.2 Cuestionarios

Los cuestionarios son un conjunto de preguntas con respuesta cerrada que buscan conocer la

percepción del usuario acerca de la facilidad de uso del software. Los cuestionarios más comunes

se presentan a continuación(Granollers & Lorés):

1.2.2.1 Cuestionario de satisfacción de interacción del usuario (QUIS)

El Quis (por sus siglas en Inglés -QuestionnaireforUser Interface Satisfaction-) fue desarrollado en

los años 80 por el laboratorio de Interacción Humano Computador de la Universidad de Maryland,

EE.UU, como una herramienta orientada a medir la satisfacción subjetiva de los usuarios con

respecto a aspectos específicos de la interfaz usuario/computador, a través de la valoración de

cinco factores específicos en una escala del uno al nueve (Diagrama 7) (Alva Obeso, 2005):

Diagrama 7. Estructura de usabilidad de QUIS

(Alva Obeso, 2005)

Factor 1: Reacción global al sistema, para ello emplea preguntas como 'terrible' vs.

'frustrado', 'lánguido’ vs. ‘estimulante', etc. No trata características específicas de la interfaz

utilizada ni la interacción.

Factor 2: Factores de pantalla, esto hace referencia a las características del nivel léxico de

la interfaz como por ejemplo las fuentes y negrita, la lógica de la interfaz, la secuencia de

pantallas, el control del usuario, la recuperación después del error. La compatibilidad de

secuencias operacionales se trata de una manera muy detallada.

Factor 3: Terminología y sistema de retroalimentación, para medir la inteligibilidad de los

mensajes con las preguntas relacionadas.

Factor 4: Factores de aprendizaje, referido a la experiencia de aprendizaje y también a las

características específicas del sistema tales como realimentación, lógica de secuencias y

posibilidad de intuir.

Factor 5: Capacidades del sistema, referido a las experiencias del usuario con respecto a la

velocidad del funcionamiento, de la confiabilidad, del ruido, de las capacidades de gestión de

error y de la flexibilidad del sistema.

Las preguntas a través de las cuales se cuantifica la satisfacción del usuario con respecto a los

anteriores factores se presentan en el

ANEXO 2.

1.2.2.2 Escala de usabilidad del sistema (SUS - SystemUsabilityScale)

Este cuestionario desarrollado en “Digital Equipment Corp.” por John Brooke, consiste en diez

preguntas cuyas respuestas se encuentran en una escala de uno a cinco, donde 1 es fuertemente

en desacuerdo y 5 es fuertemente de acuerdo (ANEXO 3).

1.2.2.3 Cuestionarios desarrollados por IBM (Lewis, 1995)

La compañía estadounidense IBM, dedicada a la producción de software y hardware, entiende la

Usabilidad como uno de los atributos claves que definen la calidad de sus productos. De esta

manera, con el objetivo de presentar a sus clientes productos de la más alta calidad, IBM ha

realizado grandes esfuerzos aplicando métodos psicométricos para el desarrollo de cuestionarios

que midan la usabilidad subjetiva (Lewis, 1995). Los principales cuestionarios desarrollados son:

El cuestionario de escenario posterior (TheAfter-ScenarioQuestionnaire –ASQ-): Es un

cuestionario diseñado para recoger la respuesta inmediata del usuario después de una tarea

en una prueba de Usabilidad. Este cuestionario establece una serie de preguntas para medir

los siguientes atributos: Facilidad de terminación de tarea, tiempo para completar la tarea y

adecuación del sistema de soporte. Las respuestas del cuestionario se encuentran en una

escala de Lickert de 1 a 7, donde 1 hace referencia a “fuertemente de acuerdo” y 7 es

“fuertemente en desacuerdo”.

El cuestionario de escenario de impresión (ThePrinterScenarioQuestionnaire PSQ): Fue

el cuestionario precursor del ASQ y tenía como objetivo medir la experiencia del usuario con la

impresión de un escenario determinado. El cuestionario a través de una escala de 5 puntos

evaluaba los siguientes criterios: Facilidad de terminación de tarea, tiempo para completar la

tarea y satisfacción con las instrucciones.

Cuestionario de post estudio de usabilidad del sistema (The Post-

StudySystemUsabilityQuestionnaire –PSSUQ-): Es un cuestionariocompuesto por 19 ítems

para evaluar la satisfacción del usuario con la usabilidad del sistema; es resuelto al final del

estudio de usabilidad y brinda una visión global del sistema usado.

Cuestionario de usabilidad del sistema computacional

(TheComputerSystemUsabilityQuestionnaire –CSUQ-): Es un cuestionario que va de la

mano con el PSSUQ y permite a los usuarios expresar su satisfacción con la usabilidad del

primer sistema de computación. Específicamente evalúa la facilidad de uso del sistema y el

aporte del mismo para el desarrollo de las tareas por parte del usuario.

Al aplicar el cuestionario ASQ y el cuestionario PSQ para evaluar la usabilidad de diferentes

sistemas con diferentes condiciones, se encontró que los resultados fueron similares, razón por la

cual se pueden generalizar los resultados, lo mismo sucede con los cuestionarios PSSUQ y CSQ.

(Lewis, 1995).

La principal ventaja de los cuestionarios es que al ser de carácter cuantitativo permiten realizar

inferencias acerca del comportamiento de la población siempre y cuando se escoja una muestra

significativa de forma aleatoria. Adicionalmente, el estandarizar las medidas a través de

cuestionarios provee como ventajas: objetividad, cuantificación, comunicación, economía y

generalización científica(Lewis, 1995).

No obstante, el aplicar cuestionarios cuya respuesta es de forma cerrada, se pueden obviar otras

opciones que para el usuario son importantes. En adición, los cuestionarios miden únicamente la

satisfacción del usuario con respecto al sistema, cuando la satisfacción es sólo uno de los

parámetros de la usabilidad.

1.2.3 Evaluación heurística

Este método fuepropuesto por el profesor JakobNielsen en 1990, consiste en que un conjunto de

evaluadores expertos revisan de manera individual la interfaz del sistema de acuerdo a los

siguientes principios(Nielsen-b):

Visibilidad del Estado del Sistema

Lenguaje de los usuarios

Control y libertad para el Usuario

Consistencia y Estándares

Ayuda a los usuarios para Reconocimiento, Diagnóstico y Recuperación de errores

Prevención de errores.

Reconocimiento antes que memorización

Flexibilidad y eficiencia de uso

Estética de diálogos y Diseño minimalista

Ayuda general y documentación

Para una mayor fiabilidad de los resultados, es necesaria la participación de diferentes

evaluadores, quienes sólo hasta terminar de forma individual la evaluación, podrán comunicar sus

resultados a los otros, esto con el fin de evitar sesgos(Nielsen J. , 2003). Un experimento que

evidencia la importancia de contar con un grupo de evaluadores fue un caso de estudio en el

sistema bancario donde se contó con 19 evaluadores para encontrar 16 problemas de usabilidad y

cada uno encontró distintos problemas (Diagrama 8).

Eva

luad

ore

s

Fracaso

Éxito

DifícilFácil

Problemas de Usabilidad

Diagrama 8. Resultados caso de estudio sistema bancario

Nielsen(1992)

No obstante, el número de evaluadores no tiene que ser tan elevado, ya que como se puede

observar en el Diagrama 9, entre 3 y 5 evaluadores detectan el 75% de los problemas de

usabilidad de un sistema.

Pro

porc

ión

de

pro

ble

mas

de

usabili

dad e

ncontr

ados

Número de evaluadores

Diagrama 9. Efectividad de los evaluadores

(Nielsen J. , 2003)

La evaluación heurística presenta como ventajas un bajo costo, un tiempo de procesamiento

menor que los test porque es más fácil de organizar dado que no necesita de gran capacitación y

que los evaluadores no necesariamente deben ser expertos en usabilidad.

Por otro lado, las desventajas de aplicación de esta metodología radican en que si se quieren

optimizar los resultados, se debe capacitar ampliamente a los evaluadores, lo que genera un

sobrecosto. Adicionalmente, la evaluación heurística detecta principalmente sólo los problemas

menores, dado que los evaluadores expertos tienen conocimientos muy por encima de un usuario

promedio hacia el que va dirigido el sistema.

1.2.4 Herramientas de software

Con el objetivo de reducir costos y optimizar el análisis de los múltiples factores a tener en cuenta

en la evaluación de la usabilidad, en la actualidad se han desarrollado diferentes herramientas de

software. A continuación, se presentan las más relevantes:

1.2.4.1 SUMI

El software SUMI (Software UsabilityMeasurementInventory) fue desarrollado en marco del

proyecto MUSIC (MetricsforUsabilityStandards in Computing), el cual es un proyecto europeo

desarrollado por el grupo de investigación en factores humanos de la Universidad College–Cork,

cuyo principal objetivo es desarrollar métodos para medir el rendimiento a partir de la medición de

la calidad de uso y con ello dar soporte a los métodos de la Ingeniería de la Usabilidad (Granollers

& Lorés).

Esta herramienta se compone de una validación de 50 ítems, los cuales deben ser calificados en

una escala de tres puntos: De acuerdo, indeciso o en desacuerdo. Los resultados que SUMI

proporciona “están basados en una extensa base de datos estandarizada que consta de perfiles de

usabilidad de más de 2000 diferentes clases de aplicaciones tales como: procesadores de textos,

hojas de cálculo, paquetes CAD, programas de comunicaciones, etc. A partir de las respuestas

obtenidas mediante esta herramienta y mediante el uso de conceptos estadísticos puede

calcularse el valor de la usabilidad del producto”(Alva Obeso, 2005).

La calificación se divide en las siguientes sub-escalas (Alva Obeso, 2005):

Eficiencia: Grado en el cual el usuario puede lograr las metas de su interacción con el producto

en una manera directa y oportuna.

Afectividad: Medida en la cual el producto captura las respuestas emocionales del usuario.

Utilidad: Grado en el cual el producto ofrece asistencia al usuario.

Control: Grado en el cual el usuario siente que él, y no el producto, es el que marca el paso.

Aprendizaje: Facilidad con la cual el usuario consigue comenzar a utilizar el producto, así como

aprender nuevas características del mismo.

SUMI es el único método desarrollado, validado y estandarizado sobre la base europea. Las sub-

escalas SUMI están siendo referenciadas en el estándar ISO 9241-10 “dialogue principles” y el ISO

9126 “Software productevaluation”(Alva Obeso, 2005). Esta herramienta está disponible en siete

lenguajes: inglés (americano y británico), francés, alemán, holandés, español, italiano, griego y

sueco. Adicionalmente, otra ventaja que presenta es que sirve tanto para comparar un producto

con otro como para comparar diferentes versiones del mismo.

1.2.4.2 PROKUS

PROKUS (Program system

zurKommunikationsergonomischenUnterSuchungrechnerunterstützerVerfahren –Program system

to communication ergonomic examination of computer-aided procedures–) esun software

desarrolladopor el Laboratorio del Instituto de Ingeniería Humana e Industrial de la Universidad de

Karlsruhe (Alemania). Para medir la usabilidad se basa en la ergonomía cómo criterio de calidad

principal, concretamente en el estándar ISO 9241-10, que especifica los principios de diálogo de

los terminales visuales en términos ergonómicos (Granollers & Lorés).

Los encargados de realizar la evaluación utilizando esta herramienta son evaluadores expertos que

comienzan respondiendo una serie de preguntas contenidas en un catálogo. Finalmente, los datos

medidos pueden ser comparados con la definición de los requisitos del propio sistema o

inclusocompararlos con los requisitos de otros sistemas como por ejemplo los de la competencia.

El elemento central de la herramientaes el “Exerciser'sdatabase” que consiste en un conjunto de

diferentes series de investigaciones constituidas por preguntas (Diagrama 10) (ZÜLCH &

STOWASSER, 2000).Cada pregunta es descrita usando los siguientes elementos:

Criterio: Representa el criterio de usabilidad sobre el cual se focaliza la pregunta, el

cual puede provenir de los principios descritos en la ISO 9241-10.

Componente: Representa la característica esencial del software a evaluar.

Tarea: Describela función o propósito del software acuerdo a la característica

evaluada.

Método: Representalas diferentes pruebas y métodos de evaluación con los cuales

el experto puede evaluar el software y medir los datos requeridospara responder la

pregunta.

Diagrama 10. La herramienta de evaluación PROKUS.

(ZÜLCH & STOWASSER, 2000)

Pregunta No.:

Texto corto:

Componente:

Criterio:1. Clase de pregunta

Método:2. Clase de pregunta

Tarea: 3. Clase de pregunta

Pregunta:

Escala:

Diagrama 11. Forma para el ingreso de una pregunta a PROKUS


Min Max

No Si

Según Zülch&Stowasser esta evaluación se puede observar desde diferentes perspectivas a través

del de vida del software (

Diagrama 12). En primer lugar, desde la visión del desarrollador el software se evalúa durante el

proceso de desarrollo para una correcta elección de la interfaz. Luego, las pruebas de calidad,

evalúan principalmente la funcionalidad del producto y finalmente, las pruebas de conformidad

contrastan el producto con estándares preestablecidos.

Por otro lado, desde la visión de los clientes o futuros usuarios, se practican pruebas de

comparación entre el producto y sus similares en el mercado para una correcta elección, para lo

cual también hacen uso de las pruebas de conformidad. Finalmente, cuando el producto esta

seleccionado, se le realizan las pruebas de usabilidad (ZÜLCH & STOWASSER, 2000).

Diagrama 12. Visiones evaluación del software


1.2.4.3 DRUM

DRUM (DiagnosticRecorderforUsabilityMeasurement) es un software diseñado para el análisis de

video. Fue desarrollado en NPL (NationalPhysicalLaboratorydel DITC HCI Group-U.K) en marco

del proyecto ESPRIT Project 5429 que forma parte del ya mencionado proyecto MUSIC.

DRUM es una herramienta diseñada para soportar los estudios observacionales de usabilidad,

permitiendo reducir de dos a tres horas de video en una sola, lo que es muy importante, ya que

reduce el tiempo y esfuerzo de análisis, permitiendo aprovechar toda la evidencia que deja la

grabación en video del desarrollo de tareas o de entrevistas con usuarios (Macleod & Rengger).

Las principales características de esta herramienta son las siguientes(Alva Obeso, 2005):

Soporta evaluación cuantitativa.

Tiene una amplia aplicabilidad asistiendo a la generación y entrega de diagnóstico de

retroalimentación, proporcionando a los diseñadores problemas potenciales derivados del

análisis de datos.

Soporta la administración y análisis de evaluaciones de usabilidad.

Identifica incidentes críticos definidos por el evaluador para diagnóstico de la evaluación.

En la actualidad, los demás métodos para medir la usabilidad se apoyan en las herramientas de

software en un 33% (IVORY & HEARST, 2001), dado que estas herramientas le brindan una mayor

robustez al análisis.

No obstante, el uso de software para la medición de usabilidad es un proceso costoso por lo que se

deben hacer cuidadosos análisis de costo/beneficio antes de implementarlo y también hay que tener en

cuenta que el software por si sólo deja de lado información cualitativa y subjetiva que puede ser

relevante a la hora de identificar los problemas de usabilidad en un sistema.

A continuación, en la Tabla 1 se presenta una síntesis de las características de los métodos

explicados anteriormente:

Tabla 1.Principales métodos de medición de la usabilidad.

Test de usuarios Cuestionarios Evaluación Heurística Software

Descripción

Estas pruebas se basan en la

observación de cómo un

grupo de usuarios llevan a

cabo una serie de tareas

encomendadas por el

evaluador, analizando los

problemas de usabilidad con

los que se encuentran.

Se diseña un una serie de preguntas,

cada una de las cuales debe

responderse escogiendo una opción

única entre un rango de respuestas

preestablecidas, otra forma es calificar

un aspecto de acuerdo a una escala

establecida.

La evaluación heurística es un procedimiento en

el cual un conjunto de evaluadores expertos

examinan y juzgan de manera individual la

interfaz del sistema de acuerdo a unos principios

de usabilidad reconocidos (la "heurística").

Con el fin de reducir costos y

optimizar el análisis, en la

actualidad se han desarrollado

programas que miden la

usabilidad a partir de criterios

previamente establecidos

Ventajas

Permite un acercamiento a la

interacción del usuario con el

sistema en el mundo real

Permite conocer la percepción de los

usuarios en el mundo real.

Bajo costo.

Ante una buena elección de la muestra

se pueden generalizar las conclusiones.

Da un punto de vista técnico acerca de la

usabilidad del sistema

Reduce costos en el largo

plazo.

Aumenta la robustez de la

evaluación.

Limitaciones

Presenta un alto costo

financiero, de tiempo y

esfuerzo.

Probabilidad de falsedad de

las observaciones al usuario

presentar las pruebas en un

ambiente controlado.

Solo miden el factor de satisfacción del

usuario.

Al ser preguntas de respuesta cerrada

puede obviar opciones importantes para

el usuario.

Existe una fuerte dependencia entre los

resultados obtenidos y la muestra de

usuarios escogidos

Puede identificar como un problema de

usabilidad aquello que realmente no lo es y

obviar los problemas importantes, dada la

experticia de los evaluadores en comparación

con las habilidades del usuario promedio.

Para optimizar el uso de la herramienta es

necesaria la contratación y capacitación

exhaustiva de diferentes evaluadores, lo que

aumenta su costo.

Poco accesible

Para absorber los costos de

desarrollo se debe tener una

alta expectativa de ganancia.

Estrategia

Mundo real

Modelado suave

Mundo real

Modelado suave

Revisión fuerte

Ingeniería virtual

Revisión fuerte

Ingeniería virtual

Mundo real

Modelado suave

Como se puede observar, no hay un método perfecto, razón por la cual se deben diseñar

mecanismos que permitan la combinación entre diferentes métodos para que las ventajas de uno

supla las deficiencias del otro. Por ejemplo, estudios recientes en el área de Interfaces humano–

computadora indican que los test de usabilidad muestran dónde están los problemas, mientras que

el análisis heurístico es más eficiente para proponer posibles soluciones (Mercovich, 1999). De la

misma forma, los test de usuarios suplen la deficiencia del software de no percibir la actitud del

usuario frente al sistema.

1.2.5 Proyectos integrados

Por proyectos integrados se entienden las iniciativas quemezclan diferentes métodos de medición

para tener una visión más global acerca de la usabilidad de un software. A continuación, se

presentan las más relevantes.

1.2.5.1 MUSIC

El proyecto MUSIC (MetricsforUsability Standard in Computing)es un proyecto que ha sido

trabajado en conjunto con la industria y busca desarrollar métodos y herramientas para la

especificación y medición de la usabilidad (Bevan & Macleod, 1994).

Para la aplicación del método MUSICse comienza pidiendo a determinados usuarios que realicen

ciertas tareas bajo un ambiente controlado. Para el registro del desarrollo de dichas tareas se

utiliza el software DRUM (DiagnosticRecorderforUsabilityMeasurement) que como se explicó

anteriormente, graba en video el desarrollo de las tareas y permite un mejor análisis en un menor

tiempo.

Posteriormente, se seleccionan usuarios y a través del software SUMI (Software

UsabilityMeasurementInventory) se mide el “confort y la aceptabilidad del producto por parte del

usuario”(Alva Obeso, 2005).

Adicionalmente, este método permite cuantificar el esfuerzo mental requerido en el usuario para

ejecutar la tarea, lo cual se puede medir de manera subjetiva a través de los cuestionarios SMEQ y

TLX; y de manera objetiva a través del monitoreo de signos vitales durante la realización de

diferentes tareas(Alva Obeso, 2005).

1.2.5.2 UWIS

UWIS (Usability Web-basedinformationsystems) es un método propuesto porAsilOztekin, Alexander

Nikov ySelimZaim en el año 2009; como su nombre lo indica es una metodología para la

evaluación de la usabilidad de los sistemas de información basados en la Web.

El proceso de evaluación parte de la recolección de los datos de los usuarios finales de acuerdo a

unos criterios establecidos previamente, para luego hallar una medida de usabilidad global. En

caso de que la medida de usabilidad no sea satisfactoria, se procede a encontrar un modelo que

explique la relación entre los criterios establecidos y el índice de usabilidad, para luego identificar

los criterios en los que radican los problemas de usabilidad (Diagrama 13).

Diagrama 13. Estructura general metodología UWIS

(Oztekin, 2011)

La recolección de los datos de los usuarios finales se hace a través de una lista de verificación

enfocada a evaluar la calidad y usabilidad de los WIS por medio de una serie de preguntas que

evalúan las siguientes dimensiones (

ANEXO 4):

Confianza.

Seguridad.

Comienzo del proceso

de evaluación de la

usabilidad

Recolectar

datos de

usuarios finales

Mejorar el sistema

de información

basado en la Web

Aplicar análisis de

Pareto.

¿Cuáles son los

puntos críticos?

Medida de la

usabilidad global

¿El puntaje de

usabilidad es

satisfactorio?

Encontrar el mejor

modelo que explique

las relaciones

Realizar análisis de

sensibilidad sobre

el mejor modelo.

Calcular el índice de

gravedad de puntos

de la lista de

verificación

Detener el

proceso de

evaluación

de la

usabilidad

interacción (responsiveness).

Integración de la comunicación.

Navegación.

Calidad de la información

Control

Adicionalmente, el usuario debe desarrollar una serie de tareas con el objetivo de medir los

criterios de efectividad, eficiencia y satisfacción. La efectividad es medida a través del porcentaje

de tareas completadas, mientras la eficiencia es medida a través del tiempo en minutos empleado

en la realización de las mismas. Finalmente, la satisfacción es calificada en una escala de 5

puntos(Oztekin, 2011).

Luego de capturar los datos de los usuarios finales, se calcula el índice crítico utilizando la

siguiente fórmula:

Ecuación 1. Índice Crítico

(Oztekin, 2011)

Una vez calculado el índice, se analiza si es satisfactorio. En caso de que lo sea, se termina el

procedimiento, de lo contrario se procede a realizar una estimación del índice en función de las

dimensiones,a través de las siguientes técnicas:

Regresión lineal múltiple.

Árboles de decisión.

Redes neuronales.

Máquinas de soporte vectorial.

Finalmente, se procede a realizar un análisisde Pareto con el fin de identificar las dimensiones de

la usabilidad que más inciden en los problemas detectados.

2. CASO DE ESTUDIO

En este aparte se presentan los resultados de un estudio sobre la usabilidad el software OpenERP,

el cual se realizó recogiendo las percepciones de usuarios inexpertos, usuarios expertos y

desarrolladores del software. A continuación, se presenta una descripción del software y del

ejercicio para medir su usabilidad, al igual que las principales conclusiones de dicha medición

desde una perspectiva dimensional.

2.1 Software OpenERP.

Los sistemas de planeación de recursos empresariales(ERP por sus siglas en inglés) son sistemas

de información gerencial integrados que permiten a la organización gestionar de manera eficiente y

eficaz sus aéreas de negocio (finanzas, ventas, producción, recursos humanos, entre otras) a

través de la centralización y procesamiento de su información. (Al-Fawaz, Al-Salti, & Eldabi, 2008).

El software OpenERPes un aplicativo desarrollado bajo la filosofía de open source, que utiliza para

el manejo de las bases de datos el lenguaje SQL. El sistema funciona bajo licencia libre,

multiplataforma y se puede usar mediante interfazweb o aplicación de escritorio (Diagrama 14).

2.2 Red Wings

El análisis de la usabilidad del software OpenERP se realizó en la empresa Red Wings, PYME

colombiana, creada en 2004, que pertenece al sector alimenticio y cuyo objeto social es preparar y

distribuir comida rápida americana a domicilio. A través de sus primeros años, la empresa tuvo un

Postgres

D.B

Cliente

Web

Cliente

escritorio

Gtk, Koo

Navegador

Web

Servidor

OpenERP

Módulos

http

XML-RPC

Net- RPC

Net-RPC

Diagrama 14. Estructura OpenERP

gran crecimiento organizacional y para poder obtener el capital para expandirse, se abrieron al

modelo de negocio de franquicias en año 2009, con lo cual amplio su cubrimiento a toda Bogotá.

Posteriormente, la empresa trabajó con FOMIPYME para poder lograr la estandarización de sus

procesos productivos.

A partir del trabajo con FOMIPYME, el Grupo de Investigación en Gestión y Organizaciones

(GRIEGO) de la Universidad Nacional les propuso la implementación del sistema OpenERP, con el

fin que centralizaran el manejo de la información y lograr un mejoramiento en el control, planeación

y ejecución de los procesos de negocio. Este proyecto de implementación inició en el mes de abril

de 2010, con la educción de información, seguido de la adaptación del software y la capacitación a

al personal de la empresa. El proceso de implementación terminó en febrero del presente año y

actualmente el sistema funciona vía internet y utiliza los servidores de la universidad para alojar la

aplicación y la base de datos. Los módulos con los que actualmente cuenta el programa son:

Módulo de Ventas: A través de este módulo se registran las ventas de los productos de la

empresa y se generan las facturas correspondientes, afectando el sistema de inventarios y

el sistema contable. Aprovechando la flexibilidad de la estructura del software, se

desarrolló específicamente para Red Wingsuna opción de proyección de ventas basada en

los datos históricos.

Módulo de Compras: En el módulo de compras se registran las transacciones realizadas

con los proveedores de materias primas y de algunos productos que se venden pero no se

elaboran en la empresa. Esta información actualiza el sistema de inventarios y el sistema

contable.

Módulo de Producción: Este módulo permite generar programaciones para la elaboración

de los productos que se procesan en la empresa, afectando la información de inventario.

Módulo de Inventarios: Este módulo permite llevar el control de inventarios de materias

primas como de productos elaborados en la empresa.

Módulo Contable y Financiero: Registra los movimientos contables de la organización,

cumpliendo con los requisitos de ley exigidos para este tipo de empresas acorde a la

legislación colombiana.

El sistema OPEN ERP es altamente parametrizable y la versión que se encuentra instalada en

Red Wings ha sido ajustada para adaptarla al ámbito colombiano y adicionar funcionalidades

requeridas por la empresa1.

1 Adaptado de (Rodríguez, Franco, & Aparicio, 2011).

2.3 Metodología utilizada.

Para la evaluación de la usabilidad el Software OpenERP se adaptó el cuestionario utilizado en la

metodología UWIS para recolectar las percepciones de usuarios y desarrolladores del software;

técnica que fue complementada con entrevistas a profundidad que tenían por objetivo identificar

dimensiones no contempladas en el cuestionario inicial y analizar los componentes usuario y

contexto de uso, elementos que juegan un papel vital en la percepción de la usabilidad de un

sistema.

Se escogió el cuestionario desarrollado en la metodología UWIS porque combina la calidad del

servicio basado en web y las dimensiones de los principios heurísticos de usabilidad. Para la

aplicación del cuestionario contemplado en la metodología WIS el primer paso fue llevar a cabo su

traducción(Diagrama 15), proceso que contó con la participación de diferentes traductores,

garantizando de esta forma un alto grado de fiabilidad y precisión.

Diagrama 15.Proceso traducción encuesta.

A partir del cuestionario traducido se procedió a evaluar la pertinencia de cada pregunta para la

evaluación específica de la usabilidad del software OpenERP, encontrando que dadas las

características del sistema, no eran pertinentes las siguientes preguntas:

¿Los sistemas deautorrespuesta y de correo electrónico le avisan al usuario cuando el servicio

será ejecutado?

¿Los mensajes de seguridad y las notificaciones de correo electrónicoestán configurados en el

sistema?

Traducción a español por parte de los

autores

Envio del texto traducido a diferentes

personas para traducirlo de

nuevo a inglés

Envío del texto en inglés a diferentes

personas para traducirlo a

español

Consolidación y comparación

de las traducciones

recibidas

Encuesta

(ANEXO 5)

¿Las respuestas por correo electrónico, automáticas o manuales, o las páginas de servicio le

brindan pronta atencióna los usuarios?

¿Hay sistemas de correo electrónico, interno o externo, para lidiar con las quejas del usuario?

Una vez establecidas las preguntas relativas a las dimensiones de la usabilidad del software, se

procedió a agregar al cuestionario preguntas que permitieran la caracterización del encuestado con

el fin de establecer la relación entre la percepción de usabilidad y las características del usuario,

consolidando el cuestionario que se presenta en el ANEXO 6, el cual fue aplicado a los siguientes

grupos muestrales:

Usuarios expertos

Integrantes del grupo de investigación GRIEGO que tienen una línea de investigación en el

desarrollo del software OpenERP, quienes como se mencionó anteriormente,

acompañaron el proceso de implementación del software en la empresa RedWings de

Colombia adaptándolo a sus necesidades específicas.

Empleados de la empresa RedWingsdondeactualmente utilizan el software OpenERP.

Usuarios inexpertos

Estudiantes de pregrado en administración de empresas de la Universidad Nacional que

actualmente cursan la asignatura sistemas de información gerencial, materia dentro de la

cual en una clase inicial se les enseñó a usar el software OpenERP y en la clase posterior

de tipo práctica hicieron un ejercicio real, espacio en el cual se aplicó la encuesta.

Estudiantes de posgrado de la Maestría en Administración de Empresas de la Universidad

Nacional de Colombia que actualmente cursan la asignatura sistemas de información

gerencial, materia dentro de la cual en una sesión se les enseñó a manejar el software,

ocasión en la que se les aplicó la encuesta.

Adicionalmente, a los integrantes del grupo GRIEGO y a los empleados de RedWings de

Colombiase les realizó una entrevista a profundidad que comenzaba indagando el concepto de

usabilidad para la persona y las características que debía tener un sistema de información para ser

usable con el fin de establecer un lenguaje en común. Posteriormente, se exploraba acerca delas

características del usuario encuestado y su percepción sobre la usabilidad del software OpenERP.

Por otro lado, a estos dos grupos también se les evaluó el tiempo necesario para el desarrollo de

las siguientestareas: Cambiar el lenguaje del sistema, cambiar el nombre de la empresa y generar

un reporte de las tareas pendientes.

2.4 Resultados

El análisis de la información recolectada en las encuestas comienza presentando una evaluación

de la fiabilidad de las dimensiones construidas en el cuestionario aplicado a partir del el estadístico

alfa de cronbach, para luego a través de un análisis factorial establecer las dimensiones que tienen

mayor importancia y finalmente se presentan los resultados más sobresalientes a nivel de

dimensiones discriminados por grupo muestral. Posteriormente, se analizan los resultados

obtenidos en cada pregunta.

Los anteriores análisis de tipo cuantitativofueron complementados con la información cualitativa

recolectada en las encuestas a profundidad realizadas a los integrantes del grupo GRIEGO y los

empleados de la empresa Redwings.

2.5 Evaluación Fiabilidad Dimensiones.

Con el objetivo de establecer el grado de validez de la agrupación de las preguntas propuesta por

la metodología WIS, para analizar la usabilidad del sistema OpenERP desde una perspectiva

dimensional, se calculó el estadístico alfa de cronbach (Tabla 2). En los resultadosobtenidos

podemos observar que las dimensiones interacción, calidad de la información y seguridad

presentan un valor para el índice superior a 0.7, lo que indica una alta validez de la agrupación. De

la misma forma, las dimensiones confianza y control presentan valores cercanos a 0.7, lo que

también indica su validez.

Por otro lado, la dimensión de navegación, aunque presenta un valor bajo en comparación con las

demás dimensiones, se encuentra en un rango de validez media (0.4-0.7), por lo que también se

considera válida la agrupación de esta dimensión para el caso específico de OpenERP.

2Índice calculado con el programa SPSS.

Dimensión Estadístico alfa de cronbach2

Confianza 0,696

Seguridad 0,717

Interacción 0,812

Integración 0,603

Navegación 0,424

Control 0,667

Calidad de la información 0,705

Tabla 2. Estadístico alfa de cronbach.

2.6 Análisis factorial

Una vez validada la construcción de las dimensiones se procedió a realizar un análisis factorial con

el objetivo de establecer cuáles de ellas presentaban mayor incidencia en la percepción global de

usabilidad, para lo cual se comenzó por evaluar la pertinencia de esta metodología a través de la

prueba KMO (Kyser- Meyer-Oklin) y la prueba de esfericidad de Bartlett (Tabla 3).

El estadístico KMO contrasta que las correlaciones parciales sean pequeñas y entre mayor sea

indica que es adecuado usar la metodología como en este caso, pues el indicador siempre oscila

entre 0 y 1. Por otro lado, La prueba de Bartlett contrasta si la matriz de correlaciones es una

matriz identidad como hipótesis nula, es decir, que las variables están incorreladas; siendo

necesario para la aplicación de esta metodología que se rechace la hipótesis nula como se da en

el presente estudio.

Tabla 3. KMO y prueba de Bartlett3

Después de validada la pertinencia de la metodología de análisis factorial para el caso de estudio

se procedió a aplicarla, utilizando el método de extracción de componentes principales con rotación

bajo el método varimax. En la tabla de comunalidades obtenida de los resultados (Tabla 4) se

aprecia que para cada variable, el modelo factorial obtenido explica más del 60% de su varianza, lo

que reafirma la robustez y validez del análisis.

3 Ibíd.

Medida de adecuación muestral de Kaiser-Meyer-Olkin. ,641

Prueba de esfericidad de Bartlett Chi-cuadrado aproximado 425,458

Gl 190

Sig. ,000

Componente Inicial Extracción

¿El sistema guía de forma suficiente a nuevos usuarios? 1,000 ,799

¿Las “Respuestas a Preguntas Frecuentes” ayudana los usuarios aresolver los problemas por ellos mismos?

1,000 ,889

¿El uso de terminología, gráficas y menúses consistente a través de todo el sistema? 1,000 ,841

¿La ayuda necesaria es provista acualquiermomento (por ejemplo, títulos de las ventanas, las instrucciones para proceder)?

1,000 ,665

¿Los registros innecesarios han sido evitados? 1,000 ,740

¿El tono de los mensajes es lo suficientemente cortes? 1,000 ,803

¿Es posible reemplazar o restaurar fácilmente opciones configuradas por defecto? 1,000 ,635

¿Existeunaorganización jerárquica de la información de lo general a lo específico? 1,000 ,859

¿La información contenida en el sistema es actual, oportuna, precisa y relevante? 1,000 ,851

¿Los botones de control relevantes están representados en la pantalla y es claro su funcionamiento? 1,000 ,732

¿La terminología y las abreviaturas formanparte del lenguaje técnico del usuario? 1,000 ,859

¿Han sido provistas herramientas para regresar al nivel superioren cualquier etapa (por ejemplo, enlaces a la página de inicio)?

1,000 ,715

¿La interacción puede ser interrumpida en cualquier momento por medio de salidas definidas claramente, haciendo posible continuar más tarde?

1,000 ,680

¿La funcionalidad de los botones en el dispositivo se infiere a partir de su etiqueta? 1,000 ,707

Al revisar la matriz de la varianza total explicada (Tabla 5) se observa que de los veinte

componentes extraídos (por ser el total de variables) sólo seis presentan un autovalor mayor a uno,

por lo que de acuerdo a la regla de káiser son los únicos que se toman como significativos. Estos

seis valores explican el 75.294% de la varianza total.

Componente

Autovalores iniciales Sumas de las saturaciones al

cuadrado de la extracción

Total % de la

varianza

%

acumulado Total

% de la

varianza

%

acumulado

1 7,563 37,817 37,817 7,563 37,817 37,817

2 2,172 10,860 48,677 2,172 10,860 48,677

3 1,684 8,422 57,099 1,684 8,422 57,099

4 1,485 7,424 64,523 1,485 7,424 64,523

5 1,119 5,596 70,118 1,119 5,596 70,118

6 1,035 5,176 75,294 1,035 5,176 75,294

7 ,871 4,353 79,647

8 ,778 3,889 83,537

9 ,578 2,890 86,427

10 ,520 2,602 89,028

11 ,437 2,184 91,212

12 ,396 1,979 93,191

13 ,313 1,567 94,758

14 ,252 1,258 96,017

15 ,236 1,181 97,198

16 ,205 1,025 98,223

17 ,161 ,806 99,029

18 ,113 ,563 99,592

19 ,045 ,227 99,819

20 ,036 ,181 100,000

Tabla 5. Varianza total explicada

El primer componente explica el 37.817% de la varianza total y agrupa todas las preguntas de las

dimensiones de la calidad de la información y de control (Tabla 6), teniendo mayor peso en el

¿Hay algún tipo de ayuda para la navegación (ejemplo: barra de búsqueda)? 1,000 ,701

¿Ha sido evitada la aparición denuevas ventanas de búsqueda innecesarias? 1,000 ,717

¿El sistema puede determinardónde estaba el usuario la última vez que entró a la sesión (y cualquier progreso hecho)?

1,000 ,731

¿La complejidad de una tarea es acorde con el tiempo de ejecución de la misma(planeación, ejecución, corrección de un error)?

1,000 ,753

¿El sistema hace que el trabajo del usuario sea más fácil y rápido que sin la ayuda del sistema? 1,000 ,754

¿La información ofrece opciones para cambiar el idioma? 1,000 ,628

Tabla 4. Tabla de comunalidades

componente la pregunta 6.2 que hace referencia a la capacidad que tiene el sistema para regresar

a un nivel superior. Por otro lado, el segundo componente sólo explica el 10,8% de la varianza y

agrupa algunas preguntas de las dimensiones interacción, seguridad y confianza(Tabla 6),

teniendo mayor peso la pregunta que hace referencia a la consistencia en el uso de terminología,

gráficos y menús a través de todo el sistema.

Al analizar la distribución de las respuestas de acuerdo al grupo muestral se encontró que los

resultados registrados por los grupos de ususarios expertos como lo son los empleados de

Redwings y los integrantes del grupo GRIEGO son similares, situación que se repite con las

respuestas de los estudiantes de pregrado y posgrado que aunque más dispersas también son

similares entre sí.

Pregunta Dimensión Componente

1 2 3 4 5 6

Pregunta 1 Confianza ,046 ,666 ,400 -,032 ,436 ,041

Pregunta 2 Confianza ,201 ,077 ,166 ,230 ,855 ,175

Pregunta 3 Confianza ,156 ,178 ,867 -,042 ,172 -,038

Pregunta 4 Seguridad ,041 ,177 ,449 ,008 ,276 ,595

Pregunta 5 Seguridad ,679 ,248 ,212 ,126 ,395 -,009

Pregunta 6 Seguridad ,429 ,674 -,158 ,185 ,013 ,324

Pregunta 7 Seguridad ,254 ,634 -,004 ,374 ,104 ,136

Pregunta 8 interacción ,128 ,823 ,335 ,144 -,080 ,161

Pregunta 9 interacción ,212 ,533 ,598 ,301 -,156 -,219

Pregunta 10 comunicación -,039 ,244 ,069 ,793 ,146 -,129

Pregunta 11 comunicación ,015 ,067 ,105 ,738 ,207 ,505

Pregunta 12 comunicación ,369 ,420 ,536 ,065 ,200 ,269

Pregunta 13 Navegación ,458 ,212 ,100 ,521 -,379 ,024

Pregunta 14 Navegación ,379 ,238 ,023 ,029 ,006 ,711

Pregunta 15 Navegación ,174 -,024 ,752 ,162 ,024 ,278

Pregunta 16 Control ,685 ,012 ,295 ,085 -,242 ,308

Pregunta 17 Control ,807 ,054 ,138 ,153 ,174 ,066

Pregunta 18 calidad ,726 ,316 ,119 ,020 ,191 ,274

Pregunta 19 calidad ,761 ,204 ,213 ,054 ,267 ,115

Pregunta 20 calidad ,722 ,106 -,016 -,176 -,252 -,001

Tabla 6. Matriz componentes rotados.

Diagrama 16. Gráfico respuestas por componente.

2.7 Análisis por dimensiones

En el Diagrama 17 se presenta la media de la calificación asignada por cada grupo encuestado a

cada dimensión. Aquí se observa que los integrantes del grupo GRIEGO y los estudiantes de

posgrado presentan en promedio una mejor puntuación que los demás, mientras que los

empleados de Redwings presentan en promedio las calificaciones más bajas para cada dimensión.

Por otro lado, en el Diagrama 18 se observa que la media total obtenida en cada dimensión (valor

ubicado en el eje vertical) se encuentran por encima de 4 en una escala de 7 con una desviación

estándar de 1.34, indicando que la percepción del sistema por parte de los encuestados es apenas

buena. Por otro lado, la desviación estándar (Representada por el diámetro de la circunferencia) es

muy similar para todas las dimensiones, oscilando entre 0,9 y 1,5.

Diagrama 17. Puntuación media por dimensión y grupo de muestra.

Diagrama 18. Media y desviación estándar de la puntuación por dimensión.

A continuación se presenta un análisis de los resultados obtenidos a nivel de cada dimensión

definida por la metodología WIS.

Dimensión de Confianza:

Esta dimensión evalúa en que forma el sistema guía a los nuevos usuarios y para el caso

de estudio obtuvo la puntuación más baja para todos los grupos encuestados (4,11) con

una desviación estándar de 1,31, la cual es causada por la diferencia de los puntajes

asignados por cada grupo encuestado.

La baja puntuación de esta dimensión se debe principalmente a que el sistema no cuenta

con manuales de ayuda en cada modulo y que no es fácil para el usuario restaurar las

configuraciones iníciales como por ejemplo el idioma. Al respecto, un integrante del grupo

GRIEGO indicó que el sistema no contaba con manuales en español al interior de cada

módulo, lo que afectaba su usabilidad. No obstante, en las entrevistas realizadas a los

empleados de la empresa Redwings se evidenció que a pesar de que se les había

entregado manuales en el proceso de implementación, ellos no los usaban porque

preferían llamar al equipo soporte para la solución de dudas en razón de que era más

rápida la respuesta. Una de las causas por las cuales los usuarios no utilizaban los

manuales era su formación técnica en la que el aprendizaje se da vía práctica y no a través

de la reflexión académica, por lo que no podría generalizarse este comportamiento per se.

Otro factor que afecta específicamente está dimensión es el hecho de que la mayoría de

los encuestados fuesen usuarios inexpertos en el uso del este tipo de sistemas, por lo que

tienen una mayor necesidad de contar con manuales y guías.

Dimensión navegación

4.609

4.110

4.744 4.826 4.476

5.116

4.357

4.721

3

4

5

6M

ed

ia

Total

confianza

seguridad

integración

Navegación

Control

Calidad de lainformación interacción

Esta dimensión hace referencia a las facilidades que brinda el sistema para entrar a sus

diferentes módulos de manera sencilla. Presenta una media total de 4.45 y una desviación

estándar de 1.17, dónde el grupo que mejor puntuación le dio fue el de posgrados. Esta

puntuación indica que el sistema tiene una interfaz que permite acceder de forma rápida a

los diferentes módulos, además de poder buscar información específica de forma rápida.

DimensiónSeguridad

Esta Dimensión indaga acerca de la percepción que el usuario tiene acerca de la

complejidad del sistema. Para este caso presenta una media total de 4,74 y una desviación

estándar de 1,325. La buena calificación de esta dimensión se debe a la similitud del

interfaz con el sistema operativo Windows y que adicionalmente a través de todos los

módulos utiliza los mismos íconos y un lenguaje amigable, facilitando la interacción con el

sistema. Por otro lado, la desviación esa causada por las diferentes percepciones entre los

usuarios encuestados, en lo cual juega un papel importante la baja puntuación asignada

por el grupo de los empleados Redwings en comparación con los otros.

Dimensión interacción:

Presenta una media total de 4,72 y una desviación estándar de 1,32. Para esta variable los

datos se encuentran dispersos tanto entre los grupos encuestados como en las respuestas

a las preguntas que la componen. Al respecto, el sistema obtiene una buena calificación

cuando se analizan características como la interfaz gráfica, pero se queda corto en brindar

opciones de ayuda al usuario o en hacerlas más visibles.

Dimensión Integración de la comunicación

Presentauna media de 4,826y una desviación de 1.079. El alto valor de la puntuación se

explica por el perfil de las personas encuestadas, quienes en su totalidad tenían

conocimiento y/o experiencia en las actividades que soporta el sistema, manejando de esta

forma el mismo lenguaje. Es de resaltar que esta dimensión es la mejor puntuada por el

grupo de empleados de Redwings.

Sin embargo, es necesario prestar atención a la traducción de diferentes términos al

interior del sistema dado que en las entrevistas a profundidad se presentaron

observaciones al respecto.

Dimensión Calidad de la información

Como su nombre lo indica se centra en la pertinencia y utilidad de la información brindada

por el sistema, presentando una mediade 4,357 y una desviación estándar de 1,57.

Presenta una alta dispersión de las puntuaciones medias arrojadas en los diferentes

grupos muestrales, siendo de nuevo los empleados de Redwings quienes le asignan la

menor puntuación, seguidos por los estudiantes de pregrado. En contraste, los grupos de

los estudiantes de posgrado y los investigadores del grupo GRIEGO presentaron una

calificación media muy favorable

Dimensión Control

Es la variable con la mejor puntuación para la mayoría de grupos encuestados al registrar

una media de 5,116 jalonada por la puntuación que le asignó el grupo GRIEGO. La buena

puntuación de esta dimensión se explica porque el sistema presenta de una forma clara el

orden jerárquico de los módulos y en adición permite salir en cualquier momento del

sistema.

El grupo encuestado que asignó una menor puntuación a las dimensiones evaluadas fueron los

empleados de la empresa Redwings. En las entrevistas a profundidad realizadas se pudo apreciar

que las principales situaciones que inciden en la mala percepción del sistema son su imposición

desde la dirección, la lentitud del sistema y un aumento en las actividades de los procedimientos

en comparación con el anterior sistema.

Este último punto fue notorio a través de toda la entrevista, dado que los empleados de Redwings

hacían bastante referencia al sistema que anteriormente usaban, el cual aunque presentaba

problemas de interfaz por estar diseñado con base en el sistema operativo DOS, presentaba una

mayor velocidad de respuesta y simplificación de pasos. No obstante, la diferencia en la cantidad

de pasos entre el anterior sistema y OpenERP radica en que este último es un sistema integrado,

lo que hace que un procedimiento en un área de la empresa afecte las demás, implicando que al

momento de insertar información para un proceso, el sistema solicite información de otros procesos

que afecta. En adición, uno de los investigadores del grupo GRIEGO indicó que el anterior sistema

en la empresa les permitía cometer errores, lo que por configuración no está permitido en

OpenERP y por tanto les genera más pasos.

Por otro lado, el grupo de estudiantes de pregrado también presentó puntuaciones inferiores a los

demás grupos, lo que en parte pudo ser causado por el desinterés de los estudiantes en el

ejercicio, lo cual fue observado durante el desarrollo del mismo.

2.1 Análisis por variables

En el diagrama consolidadode los gráficos de caja de los resultados de la encuesta

realizada(Diagrama 19¡Error! No se encuentra el origen de la referencia.) podemos

observar que para 6 preguntas la media está por encima de 5, para otras 10 por encima de 4 y

para las 4 restantes tan sólo por encima de 3, estando peor calificadas las preguntas que

hacen referencia a la posibilidad de cambio de idioma y restauración de la configuración inicial.

Por otro lado, las preguntas que hacían referencia la cortesía en los mensajes y la provisión de

herramientas para volver a un nivel superior fueron las mejor calificadas.

Es muy importante que la pregunta sobre la provisión de herramientas para volver a un nivel

superior haya obtenido la calificación más alta, porque como se presentó en el aparte de

análisis factorial esta es la variable con mayor peso al interior del componente 1, el cual a la

vez es el que mayor incidencia tiene sobre la variación total.

Por otro lado, es necesario destacar que en las preguntas relacionadas con la terminología,

gráficas y los botones del sistema se presentan las mejores percepciones. Esto indica que la

interfaz del sistema es amigable con el usuario, lo cual se explica dada su similitud con la

interfaz del sistema operativo Windows. Este ítem también sobresalió en las entrevistas a

profundidad con los integrantes del grupo GRIEGO y con los empleados de Redwings,

quienes por un lado resaltaron la importancia de la calidad de la interfaz gráfica para percibir

un sistema como usable y por otro lado indicaron que OpenERP contaba con estas

características.

Diagrama 19.Diagrama de Caja respuestas encuesta.

Aunque en términos generales se tenga una percepción favorable de la usabilidad del sistema, es

necesario prestar atención a las preguntas 1 y 20 dado que la posibilidad de cambiar el idioma del

sistema es un factor determinante para una percepción favorable de la usabilidad del mismo,

puesto que sólo en la medida que el usuario entienda lo que le dice el sistema lo podrá usar. Las

dificultades de cambiar el idioma también se hicieron evidentes en las tareas impuestas a los

empleados de Redwings de Colombia.

2.2 Relación entre el perfil del usuario y la percepción de usabilidad.

Finalmente, con el objetivo de establecer las relaciones entre la puntuación media de la usabilidad

y el perfil del usuario, el cual está definido por las características de edad, nivel de inglés y

experiencia usando el sistema; se realizó un análisis de correlaciones, encontrando que no había

correlaciones significativas entre las variables a un nivel de confianza del 90%.

Correlaciones

Media

Usabilidad Edad

Experiencia en

meses ingles

Media Usabilidad Correlación de Pearson 1 ,149 .a ,271

Sig. (bilateral) ,385 ,000 ,147

N 37 36 34 30

Edad Correlación de Pearson ,149 1 -,079 -,150

Sig. (bilateral) ,385 ,638 ,429

N 36 42 38 30

Experiencia en meses Correlación de Pearson .a -,079 1 .

a

Sig. (bilateral) ,000 ,638 ,000

N 34 38 39 28

ingles Correlación de Pearson ,271 -,150 .a 1

Sig. (bilateral) ,147 ,429 ,000

N 30 30 28 30

a. No se puede calcular porque al menos una variable es constante.

Tabla7. Correlaciones Usabilidad vs Perfil Usuarios.

3. CONCLUSIONES

A continuación se presentan las principales conclusiones de este trabajo, las cuales se deben

analizar teniendo en cuenta que la usabilidad fue abordada como la cantidad de esfuerzo percibida

por el usuario para hacer uso de un sistema de información.

La metodología escogida para el caso de estudio fueron los cuestionarios, para lo cual se escogió

el cuestionario desarrollado en la metodología UWIS porque combina la calidad del servicio basado

en web y las dimensiones de los principios heurísticos de usabilidad. Esta metodología fue

complementada con entrevistas a profundidad que permitieron tener mayor conocimiento de las

características propias del usuario y su contexto de uso.

La fiabilidad de las dimensiones propuestas en la metodología UWIS para la evaluación de la

usabilidad en el caso de estudio fue evaluada a partir del estadístico alfa de cronbach, índice que

fue satisfactorio para las dimensiones de confianza, seguridad, interacción, integración y control,

pero que para la dimensión de navegación presentaba un valor que aunque se encuentra en el

rango de validez media, es bajo; resultado que fue corroborado por el análisis factorial dónde todas

las preguntas de esta dimensión quedaron agrupadas en diferentes componentes.

Posteriormente, se evaluó la pertinencia del método de análisis factorial para analizar los

resultados obtenidos en la encuesta a través de la prueba KMO y la prueba de Barlett, estadísiticos

que arrojaron que era adecuado el uso de esta técnica, resultado que es reforzado por las

comunalidades obtenidas para cada variable.

El análisis factorial arrojó como resultado que las preguntas contenidas en las encuestas se podían

agrupar de forma significativa en 6 componentes, de los cuales el primero estaba compuesto por

las preguntas de las dimensiones calidad de la información y control, las cuales explican el

37.817% de la varianza total. Para este componente la variable con mayor peso fue la pregunta 6.2

que hace referencia a la capacidad que tiene el sistema para regresar a un nivel superior y es la

variable que mejor calificación presenta (5,29/7).

A partir de las dimensiones arrojadas por el análisis factorial se encontró que las respuestas dadas

por los grupos de usuarios expertos son similares (integrantes grupo GRIEGO y empleados

empresa Redwings), similitud que también seda entre los dos grupos de estudiantes que también

fueron encuestados. Este resultado muestra la influencia que tiene la experiencia con el sistema

en la percepción de su usabilidad.

Al revisar los puntajes medios por dimensión, los empleados de Redwings fueron los que menor

calificación dieron a la mayoría de las dimensiones, situación que se dio principalmente porque el

nuevo sistema fue impuesto y para ellos era mejor el anterior, el cual a pesar de tener una peor

interfaz gráfica realizaba los procedimientos en menos pasos y con mayor rapidez. No obstante, es

necesario aclarar que la cantidad de pasos se incrementa en el sistema OpenERP porque es un

sistema de información integrado, loque implica que una transacción afecta diferentes áreas y por

ende se deben realizar varios registros

La dimensión con menor calificación fue la confianza, lo cual según un integrante del grupo

GRIEGO se da porque el sistema no cuenta con manuales en español al interior de cada módulo.

A nivel de pregunta, las que peor calificación recibieron fueron las que hacían referencia a la

posibilidad de cambio de idioma y restauración de la configuración inicial.

En resumen, el análisis de Usabilidad del software OpenERP arroja una medida global entre

regular y buena, teniendo como puntos a favor una interfaz gráfica similar a Windows basada en

ventanas, con íconos representativos y lenguaje cortés; entorno que es muy amigable con el

usuario. No obstante, es necesario hacer más visual la opción de cambiar el idioma y mejorar la

traducción de algunos términos, dado que actualmente presentan problemas de lenguaje, el cual

es un elemento vital en la percepción de usabilidad por parte del usuario.

Para la implementación del software OpenERP no es necesario que los usuarios cuenten con

amplios conocimientos en sistemas, pero si son deseables los conocimientos de los

procedimientos que se desarrollarán con el sistema de información a implementar. Adicionalmente,

es preferible que el usuario no haya manejado anteriormente programas que sólo abarquen un

procedimiento de la empresa, porque el cambio de interfaz y del funcionamiento puede generar

confusiones y la percepción de que el sistema no es usable.

Al realizar el análisis cuantitativo no se encontraron evidencias significativas de la correlación entre

las características de cada individuo encuestado y su percepción global sobre la usabilidad del

sistema, evento que si se evidenció en las entrevistas a profundidad realizadas, por lo que surge la

necesidad de verificar esta hipótesis con un grupo muestral mayor y más heterogéneo.

4. POSIBLES LINEAS DE INVESTIGACIÓN

Es necesario incluir en el análisis de la usabilidad la dimensión de velocidad de respuesta del

sistema, factor que se presentó de forma reincidente en las entrevistas a los integrantes del grupo

GRIEGO y a los empleados de Redwings.

Para poder generalizar los resultados de la evaluación aquí presentada, se hace necesario ampliar

la muestra sobre la cual se realicen las encuestas, incluyendo a desarrolladores y miembros de

empresas tanto del sector privado como público con mayor experiencia en el uso de OpenERP.

LISTADO DE TABLAS

Tabla 1.Principales métodos de medición de la usabilidad. ............................................................. 22 Tabla 2. Estadístico alfa de cronbach. .............................................................................................. 30 Tabla 3. KMO y prueba de Bartlett ................................................................................................... 31 Tabla 4. Tabla de comunalidades ..................................................................................................... 31 Tabla 5. Varianza total explicada ...................................................................................................... 32 Tabla 6. Matriz componentes rotados. .............................................................................................. 33 Tabla 7. Correlaciones Usabilidad vs Perfil Usuarios. ...................................................................... 39

LISTADO DE GRÁFICOS

Diagrama 1. Sistema de información. ................................................................................................. 4 Diagrama 2. Concepto de usabilidad .................................................................................................. 6 Diagrama 3. Calidad de uso, medida determinada por el contexto de uso. ....................................... 7 Diagrama 4. Modelo Teoría unificada de la aceptación y uso de la tecnología. ................................ 9 Diagrama 5. Estrategias de medición de la usabilidad ..................................................................... 11 Diagrama 6. Relación entre Problemas de usabilidad encontrados y número de usuarios ............. 12 Diagrama 7. Estructura de usabilidad de QUIS ................................................................................ 13 Diagrama 8. Resultados caso de estudio sistema bancario ............................................................. 16 Diagrama 9. Efectividad de los evaluadores ..................................................................................... 17 Diagrama 10. La herramienta de evaluación PROKUS. ................................................................... 19 Diagrama 11. Forma para el ingreso de una pregunta a PROKUS .................................................. 19 Diagrama 12. Visiones evaluación del software ............................................................................... 20 Diagrama 13. Estructura general metodología UWIS ....................................................................... 24 Diagrama 14. Estructura OpenERP .................................................................................................. 26 Diagrama 15.Proceso traducción encuesta. ..................................................................................... 28 Diagrama 16. Gráfico respuestas por componente. ......................................................................... 33 Diagrama 17. Puntuación media por dimensión y grupo de muestra. .............................................. 34 Diagrama 18. Media y desviación estándar de la puntuación por dimensión. .................................. 34 Diagrama 19.Diagrama de Caja respuestas encuesta. .................................................................... 38

LISTADO DE ANEXOS

ANEXO 1. LISTA VERIFICACIÓN MODELO UTAUT ...................................................................... 46 ANEXO 2. CUESTIONARIO QUIS .................................................................................................... 47 ANEXO 3. CUESTIONARIO SUS ..................................................................................................... 48 ANEXO 4. LISTA DE VERIFIACIÓN UWIS ...................................................................................... 49 ANEXO 5. TRADUCCIÓN CUESTIONARIO WIS ............................................................................ 50 ANEXO 6. ENCUESTA ..................................................................................................................... 52

ANEXO 1. LISTA VERIFICACIÓN MODELO UTAUT

(Venkatesh, Morris, Davis, & Davis, 2003)

ANEXO 2.CUESTIONARIO QUIS

(Tullis & Stetson, 2004)

ANEXO 3. CUESTIONARIO SUS

(Tullis & Stetson, 2004)

ANEXO 4. LISTA DE VERIFIACIÓN UWIS

(Oztekin, 2011)

ANEXO 5. TRADUCCIÓN CUESTIONARIO WIS

1. Dimensión Confianza:

1.1. ¿Es posible reemplazar o restaurar fácilmente opciones configuradas por defecto?

1.2. ¿El sistema guía de forma suficiente a nuevos usuarios?

1.3. ¿Los registros innecesarios han sido evitados?

1.4. ¿Los sistemas deautorrespuesta y de correo electrónico le avisan al usuario cuando el servicio será

ejecutado?

2. Dimensiónde Seguridad

2.1. ¿La complejidad de una tarea es acorde con el tiempo de ejecución de la misma(planeación,

ejecución, corrección de un error)?

2.2. ¿Los botones de control relevantes están representados en la pantalla y es claro su

funcionamiento?

2.3. ¿El tono de los mensajes es lo suficientemente cortes?

2.4. ¿Los mensajes de seguridad y las notificaciones de correo electrónicoestán configurados en el

sistema?

2.5. ¿El sistema hace que le trabajo del usuario sea más fácil y rápido que sin la ayuda del sistema?

3. Dimensiónde Interacción

3.1. ¿Las respuestas por correo electrónico, automáticas o manuales, o las páginas de servicio le

brindan pronta atencióna los usuarios?

3.2. ¿Hay sistemas de correo electrónico, interno o externo, para lidiar con las quejas del usuario?

3.3. ¿El uso de terminología, gráficas y menúses consistente a través de todo el sistema?

3.4. ¿La ayuda necesaria es provista acualquiermomento (por ejemplo, títulos de las ventanas, las

instrucciones para proceder)?

4. Dimensión integración de la comunicación:

4.1. ¿La terminología y las abreviaturas formanparte del lenguaje técnico del usuario?

4.2. ¿Las “Respuestas a Preguntas Frecuentes” ayudana los usuarios aresolver los problemas por ellos

mismos?

4.3. ¿La funcionalidad de los botones en el dispositivo es obvia a partir de su etiqueta?

5. Dimensión Navegación:

5.1. ¿El sistema puede determinardonde estaba el usuario la última vez que entró a la sesión (y

cualquier progreso hecho)?

5.2. ¿Hay algún tipo de ayuda para la navegación (ejemplo: encontrar herramientas)?

5.3. ¿Ha sido evitada la aparición denuevas ventanas de búsqueda innecesarias?

6. DimensiónControl

6.1. ¿La interacción puede ser interrumpida en cualquier momento por medio de salidas definidas

claramente, haciendo posible continuar mas tarde?

6.2. ¿ Han sido provistas herramientas ( instalaciones) para regresar al nivel superioren cualquier etapa

(por ejemplo, enlaces a la página de inicio)?

7. Dimensión Calidad de la información

7.1. ¿La información contenida en el sistema es actual, oportuna, precisa y relevante?

7.2. ¿Existeunaorganización jerárquica de la información de lo general a lo especifico?

7.3. ¿La información ofrece opciones de lenguaje?

ANEXO 6. ENCUESTA

FACULTAD DE CIENCIAS ECONÓMICAS

Con el fin de medir la Usabilidad del software OPEN ERP, solicitamos amablemente responda las siguientes preguntas.

Agradecemos su valiosa colaboración al responderlas, es de aclarar que los datos aquí consignados se tratarán de forma

anónima, solamente como insumo de un estudio de investigación.

1. CARACTERIZACIÓN DEL USUARIO

1.1 Género M |__| F |__|

1.2 Edad ________

1.3 Formación profesional:

Ingeniería de Sistemas|__| Contaduría Pública |__| Economía |__|

Ingeniería Industrial |__| Otra Ingeniería |__|Ciencias de la Salud|__|

Administración de empresas |__| otra |__|¿Cuál? ___________

1.4 ¿Cuánto tiempo de experiencia tiene en el manejo delsoftware OPEN ERP?

Nunca|__| Menos de un año|__| Entre uno y tres años |__|Más de tres años |__|

2. PERCEPCIÓN DEL USUARIO

Evalúe las siguientes preguntas de 1 a 7, donde 1 es el menor valor y 7 el máximo.

¿Es posible reemplazar o restaurar fácilmente opciones configuradas

por defecto? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿El sistema guía de forma suficiente a nuevos usuarios? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Los registros innecesarios han sido evitados? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La complejidad de una tarea es acorde con el tiempo de ejecución de

la misma(planeación, ejecución, corrección de un error)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Los botones de control relevantes están representados en la pantalla y

es claro su funcionamiento? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿El tono de los mensajes es lo suficientemente cortes? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿El sistema hace que el trabajo del usuario sea más fácil y rápido que

sin la ayuda del sistema? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿El uso de terminología, gráficas y menúses consistente a través de

todo el sistema? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La ayuda necesaria es provista acualquiermomento (por ejemplo,

títulos de las ventanas, las instrucciones para proceder)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La terminología y las abreviaturas formanparte del lenguaje técnico del

usuario? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Las “Respuestas a Preguntas Frecuentes” ayudana los usuarios

aresolver los problemas por ellos mismos? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La funcionalidad de los botones en el dispositivo se infiere a partir de su

etiqueta? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿El sistema puede determinardónde estaba el usuario la última vez que

entró a la sesión (y cualquier progreso hecho)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Hay algún tipo de ayuda para la navegación (ejemplo: barra de

búsqueda)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Ha sido evitada la aparición denuevas ventanas de búsqueda

innecesarias? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La interacción puede ser interrumpida en cualquier momento por medio

de salidas definidas claramente, haciendo posible continuar más tarde? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Han sido provistas herramientas para regresar al nivel superioren

cualquier etapa (por ejemplo, enlaces a la página de inicio)? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La información contenida en el sistema es actual, oportuna, precisa y

relevante? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿Existeunaorganización jerárquica de la información de lo general a lo

específico? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

¿La información ofrece opciones para cambiar el idioma? 1 I__I2 I__I 3I__I 4I__I5I__I 6I__I 7I__I

Mauricio Domínguez e-mail:[email protected]

mailto:[email protected]

BIBLIOGRAFÍA

Alva Obeso, M. H. (Marzo de 2005). Metodología de Medición y Evaluación de la Usabilidad en

Sitios Web Educativos. Tesis doctoral . Universidad de Oviedo, España.

Bevan, N. -b. (1995). Measuring usability as quality of use. Software Quality Journal , 115-150.

Bevan, N. (1999). Quality in Use:Meeting User Needs for Quality. Journal of System and Software .

Bevan, N. (1995). Usability is Quality of use. Yokohama: Anzai & ogagwa.

Bevan, n., & Macleod, N. (1994). Usability measurement in context. Behaviour and Information

Technology,13 , 132-145.

Bevan, N., Kirakowskib, J., & Maissela, J. (1991). Proceedings of the 4th International Conference

on HCI, What is Usability? Proceedings of the 4th International Conference on HCI. Stuttgart.

Colombia es el quinto país con mayor número de computadores en Latinoamérica. (19 de

Septiembre de 2009). Recuperado el 21 de Abril de 2011, de Cafeguauguau:

http://cafeguaguau.com/2009/09/19/colombia-es-el-quinto-pais-con-mayor-numero-de-

computadores-en-latinoamerica/

CRITICAL SUCCESS FACTORS IN ERP IMPLEMENTATION:A REVIEW2008European and

Mediterranean Conference on Information SystemsMay 25-26Al Bustan Rotana Hotel, Dubai

Davis, F. (1989). Perceived Usefulness, Perceived Ease of Use, And User Acceptance of

information technology. MIS Qarterly , Vol 13, No3,319-340.

Diseño Web Centrado en el Usuario: Usabilidad y Arquitectura de la Información2004

Everis. (2010). Indicador de la Sociedad de la Información (ISI). Situación de las Tecnologías de la

Información en Argentina, Brasil, Chile, Colombia, México y Perú. España: Universidad de Navarra.

Fitzpatrick, R. (1999). Strategies for Evaluating Software Usability. Recuperado el 28 de Febrero de

2011, de http://www.comp.dit.ie/rfitzpatrick/papers/chi99%20strategies.pdf

González, M. P., Pascual, A., & Lorés, J. (2001). Evaluación Heurística. Recuperado el 8 de Marzo

de 2011, de AIPO: Asociación Interacción Persona-Ordenador: http://www.aipo.es/libro/pdf/15-

Evaluacion-Heuristica.pdf

González, M. P., Pasual, A., & Lorés, J. (2001). Evaluación Heurística. Recuperado el 15 de Marzo

de 2011, de Asociación Interacción Persona-Ordenador (AIPO): http://www.aipo.es/libro/pdf/15-

Evaluacion-Heuristica.pdf

Granollers, T., & Lorés, J. (s.f.). Esfuerzo de Usabilidad: un nuevo concepto para medir la

usabilidad de un sistema interactivo basada en el Diseño Centrado en el Usuario. Recuperado el

28 de Febrero de 2011, de Universidad de lleida: http://www.aipo.es/articulos/3/18.pdf

Hassan Montero, Y., & Ortega Santamaría, S. (2009). Informe APEI sobre Usabilidad. Gijón:

Asociación Profesional de Especialistas en Información.

Improving a human-Computer Dialogue1990Comunications of ACM,num 33, vol 3, 338-348

ISO. (9241-11 1998). Ergonomic requirements for office work with visual display terminals (VDTs) --

Part 11: Guidance on usability.

ISO. (9126 1991). Software enginnering -- Product quality.

Keinonen, T. (1998). One-dimensional usability - influence of usability on consumers' product

preference. Helsinki .

kirakowski, J., Porteus, M., & Corbett, M. (1992). How to use the software usability measurement

inventory: the user’s view of software quality. Proceedings of European. Madrid.

Kuniavsky, M. (2003). Observing The User Experience: A Practitioner’s Guide to User Research.

San Francisco: Elsevier Science.

Laudon, K. C., & Laudon, J. P. (2008). Sistemas de información gerencial: Administración de la

empresa digital. Décima edición. México: PEARSON EDUCACIÓN.

Lewis, J. R. (1995). IBM Computer Usability Satisfaction Questionnaires:Psychometric Evaluation

and Instructions for Use. International Journal of Human-Computer Interaction , 57-78.

López Bonilla, L. M., & López Bonilla, J. M. (2006). Estudio comparado de las estimaciones de dos

versiones del modelo de aceptación d ela tecnología (TAM) mediante los programas AMOS y PLS.

Investigaciones europeas de dirección y economía de la empresa , Vol 12, No 3, 1135-2533.

Machón, E. (7 de Febrero de 2003). Alzado.org. Recuperado el 1 de Marzo de 2011, de

http://www.alzado.org/articulo.php?id_art=39

Macleod, M., & Rengger, R. (s.f.). The Development of DRUM:A Software Tool for Video-assisted

Usability Evaluation. Recuperado el 20 de Marzo de 2011, de

http://www.google.com/url?sa=t&source=web&cd=1&ved=0CBkQFjAA&url=http%3A%2F%2Fcitese

erx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.127.9116%26rep%3Drep1%26type%

3Dpdf&rct=j&q=drum%20usability&ei=fsWUTd-bJcHYgAeV6si-

CA&usg=AFQjCNG4RI0KTE1o6F4Ri7V1mIJMj

Mercovich, E. (1999). Ponencia sobre Diseño de Interfaces y Usabilidad: cómo hacer productos

más útiles, eficientes y seductores. Buenos Aires, Argentina.

Montero, H., & Fernández, M. (2003). Método de test con usuarios. No Solo Usabilidad .

Nielsen, J. (2003). How to Conduct a Heuristic Evaluation. Recuperado el 2011 de marzo de 2, de

USEIT: http://www.useit.com/papers/heuristic/heuristic_evaluation.html

Nielsen, J. (2003). Usability 101: Introduction to Usability. Recuperado el 15 de Febrero de 2011,

de USEIT: http://www.useit.com/alertbox/20030825.html

Nielsen, J. (1993). Usability Engineering. San Francisco : Morgan Kaufmann.

Nielsen, J. (15 de Marzo de 2000). Why You Only Need to Test With 5 Users. Recuperado el 17 de

Marzo de 2011, de UseIt.com Alertbox: http://www.useit.com/alertbox/20000319.html

Nielsen-b, J. (s.f.). Ten Usability Heuristics. Recuperado el 29 de Marzo de 2011, de USEIT:

http://www.useit.com/papers/heuristic/heuristic_list.html

Oztekin, A. (2011). A decision support system for usability evaluation of web-based information

systems. Expert Systems with Applications , 38, 2110-2118.

Rodríguez, M. T., Franco, A., & Aparicio, S. (2011). Análisis De La Implementación Del Software

OpenERP En La Empresa Red Wings. Texto no publicado. Universidad Nacional de Colombia,

Bogotá, Colombia.

The State of the Art in Automating Usability Evaluation of User Interfaces 2001ACM Computing

Surveys (CSUR) Volume 33 Issue 4 diciembre

Tullis, T. S., & Stetson, J. N. (2004). A Comparison of Questionnaires for Assessing Website

Usability. Recuperado el 28 de Febrero de 2011, de The Usability Professionals' Association:

http://home.comcast.net/~tomtullis/publications/UPA2004TullisStetson.pdf

Venkatesh, V., Morris, M., Davis, G. B., & Davis, F. D. (2003). User Acceptance of Information

Technology: Toward A Unified View. MIS Quarterly , Vol. 27 No. 3, Septiembre.

What is Usability?1991 Stuttgart

ZÜLCH, G., & STOWASSER, S. (2000). Usability Evaluation of User Interfaces with the Computer

aided Evaluation ToolPROKUS. MMI-Interaktiv , Núnnero 3,Junio, ISSN 1439-7854.

.

Analisis Usabilidad Open ERP

Documents

Transcript of Analisis Usabilidad Open ERP