Sustentacion de Tesis Ingenieria de Usabilidad

Universidad Nacional de Ingeniería

TESIS

EVALUACIÓN DE LA OLPC CON INGENIERÍA DE USABILIDAD

Carlos Mauro Cárdenas FernándezUniversidad Nacional de Ingeniería


Índice• Resumen

• Formulación del Problema

• Marco Teórico

• Investigación

• Implementación

• Análisis de Resultados

• Conclusiones y Recomendaciones

• Bibliografía


RESUMEN


• La tesis es un estudio sobre la Usabilidad de la Plataforma de Software Sugar del proyecto Una Laptop Por Niño (OLPC) abordando la carencia de estudios de usabilidad de su software Sugar en niños, utilizando el método de pruebas de usabilidad, realizado en el Colegio Nacional Nro. 1173 Julio C Tello ubicado en el distrito de San Juan de Lurigancho en Lima Perú a 12 niños entre 5 a 7 años en un periodo de ocho meses recolectando datos de tres versiones de SUGAR y cinco actividades o programas.


Justificación

• Escasos estudios sobre la interacción del niño con la laptop en un ambiente de clase.

• Generar instrumentos de medición de la Usabilidad de Sugar.

• Incluir al niño con un rol activo dentro del desarrollo del software.


Alcances

• Lima, San Juan de Lurigancho.

• Idioma: Español.

• Edad: 5 a 7 años.

• Sector Económico: D,E.


Limitaciones

• No se evalúa el aprendizaje escolar.

• Se recoje información por medio de la observación humana.

• No se evalua si Sugar es mejor (Windows )

• Casi todos los niños no saben leer


FORMULACIÓN DEL PROBLEMA


Interface Gráfica

• Cojunto de iconos e imágenes destinados a facilitar la interacción del usuario con la computadora


SUGAR

Hogar


Vecindario Colegio


Situación Problemática

• El proyecto recibió críticas, algunas referidas a al software Sugar y su Usabilidad:– The Economist:

• Los problemas se reducirían a dos: la usabilidad de la tecnología(nueva interfaz), la falta de documentación.

– BusinessWeek:• Llama al diseño de interfaz imprudente porque no han

hecho pruebas de usuario hasta el momento.

• Varios gobiernos (Brasil) detienen sus intenciones de implementar el proyecto


Árbol de Problemas


Árbol de Objetivos


MARCO TEÓRICO


One Laptop per Child

• A finales de noviembre de 2005, fue anunciado el proyecto durante una convención sobre Internet en Túnez, la ONU estuvo presente en una posterior exposición de este producto.

• El proyecto cuenta con apoyo de Google, AMD, Red Hat, News Corp, Brighstar y la colaboración de otras empresas.


Características

• Procesador y Sistema Base: AMD LX700 CPU (433 MHz), Integrado con Procesamiento Gráfico.

• Memoria: 256 MByte DDR SDRAM en 333MHz.• Capacidad: 1Gib de NAND Flash en la placa madre. 1 MB de de memoeria

Flash .• Audio: Subsistema AC 97 audio, Microfono mono, micro y amplificador,• Pantalla: 7.5in (19 cm) color/monochrome dual mode TFT LCD, 1200x900• Cámara:Integrada. Resolución de 640 x 480, 30fps.• Red: IEEE 802.11/b/g (2.4 GHz) con soporte de las variacones de 802.11s,

mesh.• USB:USB 2.0• Dispositivos de Entrada: Teclado de hule con 80 entradas, touchpad.• Botones: Boton de encendido, rotación en, Botones direccionales.• Sensores: Magnéticos de cierre. Modo ebooks.• Batería: Baterría de 11v a 18v, 15W. Ni-MH LiFePO4.• Calidad: IEC 60950-1, EN 60950-1, CSA/UL 60950-1, ASTM F 963

Standard.


Prototipos Dejados


Ecosistema OLPC. Ivan Krstic


SUGAR

• Software de Escritorio diseñado por la empresa RedHat, MIT Lab y Pentagram.

• Se define 4 niveles de trabajo: Barrio, Aula, Hogar, Actividad (Software en Uso)

• Software embebido en chipset y el SD interno.

• Creado en base a lineamientos Constructivistas.


Arquitectura


SUGARLABS FUNDATION

• SugarLabs es una fundación iniciada por Walter Bender ex presidente de la OLPC con la misión de construir y mantener el núcleo y el ecosistema de actividades de Sugar. Esto incluye la especificación y la aplicación de las nuevas


Plan Ceibal

• El Proyecto Ceibal (Conectividad ducativa de Informática Básica para el Aprendizaje en Línea) se realiza dentro del marco del Plan de inclusión y acceso a la sociedad de la información y el conocimiento, que integra la Agenda Digital del Gobierno Uruguayo


OLPC en Perú


Visita Arahuay

• Por encargo del Ministerio de Educación el Instituto de Investigación de la Facultad de Ingeniería Industrial y de Sistemas de la UNIVERSIDAD NACIONAL DE INGENIERÍA se realizó un INFORME TECNICO del proyecto OLPC.

• Se suma la iniciativa de un Estudio de Campo al Piloto de ARAHUAY en OCTUBRE del 2007.


Visita Arahuay


¡¡¡A tener en Cuenta!!!

• En un Colegio de Uruguay:– De 900 laptops entregadas al inicio del Año

2008 se tiene.

•266 RotasFuente:http://lists.laptop.org/pipermail/olpc-sur/2008-December/001808.html


Ingeniería de Usabilidad

• Conceptos:– Ergonomía: Estudia aquellos aspectos que

afectan al entorno artificial construido por el hombre relacionado con la actividad que él realiza.

– Interacción Humano Computador: Es una disciplina concerniente al diseño, evaluación e implementación de sistemas de computación interactivos para humanos usando el estudios de los fenómenos surgidos de ellos.


Nociones de Usabilidad


Usabilidad de Software


Test de Usabilidad

• A comienzos del decenio de 1990, Jakob Nielsen, en ese momento un investigador de Sun Microsystems. Su argumento es que, una vez que se comprobó que dos o tres personas son totalmente confundido por la página de inicio, poco se gana viendo más personas sufren por el mismo diseño defectuoso. Los mejores resultados provienen de ensayos no más de 5 usuarios y ejecutando el mayor número de pequeñas pruebas como se lo puede permitir.

U = 1 − (1 − p)^n


Niños y Software

• Kail[Rob02] (2002) identifica cinco perspectivas teóricas en el desarrollo del niño: biológico, psicodinámico, aprendizaje, desarrollo cognitivo, y contextuales.

• Chess y Thomas76, ellos identifican los siguientes dimensiones temperamentales Por el Nivel de Actividad, Por la Distracción, Umbral Sensorial, Enfoque de la retirada, Adaptabilidad, Persistencia, Intensidad, Humor.


Etapas del Desarrollo Piaget


Antecedentes de la Investigación

Interacción arquitectura para un sistema con requisitos mínimos. Proyecto propuesto en OpenUsability Season.3

Estudio de Usabilidad en el Rochester Institute of Technology (RIT). El profesor Keith Karn en el Departamento de Tecnología de la Información del RIT NY. En estudio

2

1Evaluación de Usabilidad en Universidad Tecnológica de la Mixteca. Concluido

Extraidos del Wiki OLPC, Papers y OpenSusability


Estudios Anteriores

Fuente: news.cnet.com/8301-13860_3-10074298-56.html 26/02/2009

El informe de técnico[Rui07] realizado por la Universidad Tecnológica dela Mixteca


INVESTIGACIÓN


Metodología de investigación

• La investigación es del tipo exploratorio, correlacional y de campo presentada dentro de un ambiente de implantación del proyecto.

• Tiene Perspectivas:– Educativas: Los niños recurren a la creación y asociación de

sus propios significados subjetivos e intersubjetivos. [OB91] Orlikowski y Baroudi

– Filosóficas: Visión Singularidad Tecnologica y Educativa. [Sey93] Seymour Papert

– Económicas: Mantenimiento y Cuidado del equipo.

– Usabilidad: Interacción del Niño con Sugar


Esquema de la

Metodología


Diseño de la Investigación


Población y Tamaño

• Selección de Participantes– Se tomó una prueba de preguntas al salón de

1ro A de primaria con un número de 19 alumnos registrados.

– Se seleccionó 12 alumnos 6 hombres y 6 mujeres

Paper: Virzi, R.A., Refining the Test Phase of Usability Evaluation: How Many Subjects is Enough? Human Factors, 1992. 34(4): p. 457-468.


CN Julio C. Tello 1ro A – Prof Sonia Lazón


VARIABLES INDEPENDIENTES

• X1 ITT: Tiempo Promedio Por Actividad,

• X2 INT: Número de Tareas,

• X3 IHM: Hombre o Mujer,

• X4 IAS: Actividad o Software,


VARIABLE DEPENDIENTE

• Y1 DNE: Probabilidad de encontrar errores en Una Prueba.– Un error es:• y11: Todo lo que impide la finalización de tareas.• y12: Cualquier cosa que tenga a alguien fuera del curso.• y13: Todo lo que crea cierto nivel de confusión.• y14: Todo lo que produce un error.• y15: No ver algo que debería ser observado.• y16: Es correcta la hipótesis de algo cuando no es.• y17: El supuesto de una tarea se completa cuando no lo está.• y18: Realización de la acción equivocada.• y19: Malinterpretando alguna pieza de contenido.• y110: No se comprende la navegación.


INDICADORES

• InPX2X4: Numero de tareas promedio completadas por actividad en unidades.

• InPX2X3X4: Tareas promedio completadas por actividad y por grupo género, en unidades.

• InPX1X4: Tiempo promedio usado para completar la tarea de una Actividad en segundos.

• InPPE: Suma de problemas de Ergonomía encontrados.


HIPÓTESIS GENERAL

• Ho = La probabilidad de encontrar un nuevo error de usabilidad de las pruebas de las usabilidad tomadas a Sugar es menor del 10%

– X4i: Pruebas de Usabilidad realizadas por Actividades.

– p: La Probabilidad de encontrar un nuevo error.

– n: Número de Test a realizar.

– N: Número de Actividades.


HIPÓTESIS ESPECÍFICAS

• h01 = Las niñas resuelven un 20% mas rápido las pruebas de usabilidad que los niños.

• h02 = Los niñas encuentran 20% menos de errores de usabilidad que los niños.

• h03 = La de Sugar 8.2.0 tiene 10% menos de errores de usabilidad que la versión 8.1.0.

• h04 = Los niños tienen tienen 20% mas problemas de ergonomía que las niñas.


Gestión de la Investigación


Gestión de Riesgos

• No entrega oportuna de las OLPC XO1.• Paralización de actividades en el colegio.• Averías físicas o de software en la OLPC en

el momento de la prueba.• Pérdida de datos de la tesis.• Falta de financiamiento para la tesis.• Disminución o demoras.• Pérdida de interés por la tesis.


Constancias


IMPLEMENTACIÓN


Diseño de Solución


Plan de Pruebas

1. Objetivos

2. Preguntas de investigación

3. Metodología

4. Sesiones

5. Riesgos

6. Acuerdos de Antes de la Pruebas

7. Introducción a la sesión

8. Rol del moderador

9. Configuración del ambiente

10. Especificación de Tareas

11. Prueba piloto:

12. Pruebas estándar:

13. Medidas

14. Informe de contenidos


Carta Autorización


Prueba de Selección


Pruebas de Selección


Pruebas Pilotos

• Clase Maestra a los Alumnos

• Prueba por 10 a 15 min.

• Uso de asesoría docente.

• Filmada.

• Video de Pruebas.


Prueba Piloto Turtle Art

• Ta1P: Ubicar con el dedo el cursor en la pantalla.• Ta2P: Mover el cursor hasta una esquina. Implica el uso del

Touchpad desde esta tarea.• Ta3P: Hacer Click en el botón Vecindario.• Ta4P: Hacer Click en el botón Colegio.• Ta5P: Hacer Click en el botón Casa.• Ta6P: Encontrar el Logo de Turtle Art.• Ta7P: Hacer doble Click en el logo de Turtle Art.• Ta8P: Escoger el bloque adelante y arrastarlo al espacio de

trabajo.• Ta9p: Escoger el bloque derecha y juntarlo al bloque adelante.• Ta10P: Hacer doble click sobre los bloques.• Ta11P: Salir de la actividad.


Test Piloto OLPC


Pruebas con Classmate


Observaciones Cualitativas

• Las Classmate tienen una versión antigua de SUGAR y no se adapta al software para Perú de la OLPC.

• Las Classmate carecen de teclas funcion adecuadas para el SUGAR

• Las OLPC en el programa Turtle presenta un diseño gráfico muy reducido dificultando la visión

• El padmouse en la OLPC no se diferencia


Pruebas Sugar 0.8.1


Pruebas Sugar 0.8.2


Pruebas Record


Pruebas Memorize


Manejo de Errores

• Los Errores son encontrados y llenados en una tabla. Los Errores son hallados post prueba


ANÁLISIS DE RESULTADOS


Evaluaciones Realizadas

Niños Niñas

OLPC Sugar Build 703 Rel. 8.1.0

Test de Usabilidad de Sugar Desktop 5 5

Test de Usabilidad de Grabar 6 6

Test de Usabilidad de Memoria 3 3

Test de Usabilidad de Pintar 1 1

OLPC Sugar Build 656 Rel. 7.2.0

Test Piloto de Usabilidad de Turtle Art 1 1

ClassMate Ubuntu

Test Piloto de Usabilidad de Turtle Art 1 1

OLPC Sugar Build 767 Rel 8.2.0

Test de Usabilidad de Sugar Desktop 6 6


Recopilación de Datos


Cuadros de Datos


Pruebas de Usabilidad


Usabilidad de Sugar 0.8.1

• El p encontrado es: 48.15 %.

• Tareas terminadas 46.79%. M: 51.28% y V: 42.31 %.


Usabilidad de Sugar 0.8.2




Usabilidad de Record


• Tareas terminadas 88.75%. M: 42.08 % y V: 38.33 %.


Usabilidad de Memorize




Sobre los Errores


Errores Comunes

• y1: Demora en la Carga del Programa.

• y2: Problemas con el movimiento del cursor.

• y3: El niño no identifica el area del padmouse.

• y4: Desaparecen los marcos sin mensaje al usuario.

• y5: Problemas visuales, el niño fuerza la vista.

• y6: El fondo negro genera algunos problemas vizuales en los niños.

• y7: Problema de posición de las manos.


Costos del Proyecto

Datos de Transparencia de MinEdu

Proyección de Gastos olpcnews


Proyección de Implementación


Alcance de la Implementación

La implementación No llega a mas del 7% de la población Objetivo a nivel Nacional


CONCLUSIONES Y RECOMENDACIONES


Sobre la Hipotesis

• H0=Verdadero. Puesto que para la muestra de 12 alumnos de 5 a 7 años se obtiene menos de 10% de probabilidad de encontrar un nuevo error

• h01 = Verdadero. Las niñas resuelven mas rápido las pruebas.

• h02 = Verdadero. Las niñas tienen más facilidad de uso con Sugar

• h03 = Verdadero. La de Sugar 8.2.0 tiene mejor usabilidad

• h04 = Falso. Los niños tienen menos problemas de ergonomía


Sobre Sugar y OLPC

• La interface es usable y su usabilidad se incrementa conforme mejoran las versiones.

• El proyecto OLPC deberá reducir sus ciclos de entrega de prototipos de laptops XO y mejorar su ergonomía


Sobre el Método

• La cuantificación de cada prueba de usabilidad tiene un error por el grupo. No es correcto darle un 100% de certeza.

• La acción manual de realizar pruebas de usabilidad pueden presentar propagación de errores.


Productos Parecidos

Producto Empresa Costo Lanzamiento

eeePC Asustek Computer

249 11/06/2007

CloudBook Everex 399 01/03/2008

MiniNote hiVision 98 01/09/2008

Noahpad E-Lead 120 12/12/2007

Classmate Intel 350 28/09/2006


Recomendaciones

• Ministerio:– Informar sobre implementación semanal o mensualemente

para conocer el avance del mismo en el país.

– Crear Encuentros entre los profesores que usan estas herramientas para recopilar y exponer experiencias sobre el uso pedagógico de las laptops y el software Sugar en el aula.

– Evaluar el software incluyendo las pruebas de usabilidad. De todas las actividades de Sugar para corregir, mejorar e informar a la comunidad de Sugar Labs.

Colocar informes del proyecto de implementación del Programa Una Laptop por Niño, semanal o mensualemente para conocer el avance del mismo en el país.Crear Encuentros entre los profesores que usan estas herramientas para recopilar y exponer experiencias sobre el uso pedagógico de las laptops y el software Sugar en el aula.Evaluar el software incluyendo las pruebas de usabilidad. De todas las actividades de Sugar para corregir, mejorar e informar a la comunidad de Sugar Labs.


Recomendaciones

• OLPC:– Evitar la excesiva expectativa frente al producto que

se desplegará.

– Disminuir el tamaño de lotes de producción.

– Evitar o disminuir el uso de Coltán o de otros productos para la fabricación de las laptops que atenten con la generación de residuos toxicos

– Migrar la localización de los centros de producción a las periferias de los principales países consumidores.


Recomendaciones

• SugarLabs:– Aprovechar herramientas como el Cloud

Computing virando la plataforma Sugar de un Desktop dentro de la Computadora a uno Dentro del Navegador Web.

– Mejorar los procesos de calidad y recolección de experiencias del uso del software.

– Creación de concursos regionales de creación de actividades, arte o trabajos con el uso de actividades en Sugar.


Contribuciones


Paper

• [CCB09] Evaluating the usability of desktop of the olpc sugar. In HCI International 2009 - Posters, pages 588–592. Springer, 2009.

• [CCK08a] Test de usabilidad de software para evaluación de software de las olpc. In SECICOMP V SEMANA DE CIENCIA DE LA COMPUTACIÓN SECICOMP 2008 - Book. In Press, 2008.

• [CCK08b] Usabilidad en laptops para niños en intercom 2008. In INTERCOM 2008 - Book. In Press, 2008.

• [CCK09a] Interface children in distributed applications. In HCI International 2009 - Posters, pages 771–773. Springer, 2009.

• [CCK09b] Prueba piloto de usabilidad para evaluar sugar en olpc y classmate con niños de 5 años. In Interacción 2009 - Book. InPress, 2009.


BIBLIOGRAFÍA


Resumen Bibliográfico


Principales Bibliografías

• [TA08] Tom Tullis and Bill Albert. Measuring The User Experience. Collecting, Analyzing and Presenting Usability Metrics. Morgan Kaufmann Publishers, 2008.

• [ER94] Ehrlich and Rohn. Cost justification of usability engineering: A vendors perspective. Cost Justifying Usability, 1(1):73–110, 1994.

• [JR08a] Panos M. Janet R. Evaluating Childrens Interactive Products Principles and Practices for Interaction Designers. Elsevier Science Ltd, 1ra edition, 2008.

• [JR08b] Dana Chisnell Jeff Rubin. Handbook of Usability Testing, How to Plan, Design, and Conduct Effective Tests. Wiley Publishing, Inc., 2008.

• [Nie93] Jakob Nielsen. Usability Engineering. Academic Press, 1993.• [Vir92] Robert A. Virzi. Refining the test phase of usability evaluation: how many

subjects is enough? Hum. Factors, 34(4):457–468, 1992.• [War06] Mark Warschauer. Laptops And Literacy: Learning in the Wireless

Classroom. Teachers College Press, 1ra edition, 2006.• [Sey93] Papert Seymour. Mindstorms, children, computers and powerful ideas. Basic

Books, 2da edition, 1993.


ANEXOS


Modelo Dinámico[GK08] A System Dynamics Approach to Educational Technology Introduction in Developing Countries.by Trinidad Grange-Kyner. by Trinidad Grange-Kyner.


Mas Detalles

• Contacto:–www.twitter.com/unimauro–[email protected]

• Test Usability OLPC:– http://wiki.laptop.org/go/Projects/TestUsabilityOLPC

• Blog:–http://unimauro.blogspot.com


<o/

Sustentacion de Tesis Ingenieria de Usabilidad

Education

Transcript of Sustentacion de Tesis Ingenieria de Usabilidad