[Versió catalana]

CRISTÒ FOL RO VIRA

ProfesorUniversitat Pompeu Fabra

cristofol.rovira@upf.edu

La consulta de mapas conceptuales: estudio mediante eye-tracker

Resumen

Object ivo: estudiar las pautas de comportamiento de los usuarios cuando consultan mapas conceptuales, en especial se identifican las partes

de los mapas donde se presta mayor atención y el orden en que el mapa es revisado.

Metodología: se ha aplicado la metodología de investigación de eye-tracker (seguimiento de la mirada).

Resultados: indican que los usuar ios prestan una mayor atención al segundo nivel horizontal del mapa y a la zona central. No se han

encontrado diferencias significativas en el grado de atención prestada a los conceptos con relación a las frases de enlace. Los usuarios hacen

un recorrido inicial por el mapa en forma de zigzag partiendo del concepto raíz situado en la parte superior central y acabando en el concepto

situado más a la derecha y en el nivel más inferior.

Abstract

Object ives: This paper examines how users read concept maps and seeks to identify those parts of concept maps that users focus on most

and the order in which maps are reviewed.

Methodology: The study used eye-tracking methodology.

Results: It was observed that when reading concept maps users paid most attention to second horizontal entry levels and to the central area

of the map. There was no significant difference of degree in the attention they paid to nodes or connecting sentences, and users initially read

down the map, from one side to the other, from the root concept positioned at the top and in the middle of the map to the concept positioned

at the bottom right-hand corner.

1 Introducción

Los mapas conceptuales han sido objeto de numerosos estudios centrados en el ámbito de la educación y el aprendizaje (Novak; Cañas, 2006a;

Novak, 2010; Moon [et al.], 2011). Al integrarse en la web también han sido estudiados como instrumentos de navegación hipertextual (McDonald;

Stevenson, 1999), como sistemas de visualización de la información (Cañas [et al.], 2005), para la recuperación de la información (Leake [et al.]

, 2004; Eskridge [et al.], 2006) o como instrumentos para la formación no presencial (Novak, 2002; Cañas [et al.] , 2004; Rovira, 2002). En

cambio no hay antecedentes del estudio de usuarios de los mapas conceptuales con metodologías cuantitativas, como el eye-tracker.

Esta investigación tiene como objetivo identificar las pautas de comportamiento de los usuarios cuando consultan mapas conceptuales, en especial

se intenta identificar las partes de los mapas donde se presta mayor atención y el orden en que el mapa es revisado. Se trata de una

investigación más descriptiva que analítica que pretende poner los cimientos de una línea de investigación que tiene como meta final obtener

evidencias que permitan mejorar el diseño y la creación de mapas conceptuales. Se ha aplicado la metodología de investigación de eye-tracker

(seguimiento de la mirada), que permite saber cuándo y dónde los usuarios miran al consultar una pantalla de ordenador.

Para realizar este estudio se ha llevado a cabo un test con usuarios en laboratorio utilizando un dispositivo de seguimiento de la mirada (eye-

tracker). Esta tecnología ha sido usada previamente de forma habitual en estudios de marketing o para el anális is de la usabilidad de interfaces

de usuar ios, como pantallas de ordenador o páginas web (Nielsen, 2009). También existen numerosos trabajos sobre el comportamiento visual de

las personas en la revisión de páginas de resultados de buscadores (Granka [et al.], 2004; Rele; Duchowski, 2005; González-Caro; Marcos, 2011;

Nielsen, 2009), hay algún antecedente sobre el estudio de gráficos (Toker [et al.], 2013; Goldberg; Helfman, 2010; Goldberg, 2011), pero por

ahora no se ha publicado ninguna investigación sobre la consulta de mapas conceptuales.

La estructura del artículo es la siguiente: en el apartado 2 se presentan los trabajos previos que han servido como punto de partida a este

estudio; a continuación se detalla el diseño exper imental llevado a cabo; luego se ofrecen los resultados del análisis de los tests y, finalmente, en

el último apartado, se presentan las conclusiones de este estudio.

2 Trabajos previos

El origen de los mapas conceptuales hay que situarlo en los trabajos de Joseph D. Novak a mediados de la década de los sesenta en el contexto

de un proyecto de investigación en psicología del aprendizaje. Novak (Novak; Gowin, 1984) investigaba el aprendizaje basándose en las teor ías de

Ausubel y otros (1989) y creó los mapas conceptuales como instrumento para hacer visible el tipo de aprendizaje adquirido. En aquel momento

Novak no pensó en Internet, entre otras razones porque no existía. Después se ha visto la gran utilidad de este instrumento para el acceso a la

información y de ayuda a la navegación en entornos digitales al añadir enlaces hipertextuales a mapas conceptuales.

El uso de los mapas conceptuales en el entorno de Internet ha recibido un gran impulso gracias a los trabajos del IHMC

(http://www.ihmc.us/) (Flor ida Institute for Human & Machine Cognition), en especial por el desarrollo del editor CmapTools, bajo la

supervisión del propio Novak (Novak; Cañas, 2004, 2006b). CmapTools es uno de los mejores editores de mapas conceptuales de libre acceso

(Rovira; Mesa Lao, 2006). Permite crear mapas conceptuales para Internet, en formato HTML, con enlaces hipertextuales y compatibles con las

bases teóricas de Novak.

El seguimiento de la mirada (más conocido por su forma en inglés eye-tracking) es una técnica que permite conocer la posición de los ojos y sus

movimientos cuando se está realizando una acción determinada, mediante una tecnología de rayos infrarrojos capaz de detectar las pupilas. Ha

sido utilizada principalmente en investigación sobre el sistema visual, en psicología cognitiva y en el diseño de productos. El sector del marketing

lo ha usado para mejorar la colocación de productos en estanterías de supermercados, para escoger espacios publicitar ios en páginas web, para

aumentar las ratios de conversión en las compras en línea o para hacer benchmarking (comparar las acciones de los usuar ios en su web con las

que hace en las de la competencia). En los últimos años se ha aplicado de forma bastante habitual a la evaluación de sitios web y en especial a

estudios de usabilidad de interfaces digitales, la mayoría de ellos motivados por intereses comerciales. El libro de Jakob Nielsen y Kara Pernice

(2009) presenta numerosos ejemplos de aplicación del eye-tracking a la usabilidad. En sus capítulos se encuentran estudios que han sentado las

bases para la evaluación de menús de navegación, enlaces, imágenes, publicidad en el diseño web y las interfaces de búsqueda de información.

También se ha aplicado el eye-tracker al estudio de distintos tipos de gráficos, como de barras o circulares (Toker [et al.], 2013; Goldberg;

Helfman, 2010 i 2011), pero no hay antecedentes de su aplicación para el estudio de mapas conceptuales.

Este estudio tiene como finalidad principal confirmar la utilidad de la metodología del eye-tracker para el estudio del comportamiento de los

usuarios durante la consulta de mapas conceptuales y comprobar si se pueden obtener conclusiones que permitan mejorar el diseño y la creación

de estos mapas.

3 Mapas conceptuales

De acuerdo con la teor ía de Novak (Novak; Cañas, 2006a; Novak, 2010), un mapa conceptual es la representación gráfica de un conjunto de

conceptos relacionados. Se trata de un esquema gráfico que muestra un conjunto de ideas (conceptos) y las relaciones que se establecen entre

ellas. El objetivo final es plasmar gráficamente la estructura conceptual que el autor del mapa posee sobre el tema representado.

Según Novak, un mapa conceptual está formado por conceptos y por frases de enlace. Los conceptos se representan dentro de un rectángulo y

las frases de enlace etiquetan la línea que une un concepto con otro mostrando la relación que mantienen entre sí. Las frases de enlace no están

enmarcadas en un rectángulo para diferenciarlas de los conceptos. Normalmente, los conceptos se expresan con un sustantivo o sintagma

nominal. Las frases de enlace suelen ser preposiciones, adverbios, conjunciones y sintagmas verbales.

Los mapas conceptuales se organizan en torno a un concepto principal, llamado raíz, que expresa la idea central del mapa. A partir del concepto

raíz se establecen relaciones con nuevos conceptos mediante frases de enlace. Estos nuevos conceptos, a su vez, establecen nuevas relaciones

formando una estructura arbórea. Desde un concepto pueden trazarse diversas frases de enlace y una misma frase de enlace puede conectar con

diversos conceptos.

La ordenación de los conceptos en un mapa sigue el siguiente esquema general: los conceptos más generales y abstractos aparecen en la parte

superior. A medida que el mapa se ramifica, incorporando nuevas frases de enlace, los conceptos enlazados van concretando el tema expuesto.

De este modo los conceptos situados en la parte inferior del mapa serán los más específicos y concretos.

Imagen 1 . Ejemplo de mapa conceptual

realizado de acuerdo con las t eorías de Novak

4 Metodología

4.1 Participantes

La selección de los usuar ios para realizar el

test es un proceso complejo si se intentan

cumplir los requisitos que permitan

generalizar los resultados de la muestra a

una población determinada. Normalmente los

estudios de usabilidad con eye-tracking son

de tipo más cualitativo y no buscan una

generalización, sino tan solo detectar

anomalías que deben mejorarse en el diseño

de algún elemento de una página web y, por

tanto, las muestras de usuarios suelen ser

pequeñas, entre 10 y 15 usuarios. En cambio,

esta investigación tiene una orientación más

cuantitativa porque se pretenden identificar

evidencias sólidas sobre la forma en la que

se consultan los mapas conceptuales. Por

tanto, se ha sido más exigente en la selección

de la muestra de individuos, a pesar de las limitaciones inherentes de todo proceso de reclutamiento, especialmente con presupuestos ajustados.

Dadas las caracter ísticas de la investigación se decidió reclutar un grupo de usuar ios lo más homogéneo posible y que tuviera conocimientos

previos sobre mapas conceptuales. Por este motivo, se seleccionaron solo los individuos que declararon conocer las características básicas de los

mapas conceptuales y que además hubieran creado al menos un mapa conceptual antes de la realización del test.

En general se aconseja que el número de usuar ios para un estudio cuantitativo tiene que ser superior a 30 participantes (Marcos; González-Caro,

2010). De acuerdo con las previsiones de tiempos, medios y recursos para desarrollar el proyecto, se decidió que participarían 50 usuarios en el

estudio. Posteriormente, se descartaron los usuarios que no cumplían con los requisitos de conocimientos previos o aquellos de los que el eye-

tracker había grabado menos del 80 % de sus fijaciones. Este porcentaje es igualmente muy exigente. Al final la muestra quedó formada por 33

individuos y distr ibuida de la siguiente forma:

Edades Usuarios %

18-20 años 13 39,4

21-25 años 10 30,3

26-30 años 6 18,2

31-35 años 4 12,1

Total 33 100,0

Tabla 1. Distribuc ión por edades de los usuarios del experimento

Mapas re alizados ante s del estudio Usuarios %

Entre 1 y 5 12 36,4

Más de 5 21 63,6

Total 33 100,0

Tabla 2. Distribución por conoc imientos previos de los usuarios del e xperimento

4.2 Dispositivo del eye-tracking

Los tests se realizaron con un dispositivo de eye-tracker modelo Tobii 1750. Se trata de un monitor que integra un sistema de luz infrarroja que

capta el movimiento ocular. Esta tecnología detecta con gran precisión la posición de la mirada en pantalla, así como el tiempo de permanencia

de la mirada en un punto concreto del monitor. Estos datos objetivos precisan de una interpretación a nivel cognitivo (Hassan; Herrero, 2007) y,

tradicionalmente, se ha hecho asumiendo que cuando la persona fija la mirada en un elemento está pensando en ese elemento. A pesar de que

esta relación no es siempre cierta, es lo suficientemente consistente como para obtener resultados sólidos, especialmente si el número de

usuarios que participan en el estudio es relativamente alto.

4.3 Diseño del experimento

El objetivo de este estudio es conocer el comportamiento visual del usuar io ante la consulta de mapas conceptuales. El núcleo del test de usuario

se ha basado en la visualización de 3 mapas conceptuales con distintas temáticas. Para que el estudio sea sistemático y comparable entre los

diferentes usuar ios, el test se realizó en iguales condiciones para cada usuario mostrando a todos ellos los 3 mismos mapas.

La consulta de un mapa conceptual sin un objetivo concreto puede llevar al desinterés o a su consulta parcial. Para evitar en lo posible este tipo

de sesgo, se incluyeron algunos errores conceptuales en cada mapa y se les pidió que consultaran los mapas con el objetivo de detectar estos

posibles errores. De esta forma evitábamos una consulta superficial, sin prestar atención. Entendemos que el comportamiento de los usuar ios

cuando consultan un mapa para detectar errores no difiere en lo sustancial de una consulta estándar con el objetivo de entender el contenido del

mapa. Los contenidos de los mapas eran de los temas siguientes:

Mapa B, bosón de Higgs

Mapa I, Internet

Mapa D, dieta mediterránea

Imagen 2. Mapa B sobre el bosón de Higgs

Imagen 3. Mapa I sobre e l tema de Inte rnet

Imagen 4. Mapa D sobre la dieta medite rránea

4.4 Hipótesis

Esta investigación partió de las siguientes

hipótesis de trabajo cuya función ha sido

conducir y orientar el anális is de datos. Son

hipótesis de tipo descr iptivo que expresan

nuestra previsión sobre la forma de

comportarse de los usuarios.

1. Los usuarios prestarán una mayor atención en

el primer nivel del mapa (concepto raíz) y de

forma proporcional esta atención irá

disminuyendo en los niveles 2, 3 y 4. El

motivo de esperar este comportamiento está

en que los mapas están construidos de

manera que los conceptos más generales y

abstractos están en la parte superior. Son los

conceptos más importantes que definen el

contenido del mapa. Al avanzar hacia abajo

en el mapa se presentan aspectos mucho

más de detalle que no son esenciales para la

comprensión global del mapa y que deberían

requer ir menor atención. Es una distribución

parecida al tr iángulo invertido en la redacción

de noticias de prensa.

2. Los usuarios prestarán una mayor atención a

la zona izquierda y super ior del mapa y de

forma proporcional esta atención irá

disminuyendo hacia la zona central, derecha e

inferior. Se espera este comportamiento

porque los estudios de usabilidad muestran

que los usuarios de páginas web tienden a

prestar una mayor atención a la parte

superior izquierda, zona llamada el triángulo

de oro (Enquiro, 2003).

3. Los usuarios prestarán una mayor atención a

los conceptos que a las frases de enlace ya

que los conceptos son la parte sustancial del

mapa y las frases de enlace actúan de

complemento.

4. El recorrido inicial de los usuarios será de

arriba abajo y de izquierda a derecha,

empezando por el concepto raíz y terminando

por el concepto situado en el último nivel y

más a la derecha. Esperamos este

comportamiento ya que este es el recorrido

de lectura en las lenguas indoeuropeas.

No se han definido var iables independientes y

variables dependientes ya que no se han

postulado hipótesis de causa y efecto puesto

que se trata de una investigación más

descriptiva que analítica.

Estas 4 hipótesis definen los 2 objetivos

concretos del estudio:

1. Identificar cuáles son las zonas de los mapas que reciben una mayor atención.

2. Identificar cuál es el recorr ido de la mirada del usuario en la primera visualización de los mapas.

En los próximos apartados se presentan resultados específicos para cada uno de estos objetivos.

4.5 Métricas

Los mapas usados en el estudio tienen una estructura muy similar. La temática y el número de conceptos de cada mapa conceptual es distinto,

pero la estructura general es homogénea y está formada por un árbol distribuido en 4 niveles horizontales y 3 ramas verticales. Para el estudio

se definieron hasta 10 áreas de interés (AOI: area of interest), que fueron delimitadas con el software Tobii Studio para obtener métr icas para

cada una de ellas.

Una de las decisiones importantes en cualquier estudio con eye-tracker es decidir que métricas se usarán para alcanzar los objetivos planteados.

En el contexto de los estudios de usabilidad (Marcos; González-Caro, 2010; Marcos, 2013; Rovira [et al.], 2014) se suelen usar métricas

relacionadas con el nivel de efectividad y eficiencia de las tareas que hay que realizar, como por ejemplo:

El porcentaje de usuarios que han fijado su mirada en una AOI.

El tiempo transcurrido desde el inicio de la tarea hasta finalizarla.

El número de fijaciones que los usuar ios hacen en cada AOI.

Tiempo de duración de las fijaciones en cada AOI.

En este estudio se han usado las métricas del "tiempo de duración de las fijaciones" y el "número de fijaciones" para identificar la importancia

que los usuarios otorgan a cada zona del mapa y para saber cuál fue el recorr ido del usuario por el mapa.

4.6 Normalización de los datos

Los datos brutos obtenidos del eye-tracker han sido normalizados para poder comparar distintos mapas y distintos usuarios. El objetivo de usar

datos normalizados en lugar de datos directos es eliminar los sesgos generados por las diferencias entre los tres mapas y también por las

diferencias en el comportamiento de los usuarios. Por ejemplo hay usuar ios que están 20 segundos revisando los mapas y otros 60 segundos. En

cada métrica se ha aplicado un método de normalización distinto.

1. En el caso de la métrica del "número de fijaciones antes de la primera fijación" se ha normalizado en función del número máximo de

fijaciones que ha empleado cada usuario para revisar todas las zonas del mapa. Habitualmente, cada usuar io hace una primera revisión de

todo el mapa con un número distinto de fijaciones ya que se repiten fijaciones en zonas intermedias antes de revisarlas todas.

Se ha aplicado una normalización específica para cada usuario. Para ello, se ha dividido el número de fijaciones de cada zona por el máximo

número de fijaciones de ese usuario pasando de un número absoluto a uno relativo del "tanto por uno" o porcentaje. Al trabajar con datos

relativos todos los datos del número de fijaciones están entre 0 y 1 y se han evitado los sesgos der ivados de la distinta cantidad de

fijaciones usadas para revisar todo el mapa.

2. En la métr ica del "número total de fijaciones" se ha normalizado en función del número total de fijaciones que cada usuar io ha realizado en

todas las zonas analizadas. Al dividir los datos de cada usuario por el número total de fijaciones de ese usuario se ha obtenido igualmente

un dato relativo entre 0 y 1 que evita sesgos der ivados de que un usuario haya realizado más fijaciones que otro o que un mapa tenga más

conceptos que revisar.

3. Finalmente, en la métrica del "tiempo total que se ha fijado la vista en una zona determinada" se ha normalizado, como en casos anteriores,

en función del tiempo total que ha empleado cada usuar io para revisar todas las zonas del mapa. Se ha obtenido igualmente un valor relativo

entre 0 y 1 para evitar los sesgos derivados de que un usuar io sea más lento que otro al revisar los mapas o que un mapa sea más grande

que otro.

5 Resultados

Se ha trabajado con un total de 516 variables, de las cuales un 60,9 % seguía una distribución normal. Gran parte del estudio estadístico ha

consistido en emparejar algunas de estas var iables para identificar si las medias tenían diferencias significativas. Cuando ambas variables de la

comparación tenían una distribución normal se ha aplicado la prueba t de Student; en cambio, cuando alguna de las variables (o las dos) no eran

normales se ha aplicado la prueba de los signos de Wilcoxon. A continuación se presentan dos apartados de resultados, uno para cada objetivo

de la investigación: áreas de mayor atención y recorrido inicial.

5.1 Áreas de mayor atención

Tal como se ha indicado, los 3 mapas util izados en los tests tienen esta estructura general de 4 niveles hor izontales y 3 ramas verticales. Para el

estudio de las áreas que han recibido una mayor atención se han definido 7 AOI, 4 de ellas corresponden a los niveles hor izontales del mapa: el

pr imer nivel es el concepto raíz y el cuarto incluye los conceptos situados en la parte más inferior del mapa. Las otras 3 AOI están definidas en

función de las zonas verticales (derecha, centro e izquierda) y corresponden a las 3 ramas principales del árbol invertido que forma los mapas

(véase la imagen 1).

Imagen 5. De finición de las áreas de inte rés en

e l mapa B

Hemos trabajado de forma paralela en dos

métricas para determinar el grado de

atención que otorgan los usuarios a cada

área del mapa. Estas métr icas son: "tiempo

de duración de las fijaciones" y "número de

fijaciones". Con valores significativos en uno

de los indicadores ya podríamos confirmar o

rechazar las hipótesis planteadas. No

obstante, hemos realizado los cálculos de

forma paralela en los dos indicadores para

ver hasta qué punto lo que se obtiene con un

indicador se confirma con el otro y de este

modo tener un mayor respaldo en nuestras

conclusiones. Hay que señalar que los

promedios de ambas métr icas no siguen una

distribución normal y tienen un coeficiente de correlación de Spearman del 0,78. Por tanto, son variables altamente correlacionadas que estarían

mostrando dos formas complementarias y coherentes de ver el grado de atención prestado por los usuar ios en las distintas zonas de los mapas

conceptuales.

En el estudio estadístico se han emparejado las variables correspondientes a distintas áreas para identificar diferencias significativas en las

medias de las dos métr icas indicadas (tablas 3, 4 y 5). Los datos están basados en los promedios de todos los usuarios en cifras normalizadas.

Hay que resaltar que en ningún caso se han obtenido resultados significativos contradictor ios entre las dos métricas, en el sentido que en uno de

los indicadores se obtengan diferencias positivas y en el otro negativas.

Áreas Mapa B Mapa D M apa I

Zona 1 Zona 2 Durac ión de las f ijaciones Número de f ijaciones Durac ión de las f ijaciones Número de f ijaciones Durac ión de las f ijaciones Número de f ijaciones

Nivel 1 Nivel 2 Sig. (WK) -24,79 % Sig. (WK) -20,59 % Sig. (WK) -56,22 % Sig. (ST) -28,48 % No sig. (ST) No sig. (ST)

Nivel 2 Nivel 3 No sig. (WK) Sig. (WK) 23,36 % Sig. (ST) 22,60 % No sig. (ST) Sig. (ST) 29,86 % Sig. (ST) 30,77 %

Nivel 3 Nivel 4 Sig. (WK) 36,94 % Sig. (ST) 17,63 % Sig. (ST) 36,26 % Sig. (ST) 36,74 % Sig. (ST) 23,06 % Sig. (ST) 17,26 %

Izda. Centro Sig. (WK) -67,95 % Sig. (ST) -29,67 % Sig. (ST) -27,38 % Sig. (ST) -31,88 % Sig. (ST) 49,21 % Sig. (ST) 31,70 %

Centro Dcha. Sig. (WK) 30,63 % Sig. (ST) 23,73 % Sig. (ST) 27,08 % Sig. (ST) 31,96 % Sig. (ST) -25,74 % Sig. (ST) 12,32 %

Izda. Dcha. Sig. (S) -16,51 % No sig. (ST) No sig. (ST) No sig. (ST) No sig. (ST) Sig. (ST) 40,12 %

Tabla 3. Diferencias ent re los promedios de las zonas en los 3 mapas para identificar la at ención

En las tablas 3 y 5 se comparan distintas áreas de interés con relación a las medias de la duración de las fijaciones y el número de fijaciones

para cada mapa. Se indica si la comparación es estadísticamente significativa de acuerdo con la prueba t de Student (ST) con variables normales

o la de Wilcoxon (WK) con var iables no normales. El porcentaje corresponde a la diferencia entre las medias de las dos áreas.

Finalmente, hemos ordenado los niveles/zonas de mayor a menor interés y en función de las diferencias estadísticamente significativas entre ellas

(tablas 4 y 5). Cuando entre dos niveles no había una diferencia significativa se ha asignado el mismo número de orden. En las últimas columnas

de estas tablas se pueden consultar las medianas con los datos de las 6 var iables correspondientes a los 3 mapas. Es interesante resaltar que se

obtiene exactamente el mismo resultado con las dos métricas utilizadas, tanto en los niveles horizontales como en las zonas verticales.

Mapa B Mapa D Mapa I Median a de lo s 3 mapas

Áreas Duración de las

f ijaciones

Número de

f ijaciones

Duración de las

f ijaciones

Número de

f i jaciones

Duración de las

f ijaciones

Número de

f i jac iones

Duración de las

f i jac iones

Número de

f ijaciones

Niv el 1 2 2 3 2 2 1 2 2

Niv el 2 1 1 1 1 1 1 1 1

Niv el 3 1 2 2 1 2 2 2 2

Niv el 4 3 3 3 2 3 3 3 3

Izda. 3 2 2 2 1 1 2 2

Centro 1 1 1 1 3 2 1 1

Dc ha. 2 2 2 2 2 3 2 2

Tabla 4 . Orden en el grado de atenc ión de los usuarios en los 4 niveles horizontales y las 3 zonas verticales de los 3 mapas estudiados

De forma sorprendente, en todos los casos, el segundo nivel recibe la mayor atención de los usuarios. Recordamos que se está trabajando con

valores promedios, por tanto un mayor número de conceptos no implica un mayor tiempo de atención. Igualmente en todos los mapas y en todos

los indicadores el nivel 4 es el que recibe una menor atención. Por tanto no hemos obtenido evidencias en la primera parte de la hipótesis 1

cuando afirmábamos que el concepto raíz (nivel 1) obtendría una mayor atención. Sí que constatamos la segunda parte de esta hipótesis donde

indicábamos que el último nivel recibir ía la menor atención.

Probablemente, el concepto raíz es menos complejo que los conceptos situados inmediatamente debajo de él y exigir ía una menor atención. En

cambio, el nivel 2 contiene los conceptos importantes del mapa y es en este nivel donde realmente se muestra toda su complejidad.

En el estudio de las zonas verticales, podemos constatar que la zona central recibe una mayor atención sin que haya diferencias significativas

entre las zonas izquierda y derecha. Estos resultados son contradictorios con la hipótesis 2, en la que esperábamos una mayor atención en la

zona izquierda. No parece que el hecho de que la zona central sea un "lugar de paso" para acceder de derecha a izquierda o de arriba abajo

justifique estos resultados.

Todo parece indicar que el segundo nivel, y en especial la zona central, sería la zona clave de los mapas conceptuales, donde los usuar ios

prestan una mayor atención ya que le dedican más tiempo de lectura o revisión y también realizan un mayor número de fijaciones de la mirada.

Con relación a la comparación entre conceptos y frases de enlace, los resultados no son concluyentes. Nuestras previsiones (hipótesis 3) eran que

los conceptos recibieran una mayor atención que las frases de enlace ya que la parte importante de los mapas está en los conceptos. No

obstante, solo en 2 de las 6 métricas aplicadas (tabla 8) se obtienen resultados estadísticamente significativos. Por tanto, no hemos obtenido

evidencias que puedan confirmar (o refutar) la hipótesis 3. Una de las razones podría ser la longitud del texto de las frases de enlace, que en

algunos casos es mucho mayor que en los conceptos. Los datos altos en las métricas de las frases de enlace ser ían causados por el mayor

tiempo que necesita el usuario para leer el texto y no porque tuviera un mayor interés en esas zonas.

Áre as M apa B M apa D M apa I

Área 1 Área 2 Duración de l as fi jaci ones Número de fi j aci ones Duración de l as fi jaci ones Número de fi j aci ones Duración de l as fi jaci ones Número de fi j aci ones

Co ncep tos Frases Si g. (WK) 28,7 % S ig. (ST) 9,6 % No si g. (ST) No si g. (ST) No si g. (ST) No si g. (ST)

T abla 5 . Comparac ión entre conceptos y frases de enlace

5.2 Recorrido inicial por el mapa

El segundo objetivo de este estudio consiste en identificar el orden de consulta cuando los usuarios dan una primera revisión general del mapa.

Hemos analizado solo el comportamiento en los primeros momentos, que corresponde a la pr imera visualización en todos los conceptos del mapa,

ya que intentamos determinar cuál es el recorr ido visual por el mapa antes de profundizar en sus contenidos. Luego, probablemente, el orden de

lectura se verá influenciado por el contenido del mapa en función de aquellos conceptos que hayan tenido una mayor dificultad de comprensión y

que, por tanto, requieran una segunda revisión.

En este caso, se ha usado la métrica del "número de fijaciones antes de la pr imera fijación" en cada zona de interés. Se han usado 10 áreas de

interés correspondientes a la intersección de los 4 niveles horizontales y las 3 zonas verticales (imagen 5):

Nivel 1 y zona central (1Ce). Las zonas del nivel 1 correspondientes a la izquierda y a la derecha no se han utilizado ya que no contienen

conceptos. En el nivel 1 solo está el concepto raíz en la parte central.

Nivel 2 y zona izquierda (2Iz); nivel 2 y zona central (2Ce); nivel 2 y zona derecha (2De).

Nivel 3 y zona izquierda (3Iz); nivel 3 y zona central (3Ce); nivel 3 y zona derecha (3De).

Nivel 4 y zona izquierda (4Iz); nivel 4 y zona central (4Ce); nivel 4 y zona derecha (4De).

En el tratamiento estadístico se han identificado aquellas parejas de zonas con valores con diferencias significativas en los promedios de todos los

usuarios (tabla 6) en la métrica del "número de fijaciones antes de la pr imera fijación". Tal como hicimos en el punto anterior, a partir de estos

datos hemos calculado el número de orden (tablas 7, 8 y 9) que en este caso hace referencia al itinerario de la consulta.

Área 1 Área 2 Mapa B Mapa D M apa I

1Ce C2Iz No sig. (WK) Sig. (ST) -84,22 % Sig. (ST) -115,64 %

1Ce C2Ce Sig. (WK) -174,57 % Sig. (ST) -287,01 % Sig. (WK) -1.329,64 %

1Ce C2De Sig. (WK) -892,04 % Sig. (ST) -1.322,42 % Sig. (ST) -2.477,55 %

2Iz C2Ce Sig. (WK) -234,09 % Sig. (ST) -110,08 % Sig. (WK) -562,98 %

2Ce C2De Sig. (ST) -261,31 % Sig. (ST) -267,55 % Sig. (WK) -80,29 %

3Iz C3Ce Sig. (ST) -219,75 % Sig. (ST) -13,52 % Sig. (ST) -208,41 %

3Ce 3De Sig. (ST) -76,55 % Sig. (WK) -67,81 % Sig. (WK) -68,70 %

4Iz 4Ce Sig. (ST) -120,13 % Sig. (ST) -39,32 % Sig. (WK) -175,08 %

4Ce 4De Sig. (ST) -48,60 % Sig. (WK) -36,85 % Sin datos

2Iz 3Iz Sig. (ST) -149,91 % Sig. (ST) -289,59 % Sig. (WK) -147,40 %

3Iz 4Iz Sig. (ST) -67,14 % Sig. (ST) -65,87 % Sig. (ST) -19,64 %

2Ce 3Ce Sig. (WK) -139,18 % Sig. (ST) -110,53 % Sig. (ST) -15,08 %

3Ce 4Ce Sig. (ST) -15,07 % Sig. (ST) -103,57 % Sig. (WK) -6,71 %

2De 3De Sig. (WK) -16,87 % No sig. (WK) Sig. (ST) -7,69 %

3De 4De No sig. (WK) Sig. (ST) -66,02 % Sin datos

2Ce 3Iz Sig. (WK) 25,20 % Sig. (ST) -85,45 % Sig. (ST) 62,68 %

2Ce 3De Sig. (WK) -322,26 % Sig. (WK) -253,28 % Sig. (WK) -94,15 %

3Ce 4Iz Sig. (ST) 47,73 % Sig. (ST) -46,12 % Sig. (ST) 61,21 %

3Ce 4De Sig. (ST) -71,00 % Sig. (WK) -178,59 % Sin datos

3Ce 2De Sig. (WK) -51,06 % Sig. (ST) -74,58 % Sig. (WK) -56,66 %

3Ce 2Iz Sig. (ST) 87,49 % Sig. (ST) 77,39 % Sig. (WK) 86,89 %

4Ce 3Iz Sig. (ST) 72,82 % Sig. (ST) 56,73 % Sig. (WK) 69,61 %

4Ce 3De Sig. (ST) -53,43 % Sig. (WK) 17,57 % Sig. (ST) -58,09 %

Tabla 6. Diferenc ias entre los promedios de las dive rsas zonas de los mapas en la mét rica del "número de fijaciones antes de la primera fijación"

En la tabla 6 se comparan distintas áreas de interés en relación con las medias del "número de fijaciones antes de la primera fijación". Se indica

si la comparación es estadísticamente significativa de acuerdo con la prueba t de Student (ST) con var iables normales o la de Wilcoxon (WK) con

variables no normales. El porcentaje corresponde a la diferencia entre las medias de las dos áreas. En la última columna aparecen 3

comparaciones sin datos porque esas áreas no existen en el mapa I.

El orden de las 10 áreas se ha construido teniendo en cuenta las diferencias de promedios entre las zonas estadísticamente significativas. En caso

de no encontrar estas diferencias se ha indicado el mismo número de orden en las dos áreas analizadas. Para realizar este apartado se han

tenido en cuenta los datos de los conceptos y no las frases de enlace por considerarlos más importantes puesto que los conceptos contienen la

parte sustancial del mapa.

Izquierda Ce ntro De recha

Nivel 1 1

Nivel 2 1 3 7

Nivel 3 2 5 8

Nivel 4 4 6 8

Tabla 7. Orden de consulta de las zonas del mapa B

Izquierda Ce ntro De recha

Nivel 1 1

Nivel 2 2 3 7

Nivel 3 4 5 7

Nivel 4 6 8 9

Tabla 8. Orden de consult a de las zonas del mapa D

Izquierda Ce ntro De recha

Nivel 1 1

Nivel 2 2 5 8

Nivel 3 3 6 8

Nivel 4 4 7

Tabla 9. Orden de consult a de las zonas del mapa I

Podemos constatar que en los 3 mapas se ha producido una lectura combinando la estrategia en anchura y la estrategia en profundidad

avanzando del punto superior izquierda al punto inferior derecha.

Los usuarios tienden a realizar una revisión del mapa siguiendo un recorr ido en forma de zigzag partiendo del concepto raíz situado en la parte

superior central y acabando en el concepto situado más a la derecha en el nivel más inferior. Estos resultados confirmarían la hipótesis 4.

Imagen 6. Recorrido estándar de la mirada sobre los mapas

conceptuales

6 Discusión sobre los resultados

Los resultados obtenidos en el apartado del grado de atención han

sido obtenidos trabajando en forma paralela con dos métr icas

distintas. La coincidencia y coherencia de los datos obtenidos dan un

mayor respaldo a estos resultados: en ningún caso se han obtenido

resultados significativos de diferencias entre zonas con signos

contrarios y el orden final obtenido coincide exactamente en las dos

métricas.

Por otro lado, el orden del recorrido inicial de los usuarios en la consulta de los 3 mapas sigue en todos los casos una pauta muy similar: se

parte del concepto raíz y se avanza con movimientos de zigzag hasta el concepto situado en la parte inferior derecha.

Entendemos que estas circunstancias otorgan solidez a los resultados obtenidos. No obstante, para generalizarlos a la población de que proviene

la muestra (usuarios con conocimientos sobre mapas conceptuales) sería necesario realizar estudios complementarios con nuevos grupos de

usuarios.

Además, en el desarrollo de la investigación se han detectado algunas mejoras que en caso de realizar estudios adicionales deberían

incorporarse:

La longitud del texto en frases y conceptos debería ser todavía más similar en todos los mapas para evitar que el tiempo de fijación o el

número de fijaciones sea debido a la cantidad de texto y no al interés del usuario por esa parte del mapa.

La complejidad de los distintos conceptos dentro de un mismo mapa no debería ser muy distinta para evitar igualmente que un mayor grado

de atención no sea por el interés sino por incomprensión.

La estructura general de los 3 mapas debería ser todavía más parecida intentando que el número de conceptos y su disposición en las 3

ramas sea prácticamente igual.

La complejidad en los 3 mapas debería ser igualmente parecida para no incorporar una nueva variable no controlada.

Debería añadirse un grupo de control con un test con mapas sin errores para confirmar que la consulta en la que se pide la detección de

errores no difiera de la consulta abierta con el simple objetivo de comprender el mapa.

Con relación a las hipótesis, cabe señalar que su función pr imordial ha sido orientar la investigación desempeñando un rol de hipótesis de

trabajo. Tal como se ha indicado, algunas de ellas han sido corroboradas, otras se han confirmado solo parcialmente y otras han sido

rechazadas. Probablemente las hipótesis que en el futuro van a resultar más interesantes son precisamente aquellas que han sido rechazadas ya

que contradicen las previsiones planteadas al iniciar este estudio basadas en apreciaciones de "sentido común".

7 Conclusiones

En este estudio se ha analizado el comportamiento de un grupo de usuarios ante la consulta de mapas conceptuales. Nuestro propósito era

conocer la importancia que le dan los usuar ios a cada zona del mapa así como conocer cuál es el recorrido inicial por el mapa. Para ello se ha

usado un sistema eye-tracker que ha registrado el tiempo y el número de fijaciones de la mirada de los usuar ios en las distintas zonas de 3

mapas conceptuales. Para evitar el sesgo que pudiera generarse por las diferencias entre los mapas y entre los usuarios, se han usado datos

relativos.

De acuerdo con los datos obtenidos, los usuarios prestan una mayor atención al segundo nivel hor izontal del mapa y a la zona central. No se han

encontrado diferencias significativas en el grado de atención prestada a los conceptos con relación a las frases de enlace. Por otro lado hemos

identificado que los usuarios hacen un recorrido inicial por el mapa en forma de zigzag partiendo del concepto raíz situado en la parte superior

central y acabando en el concepto situado más a la derecha y en el nivel más inferior.

Estos resultados son estadísticamente significativos y coherentes por las coincidencias encontradas en varias métricas y en diversos mapas. Son

indicios sólidos sobre cómo se comportan los usuar ios en la consulta de mapas conceptuales; no obstante, para generalizarlos ser ían necesarios

estudios adicionales que confirmen los mismos resultados incorporando las mejoras indicadas en el apartado de discusión de los resultados.

Finalmente, hay que indicar que estos resultados confirman la adecuación de la metodología del eye-tracker (seguimiento de la mirada) para el

estudio del comportamiento de los usuar ios durante la consulta de mapas conceptuales. A medio plazo se prevé que a partir de la identificación

del comportamiento habitual de los usuarios se podrán proponer recomendaciones más concretas para mejorar la creación de mapas conceptuales

y facilitar su consulta.

Bibliografía

Ausubel, D. P.; Novak, J. D.; Hanesian, H. (1989). Psicología educativa. México: Tr illas.

Cañas, A. J.; Carff, R.; Hill, G.; Carvalho, M.; Arguedas, M.; Eskridge, T. C.; Lott, J.; Carvajal, V. (2005). "Concept maps: integrating knowledge

and information visualization". En: Tergan, S. O.; Keller, T. (ed.). Knowledge and information visualization: searching for synergies. Heidelberg;

New York: Springer Lecture Notes in Computer Science.

<http://cmap.ihmc.us/publicat ions/researchpapers/conceptmapsintegratingknowinfvisual.pdf

(http://cmap.ihmc.us/publicat ions/researchpapers/conceptmapsintegratingknowinfvisual.pdf) >. [Consulta: 04/12/2013].

Cañas, A. J.; Novak, J. D.; González, F. M.; Ricardo, A.; Cabral, Y.; Mário, C.; Nicolao, M.; Suzana, M.; Amoretti, M. (2004). "Use of conceptual

maps in distance learning courses". Concept maps: theory, methodology technology. Proceedings of the 1st International Conference on Concept

Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra.

Enquiro/Eyetools Google Report, 2003. <http://eyetools.com/research_google_eyetracking_heatmap.html

(http://eyetools.com/research_google_eyetracking_heatmap.html) >. [Consulta: 03/08/2013].

Eskridge, T. C.; Granados, A.; Cañas, A. J. (2006). "Ranking concept map retrieval in the CmapTools network". Concept maps: theory,

methodology, technology. Proceedings of the Second International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D. (ed.). Vol. 1. San

José: Universidad de Costa Rica, p. 477-484. <http://cmc.ihmc.us/cmc2006Papers/cmc2006-p205.pdf

(http://cmc.ihmc.us/cmc2006Papers/cmc2006-p205.pdf) >. [Consulta: 04/12/2013].

Goldberg, J. H.; Helfman, J. I. (2010). "Comparing information graphics: a cr itical look at eye tracking". Proceedings of the 3rd BELIV'10

Workshop. Beyond time and errors: novel evaluation methods for information visualization, p. 71-78. <http://dl.acm.org/citation.cfm?

id=2110203 (http://dl.acm.org/citation.cfm?id=2110203) >. [Consulta: 04/12/2013].

— (2011). "Eye tracking for visualization evaluation: reading values on linear versus radial graphs". Information visualitzation, vol. 10, no. 3, p.

182-195. <http://ivi.sagepub.com/content/10/3/182.full.pdf+html (http://ivi.sagepub.com/content/10/3/182.full.pdf+html) >.

[Consulta: 04/12/2013].

González-Caro, C.; Marcos, M. C. (2011). "Different users and intents: an eye-tracking analysis of web search". WSDM'1.1 Fourth ACM

International Conference on Web Search and Data Mining. Kowloon, Hong Kong, 9-12 February, 2011. King, I.; Nejdl, W.; Li, H. (ed.). New York:

ACM. <http://ciio.unab.edu.co/gti/images/documentos/umwa-8.pdf (http://ciio.unab.edu.co/gti/images/documentos/umwa-8.pdf)

>. [Consulta: 04/12/2013].

Granka, L.; Joachims, T.; Gay, G. (2004). "Eye-tracking analysis of user behavior in WWW search". Proceedings of the 27th Annual international

ACM SIGIR Conference on Research and Development in information Retrieval. Sheffield, United Kingdom, 25-29 July, 2004. New York: ACM, p.

478-479. <http://www.cs.cornell.edu/People/tj/publications/granka_etal_04a.pdf

(http://www.cs.cornell.edu/People/tj/publications/granka_etal_04a.pdf) >. [Consulta: 03/08/2013].

Hassan Montero, Y.; Herrero Solana, V. (2007). "Eye-tracking en interacción persona-ordenador". No solo usabilidad, 28 de octubre de 2007.

<http://www.nosolousabilidad.com/art iculos/eye-tracking.htm (http://www.nosolousabilidad.com/articulos/eye-tracking.htm) >.

[Consulta: 03/08/2013].

Leake, D. B.; Maguitman, A.; Reichherzer, T.; Cañas, A. J.; Carvalho, M.; Arguedas, M.; Eskridge, T. C. (2004). "Googling from a concept map:

towards automatic concept-map-based query formation". Concept maps: theory, methodology technology. Proceedings of the 1st International

Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M. (ed.). Pamplona: Universidad Pública de Navarra, p. 409-416.

Marcos, M. C.; González-Caro, C. (2010). "Comportamiento de los usuar ios en la página de resultados de los buscadores. Un estudio basado en

eye tracking". El profesional de la información (jul.-ago.), vol. 19, n.º 4, p. 348-358.

<http://grupoweb.upf.es/WRG/dctos/marcos__gonzalez_2010.pdf

(http://grupoweb.upf.es/WRG/dctos/marcos__gonzalez_2010.pdf) >. [Consulta: 04/12/2013].

Marcos, M. C. (2013). "Diseño de experimentos con usuarios: lecciones aprendidas". Anuario Hipertext.net, n.º 11.

<http://www.upf.edu/hipertextnet/numero-11/Diseno_experimentos_usuarios.html (http://www.upf.edu/hipertextnet/numero-

11/Diseno_experimentos_usuarios.html) >. [Consulta: 03/08/2013].

McDonald, S.; Stevenson, R. J. (1999). "Spatial versus conceptual maps as learning tools in hypertext". Journal of educational multimedia and

hypermedia, vol. 8, no. 1, p. 43-64.

Moon, B. M.; Hoffman, R. R.; Novak, J. D.; Cañas, J. J. (2011). Applied concept mapping: capturing, analyzing, and organizing knowledge. New

Versió En PDF

York: CRC Press.

Nielsen, J.; Pernice, K. (2009). Eyetracking web usability. Berkeley: New Riders Press.

Novak, J. D. (2002). "Using concept maps to facilitate classroom and distance learning". Scuola & citta, no. 2, p. 112-114.

— (2010). Learning, creating, and using knowledge: concept maps as facilitative tools in schools and corporations. 2nd ed. New York: Routledge.

Novak, J. D.; Cañas, A. J. (2004). "Building on new constructivist ideas and CmapTools to create a new model for education". Concept maps:

Theory, methodology technology. Proceedings of the 1st International Conference on Concept Mapping. Cañas, A. J.; Novak, J. D.; González, F. M.

(ed.). Pamplona: Universidad Pública de Navarra.

<http://www.ihmc.us/users/acanas/Publications/NewModelEducation/NewModelforEducat ion.pdf

(http://www.ihmc.us/users/acanas/Publications/NewModelEducation/NewModelforEducat ion.pdf) . [Consulta: 04/12/2013].

— (2006a). "Theoretical origins of concept maps, how to construct them and uses in education". Reflecting education, vol. 3 (Nov.), no. 1, p. 29-

42. <http://www.reflect ingeducation.net/index.php/reflect ing/art icle/view/41/43

(http://www.reflectingeducation.net/index.php/reflecting/article/view/41/43) >. [Consulta: 04/12/2013].

— (2006b). "The origins of the concept mapping tool and the continuing evolution of the tool". Information visualization journal, vol. 5 (Jan.), p.

175-184. <http://cmap.ihmc.us/publicat ions/researchpapers/originsofconceptmappingtool.pdf

(http://cmap.ihmc.us/publicat ions/researchpapers/originsofconceptmappingtool.pdf) >. [Consulta: 04/12/2013].

Novak, J. D.; Gowin, D. B. (1984). Learning how to learn. Cambridge; New York: Cambridge University Press.

Rele, R. S .; Duchowski, A. T. (2005). "Using eye tracking to evaluate alternative search results interfaces". Proceedings of the 49th Annual

Meeting. HFES Human Factors and Ergonomics Society. Or lando, Florida, 26-30 September, 2005.

<http://andrewd.ces.clemson.edu/research/vislab/docs/Final_HFES_Search.pdf

(http://andrewd.ces.clemson.edu/research/vislab/docs/Final_HFES_Search.pdf) >. [Consulta: 03/08/2013].

Rovira, C. (2002). "Estructuras de navegación para e-learning". El profesional de la información, vol. 11 (nov.-dic.), n.º 6, p. 457-466.

<http://www.elprofesionaldelainformacion.com/contenidos/2002/noviembre/6.pdf

(http://www.elprofesionaldelainformacion.com/contenidos/2002/noviembre/6.pdf) >. [Consulta: 04/12/2013].

Rovira, C.; Mesa Lao, B. (2006). "Análisis comparativo de editores de mapas conceptuales de uso libre". BiD: textos universitaris de

biblioteconomia i documentació (juny), núm. 16. <http://bid.ub.edu/16rovir2.htm (http://bid.ub.edu/16rovir2.htm) >. [Consulta:

04/12/2013].

Rovira, C.; Capdevila, J.; Marcos, M. C. (2014). "La importancia de las fuentes en la selección de artículos de prensa online: estudio de Google

Noticias mediante eye-tracking". Investigación bibliotecológica, n.º 62. [En prensa].

Toker, D.; Conati,C.; S teichen, B.; Carenini, G. (2013). "Individual user characteristics and information visualization: connecting the dots through

eye tracking". CHI 2013. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Par is, France, 27 April - 2 May, 2013.

<http://www.cs.ubc.ca/~conati/my-papers/CHI2013CameraReady.pdf (http://www.cs.ubc.ca/~conat i/my-

papers/CHI2013CameraReady.pdf) >. [Consulta: 04/12/2013].

Agradecimientos

Esta investigación forma parte del proyecto de investigación "CSO2011-22691 - Nuevas estrategias de publicidad y promoción de las marcas

turísticas españolas en la Web. Ministerio de Ciencia e Innovación, 2012-2014".

Fecha de recepción: 09/09/2013. Fecha de aceptación: 22/10/2013.

Palabras clave

Mapas conceptuales; Estudios de usuar ios; Estudios de usabilidad

Cita recomendada

Rovira Fontanals, Cristòfol (2013). «La consulta de mapas conceptuales : estudio mediante eye-tracker». BiD: textos universitaris de

biblioteconomia i documentació, desembre, núm. 31. <http://bid.ub.edu/es/31/rovira2.htm> [Consulta: 15-01-2014].

Palabras clave

Mapas conceptuales; Estudios de usuar ios; Estudios de usabilidad