RESUMEN DEL PROYECTO DE INVESTIGACIÓN

“ESTUDIO DE GENERALIZABILIDAD DE DOS

INSTRUMENTOS DE EVALUACIÓN SUBJETIVA

DE LA CARGA MENTAL”

(Ref.: UCM/CARMEN)

Autores:

Susana Rubio Valdehita (Investigadora Principal)

Jesús Martín García

Ramón López Sánchez

Eva María Díaz Ramiro

María Lourdes Luceño Moreno

María Antonia Jaén Díaz

1

DATOS DE IDENTIFICACIÓN DEL PROYECTO

2. Título: ESTUDIO DE GENERALIZABILIDAD DE DOS INSTRUMENTOS

DE EVALUACIÓN SUBJETIVA DE LA CARGA MENTAL

3. Autores:

Susana Rubio Valdehita (Investigadora Principal)

Jesús Martín García

Ramón López Sánchez

Eva María Díaz Ramiro

María Lourdes Luceño Moreno

María Antonia Jaén Díaz

4. Entidad subvencionada: Universidad Complutense de Madrid

5. Fechas de realización: Enero 2008 – Diciembre 2009.

6. Palabras clave: generalizabilidad, NASA-TLX, escala Demandas

Cognitivas (DECORE), trabajadores, estudiantes, situación de evaluación,

carga mental subjetiva.

SINOPSIS

Como señala el Instituto Nacional de Seguridad e Higiene en el Trabajo

(INSHT), en su Nota Técnica de Prevención nº 575, la medida de la carga

mental representa un aspecto fundamental en el diseño y evaluación de los

sistemas de trabajo actuales. Los niveles de carga mental que imponen estos

sistemas pueden llegar a ser bastante elevados por la necesidad de realizar

diversas tareas muy demandantes de forma aislada o simultánea. En

consecuencia, es necesario disponer de técnicas de evaluación que puedan

ser aplicadas para medir los niveles de carga mental en diversas condiciones

de trabajo. Son múltiples los ejemplos de la aplicación con éxito de las técnicas

subjetivas, sin embargo las peculiaridades de cada puesto de trabajo y las

limitaciones propias de los diferentes instrumentos, obligan a refinar los

2

procedimientos existentes y a desarrollar nuevas técnicas. Los procedimientos

subjetivos disponibles para evaluar la carga mental destacan por poseer:

elevado nivel de sensibilidad, escasos requisitos de implementación, buena

aceptación por parte de los trabajadores, grado de intrusión prácticamente nulo

y niveles aceptables de validez. Sin embargo, una dificultad de estos, y el resto

de procedimientos de evaluación de la carga mental, es que todos ellos se han

desarrollado y aplicado en contextos de laboratorio y con muestras de

estudiantes, por lo que su aplicación en entornos laborales reales es todavía

limitada.

Un aspecto fundamental que resalta especialmente la Norma ISO

10075-3 (2005) es el relativo al estudio de la generalizabilidad de las técnicas

subjetivas. En este sentido, los estudios realizados encuentran una elevada

variabilidad interindividual, que puede dificultar en gran medida la

generalización de los resultados obtenidos. La Norma ISO 10075-3 publicada

como UNE en marzo de 2005 propone como criterios: objetividad, fiabilidad,

validez, sensibilidad, diagnosticidad, generalizabilidad y la utilizabilidad, es decir,

que los métodos de medida deben ser eficaces y eficientes y satisfacer las

necesidades del usuario, conseguir el nivel de precisión esperado en el ámbito de

medida previsto, y obtener los resultados deseados con los mínimos requisitos de

esfuerzo y capacidad.

Teniendo en cuenta todo lo anteriormente mencionado, se planteó el siguiente

objetivo general: Estudiar la generalizabilidad de dos instrumentos de

evaluación subjetiva de la carga mental, controlando el efecto de algunas

características individuales.

De este objetivo general se desprenden los siguientes objetivos concretos:

1. Análisis, descripción y clasificación de las demandas de las actividades

laborales/académicas de los sujetos participantes en el estudio, mediante la

aplicación de la técnica del Incidente Crítico.

2. Evaluación de las características individuales de la muestra: personalidad,

capacidad atencional, rendimiento, experiencia/antigüedad, edad y sexo

3

3. Análisis del efecto de las variables individuales sobre la medida subjetiva de

la carga mental proporcionada por ambos instrumentos.

4. Estudio de la sensibilidad de los dos instrumentos de evaluación de la carga

mental.

5. Análisis de la validez convergente del instrumento elaborado por el equipo

investigador, mediante el estudio de su relación con los datos

proporcionados por el instrumento Nasa-TLX.

6. Estudio de la validez convergente de ambos instrumentos de evaluación

subjetiva con medidas del rendimiento obtenidas en situaciones de doble

tarea, aplicando una batería de tareas experimentales.

7. Análisis de la fiabilidad de los instrumentos, entendida como consistencia

interna de los mismos.

8. Estudio de la generalizabilidad de la medida de la carga mental con dos

instrumentos (Nasa-TLX y la escala Demandas Cognitivas del DECORE,

instrumento desarrollado por el equipo investigador), bajo dos situaciones de

evaluación (real y laboratorio) y con tareas de distinto nivel de dificultad

objetiva, en dos tipos de muestras (estudiantes y trabajadores). Es decir,

estudio de la influencia de las diferentes fuentes de variación consideradas,

mediante la aplicación de análisis de generalizabilidad

La muestra estuvo formada por 840 personas, de los cuales el 59,2 %

eran mujeres y el 40,8% varones. La edad media de los participantes fue de

30,47 años, con una desviación típica de 11,55 años y una variación entre los

18 y los 63 años. De la muestra total, 398 personas (47,4%) eran estudiantes

universitarios y 442 (52,6%) eran trabajadores de diferentes puestos de trabajo.

Las distintas actividades profesionales consideradas fueron las siguientes:

personal administrativo, políticos, personal de seguridad, periodistas,

sanitarios, trabajadores de la hostelería y docentes-educadores.

Para realizar el estudio de generalizabilidad se utilizó un diseño cruzado

con tres facetas y condiciones siguientes: Faceta 1: Instrumento de evaluación

de la carga mental (Nasa-TLX - Instrumento propuesto “Demandas Cognitivas”

del DECORE); Faceta 2: Situación/contexto de evaluación (Situación real:

laboral/académica - Situación de laboratorio); Faceta 3: Complejidad de las

4

tareas (Complejidad baja - Complejidad alta). Para realizar el análisis del grado

de complejidad/demandas de las tareas laborales y de las tareas académicas, se

aplicó la Técnica de los Incidentes Críticos. Para ello se establecieron grupos de

expertos, que identificaron por acuerdo las tareas o funciones más importantes

de cada uno de los puestos de trabajo y el grado en el que cada función tenía

riesgo de producir carga mental.

Además, se recogieron medidas referidas a la personalidad, la capacidad,

la experiencia, el rendimiento, la edad y el sexo de los sujetos. El objetivo era

poder controlar el posible efecto mediador de este tipo de variables sobre la

percepción subjetiva de la carga mental.

Los resultaron encontrados permiten extraer las siguientes conclusiones

generales:

1. La fase de ponderación del NASA-TLX parece innecesaria, ya que se

obtuvieron correlaciones positivas y muy cercanas a la unidad entre

las puntuaciones ponderadas y sin ponderar.

2. El efecto de las diferencias individuales estudiadas fue muy limitado,

en todas las condiciones analizadas, con los dos instrumentos

empleados y para ambos tipos de muestras (estudiantes –

trabajadores).

3. Ambos instrumentos fueron sensibles a las variaciones en la

complejidad de los puestos y las tareas analizadas.

4. En cuanto a la validez convergente. Se obtuvieron coeficientes de

correlación positivos y significativos entre las valoraciones de carga

mental proporcionadas por ambos instrumentos de medida. Sin

embargo, no se encontraron coeficientes de correlación significativos

entre las puntuaciones de carga mental, con ambos instrumentos, y el

rendimiento.

5. Ambos instrumentos obtuvieron índices de fiabilidad altos y similares.

6. El estudio de generalizabilidad mostró que las principales fuentes de

variación en las valoraciones de carga mental eran debidas a la

situación de evaluación (real y de laboratorio) y a la interacción entre la

5

situación de evaluación y la muestra de sujetos (trabajadores y

estudiantes). El instrumento utilizado para evaluar la carga mental, y

las condiciones de dificultad tuvieron una importancia relativa muy

pequeña, por lo que se puede concluir que las puntuaciones obtenidas

son generalizables a ambos instrumentos y situaciones de dificultad.

ABSTRACT

As the National Institute of Occupational Safety and Health at Work

(INSHT), in its Technical Note of Prevention no. 575, has pointed out, mental

workload represents a fundamental aspect in the design and evaluation of the

working systems today. The levels of mental workload imposed by these

systems can be quite high by the need to perform various tasks in isolation or

simultaneously. Accordingly, there is a need to develop assessment techniques

that can be applied to measure levels of mental workload in various working

conditions. There are many examples of the successful implementation of the

subjective techniques, however, the peculiarities of each job and the limitations

of the different instruments, forced to refine the existing procedures and to

develop new techniques. The subjective procedures available to evaluate the

mental workload have high levels of sensitivity, minimal implementation

requirements, good acceptance by the workers, intrusiveness virtually zero and

acceptable levels of validity. However, a difficulty of these, and the rest of

evaluation procedures of the mental workload, is that all of them have been

developed and implemented in laboratory and using samples of students, so

that its application in real jobs is still limited.

A key aspect that particularly highlights the ISO 10075-3 (2005) is the

relative to the study of the generalizability of the subjective techniques. In this

sense, the studies have found a high inter individuals variability, which can

seriously impede the generalization of the results. The ISO 10075-3 proposed

as criteria that mental workload instruments have to arise: objectivity, reliability,

validity, sensitivity, diagnosticity, generalizability and usability. The

measurement methods should be effective and efficient and meet the needs of

6

the user, get the level of reliability expected in the specified field, and permit to

obtain the expected results with the minimum requirements of effort and

capacity.

Taking into account all the above, this research had the following general

goal: to study the generalizability of two instruments of subjective assessment

of the mental workload, controlling the effect of some individual characteristics.

The following specific goals were proposed:

1. Analysis, description and classification of the demands of the job/academic

tasks using Critical Incident Technique.

2. Assessment of the individual characteristics of the sample: personality,

attentional capacity, performance, experience/seniority, age and sex.

3. Analysis of the effect of individual variables on the subjective measure of

the mental workload provided by both instruments.

4. Study on the sensitivity of the two mental workload assessment instruments.

5. Analysis of the convergent validity of the instrument developed by the

research team members, through the relationship with the data provided by

the NASA-TLX instrument.

6. Study of the relation between the mental workload scores obtained with both

instruments and the subjects performance.

7. Analysis of the reliability of the instruments, as internal consistency.

8. Study of the generalizability of the two instruments (NASA-TLX and

“Cognitive Demands” Scale of DECORE, instrument developed by the

research team members), under two situations of evaluation (real and

laboratory), with tasks at different levels of difficulty, and two types of

samples (students and workers). In other words, study of the influence of

different sources of variation through the implementation of analysis of

generalizability.

7

The sample was formed by 840 subjects, of which the 59.2 % were women

and the 40.8% were men. The average age of the participants was 30.47 years,

with a standard deviation of 11.55 years and a variation between 18 and 63

years. Of the total sample, 398 subjects (47.4%) were university students and

442 (52.6%) were workers of different jobs.

A design with three facets was used. The facets and conditions were: Facet

1: instrument (NASA-TLX and Cognitive Demands Scale of DECORE); Facet 2:

Situation/context of evaluation (labor/academic and laboratory); Facet 3:

Complexity of the tasks (low and high). To make the analysis of the degree of

complexity/demands of the job and academic tasks, the Critical Incidents

Technique was applied. Groups of experts identified, by agreement, the tasks or

the most important functions of each of the jobs and the degree to which each

function had risk to produce mental workload.

In addition, the personality, experience, performance, age and sex of the

subject were measured. The aim was to control the possible effect mediator of

these variables on the subjective perception of the mental workload.

The results obtained allow to draw the following general conclusions:

1. The weighting phase of NASA-TLX seems unnecessary, since significant

and near to one positive correlations were found between weighted and

unweighted ratings.

2. The effect of the individual differences was very limited, in all conditions,

with the two instruments and for both samples (students and workers).

3. Both instruments were sensitive to changes in the complexity of the jobs

and the tasks analyzed.

4. With regard to the validity converged. Obtained correlation coefficients

positive and significant between the assessments of mental burden

provided by both measuring instruments. However, we found no

significant rates of correlation between the scores of mental burden, with

both instruments, and performance.

5. Both instruments obtained high and similar reliability coefficients.

8

6. The study of generalizability showed that the main sources of variation in

the mental workload scores were due to the situation of evaluation (real

and laboratory) and the interaction between the assessment situation

and the sample (workers and students). The instrument used to assess

the mental workload, and the difficulty conditions had a very small

relative importance, so that we can conclude that the mental workload

scores can be generalized to both instruments and task demand levels.

METODOLOGÍA

La muestra estuvo formada por 840 personas, de los cuales el 59,2 %

eran mujeres y el 40,8% varones. La edad media de los participantes fue de

30,47 años, con una desviación típica de 11,55 años y una variación entre los

18 y los 63 años. De la muestra total, 398 personas (47,4%) eran estudiantes

universitarios y 442 (52,6%) eran trabajadores de diferentes puestos de trabajo.

Las distintas actividades profesionales consideradas fueron las siguientes:

personal administrativo, políticos, personal de seguridad, periodistas,

sanitarios, trabajadores de la hostelería y docentes-educadores. Del grupo de

trabajadores, el 39,6% eran mujeres y el 60,4% varones. Su media de edad fue

de 39,85 años, con desviación típica (DT) de 9,85 y un rango de 19 a 63 años.

Del grupo de estudiantes, el 81,0% eran mujeres y el 19,0% varones. Su media

de edad fue de 22,05, con DT igual a 4,05 y un rango de 18 a 62 años.

El diseño y las variables utilizadas en la investigación fueron las

siguientes. Se utilizó un diseño cruzado con tres facetas y condiciones

siguientes:

Faceta 1: Instrumento de evaluación de la carga mental. 2 condiciones:

1.1. Nasa-TLX

1.2. Instrumento propuesto por el equipo investigador que

fue la escala “Demandas Cognitivas” del Cuestionario DECORE (Luceño y

Martín, 2008).

9

Faceta 2: Situación/contexto de evaluación. 2 condiciones:

2.1. Situación real: laboral/académica

2.2. Situación de laboratorio

Faceta 3: Complejidad de las tareas. 2 condiciones:

3.1. Complejidad baja

3.3. Complejidad alta

Faceta 1: Instrumento

Para evaluar la carga mental se utilizaron dos instrumentos subjetivos:

uno de ellos fue el Nasa-TLX y el otro desarrollado por el equipo investigador

Nuestro objetivo era comprobar si ambos instrumentos producen puntuaciones

de carga mental similares o convergentes.

Faceta 2: Situación

Todos los sujetos realizaron las evaluaciones de la carga mental en dos

situaciones: contexto real laboral (para la muestra de trabajadores) o académico

(para la muestra de estudiantes), y contexto de laboratorio.

Faceta 3: Complejidad de las tareas.

Además, a partir del análisis de las tareas laborales, académicas y

experimentales, se establecieron dos niveles de complejidad objetiva de las

mismas: dificultad baja y alta. Para realizar el análisis del grado de

complejidad/demandas de las tareas laborales, en el caso de la muestra de

trabajadores, y de las tareas académicas, en el caso de la muestra de

estudiantes, se aplicó la Técnica de los Incidentes Críticos. Se formaron grupos

de expertos (trabajadores y sus jefes inmediatos) que elaboraron y valoraron, por

acuerdo entre ellos, la diferentes tareas/funciones/comportamientos propias de

cada puesto. Una vez obtenidas las descripciones de los puestos, los expertos

10

estimaron el grado en el que cada función tenía riesgo de producir carga mental.

Teniendo en cuenta esta información, se establecieron dos niveles de

riesgo/complejidad/dificultad.

Además de evaluar la carga mental en las diferentes condiciones

mencionadas anteriormente, se recogieron medidas referidas a la personalidad,

la capacidad, la experiencia, el rendimiento, la edad y el sexo de los sujetos. El

objetivo era poder controlar el posible efecto mediador de este tipo de variables

sobre la percepción subjetiva de la carga mental. Cada una de estas variables

individuales fue evaluada de la siguiente forma:

Personalidad: se evaluó siguiendo el modelo de los cinco grandes factores

mediante el instrumento BFQ de Caprara, Barbaranelli y Borgogni (1995).

Capacidad atencional: se evaluó mediante el rendimiento de los sujetos en

las tareas experimentales.

Experiencia, edad y sexo: Estos datos fueron recogidos por medio de un

cuestionario de datos sociodemográficos en los que se analiza la experiencia

laboral de los trabajadores en su puesto de trabajo y la de los estudiantes (en

función de los años cursados).

Rendimiento laboral/académico: El cumplimiento de la Ley de Protección de

datos obligó a utilizar como medida del rendimiento laboral y académico de

los participantes en la investigación, la valoración subjetiva del mismo,

mediante una escala de 0 a 10 que se incluyó en el cuestionario de datos

sociodemográficos. Los sujetos evaluaron su rendimiento en el último año.

En cuanto al procedimiento seguido, en primer lugar se contactó con varias

empresas y grupos objetivo para solicitarles su colaboración en la participación

de esta investigación. El equipo investigador se reunió con los responsables de

cada unos de los grupos objeto de estudio para definir las tareas que

demandaban cada puesto de trabajo y el grado en el que podían producir carga

mental. Todos los participantes fueron informados de los objetivos del estudio y

de que su participación era completamente voluntaria y anónima. La recogida

de los datos se realizó en dos sesiones. En la primera, los sujetos debían

11

completar los cuestionarios de datos sociodemográficos, personalidad, etc..En

la segunda sesión, los sujetos realizaban las tareas experimentales propias de

la situación de evaluación de laboratorio. La duración de ambas sesiones fue

de unos 60 minutos aproximadamente, aunque no había límite de tiempo para

la realización de las pruebas. Se insistió en que no se trataba de un estudio

personal sino del puesto de trabajo, y de la voluntariedad y anonimato de las

pruebas, si bien se les ofreció la posibilidad de que si alguna persona estaba

interesada en conocer sus resultados, recordaran el código de sus

cuestionarios y el equipo investigador se los facilitaría personalmente. En la

situación de laboratorio se realizaban dos tareas: la tarea de búsqueda en la

memoria de Sternberg (con dos niveles de dificultad) y una tarea de

seguimiento manual o tracking (con dos niveles de dificultad). Todos los sujetos

realizaban primero ambas tareas de forma aislada y después conjuntamente.

Inmediatamente después de la finalización de cada tarea, los sujetos debían

evaluar la carga mental que les había producido utilizando el NASA-TLX.

RESULTADOS

A continuación se presentan los resultados obtenidos en relación a cada

uno de los objetivos específicos propuestos. En todos los casos, los análisis

estadísticos fueron realizados con el paquete SPSS 15.0 para Windows.

Descripción de los puestos de trabajo. A partir de reuniones con los

trabajadores y sus jefes inmediatos, se determinaron las funciones principales

de los diferentes puestos de trabajo considerados.

Análisis del nivel de demandas de las tareas laborales y académicas. Para

calcular el nivel de dificultad de cada función, reunimos a un grupo de 3

trabajadores y sus jefes inmediatos de cada puesto, y para evaluar el nivel de

riesgo de producir carga mental, valoraron de menos a más la dificultad y

frecuencia de cada función, siendo 1 menos difícil/menos frecuente y el valor

máximo (7,8,9) dependiendo del puesto de trabajo, la más difícil/más frecuente.

12

Una vez obtenida la valoración, se multiplicaron ambas puntuaciones (dificultad

y frecuencia) para obtener el nivel de riesgo de producir carga mental de cada

función, de tal manera que el producto más bajo significaba la función con

menos riesgo, y el producto más alto la de más riesgo, así aquella función que

fuese más difícil y frecuente sería la que en principio debería generar una

mayor carga mental. A partir del nivel de riesgo para cada función, se

clasificaron como de bajo o alto riesgo, determinando así los dos niveles de

demandas (altas demandas – bajas demandas). La mitad de las funciones con

menor puntuación fueron consideradas de bajo riesgo y la otra mitad, con

mayor puntuación, como de alto riesgo. En el caso de los puestos de trabajo

con un número de funciones impar se elimino la función intermedia. De esta

forma se calcularon dos puntuaciones de carga mental para cada uno de los

dos niveles de demandas del puesto: una ponderando por el peso inicial de

cada una de las dimensiones (carga ponderada), y otra en función de la media

aritmética de las estimaciones de carga de cada función proporcionadas por los

sujetos (carga media o sin ponderar). En todos los casos se obtuvieron valores

de la correlación muy elevados, cercanos a 1, lo cual indica que ambas formas

de cálculo producen estimaciones muy semejantes. Este resultado es acorde

con el obtenido por otros autores (Nygren, 1991; Rubio, 1992) y se repite

cuando se consideran las valoraciones de carga mental para las tareas

experimentales. Dado que algunos sujetos tuvieron problemas a la hora de

completar la fase de comparaciones binarias del NASA-TLX, y teniendo en

cuenta el resultado anterior, se decidió utilizar en todo momento las

puntuaciones medias no ponderadas. Estos resultados confirman, de acuerdo a

la bibliografía existente, que la fase de ponderación del NASA-TLX no es

necesaria (Nygren, 1991; Hendy y cols., 1993; Dickinson, Winston y Ryan,

1993; Moroney, Biers y Eggemeier, 1995, DiDomenico y Nussbaum, 2008).

Moroney y cols. (1995) señalaron un nivel de correlación de 0,94 entre los

valores ponderados y no ponderados del NASA-TLX, Byers y cols., (1989)

aumentaron este nivel hasta 0,98. En este estudio se han encontrado

correlaciones de 0,88 a 0,97 para las tareas experimentales, y de 0,94 a 0,96

para las tareas del puesto de trabajo.

13

Estudio de las variables de diferencias individuales. Los resultados obtenidos

para cada una de las variables individuales consideradas fueron los siguientes:

Sexo. Algunos puestos de trabajo son mayoritariamente ocupados por

mujeres, mientras que otros son mayoritariamente ocupados por

hombres. En general, parece que los puestos relacionados con la

seguridad (militares, policías, vigilantes) son mayoritariamente ocupados

por varones, mientras que trabajos administrativos, sanitarios, de

hostelería y servicios, por mujeres. Por otro lado, mientras que en el

grupo de estudiantes hay una mayoría de mujeres, en el grupo de

trabajadores es mayor el porcentaje de hombres.

Edad. Los más jóvenes son los estudiantes, los residentes y los

consultores. El grupo de mayor edad es el formado por Psicólogos. Los

estudiantes tienen una edad significativamente más baja que los

trabajadores.

Antigüedad en el puesto y experiencia laboral en puestos similares.

Los trabajadores que tienen una mayor antigüedad y experiencia son los

militares, los policías, los psicólogos y los jefes de equipo, mientras que

los vigilantes, los consultores y los residentes son los que tienen menor

antigüedad y experiencia. Los estudiantes obtienen puntuaciones

bastante más bajas.

Personalidad. Ambos grupos, trabajadores y estudiantes, presentan un

perfil de personalidad muy similar.

Ansiedad rasgo. Los estudiantes presentan un nivel de ansiedad rasgo

mayor que los trabajadores.

Capacidad atencional. Los estudiantes muestran una capacidad

atencional media algo mayor que los trabajadores.

Rendimiento. Todos los sujetos evaluaron su rendimiento en el último

año, en una escala de 0 a 10. Como era de esperable, la mayoría

obtiene niveles elevados de rendimiento, siendo un porcentaje muy bajo

los que dicen haber tenido un nivel de rendimiento muy bajo en el último

año. Todos los grupos obtienen un rendimiento medio superior a cinco,

que era la media de la escala. Los estudiantes y los pinches de cocina

son los que muestran un rendimiento más bajo, mientras que los

14

auxiliares de control son los que obtienen el rendimiento más alto. Los

estudiantes obtienen un rendimiento medio inferior al de los

trabajadores.

Efectos de las diferencias individuales sobre la carga mental. Para analizar el

efecto de las diferencias individuales sobre la carga mental subjetivas, dichas

variables fueron introducidas en análisis de covarianza. En todos los casos,

independientemente del instrumento utilizado para medir la carga mental, hay

que resaltar que aunque significativos, los valores de los coeficientes de

correlación fueron, en general bajos, por lo que no se encontraron importantes

efectos significativos de las variables de diferencias individuales. La conclusión

general de estos análisis fue que el peso o importancia de estas variables

como variables moduladoras de las puntuaciones de carga mental, es mínimo.

Sensibilidad de los instrumentos de evaluación de carga mental. La sensibilidad

de un instrumento de evaluación de la carga mental se establece en función del

grado en el que sus puntuaciones permiten diferenciar entre diferentes niveles

objetivos de dificultad o demandas. Por tanto, para analizar la sensibilidad de

los instrumentos de carga mental utilizados, se realizaron análisis comparativos

entre los diferentes puestos de trabajo, los diferentes niveles de complejidad, y

las distintas situaciones de evaluación. Se encontraron diferencias

significativas, lo cual permitió concluir que ambos instrumentos son sensibles a

las variaciones en los niveles de demanda de las tareas.

Validez convergente. Se analizó el grado de validez convergente entre las

puntuaciones de carga mental proporcionadas por el NASA-TLX y la escala

Demandas Cognitivas del DECORE. Para ello se calcularon las correlaciones

de Pearson entre ambos tipos de medidas, para la muestra total y para cada

uno de los grupos. Los resultados mostraron que aunque los valores de la

correlación no son muy elevados si son positivos y estadísticamente

significativos.

Relaciones entre carga mental y rendimiento. Se calculó la correlación de

Pearson entre las valoraciones de carga mental y el rendimiento de los sujetos,

15

en la situación real y en la de laboratorio. Los valores de las correlaciones

obtenidas indican que no existe relación entre el rendimiento y la valoración de

la carga mental obtenida con el NASA-TLX ni con la escala Demandas

Cognitivas del DECORE. Este resultado se confirma tanto para la situación de

laboratorio como para la situación de evaluación real.

Fiabilidad. La fiabilidad de ambos instrumentos, entendida como consistencia

interna de los mismos fue analizada utilizando el coeficiente α de Cronbach.

Ambos instrumentos mostraron índices de consistencia elevados, entre 0,71 y

0,88.

Generalizabilidad. El objetivo de los estudios de generalizabilidad es calcular

qué parte de la variabilidad o de la varianza de las puntuaciones o mediciones

observadas es atribuible a cada una de las facetas o condiciones y a sus

posibles interacciones. El conocimiento de estos valores permite optimizar el

instrumento de medida para posteriores estudios de decisión en un contexto

particular. El estudio de generalizabilidad mostró que las principales fuentes de

variación en las valoraciones de carga mental eran debidas a la situación de

evaluación (real y de laboratorio) y a la interacción entre la situación de

evaluación y la muestra de sujetos (trabajadores y estudiantes). El instrumento

utilizado para evaluar la carga mental, y las condiciones de dificultad tuvieron

una importancia relativa muy pequeña, por lo que se puede concluir que las

puntuaciones obtenidas son generalizables a ambos instrumentos y condiciones

de dificultad. Se realizaron, además análisis de generalizabilidad para los

diferentes grupos de trabajadores y estudiantes participantes en la investigación.

En este sentido, las principales fuentes de variación, en general, resultaron ser

de nuevo, las debidas al individuo, la situación de evaluación y la interacción

entre ambas facetas.

16

UTILIDAD PRÁCTICA DE LOS RESULTADOS OBTENIDOS EN RELACIÓN

CON LA PREVENCIÓN DE RIESGOS LABORALES

Según la definición dada por el Instituto Nacional de Seguridad e Higiene

en el Trabajo (2004), los factores de riesgo psicosocial son las condiciones

presentes en una situación laboral, directamente relacionadas con la

organización, el contenido del trabajo y la realización de la tarea, que pueden

afectar al bienestar, la salud y el rendimiento de los trabajadores. Entre estos

factores de riesgo psicosocial se incluyen las cargas de trabajo (cuantitativas y

cualitativas), las responsabilidades, la ambigüedad y el conflicto de roles, el

horario y el turno de trabajo, el apoyo social, o el contenido del trabajo, entre

otros aspectos. En este sentido, la carga mental representa uno de los más

importantes factores de riesgo psicosocial asociado a las características de la

tarea. Los resultados de la VI Encuesta Nacional de Condiciones de Trabajo

(INSHT, 2007), reflejan el aumento de la carga mental como factor de riesgo

laboral, ya que el 67% de los trabajadores manifestó estar sometido a elevadas

demandas de tipo cognitivo, y aproximadamente el 20% del total de trabajadores

encuestados respondió que siempre o casi siempre tenía que realizar varias

tareas al mismo tiempo durante su jornada laboral. De los resultados obtenidos

en la encuesta se concluye que existe una elevada relación entre las exigencias

del trabajo (mantener un nivel de atención alto o muy alto, atender a varias tareas

al mismo tiempo, realizar tareas complejas, complicadas o difíciles, disponer de

informaciones claras y suficientes o trabajar con ordenadores) y la consideración

del mismo como intelectual y emocionalmente exigente.

La carga mental puede producir un descenso en el rendimiento laboral y

un aumento en los sentimientos de insatisfacción, estrés y frustración de los

trabajadores. De forma similar, también encontraremos problemas en el

rendimiento y la satisfacción de los trabajadores cuando éstos se encuentran

sometidos a condiciones de infracarga. Así, se producirán efectos negativos en

todas las situaciones en las que los niveles de carga mental no son los

adecuados (González, Moreno y Garrosa, 2005; Wickens, Gordon y Liu, 1998),

bien por un exceso de demandas o porque éstas son insuficientes. La

gravedad de estos efectos negativos de la sobrecarga o la infracarga mental

17

está afectada por una serie de factores entre los que destacan variables de

personalidad, la motivación del individuo, el apoyo social recibido tanto dentro

como fuera del trabajo y la autonomía o control que puede ejercer el trabajador

sobre la manera en la que desarrollar su puesto de trabajo (ISO 10075).

Karasek y Theorell (1990) señalan que las condiciones de trabajo tienen

efectos sobre la salud y el rendimiento de los trabajadores. Según su modelo,

elevadas demandas psicológicas, combinadas con un escaso control del

individuo sobre su actividad laboral y un bajo apoyo social, pueden generar

estrés en el trabajador, cuyos efectos sobre la salud se extienden más allá de

la jornada laboral.

Estar expuesto a condiciones de carga mental en el trabajo puede producir

importantes problemas de salud en los trabajadores. La consecuencia más

directa es el estrés laboral (Rowlands, 2008; Rubio, Martín y Díaz, 1995; Salvador

y González-Bono, 1995) que, mantenido en el tiempo, puede dar lugar a

enfermedades cardiovasculares (Karasek, 1979; Karasek y Theorell, 1990;

Siegrist y Peater, 1996; Stansfeld y Marmot, 2002), trastornos

musculoesqueléticos (Stansfeld, Bosman, Hemingway, y Marmot, 1998),

depresión (Tsutsumi, Kayaba, Theorell, y Siegrist, 2001), abuso de sustancias,

trastornos psiquiátricos leves (Stansfeld, Fuhrer, Shipley, y Marmot, 1999);

burnout (Gil-Monte, Carretero, y Roldán, 2005; Moreno-Jiménez, Seminotti,

Garrosa, Rodríguez- Carvajal, y Morante, 2005; Topa, Fernández, y Lisbona,

2005; Boada, de Diego, y Agulló, 2004; López, Martín, Luceño, Jaén, 2008;

Luceño, Martín, Jaén y Díaz, 2006) y baja autopercepción de la salud (Pikhart,

Bobak, Siegrist, Pajak, Rywik, Kyshegye, Gostautas, Skodova, y Marmot, 2001).

Desde el punto de vista organizacional, la percepción de carga mental se

ha relacionado con rendimiento, absentismo laboral, accidentabilidad y una

mayor propensión a abandonar la organización (Luceño y Martín, 2005; Luceño,

Martín, Jaén, y Rubio, 2005; González-Romá y col., 2005; Tomás, Rodrigo, y

Oliver, 2005; Óscar, González-Camino, Bardera, y Peiró, 2003; González y

Gutiérrez, 2006; Rubio, Martín, Luceño y Jaén, 2007).

18

La carga mental constituye un tópico que reviste cada vez más importancia,

a medida que la moderna tecnología se introduce en los entornos laborales e

impone mayores demandas cognitivas a las personas encargadas de llevar a

cabo las tareas. Sin duda el estudio de la carga mental debe adaptarse al

proceso de complejidad que están sufriendo los sistemas de trabajo: entornos

multitarea, donde se deben manejar elevadas cantidades de información y

tomar decisiones continuamente. A medida que la información es más

abundante y compleja se incrementa la carga en los procesos sensoriales y

cognitivos, con alternancias tanto en la modalidad de los primeros como en la

implicación de los segundos, y en sus respectivas relevancias (Cremer, 2001).

Por todo ello, consideramos que los resultados obtenidos en esta

investigación pueden ser de gran utilidad para la prevención de riesgos

laborales.

En primer lugar, se han estudiado las funciones de diferentes puestos de

trabajo y determinado el nivel de riesgo que entraña cada una de ellas como

fuente posible de carga mental general de cada uno de los puestos.

Además, se ha medido la carga mental de cada una de dichas funciones,

por separado, lo cual permite clasificar las funciones en función de su nivel de

riesgo y detectar cuál o cuáles de ellas son valoradas por los trabajadores

como tareas con una carga mental elevada. A partir de este conocimiento, se

pueden diseñar intervenciones concretas para cada puesto, dirigidas a reducir

al máximo posible o a eliminar las situaciones de sobrecarga o de infracarga

desde el punto de vista cognitivo o mental.

Por otro lado, se ha realizado un estudio de la influencia de algunas

variables de diferencias individuales, que generalmente se señalan como

posibles variables moduladoras o influyentes en las valoraciones de carga

mental (ISO 10075), profundizando en el conocimiento sobre el efecto de estas

variables. En esta investigación, el efecto de estas variables ha sido en general

muy bajo, casi despreciable, si bien es posible que en otros puestos, o en

determinadas circunstancias, si se obtengan efectos importantes de las

diferencias individuales. Consideramos, por ello, que sería muy interesante

continuar estudiando el efecto de estas variables en otros tipos de puestos de

19

trabajo, con diferentes muestras e instrumentos de medida, así como la

investigación sobre la posible influencia de otras diferencias individuales como

el nivel de inteligencia, las aptitudes, la motivación, la autoestima, etc..,

especialmente, teniendo en cuenta que todavía no se dispone de información

científica suficientemente concluyente sobre este aspecto, en la bibliografía

existente.

Otra aportación del presente estudio, es el conocimiento acerca de

las características psicométricas de los dos instrumentos de evaluación

subjetiva de la carga mental utilizados. Ambos han resultado ser válidos,

sensibles, fiables y generalizables en diferentes niveles de demandas de las

tareas.

CONCLUSIONES FINALES Y POSIBLES RECOMENDACIONES

Los resultaron encontrados permiten extraer las siguientes conclusiones

generales:

1. La fase de ponderación del NASA-TLX parece innecesaria, ya que se

obtuvieron correlaciones positivas y muy cercanas a la unidad entre

las puntuaciones ponderadas y sin ponderar.

2. El efecto de las diferencias individuales estudiadas fue muy limitado,

en todas las condiciones analizadas, con los dos instrumentos

empleados y para ambos tipos de muestras (estudiantes –

trabajadores).

3. Ambos instrumentos fueron sensibles a las variaciones en la

complejidad de los puestos y las tareas analizadas.

4. En cuanto a la validez convergente. Se obtuvieron coeficientes de

correlación positivos y significativos entre las valoraciones de carga

mental proporcionadas por ambos instrumentos de medida. Sin

embargo, no se encontraron coeficientes de correlación significativos

entre las puntuaciones de carga mental, con ambos instrumentos, y el

rendimiento.

5. Ambos instrumentos obtuvieron índices de fiabilidad altos y similares.

20

6. El estudio de generalizabilidad mostró que las principales fuentes de

variación en las valoraciones de carga mental eran debidas a la

situación de evaluación (real y de laboratorio) y a la interacción entre la

situación de evaluación y la muestra de sujetos (trabajadores y

estudiantes). El instrumento utilizado para evaluar la carga mental, y

las condiciones de dificultad tuvieron una importancia relativa muy

pequeña, por lo que se puede concluir que las puntuaciones obtenidas

son generalizables a ambos instrumentos y situaciones de dificultad.

Es crucial que en las empresas, ya sean públicas o privadas, se

introduzcan programas de promoción de la salud de los trabajadores y de

prevención de riesgos laborales que tengan en cuenta la carga mental. Como

se señala en la Norma ISO 10075, la investigación futura debe ir encaminada al

desarrollo de instrumentos de evaluación más precisos y al conocimiento de

todos los factores que determinan la carga mental y su importancia. La

investigación realizada puede ser importante, pero no suficiente, por lo que se

debe continuar con el estudio de la carga mental y sus instrumentos de medida

bajo diferentes condiciones o situaciones laborales. En este sentido, el equipo

investigador tiene previsto continuar con diversas actividades y objetivos del

proyecto. En primer lugar, continuaremos con la difusión de los resultados

obtenidos, mediante la publicación de artículos en revistas científicas y la

presentación de comunicaciones a diferentes congresos de carácter tanto

nacional como internacional. De igual forma, continuaremos con la recogida de

datos adicionales, que en la medida de lo posible, permita aumentar los

tamaños muestrales de los grupos considerados en este estudio. Además,

continuaremos solicitando subvenciones a organismos tanto públicos como

privados, que nos permitan de alguna forma proseguir con esta línea de

investigación.

21

DIFUSIÓN Y EXPLOTACIÓN DE RESULTADOS

Los datos y productos desarrollados durante la investigación se entregan

en un CD adjunto al final de la memoria de actividades y de las conclusiones

finales. En este CD se incluyen los siguientes archivos:

Fichero de datos, en formato SPSS

Programa informático para la presentación de las tareas experimentales

Ponencia presentada al Congreso Internacional de la SEAS (Sociedad

Española para el Estudio de la Ansiedad y el Estrés) celebrado en

Benidorm en septiembre de 2008.

Publicaciones:

o Tesis doctoral de Dña. María Inmaculada López Núñez.

Defendida el 25 de septiembre de 2009 en la Facultad de

Psicología de la UCM. Obtuvo la calificación de Sobresaliente

Cum Laude por Unanimidad y será publicada en breve por el

Servicio de Publicaciones de la Universidad Complutense de

Madrid.

o Artículo enviado para su publicación a la revista científica

Edupsyke (en proceso de revisión)

o Artículo enviado para su publicación a la revista científica

Ansiedad y Estrés (aceptado para su publicación en este año

2010).

o Artículo enviado para su publicación a la revista científica

Psicología del Trabajo y las Organizaciones (en proceso de

revisión).

22

BIBLIOGRAFÍA

Boada, J., De diego, R., y Agulló, E. (2004). El burnout y las

manifestaciones psicosomáticas como consecuentes del clima

organizacional y de la motivación laboral. Psicothema, 16(1), 125-131.

Byers, J.C., Bittner, A.C., Hill, S.G. (1989). Traditional and raw Task Load

Index (TLX) correlations: Are paired comparisons necessary?. En A. Mital

(ed.) Advances in industrial ergonomics and safety. Vol. 1. London: Taylor

and Francis, 481-485.

Caprara, G. V., Barbanelli, C. Y Borgogni, L. (1995): BFQ: Cuestionario Big

Five. Madrid: TEA Ediciones.

Cremer, R. (2001). Mental Workability and a n Increasing Life Span. En

Karwowski (ed.) International Encyclopedia of Ergonomics and Human

Factors. Londres: Taylor & Francis.

Dickinson, J.B., Winston, D. Y Ryan, L.A. (1993). Order effects and the

weighting process in workload assessment. Applied Ergonomics, 24, 357-361.

Didomenico, A. Y Nussbaum, M.A. (2008). Interactive effects of physical and

mental workload on subjective workload assessment. International Jorunal of

Industrial Ergonomics 38 (2008) 977-983.

Gil-Monte, P. R., Carretero, N., y Roldán, M. D. (2005). Algunos procesos

psicosociales sobre el síndrome de quemarse por el trabajo (burnout) en

profesionales de enfermería. Ansiedad y Estrés, 11(2-3), 281-290.

González, E. y Gutiérrez, R. (2006). La carga de trabajo mental como factor

de riesgo de estrés en trabajadores de la industria electrónica. Revista

latinoamericana de psicología 38,2, 259-270.

González-Gutiérrez, J. L., Moreno-Jiménez, B. y Garrosa, E. (2005). Carga

Mental y Fatiga Laboral. Madrid: Pirámide.

González-Romá, V., Väänänen, A., Ripoll, P., Caballer, A., Peiró, J.M., y

Kivimäki, M. (2005). Psychological climate, sickness absence and gender.

Psicothema, 17(1), 169-174

23

Hendy, K., Liao, J. Y Milgram, P. (1993). Combining time and intensity

effects in assessing operator information processing load. Human Factors,

39, 30-47.

Instituto Nacional de Seguridad e Higiene en el Trabajo (2004): V Encuesta

Nacional de Condiciones de Trabajo. Madrid: INSHT.

Instituto Nacional de Seguridad e Higiene en el Trabajo (2007): VI Encuesta

Nacional de Condiciones de Trabajo. Madrid: INSHT.

ISO 10075 (1991). Ergonomic Principles Related to Mental Work-Load.

General Terms and Definitions. Geneva: ISO.

ISO 10075-3 (2005). Ergonomic principles related to mental work-load. Part

3: Principles and requirements concerning methods for measuring and

assessing mental workload. Geneva: ISO.

Karasek, R.A. (1979). Job demands, job decision latitude, mental strain:

Implications for job redesign. Administrate Science Quarterly, 24, 285-308.

Karasek, R., y Theorell, T. (1990). Healthy Work, Stress, Productivity and

the Reconstruction of Working Life. Nueva York: Basic Books.

López, M. I., Martín, J., Luceño, L., Jaén, M., (2008). Síndrome de Burnout:

Cuando los trabajadores se queman. Cuadernos de Seguridad, 219, 109-

111.

Luceño, L., y Martín, J. (2005). Estrés laboral: factores estresantes y

adaptación. En J.L. Arco Tirado (ed.), Estrés y Trabajo: Cómo Hacerlos

Compatibles. Sevilla: Instituto Andaluz de Administraciones Públicas.

Luceño, L. y Martín, J. (2008). DECORE. Cuestionario de evaluación de

riesgos psicosociales. Madrid: TEA.

Luceño, L., Martín, J., Jaén, M., y Díaz, E. (2006). Factores psicosociales y

rasgo de ansiedad como predictores de estrés y satisfacción. Ansiedad y

Estrés, 12, 1, 89-97.

24

Luceño, M. L; Martín, J.; Jaén, M; Rubio, S. (2005). Factores psicosociales

adversos y enfermedad laboral. Cuadernos de Seguridad, 196, 63-68.

Moreno-Jiménez, B., Seminotti, R., Garrosa, R.E., Rodríguez-Carvajal, R., y

Morante, M.E. (2005). El burnout médico: la ansiedad y los procesos de

afrontamiento como factores intervinientes. Ansiedad y Estrés, 11(1), 87-

100.

Moroney, W. F., Biers, D. W. Y Eggemeier, F. T. (1995). Some measurement

and methodological considerations in the aplication of subjective workload

measurement techniques. The international journal of aviation psychology, 5,

87-106.

Nygren, T. E. (1991). Psychometric properties of subjective workload

techniques: implications for their use in the assessment of perceived mental

workload. Human Factors, 33, 1, 17-33.

Óscar, A., González-Camino, G., Bardera, P., y Peiró, J.M. (2003). Estrés

de rol y su influencia sobre el bienestar psíquico y físico en soldados

profesionales. Psicothema, 15, 1, 54-57.

Pikhart, H., Bobak, M., Siegrist, J., Pajak, A., Rywik, S., Khyshegye, J.,

Gostautas, A., Skodova, Z., y Marmot, M. (2001). Psychosocial work

characteristics and self-rated health in four postcommunist countries.

Journal of Epidemiology and Community Health, 55, 624-630.

Rowlans, R. (2008). Stress agender. Occupational Health, 60, 6, 26-27.

Rubio, S. (1992). Evaluación y medida de la carga mental en una tarea de

diagnóstico de fallos. Madrid: UCM.

Rubio, S., Martín, J., y Díaz, E. (1995). Carga mental y estrés: dos

conceptos relacionados. Ansiedad y Estrés, 1, (2-3), 131-139.

Rubio, S., Martín, J., Luceño, L., y Jaén, M. (2007). Carga mental percibida

y rendimiento laboral en vigilantes de seguridad. Ansiedad y Estrés, 13, 1,

1-12.

25

Salvador, A., y González-Bono, E. (1995). Trastornos psicofisiológicos

asociados al estrés laboral. Ansiedad y Estrés, 1, (2-3), 157-171.

Siegrist, J., y Peter, R. (1996). Treat to occupational status control and

cardiovascular risk. Israeli Journal of Medical Science, 32, 179-184.

Stansfeld, S.A., y Marmot, M.G. (2002). Stress and the Heart. Psychosocial

Pathways to Coronary Heart Disease. Londres: BMJ Books.

Stansfeld, S.A., Bosman, H., Hemingway, H., y Marmot, M.G. (1998).

Psychosocial work characteristics and social support as predictors of SF-36

health functioning: The Whitehall II Study. Psychosomatic Medicine, 60,

247-255.

Stansfeld, S.A., Fuhrer, R., Shipley, M.J., y Marmot, M.G. (1999). Work

characteristics predict psychiatric disorder: prospective result from the

Whitehall II study. Occupational and Environmental Medicine, 56, 302-307.

Tomás, J.M., Rodrigo, M., y Oliver, A. (2005). Modelos lineales y no lineales

en la explicación de la siniestralidad laboral. Psicothema, 17,1, 154-163.

Topa, G., Fernández, I., y Lisbona, A. (2005). Ruptura de contrato

psicológico y burnout en equipos de intervención en emergencias y

catástrofes. Ansiedad y Estrés, 11(2-3), 265-279.

Tsutsumi, A., Kayaba, K., Theorell, T., y Siegrist, J. (2001). Association

between job stress and depression among Japanese employees threatened

by job loss in comparison between two complementary job stress models.

Scandinavian Journal of Work and Environment Health, 27, 146-153.

Wickens, C. D, Gordon, S. E. y Liu, Y. (1998). An Introduction to Human

Factors Engineering. Nueva York: Longman.