Utilidad de los Métodos de Pretest para la Evaluación de los ...

TESIS DOCTORAL

Utilidad de los Métodos de Pretest para la Evaluación de los Cuestionarios en la

Investigación mediante Encuesta

Autor: Miguel Castillo Díaz

Director: Dr. José Luís Padilla García

Co-directora: Dra. Juana Gómez Benito

Tesis presentada en el Programa de Doctorado:

“Análisis Psicológico de los Problemas Sociales”

Investigación desarrollada gracias a la concesión de una beca predoctoral de Formación del

Profesorado Universitario por el Ministerio de Educación y Ciencia.

REFERENCIA: AP2005-4018

Departamento de Psicología Social y Metodología de las Ciencias del Comportamiento.

UNIVERSIDAD DE GRANADA

Granada, 2009.

Editor: Editorial de la Universidad de GranadaAutor: Miguel Castillo DíazD.L.: GR 1489-2010ISBN: 978-84-693-0728-1

3

AGRADECIMIENTOS

Recuerdo perfectamente la decisión que tomé hace ya muchos años, incluso recuerdo

el momento y el lugar. Tras un día de clase en el segundo curso de la licenciatura de

Psicología, bajaba por la Calle Doctor Oloriz, cuando me dí cuenta que la carrera no iba a ser

suficiente para adquirir todos los conocimientos que yo quería tener sobre la psicología. Allí,

hace unos 9 años, decidí que después de terminar la licenciatura en Psicología, seguiría

estudiando para obtener el título de Doctor.

Tras esa decisión se sucedieron una serie de acontecimientos que facilitaron el haber

llegado hoy hasta aquí. El acontecimiento más importante fue cuando José Luís apareció en

mi vida dando clase de Psicometría y Elaboración de Test. Jamás pude imaginar que aquel

profesor, al que los alumnos rápidamente le sacamos un “parecido razonable” con Javier

Cámara, iba a convertirse en una persona tan importante en los siguientes años. José Luís me

propuso colaborar, por aquel entonces, en el informe de autoevaluación de la Facultad de

Psicología. Aquella colaboración marcó el inicio de mi interés por la investigación. Después,

conseguí unas tres becas durante la carrera que José Luís me tutorizó y que fueron

alimentando ese gusanillo por los estudios y la investigación. Tras todo esto llegaron más

colaboraciones, estudios, congresos, las tutorías en la UNED, la beca predoctoral, estancias,

las clases en la Universidad de Granada, etc. Quiero agradecerte José Luís la dedicación tan

grande que has tenido conmigo, el interés que siempre has mostrado en mi formación y en mi

evolución y sobre todo, te quiero agradecer la enorme confianza que siempre has depositado

en mí.

Durante todo este tiempo he estado trabajando con Andrés, Alba e Isa, a los que

también quiero agradecer su compañía y el aporte que cada uno ha hecho a la tesis. Sobre

todo a Isa, prácticamente hemos sido los únicos becarios del área de metodología y hemos

compartido muchas horas de trabajo, entrevistas, viajes interminables, buenos desayunos,

entregas de proyectos el último día a última hora, reuniones (por decir algo) indescriptibles,

etc., como diría el “matas”: “en menudas plazas hemos toreado”. Muchas gracias por haber

estado ahí Isabelita, y por tu gran amistad.

4

He tenido una base, guía y apoyo incondicional en mi familia. Quiero agradecerles,

sobre a todo a mis padres, el haber estado ahí para escucharme y haberme motivado a seguir,

a seguir y a seguir. Muchas gracias por todo lo que me habeis dado.

Bueno, queda una persona a la que tengo muchísimo que agradecer, aunque ella diría

que no, jeje. Cansado de andar entre vibraciones bajas, crucé la sierra de Parapanda y fui a

buscarla. La busqué porque quería dar luz a mi vida y ella me dio el mejor regalo del mundo.

Se convirtió en mi Imo y consiguió que me encontrara conmigo mismo. Pilarcilla, gracias por

tu alegría, tu transparencia, tu inocencia, tu amor, tu compromiso, tu autenticidad y por haber

estado conmigo en todos y cada uno de los momentos de la tesis.

5

Índice de Contenidos INTRODUCCIÓN ..................................................................................................................... 8 CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES..................................................... 18

1. Introducción ................................................................................................................. 19 2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios.................................. 19 3. Origen del Movimiento: Cognitive Aspects of Survey Methodology ......................... 22 4. El Modelo del Proceso Pregunta-Respuesta................................................................. 24 5. Aplicación del Movimiento CASM ............................................................................. 29 6. Referencias ................................................................................................................... 30

CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE PRETEST DE CUESTIONARIOS .................................................................................................................. 36

1. Introducción ................................................................................................................. 37 2. Latencia de Respuesta .................................................................................................. 38 3. Respondent Debriefings ............................................................................................... 39 4. Análisis de Viñetas....................................................................................................... 39 5. Experimentos................................................................................................................ 40 6. Codificación del Comportamiento ............................................................................... 41

6.1. Esquemas de Codificación ..................................................................................... 42 6.2. Análisis de los Datos .............................................................................................. 48

7. La Entrevista Cognitiva................................................................................................ 49 7.1. La Validez del Informe Verbal ............................................................................... 50 7.2. Paradigmas de Aplicación ..................................................................................... 53 7.3. Contextualización y Procedimiento ....................................................................... 59 7.4. Análisis de los Datos .............................................................................................. 63 7.5. Errores en los Resultados ...................................................................................... 68 7.6. Limitaciones de la Entrevista Cognitiva ................................................................ 71

8. Referencias ................................................................................................................... 72 CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE PRETEST DE CUESTIONARIOS .................................................................................................................. 80

1. Introducción ................................................................................................................. 81 2. Estudio 1: Búsqueda Indexada ..................................................................................... 82

2.1. Método.................................................................................................................... 82 2.2. Resultados .............................................................................................................. 84 2.3. Discusión ................................................................................................................ 88

3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida................................................... 88 3.1. Método.................................................................................................................... 89 3.2. Resultados .............................................................................................................. 90 3.3. Discusión ................................................................................................................ 94

4. Conclusiones ................................................................................................................ 95 5. Referencias ................................................................................................................... 96

CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES DIRECTOS VS. INFORMANTES PROXY....................................................................................................... 98

1. Introducción ................................................................................................................. 99 2. Método ........................................................................................................................ 102

2.1. Participantes ........................................................................................................ 102 2.2. Materiales............................................................................................................. 103 2.3. Procedimiento ...................................................................................................... 106 2.4. Esquema de Análisis de las Entrevistas Cognitivas............................................. 107

3. Resultados ................................................................................................................... 109

6

3.1. Convergencia de las respuestas a las preguntas target ....................................... 109 3.2. Convergencia de los procesos de respuesta......................................................... 110 3.3. Identificación de las diferencias en los procesos de respuesta............................ 112 3.4. Procesos de respuesta en función del tipo de pregunta ....................................... 115

3. Discusión.................................................................................................................... 117 5. Referencias .................................................................................................................. 119 6. Anexo .......................................................................................................................... 123

CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA PSICOLÓGICA .......... 136 1. Introducción ............................................................................................................... 137 2. Método ........................................................................................................................ 140

2.1. Participantes ........................................................................................................ 140 2.1. Materiales........................................................................................................... 142 2.2. Procedimiento .................................................................................................... 143 2.3. Esquemas de Análisis ......................................................................................... 144

3. Resultados .................................................................................................................. 147 3.1. Codificación del Comportamiento ..................................................................... 148 3.2. Entrevista Cognitiva........................................................................................... 150

4. Discusión.................................................................................................................... 154 5. Referencias .................................................................................................................. 157 6. Anexo .......................................................................................................................... 160

CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN ......................... 164 1. Conclusiones Generales ............................................................................................. 165 2. Limitaciones ............................................................................................................... 168

2.1. Estudios bibliométricos ........................................................................................ 169 2.2. Procesos de respuesta informantes proxy vs. informantes directos..................... 170 2.3. Errores de respuesta en una escala psicológica .................................................. 172

3. Futuras líneas de investigación .................................................................................. 175

8

INTRODUCCIÓN

Introducción

9

Ya seamos investigadores sociales, geólogos o enfermeros, aplicando la encuesta de

población activa, midiendo la dureza de los minerales o la tensión arterial del paciente,

debemos asegurar que los instrumentos de medida que estamos utilizando sean válidos,

fiables, sensibles y carentes de sesgo. Al igual que el enfermero es capaz de utilizar el

esfingomanómetro para acceder a una medida válida de la tensión arterial del paciente, o el

geólogo utiliza la escala de Mohs para comprobar sin sesgo alguno la dureza de un mineral

frente a otro, el investigador social debe obtener un índice de población activa válido y fiable.

En otras palabras, el investigador social debe asegurar que: (a) las preguntas de la

encuesta miden las conductas o conceptos que realmente él quiere medir; (b) los datos

obtenidos con la encuesta representan los valores “verdaderos” de esas variables y carecen de

algún tipo de variabilidad no debida a dichos valores “verdaderos”; (c) las preguntas de la

encuesta son lo suficientemente sensibles como para medir diferencias o cambios reales en la

persona; y (d) su estudio cubre todas las dimensiones que implica el objeto de medición

(Fowler, 1995).

Durante la primera clase de una asignatura del área de metodología en el grado de

Psicología, pedí a cinco alumnos que estaban sentados en la primera fila del aula que

contestaran a la siguiente pregunta: “¿Está satisfecho con la ayuda que recibe de su familia

cuando tiene un problema? Casi Nunca, A Veces o Casi Siempre”. Esta pregunta fue incluida

en una encuesta de salud que se realizó nivel nacional en el año 2007. Con el fin de ilustrar a

los alumnos una de las problemáticas de la medición por encuesta, a continuación les pregunté

qué habían entendido por la palabra “familia”; es decir, les pedí que me explicaran qué habían

entendido ellos por “familia” y a qué personas incluían en la misma. La variación en el

concepto de familia entre estos cinco alumnos fue considerable. Dos estudiantes afirmaron

que su familia estaba compuesta por las personas que vivían en su casa; estos eran sus padres

y sus hermanos. Otro alumno expuso que su familia eran las personas que vivían en su casa, y

además sus abuelos, sus tíos y primos maternos con los que mantenía un contacto frecuente.

Un cuarto alumno explicó que su familia solamente se componía de su madre. El quinto

incluyó en su concepto de familia a sus amigos, excluyendo a cualquier pariente (“para mí, mi

familia son mis amigos…lo que yo considero familia son tres amigos que siempre estamos

juntos”). Imagínese el lector que los cinco alumnos hubieran contestado, que de hecho lo

hicieron, la misma respuesta: “casi siempre”, ¿sería lícito comparar estas cinco respuestas o

establecerlas al mismo nivel, dadas las diferentes interpretaciones que cada alumno hace del

Introducción

10

concepto “familia”? ¿Estaría esta hipotética medición por encuesta cargada de error? Esta

situación artificial creada en clase ejemplifica una de las fuentes de error con las que

históricamente ha tenido que lidiar la investigación por encuesta. A continuación, se expone

de forma ampliada las fuentes de error en la medición por encuesta por su relevancia en los

objetivos y contenidos de la tesis.

Fuentes de error en las encuestas

Antes de comenzar a tratar los errores en las encuestas, es necesario, en primer lugar,

situar a la encuesta dentro del contexto de investigación científica y social. El uso de la

encuesta ha sido predominante desde la segunda mitad del siglo XX, tanto en las ciencias

sociales, como en el campo de la salud y la economía, e incluso en las disciplinas

representadas por la ciencia “pura” (Converse & Presser, 1986).

El “supuesto” subyacente a toda la historia y evolución de la investigación por

encuesta ha sido la precisión de la información que podemos obtener simplemente

preguntando a una muestra de personas (encuestados) y, posteriormente, usar esta

información para estimar en qué medida se puede generalizar a la población (Stone, Turkkan,

& Bachrach, 1999). La pregunta es obvia, ¿podemos obtener información útil simplemente

preguntando por ella? No obstante, la respuesta no es evidente, y en algunos puntos de la

historia ha sido científicamente puesta en tela de juicio (Willis, 2005).

La primera clasificación de las fuentes de error en las encuestas, dividió a las mismas

en errores de muestreo y errores de no muestreo basándose en los diferentes usos que se

hacía de los datos de las encuestas (Groves, 1989). Tal y como especificó Groves (1989),

había dos grupos fundamentales de usuarios de los datos de las encuestas, estos eran los

describers y los modelers. Por un lado, los describers estaban interesados en conocer alguna

propiedad de un conjunto específico de personas (p. ej., la tasa de desempleo de una

población en Marzo de 1989). Por otro lado, la motivación de los modelers en el uso de la

encuesta venía determinada por las hipótesis propuestas sobre las causas de ciertos fenómenos

sociales (p. ej., ¿poseer un amplio repertorio de habilidades reduce el riesgo de desempleo?).

En base a estos dos diferentes propósitos en el uso de los datos de las encuestas, los dos

grupos de usuarios se interesaron por distintas debilidades y fortalezas de la metodología de

Introducción

11

encuesta. Los describers focalizaron sus esfuerzos en comprobar si la muestra que se utilizaba

en la encuesta era representativa de la población objetivo de la que querían extraer ciertas

características, mientras que los modelers se enfocaron en si las medidas de la encuesta

podían captar los conceptos implicados en sus teorías. De este modo, un grupo de

profesionales de la investigación por encuesta, formado principalmente por estadísticos,

abordó los errores de muestreo buscando obtener una mayor representatividad de la muestra

utilizada, por ejemplo, aumentando el tamaño de la misma, ajustando las probabilidades de

selección de diferentes grupos o utilizando cluster con el fin de aumentar la eficiencia del

muestreo. Otro grupo de profesionales, en este caso formado principalmente por teóricos de

las ciencias sociales o del comportamiento humano, investigaron los errores de no muestreo.

Por ejemplo, buscando la mejor forma de redactar las preguntas de las encuestas para eliminar

ciertos problemas de medición, contactando con las personas seleccionadas para aumentar la

cooperación, y reducir la no respuesta, o entrenando a los encuestadores para obtener

muestras de conducta consistentes de los encuestados.

Basándose en esta primera división de Groves sobre las fuentes de error en los datos

de las encuestas, se han desarrollado diferentes clasificaciones. En este caso, y partiendo de

una amplia aproximación, se va a presentar la clasificación acuñada por Willis (2005) que

contempla la perspectiva de un estadístico (Groves, 1991) y de un diseñador de encuestas

(Oppenheim, 1966). Esta clasificación divide los errores asociados a los procesos de encuesta

en siete categorías principales. La Figura I.1 muestra dicha clasificación. Los diseñadores de

cuestionarios normalmente no se dedican a los errores de muestreo o los errores de

cobertura, siendo estos problemas generalmente tratados por estadísticos. Además, aunque se

puede (y debería) considerar por qué las personas no quieren participar en las encuestas o por

qué un ítem se deja sin contestar, los diseñadores de cuestionarios apenas abordan la

problemática de los errores de no respuesta. De forma similar, tampoco se esfuerzan en

comprobar exactamente qué es lo que se está haciendo con los datos después de ser recogidos,

con la importante excepción de que sí asesoran sobre cómo pueden aparecer los errores de

interpretación. Los diseñadores de cuestionarios principalmente enfocan sus esfuerzos, en

primer lugar, en el estudio de los errores de respuesta y, en segundo lugar, en los errores del

entrevistador.

Introducción

12

Figura I. 1. Principales Fuentes de Error en las Encuestas

1. Errores de no-observación: ¿Estamos encuestando a las personas correctas?

a. Error de Cobertura: Ciertas personas o unidades pueden no ser incluidas en la

encuesta. Por ejemplo, las encuestas telefónicas no cubren a las personas que no

tienen teléfono.

b. Error de Muestreo: Debido a que se realiza una selección de la muestra en lugar

de preguntar a toda la población, podríamos seleccionar a individuos que no son

representativos de la población.

c. Errores de No Respuesta: Si alguna persona que pertenece a la muestra no

contesta la encuesta (porque no sea localizada o renuncia a participar, etc.) o

alguna o pregunta, esta situación produce un sesgo.

2. Errores de observación: ¿Estamos obteniendo la respuesta correcta?

a. Error del Entrevistador: Los entrevistadores pueden leer de forma incorrecta la

pregunta, cometer errores en el registro de la respuesta, etc.

b. Error de Respuesta: Las características de las preguntas y el procesamiento que

lleva a cabo el encuestado de dichas preguntas pueden llevar a respuestas

incorrectas.

3. Errores de post-observación: ¿Estamos tratando de forma correcta los datos?

a. Error de Procesamiento: Los datos pueden ser analizados o procesados de

forma incorrecta.

b. Error de Interpretación: ¿Se llevan a cabo inferencias adecuadas basadas en los

resultados obtenidos?

Fuente: Willis (2005)

Un error de respuesta, a simple vista, es aquel que representa la discrepancia entre una

teórica puntuación “verdadera” y la respuesta que el encuestado ofrece (p. ej., si durante el

último año ha ido al médico de familia cinco veces y sólo dice que ha ido tres) (Willis, 2005).

Estos problemas, debidos a ciertas características incluidas en el texto de las preguntas de la

encuesta y al procesamiento que cada participante realiza de dicha pregunta, son los que

estaban ocurriendo en el ejemplo utilizado al comienzo de la introducción sobre la

interpretación del concepto de “familia”. En ese ejemplo cuatro de los cinco alumnos estaban

realizando una interpretación distinta de un concepto clave (familia) en el texto de la

pregunta. De este modo, el valor “verdadero” que se pretende extraer de cada alumno en la

variable a medir (apoyo familiar) sería difícilmente comparable con el resto. Este tipo de error

Introducción

13

denominado como “errores de respuesta”, también ha sido tratado desde otras disciplinas

comunes, por ejemplo, desde la Psicometría. La concepción del “error de respuesta”, que

llevan a cabo los profesionales de la investigación por encuesta, posee un claro paralelismo

con la definición más común de “error de medida” en Psicometría. Esa necesidad de acceso a

los errores de respuesta y eliminación de los mismos con el fin de obtener los niveles

“verdaderos” de los participantes en las variables a medir en la investigación social, se

corresponde claramente con la necesidad de acceder a la clásica puntuación verdadera que el

participante posee de un atributo psicológico (Guilford, 1954). Con ciertos matices, se puede

establecer que estos errores de respuesta presentados en la Figura I. 1 se corresponden con los

errores de medida establecidos por la Teoría Clásica de Test en la medición psicológica.

Los errores de respuesta con frecuencia se pasan por alto ya que son difícilmente

cuantificables (Groves, 1991). Por ejemplo, si los resultados de una encuesta aparecen en

algún medio de comunicación se suelen establecer afirmaciones, tales como: “el nivel de error

general está alrededor del 3%”. Sin embargo, este nivel de “error general” es realmente una

medida del error de muestreo. Los niveles de otras fuentes de error, principalmente de los

errores de respuesta, son desconocidos y podrían tener tales dimensiones que incluso llegarían

a absorber por completo el error debido a una equivocada selección de la muestra.

Hay una amplia variedad de razones acerca de por qué las preguntas de los

cuestionarios producen errores de respuesta. Existe la posibilidad de que los encuestados no

tengan la información que se les pide, que no puedan recordarla, que no quieran hablar sobre

esta temática, que estén malinterpretando ciertos conceptos de la pregunta o la pregunta por

completo y ofrezcan respuestas erróneas, etc.

Acceder a los errores de respuesta y evitarlos es básico para la utilización de las

encuestas y para la calidad de sus resultados, ya que si la información que ofrece el

encuestado no se ajusta a los niveles “verdaderos” que dicho encuestado posee en las

variables a medir, todos los esfuerzos enfocados a seleccionar una muestra representativa, a

encuestar a todos los individuos de dicha muestra, a que todas las preguntas de los

cuestionarios sean cubiertas, a que los datos se procesen de forma correcta y se apliquen los

mejores métodos de análisis… estarían carentes de utilidad y de valor alguno. De acuerdo con

Willis (2005): “los errores de respuesta son el mayor impedimento para la calidad de los

resultados de la encuesta” y continúa con que “el diseño de cuestionarios, que estén lo

Introducción

14

suficientemente libres de este tipo de error, conlleva un proceso complejo que requiere del uso

de principios sistemáticos tanto para el diseño del cuestionario como para su evaluación”

(p.15).

Objetivo y Estructura

En base a todo lo anteriormente expuesto, el objetivo general de la tesis es mostrar

cómo se puede acceder, identificar y, por tanto, reducir los errores de respuesta mediante los

métodos de pretest de cuestionarios. Se expondrá la utilidad de estos métodos para optimizar:

a) los datos extraídos de los cuestionarios usados en las encuestas, y b) los datos extraídos de

las escalas psicológicas usadas en las encuestas.

La tesis se estructura en cinco capítulos, dos primeros de contenido teórico y tres

restantes de contenido empírico. La estructura es la siguiente:

1. Capítulo I. Antecedentes: El Capítulo I tiene como objetivos: introducir los

antecedentes que dieron origen al desarrollo de los métodos de pretest e

introducir el marco teórico subyacente a los métodos de pretest cognitivos.

2. Capítulo II. Descripción de los métodos: Este capítulo muestra al lector una

amplia revisión de los distintos métodos de pretest de cuestionarios,

centrándose en aquellos utilizados en las investigaciones que componen la

tesis, concretamente, en la entrevista cognitiva y en la codificación del

comportamiento. En otras palabras, este segundo capítulo pretende exponer

una visión general de los métodos de pretest y una detallada descripción de la

entrevista cognitiva y la codificación del comportamiento.

3. Capítulo III. Estado actual de los métodos de pretest cognitivos: Esta

primera investigación se ha situado como punto de partida y conexión entre la

primera parte teórica y la segunda parte empírica de la tesis. El capítulo trata

sobre el estado actual de los métodos de pretest cognitivo. Como por ejemplo,

qué cantidad de profesionales están implicados en el área y dónde trabajan

dichos profesionales, cuáles son los principales centros de producción de

Introducción

15

dichos métodos, cuál ha sido su evolución temporal, qué patrones de

colaboración existe entre los distintos profesionales, etc. Este conocimiento

será de gran ayuda, tanto a la hora de contextualizar el uso de los métodos de

pretest cognitivos, como para interpretar todas las circunstancias que rodean al

uso, aplicación y resultados de estos métodos.

4. Capítulo IV. Procesos de respuesta de informantes directos vs informantes

proxy: El Capítulo IV ilustra una aplicación de la entrevista cognitiva para

optimizar los datos obtenidos por las encuestas que utilizan informantes proxy

e informantes directos. Dicho capítulo muestra cómo a través de la entrevista

cognitiva se puede obtener información sobre las posibles diferencias en los

procesos de respuesta que llevan a cabo informantes directos e informantes

proxy y, con ello, arrojar luz a la pregunta sobre cómo se podría evitar que los

informantes proxy ofrezcan respuestas distintas de las que darían los

informantes directos, reduciendo con ello los potenciales errores de respuesta

presentes en las encuestas que ambos tipos de informantes.

5. Capítulo V. Errores de respuesta en las escalas psicológicas incluidas en

las encuestas: Este estudio trata sobre el uso de la entrevista cognitiva y la

codificación del comportamiento para evaluar la información aportada por una

escala psicológica incluida en una encuesta de salud. El Capítulo V evidencia

cómo estos métodos de pretest se pueden aplicar no sólo para acceder a los

errores de respuesta de los cuestionarios de las encuestas, sino también para

acceder a dichos errores en los datos de las escalas psicológicas insertadas en

las encuestas. Además, se mostrará cómo a través de la entrevista cognitiva se

pueden extraer evidencias de validez del ajuste entre el constructo que la escala

psicológica pretende medir y las estrategias de respuesta llevadas a cabo por

los participantes.

Dada la terminología usada lo largo de la tesis es importante aclarar la diferencia entre

los métodos de pretest de cuestionarios y los estudios pilotos, también conocidos como field

pretesting o field studies. La denominación de métodos de pretest de cuestionarios hace

alusión a los métodos de evaluación de los cuestionarios durante las fases de desarrollo del

mismo. El uso de estos métodos de evaluación es el objeto de estudio de la tesis. Mientras que

Introducción

16

los estudios pilotos hacen referencia a una primera administración de la encuesta a una

muestra representativa cuando se dispone de cuestionarios completamente desarrollados. El

objetivo de los estudios pilotos se centra en el análisis de la distribución de los datos de la

encuesta en dicha muestra.

18

CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES

Marco teórico. Antecedentes

19

1. Introducción

Durante los últimos 20 años, los métodos de pretest y evaluación de cuestionarios han

cambiado drásticamente. Por una parte, se han desarrollado y aplicado nuevos métodos y, por

otra parte, otros más antiguos han sido adaptados para nuevos usos. Algunos de estos cambios

se deben a la aplicación tanto de la teoría como de los métodos de la ciencia cognitiva.

Mientras que otros se deben a una creciente concienciación de los beneficios que se podrían

obtener aplicando métodos de pretests más rigurosos. En esta línea, los investigadores

comenzaron a evaluar las fortalezas y debilidades de los distintos métodos de pretest

existentes, y a examinar la fiabilidad y la validez de los resultados de dichos métodos.

Esta evolución ha sido el foco de interés de muchas comunicaciones en congresos y

capítulos de libros. Sin embargo, no ha habido un congreso y un libro dedicado de forma

exclusiva a la evaluación y pretest de encuestas hasta el International Conference on

Questionnaire Development, Evaluation and Testing Methods celebrado en 2002, y la

publicación del correspondiente monográfico.

En la revisión del estado actual de los métodos de pretest se puede apreciar una

paradoja. Por una parte, los métodos de pretest son el único medio para evaluar, por

adelantado, si un cuestionario causa problemas para el entrevistado o para el entrevistador.

Por ello, tanto los manuales sobre investigación como los investigadores experimentados

declaran que es indispensable aplicar los pretests. Sin embargo, la mayoría de los libros de

texto ofrecen mínima o ninguna información sobre los métodos de pretests. Así mismo, los

informes publicados sobre encuestas normalmente tampoco ofrecen información sobre si los

cuestionarios fueron evaluados y, en el caso de que sí lo hicieran, no dan información sobre

cómo y con qué resultados. A esto hay que añadir que hasta hace poco apenas había

investigación sobre la metodología de los pretests (Presser et al., 2004).

2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios

La primera referencia de los pretest en una revista académica data del año 1940. En

ese año, Katz (1940) explicó: “el American Institute of Public Opinion and Fortune evalúa las

Capítulo I

20

preguntas de los cuestionarios con el fin de evitar frases ininteligibles para el público o

cuestiones desconocidas para el hombre de la calle” (p. 279). Katz en esta afirmación está

mostrando su clara intención de eliminar los errores de respuesta.

No se puede establecer con seguridad debido a la ausencia de documentación, pero los

indicios apuntan a que dentro de la historia de la investigación por encuesta ha habido una

forma clásica de pretest; denominado como pretest clásico, pretest convencional o incluso

como debriefing. El pretest clásico consiste fundamentalmente en llevar a cabo un ensayo de

la administración de la encuesta, en el cual los entrevistadores aplican la encuesta como lo

harían en la situación real. Una vez completado un cierto cupo de encuestas por cada

entrevistador, se lleva a cabo un debriefing en el que los entrevistadores relatan su experiencia

con el cuestionario y ofrecen su punto de vista sobre los problemas del cuestionario.

Algunos profesionales de la investigación por encuesta han defendido y depositado su

confianza en esta forma tradicional de pretest, afirmando, por ejemplo, que: “no se necesitan

más de 12-25 entrevistas para revelar las mayores dificultades y debilidades que posee el

cuestionario durante el pretest” (Sheatsley, 1983, p. 226) o como especificó Sudman (1983):

“unas 20-25 son suficientes para descubrir los principales errores de un cuestionario” (p. 181).

Esta confianza depositada en la forma clásica de pretest probablemente se basa en la

experiencia común de que un número reducido de entrevistas convencionales revelan

numerosos problemas, por ejemplo, preguntas que contienen suposiciones injustificadas,

frases mal expresadas o falta de categorías de respuesta. No obstante, no existe evidencia

científica que justifique el supuesto de que este tipo de pretest puede identificar los problemas

más importantes en un cuestionario (Presser et al., 2004). Es decir, no existe evidencia

científica que exponga la utilidad de estos pretest tradicionales para acceder a los errores de

respuesta en las encuestas. Estos pretest tradicionales, principalmente, ofrecían información

sobre problemas durante la administración del cuestionario y problemas sobre la edición del

mismo.

El método de pretest clásico se basa en la suposición de que los problemas del

cuestionario se mostrarán: a través de las respuestas que las propias preguntas provocan y de

la frecuencia de estas respuestas (p. ej., si hay un gran número de respuestas “no sabe” u

omisiones) y a través de otros indicios observables tras la formulación de la pregunta (p. ej.,


21

duda o malestar en el encuestado). Posteriormente el entrevistador puede describir estos

problemas durante el debriefing. Sin embargo, como Cannell y Kahn (1953) apuntaron: “no

hay pruebas exactas que verifiquen estas características; la ayuda de los entrevistadores

experimentados, en este punto, solamente sirve para obtener evaluaciones subjetivas del

cuestionario” (p.353). De forma similar, Moser y Kalton (1971) expusieron que “casi toda la

evidencia útil de la adecuación de un cuestionario se obtiene del informe individual del

entrevistador sobre cómo han ido las entrevistas, qué dificultades se han encontrado y qué

alteraciones deberían realizarse” (p. 50). Moser y Kalton en su afirmación recalcan el

excesivo peso depositado en la percepción del entrevistador durante el pretest clásico.

Aunque los entrevistadores estuvieran ampliamente entrenados en el reconocimiento

de problemas con las preguntas, la forma de pretest clásico aún seguiría sin poder obtener

información de la mayoría de los problemas del cuestionario (Presser et al., 2004). Esto

sucede debido a que ciertos tipos de problemas no son observables a través de la conducta del

encuestado, incluso los encuestados pueden no ser conscientes de dichos problemas. Por

ejemplo, los encuestados pueden malinterpretar el objetivo de una pregunta cerrada sin

ofrecer ninguna evidencia de que lo están haciendo; ya que la forma de pretest clásico es

siempre “no declarada” para el encuestado en lugar de ser un pretest “participante”. Es decir,

los encuestados no son informados acerca del objetivo del pretest ni tampoco se les pregunta

directamente sobre las interpretaciones que están realizando de las preguntas o los problemas

que están surgiendo con el cuestionario (Converse & Presser, 1986). Como resultado, el

pretest clásico parece estar mejor diseñado para identificar problemas con el cuestionario

desde el punto de vista del entrevistador que es el único que conoce el objetivo del mismo.

Además, cuando en un pretest clásico los entrevistadores realizan una descripción de

los problemas que los encuestados han tenido con las preguntas del cuestionario, no hay

reglas para la evaluación de dichos problemas o para determinar qué problemas deberían ser

tratados. Los investigadores normalmente se basan en su experiencia e intuición para juzgar la

problemática de la situación y decidir cómo revisar las preguntas defectuosas (Presset et al.,

2004).

Durante las últimas décadas, este cúmulo de desventajas que estaban mostrando los

pretest clásicos ha provocado la aparición de dos cambios interrelacionados:

Capítulo I

22

1) Ha habido un cambio sustancial en los objetivos de los pretests. Desde un enfoque

exclusivo en la identificación y corrección de los problemas encontrados por los

entrevistadores y los encuestados, se ha pasado a un gran interés por la mejora de

la calidad de los datos, a fin de que las mediciones obtenidas se ajusten a los

objetivos de la encuesta.

2) Se han desarrollado o adaptado nuevas formas de pretests desde otras disciplinas.

Por ejemplo, las entrevistas cognitivas, la codificación del comportamiento, la

latencia de respuesta, el análisis de viñetas, experimentos, debriefings enfocados

en el encuestado y la modelización estadística (Presser et al., 2004). El desarrollo

de todos estos nuevos métodos de pretest suscita cuestiones acerca de cómo

podrían ser combinados para optimizar los resultados del pretests y si, de hecho,

estas nuevas formas de pretests mejoran la calidad de los resultados posteriores de

las encuestas, accediendo y limitando los errores de respuesta. Veamos desde

dónde han surgido la mayoría de estas nuevas formas de pretest.

3. Origen del Movimiento: Cognitive Aspects of Survey Methodology

A comienzos de los años 80, el estudio de los errores en las encuestas se vio afectado

por los avances en un campo emergente, creado por la combinación interdisciplinar de la

metodología de encuesta y la psicología cognitiva, denominado Cognitive Aspects of Survey

Methodology, o CASM (Jabine, Straf, Tanur, & Tourangeau, 1984). El movimiento CASM

ha llegado a dominar el campo del diseño de cuestionarios, su desarrollo, investigación y

evaluación. El principio básico del movimiento CASM es que las respuestas a las preguntas

de los cuestionarios requieren de una serie de complejos procesos cognitivos, en

contraposición a una simple secuencia de estímulo-respuesta en la que se realiza una pregunta

y el encuestado expone una respuesta.

CASM fue propuesto como un marco de trabajo que suplantaría (o incluso suplanta) el

punto de vista tradicional del diseño de cuestionarios, enfatizando la vital importancia de la

cognición en el proceso de respuesta en las encuestas (Willis, 2005). Los investigadores

reconocieron que, en ese momento, las reglas del diseño de cuestionarios eran insuficientes.


23

El mayor problema residía en el hecho de que el diseño de cuestionarios careciera de una

consistente teoría subyacente. La “revolución cognitiva” de los años 70, en la que la

cognición fue aplicada a una amplia variedad de campos, dio el impulso necesario para crear

un cuerpo teórico relevante. De ahí que, la relación cognición y diseño de los cuestionarios

tuviera implicaciones tanto teóricas como prácticas y pudiera incluso dirigir la creación de

una disciplina científica de elaboración de cuestionarios (Herrmann, 1999; Jobe & Mingay,

1991; Sirken & Schechter, 1999; Tanur, 1999).

Siendo justos, la apreciación de que responder las preguntas de las encuestas requiere

procesos de pensamiento, realmente no se originaron con CASM. Tal y como apuntó Willis

en 2005, el punto de vista cognitivo aplicado a las encuestas, remonta su origen hacia la mitad

del siglo XX, antes de que la psicología cognitiva tuviera una influencia preponderante sobre

las ciencias sociales. Por ejemplo, teorías sobre los procesos de respuesta aplicados a las

encuestas, que eran cognitivas por naturaleza pero no por denominación, fueron introducidas

independientemente por investigadores de la Universidad de Illinois (Lansing, Ginsburg &

Braaten, 1961), investigadores de la Universidad de Michigan (Cannell, Marquis & Laurent,

1977; Cannell, Miller & Oksenberg, 1981), en Inglaterra por Oppenheim (1966) y en el US

Census Bureau por Martin (1983).

Aunque CASM podría haberse originado antes, se asume que el movimiento comenzó

a establecerse a raíz de los dos siguientes eventos: el Advanced Research Seminar sobre

Cognitive Aspects of Survey Methodology en los Estados Unidos de América en 1983,

denominado actualmente como CASM I (Jabine et al., 1984) y el congreso sobre Social

Information Processing and Survey Methodology celebrado en 1984 en Alemania (Hippler,

Schwartz & Sudman, 1987).

Quizás uno de los cambios más obvios que el movimiento CASM ha producido, es la

forma en la que los investigadores de encuestas ven los errores de respuesta. Antes de este

movimiento, las investigaciones sobre encuestas tenían un carácter mecanicista: se

catalogaban los problemas, pero el origen de los mismos y las relaciones entre los distintos

tipos de problemas no estaban claras. Por ejemplo, los informes de “calidad” de varias

encuestas nacionales proporcionaban una amplia y detallada información de las distintas

fuentes potenciales de error, pero no hacían ningún esfuerzo a la hora de desarrollar hipótesis

sobre las causas de esos problemas (ver, p. ej., Brooks & Blair, 1978, y Jabine, 1990). Desde

Capítulo I

24

la aparición del movimiento CASM, los investigadores han ligado los errores de respuesta a

los procesos psicológicos de los entrevistados (p. ej., Strack & Martin, 1987; Tourangeau,

1984), al carácter de la interacción entre el entrevistador y el encuestado (Schaeffer, 1991;

Schober, 1999; Suchman & Jordan, 1990) y a los procesos motivacionales implicados en esa

interacción entre el entrevistador y el encuestado (Krosnick, 1991; 1999). Ahora las

discusiones de los problemas en las encuestas se establecen en términos de los componentes

mentales de los procesos de respuesta subyacentes a dichos problemas (p. ej., Groves, 1989).

Los modelos cognitivos de los procesos de respuesta han proporcionado un nuevo paradigma

para la comprensión, o al menos la clasificación, de los diferentes errores de respuesta en las

encuestas (Tourangeau, Rips, & Rasinski, 2000).

4. El Modelo del Proceso Pregunta-Respuesta

Una de las aportaciones más influyentes del CASM I fue la introducción del modelo

del proceso pregunta-respuesta o también denominado modelo cognitivo de 4 fases propuesto

por Tourangeau (1984). La figura I. 2 ilustra las fases de dicho modelo. El modelo presentado

en la Figura I. 2 se compone de cuatro fases que el encuestado debe completar para ofrecer

una respuesta; a saber, debe comprender el significado de la pregunta, recuperar información

de la memoria a largo plazo, realizar un juicio o evaluación sobre la información recuperada y

ofrecer una respuesta. A continuación se detallan estos 4 pasos:

o Interpretación y Comprensión: En esta primera fase se lleva a cabo la

interpretación y comprensión de los distintos conceptos que aparecen en el

texto de la pregunta así como la pregunta en su conjunto. Un aspecto clave de

esta primera fase es si el encuestado está interpretando la pregunta realizada tal

y como los autores de la encuesta esperaban que se interpretara. Esto es muy

importante, ya que si los encuestados están realizando una interpretación de la

pregunta no acorde con la interpretación prevista, los resultados obtenidos y,

por consiguiente, las conclusiones de las respuestas de los encuestados serán

erróneas. Peor aún, si cada encuestado interpreta la pregunta de una forma

distinta las comparaciones entre las respuestas de los encuestados no serán

válidas (ver el ejemplo de la introducción). Por otra parte, si el cuestionario se


25

encuentra en fases iniciales de desarrollo, los autores podrían no tener clara la

interpretación prevista para las preguntas. De este modo, la indagación en esta

fase de interpretación y compresión de la pregunta, podría servir como

exploración de las distintas interpretaciones que realicen los participantes y

como guía para ajustar hacia una interpretación común. Claramente, el objetivo

del investigador debe ser diseñar preguntas que sean interpretadas por todos

los encuestados de la misma forma y además que coincida con la interpretación

prevista por los autores de la encuesta (Collins, 2003).

Figura I. 2: Modelo del Proceso Pregunta-Respuesta

Fuente: Tourangeau (1984).

P

1. Interpretación y Comprensión Interpretación de la Pregunta: Interpretación del objetivo de la pregunta Compresión de conceptos: Conceptos, expresiones, frases…

2. Recuperación de información Información a recuperar Estrategia para recuperar la información: Estimación, todo el repertorio, etc.

3. Juicio Integración de la información: Motivacion Evaluación de la información: Deseabilidad social

4. Comunicación de la Respuesta Ajuste a las opciones de respuesta Selección de opciones de respuesta

R

Capítulo I

26

o Recuperación de Información: Una vez que el encuestado ha comprendido la

pregunta, debe recuperar información relevante de su memoria a largo plazo.

Existen varias formas de recuperar información, por ejemplo, recuperar

recuerdos de forma individual, hacer una estimación de toda la información

almacenada o recuperar todo el repertorio de eventos e información

almacenada. Ciertas características de la pregunta, y de la información a

recuperar, pueden afectar por completo a la fase de recuperación de la

información (Jobe, Tourangeau, & Smith, 1993). En este sentido, existe un

amplio número de factores por los que el encuestado puede tener problemas

para recordar un evento. Por ejemplo, el concepto o evento a recuperar puede

no haberse almacenado nunca en la memoria a largo plazo; puede que sea

irrecuperable, ya que el contexto de recuerdo sea distinto al contexto en el que

se codificó y almacenó; puede ser difícilmente distinguible de otros similares o

que dicho concepto o evento sea bloqueado por la interferencia de otros

similares (Tourangeau, 1984). A la hora de diseñar las preguntas del

cuestionario es importante tener en cuenta y evaluar con qué facilidad pueden

los encuestados recuperar la información requerida, a qué nivel de detalle y si

el uso del contexto facilita las estrategias de recuperación de información de

los encuestados.

o Juicio: La realización de juicios juega un papel muy importante en el proceso

del modelo pregunta-respuesta. En primer lugar, el encuestado debe integrar

toda la información recuperada en la fase anterior. La motivación que posea el

encuestado es clave para que realice el suficiente esfuerzo mental. En segundo

lugar, el encuestado debe evaluar la información ya integrada; dicha

evaluación podría verse afectada por aspectos como la deseabilidad o

sensibilidad social que posea la pregunta del cuestionario. Además, el

encuestado puede valerse de heurísticos para responder a las preguntas; estos

heurísticos son muy usados en las preguntas sobre la frecuencia de

comportamientos (Collins, 2003).

o Comunicación de la respuesta: Esta es la última fase del proceso pregunta-

respuesta. A su vez se compone de dos pasos. En primer lugar, una vez


27

formado el juicio en la fase anterior, el encuestado debe ajustar su posible

respuesta a las opciones preestablecidas por los autores del cuestionario. La

elección que hagan los investigadores de las alternativas de respuesta puede

afectar a la forma en la que el encuestado decide responder a la pregunta del

cuestionario y, por consiguiente, puede afectar a los resultados de la encuesta

(Schwarz & Hippler, 1991). En segundo lugar, el encuestado comunica o

selecciona una de las opciones de respuesta. En este último paso existe la

posibilidad de que el encuestado edite la respuesta para ajustarse al contexto en

el que se está llevando a cabo la entrevista.

Posteriormente, se han introducido distintas variaciones de este modelo cognitivo (ver

Jobe & Herrmann, 1996). Todas ellas mantienen la idea principal de las distintas fases de

procesamiento cognitivo que evocan las preguntas de los cuestionarios. Son bastantes

similares excepto por dos características:

a) Función de la Fase de Comunicación de la Respuesta: En el modelo del

proceso pregunta-respuesta de Tourangeau (1984), la evaluación de la

adecuación y plausibilidad de la información seleccionada en la fase de juicio,

se realiza en la fase de la comunicación de la respuesta; ajustándola, por

ejemplo, a las alternativas de respuesta establecidas. Sin embargo, estas

variantes del modelo proponen que el entrevistado lleva a cabo de forma

consciente esa evaluación de la adecuación y plausibilidad de la información

en la fase de juicio, y además se realiza sobre toda la información recuperada.

b) Secuencilidad o Linealidad del Modelo: Más allá de las diferencias

terminológicas, algunos modelos (p. ej. el modelo introducido por Willis,

Royston, & Bercini, 1991, ahora conocido como el Modelo de Procesamiento

Flexible) explícitamente eliminan la noción de la estricta secuencialidad del

proceso cognitivo. Concretamente más que representar una serie algorítmica de

operaciones, los entrevistados pueden establecer un proceso de toma de

decisiones en fases mucho más tempranas y antes de recuperar información.

Por ejemplo, cuando se pregunta el número de veces que te han puesto una

multa por exceso de velocidad, puedo decidir cortar el proceso de decisión y

ofrecer una respuesta como “¡no es de su incumbencia!” incluso antes de tener

Capítulo I

28

que recuperar información de la memoria. Esta visión está en consonancia

consistente con varias observaciones procedentes de distintos autores,

aludiendo que el proceso de pregunta-respuesta puede estar sujeto a variables

sociales y contextuales y, por tanto, no puede ser totalmente plasmado en un

modelo serial (Ahola, 2004; Collins & Becher, 2001; Snijkers, 2002). Por

ejemplo, Collins (2003) establece que en realidad el proceso pregunta-

respuesta es circular en lugar de lineal; implica un gran número de iteraciones

e interacciones entre las distintas fases del modelo, con una gran característica

circular. Por ejemplo, ella establece que en la fase de juicio (que desde mi

punto de vista es la que aporta esta característica circular) los encuestados

pueden valorar si han comprendido la pregunta, si la pregunta tiene que ver

con su situación actual, si se les está preguntando por información que ellos

realmente poseen, con qué nivel de detalle se les está solicitando esta

información, si necesitan modificar su respuesta para adaptarla a la pregunta

formulada, etc.

Como el lector puede intuir este modelo recoge pormenorizadamente los pasos que

durante el procesamiento cognitivo de una pregunta deben darse. No obstante, apenas incluye

ciertos aspectos motivacionales que pueden llevar al encuestado a ejecutar todos y cada uno

de estos pasos o simplemente a no realizar ninguno de ellos y, por ejemplo, ante una pregunta

de respuesta cerrada elegir la respuesta al azar. Krosnick (1999) estableció un continuo de

“optimización vs. satisfacción” que indica el grado de motivación con el que el encuestado

lleva a cabo los cuatro pasos del modelo del proceso pregunta-respuesta. Por una parte, en el

extremo de “optimización” se encontrarían los encuestados que ejecutan los cuatro pasos del

modelo de forma completa, exhaustiva, con esfuerzo y con una gran implicación. Por otra

parte, en el extremo de la “satisfacción” se sitúan los encuestados que dedican poco esfuerzo a

la fase de interpretación y comunicación de la respuesta, no llevan a cabo ninguna

recuperación de información y, por tanto, tampoco realizan ningún juicio de la información

recuperada.


29

5. Aplicación del Movimiento CASM

La investigación de CASM se basa en estudios controlados de los factores que pueden

influir en la interpretación y las respuestas de las preguntas de las encuestas. Los resultados de

tales investigaciones son, por tanto, objetivos, replicables y proporcionan un rico bagaje sobre

los factores psicológicos de las respuestas a las encuestas. Consecuentemente, el objetivo de

CASM es la evolución de la teoría, de forma que enriquezca nuestra comprensión de los

procesos de respuesta a las encuestas (Willis, 2005). Por ejemplo, en los proceedings de

CASM I, Loftus (1984) consideró cómo los encuestados responden a preguntas sobre eventos

autobiográficos pasados, por ejemplo, las visitas al médico. ¿Se basan en un orden desde el

presente hacia atrás para recordar la información y contestar o comienzan en el pasado y van

hacia delante? Loftus propuso que tal aspecto cognitivo podría ser estudiado a través de un

método de informe verbal, en particular, usando una entrevista think-aloud, como fue descrito

por Ericsson y Simon (1980, 1984). Su aplicación al proceso de respuesta es sencilla, al

menos procedimentalmente: se realiza la pregunta acerca de recordar las visitas al médico, y

no sólo se pide al sujeto que conteste sino que también vocalice todos sus pensamientos;

haciendo esto, podemos determinar en qué orden recuerda las visitas al médico y si aparecen

problemas durante la elaboración de la respuesta. Loftus (1984) haciendo uso del thinking

aloud para evaluar esta pregunta de la encuesta concluyó que: “al menos respondiendo a estas

preguntas, los sujetos tienden a recuperar esta información biográfica, predominantemente

hacia delante, es decir, desde el pasado hacia el presente” (p. 64).

Loftus en 1984 estaba demostrando cómo el uso de simples herramientas cognitivas

durante una entrevista podría facilitar la indagación en el proceso pregunta-respuesta del

encuestado. Como afirma Collins (2003), este es el valor de las teorías que buscan explicar los

procesos de respuesta a las preguntas de la encuesta; el valor que reside en la aplicación al

diseño e implementación de los cuestionarios con el objetivo de reducir los errores de

respuesta. Varios métodos de pretest, en este caso denominados como métodos cognitivos de

pretest por su indagación en el proceso pregunta-respuesta, han sido desarrollados y aplicados

a la evaluación de cuestionarios (Collins, 2003). Estos métodos de pretest cognitivos incluyen

la entrevista cognitiva, el parafraseo, el card sorts, el análisis de viñetas, las evaluaciones de

la confianza en la respuesta y la latencia de respuesta (Czaja, 1998; Jobe & Mingay, 1991). La

entrevista cognitiva es ciertamente una de las manifestaciones más concretas y exitosas del

movimiento CASM, en términos de la amplitud con la que se ha asentado y la aplicación a

Capítulo I

30

través de diversas áreas, campos e investigadores (Blair & Presser, 1993; Sirken & Schechter,

1999).

6. Referencias

Ahola, A. (2004). Cognitive model of the question-answering process and development of

pretesting. Proceedings of the 4th Conference on Questionaire Evalulation Standards,

Zentrum fur Umfragen, Methoden und Analicen (ZUMA), 26-33.

Blair, J. & Presser, S. (1993). Survey procedures for conducting cognitive interviews to

pretest questionnaires: A review of theory and practice. Proceedings of the Section on Survey

Research Methods, American Statistical Association, 370-375.

Brooks, C. & Blair, B. (1978). An error profile: Employment as measured by the Current

Population Survey. Statistical Policy Working Paper 3. Washington, DC: Office of Federal

Statistical Policy and Standards.

Cannell, C. & Kahn, R. (1953). The collection of data by interviewing. En L. Festinger y D.

Katz (eds.). Research Methods in the Behavioral Sciences. Nueva York: Dryden.

Cannell, C., Marquis, K.H., & Laurent, A. (1977). A summary of studies of interviewing

methodology. Vital and Health Statistics, Serie 2. N. 69 (DHEW Publication No. HRA 77-

1343). Washington, DC: US Coverment Printing Office.

Cannell, C., Miller, P.V., & Oksenberg, L. (1981). Research on interviewing techniques. En

S. Leinhardt (Ed.), Sociological methodology (pp. 389-437). San Francisco: Jossey-Bass.

Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality

of Life Research, 12, 229-238.

Collins, D. & Becher, H. (2001). Question testing and archiving of results to make best use of

limited resources. Proceedings of the QUEST 2001 Conference, U.S. Census Bureau, 36-44.


31

Converse, J. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized

Questionnaire. Thousand Oaks, CA: Sage.

Czaja, R. (1998). Questionnaire pretesting come of age. Marketing Bulletin, 9, 52-66.

Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-

251.

Ericsson, K.A. & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge:

MIT Press.

Fowler, F.J. (1995). Improving Survey Questions: Design and Evaluation. Applied Social

Research Methods Series: 38. Thousand Oaks: Sage.

Groves, R.M.(1989). Survey errors and survey costs. Nueva York: John Wiley & Sons.

Groves, R.M.(1991). Measurement errors across the disciplines. En P. Biemer, R.M. Groves,

L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 1-

25). Nueva York: John Wiley & Sons.

Guilford, J.G. (1954). Psychometric Methods. Nueva York: McGraw-Hill.

Herrmann, D.J. (1999). Potential contributions of the CASM movement beyond questionnaire

design: Cognitive technology and survey methodology. En M. Sirken, D. Herrmann, S.

Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp.

267-275). Nueva York: John Wiley & Sons.

Hippler, H., Schwartz, N., & Sudman, S. (1987). Social information processing and survey

methodology. Nueva York: Springer-Verlag.

Jabine, T.B. (1990). Survey of Income and Program Participation (SIPP): Quality profile.

Washington, DC: U.S. Department of Commerce, Bureau of the Census.

Capítulo I

32

Jabine, T.B, Straf, M.L., Tanur, J.M., & Tourangeau, R. (1984). Cognitive aspects of survey

methodology: Building a bridge between disciplines. Washingon, DC: National Academy

Press.

Jobe, J.B. & Herrmann, D.J. (1996). Implications of models of survey cognition for memory

theory. En D. Herrmann, C. McEvoy, C. Herzog, P. Hertel, & M. Jonson (Eds.), Basic and

Applied Memory Research: Vol. 2. Practical application (pp. 193-205). Hillsdale, NJ:

Erlbaum.

Jobe, J.B. & Mingay, D.J. (1991). Cognition and survey measurement: History and overview.

Applied Cognitive Psychology, 5, 175-192.

Jobe, J.B., Tourangeau, R., & Smith, A.F. (1993). Contributions of survey research to the

understanding of memory. Applied Cognitive Psychology, 7, 567-589.

Katz, D. (1940). Three criteria: knowledge, conviction and significance. Public Opinion

Quarterly, 4, 277-284.

Krosnick, J.A. (1991). Response strategies for coping with the cognitive demands of attitude

measures in surveys. Applied Cognitive Psychology, 5 , 213-256.

Krosnick, J.A. (1999). Survey Research. Annual Review of Psychology, 50, 537-567.

Lansing, J.B., Ginsburg, G.P., & Braaten, K. (1961). An investigation of response error.

Urbana: University of Illinois, Bureau of Economic and Business Research.

Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M.

Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a

bridge between disciplines (pp. 61-64). Washington, DC: National Academy Press.

Martin, E. (1983). Surveys as social indicators: Problems in monitoring trends. En P.H. Rossi,

J.D. Wright, & A.B. Anderson (Eds.), Handbook of survey research (pp.677-743). Nueva

York: Academic Press.


33

Moser, C. & Kalton, G. (1971). Survey Methods in Social Investigation, 2nd ed. Londres:

Heineman.

Oppenheim, A.N. (1966). Questionnaire design and attitude measurement. Nueva York:

Basic Books.

Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J., & Singer, E.

(2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley &

Sons.

Schaeffer, N.C. (1991). Hardly ever or constantly? Group comparisons using vague

quantifiers. Public Opinion Quarterly, 55, 395-423.

Schwarz, N. & Hippler, H.J. (1991). Response alternatives: The impact of their choice and

presentation order. En P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz & S.

Sudman (Eds.), Measurement Errors in Surveys (pp.41-56). Nueva York: John Wiley & Sons

Schober, M. (1999). Making sense of questions: An interactional approach. En M. Sirken, D.

Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey

research (pp. 77-93). Nueva York: John Wiley & Sons.

Sheatsley, P. (1983). Questionnaire construction and item writing. En P. Rossi, J. Wright, &

A. Anderson (eds.), Handbook of Survey Research. San Diego, CA: Academic Press.

Sirken, M. & Schechter, S. (1999). Interdisciplinary survey methods research. En M. Sirken,

D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and

survey research (pp. 1-10). Nueva York: John Wiley & Sons.

Snijkers, G. (2002). Cognitive laboratory experiences: On pretesting computerised

questionnaires and data quality. Unpublished doctoral dissertation, Universidad de Utrecht,

Holanda.

Stone, A.A., Turkkan, J.S., & Bachran, C.E. (1999). The science of self-report: Implications

for research and practice. Mahwah, NJ: Lawrence Erlbaum.

Capítulo I

34

Strack, F. & Martin, L. (1987). Thinking, judhing, and communicating: A process account of

context effects in attitude surveys. En H. Hippler, N. Schwarz, & Sudman (Eds.), Social

information processing and survey methodology (pp. 123-148). Nueva York: Springer-Verlag.

Suchman, L. & Jordan, B. (1990). Interactional troubles in face-to-face survey interviews.

Journal of the American Statistical Association, 85, 232-241.

Sudman, S. (1983). Applied sampling. En P. Rossi, J. Wright, & A. Anderson (Eds.),

Handbook of Survey Research. San Diego, CA: Academic Press.

Tanur, J.M. (1999). Looking backwards and forwards the CASM movement. En M. Sirken,

D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and

survey research (pp. 73-100). Nueva York: John Wiley & Sons.

Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T.

Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design:

Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy

Press.

Tourangeau, R., Rips, L.J. & Rasinski, K. (2000). The psychology of survey response.

Cambridge: Cambridge University Press.

Willis, G.B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design.

Thousands Oaks, CA: Sage

Willis, G.B., Royston, P.N., & Bercini, D. (1991). The Use of Verbal Report Methods in the

Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251-

267.

36

CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE

PRETEST DE CUESTIONARIOS

Nuevos métodos de pretest de cuestionarios

37

1. Introducción

En el capítulo anterior se remarcaron las grandes desventajas del método de pretest

clásico que impulsaron el desarrollo dos cambios relacionados. Por una parte, se cambió la

meta del pretest pasando de enfocarse en los problemas experimentados por el entrevistador y

el encuestado, a dirigirse hacia el aumento de la calidad de los datos de la encuesta, de forma

que, las mediciones aportadas por dichas encuestas respondieran a los objetivos de medición.

Por otra parte, se desarrollaron nuevos métodos de pretest y otros ya existentes se adaptaron a

este nuevo uso (Presser et al., 2004).

En consecuencia, podemos considerar que existen dos grupos de métodos de pretest.

Un primer grupo compuesto por métodos de pretest ya existentes en otras áreas de

investigación que han sido utilizados para la evaluación de cuestionarios. Otro segundo grupo

conformado por nuevos métodos de pretest que principalmente se han desarrollado como

aplicación del movimiento CASM, y que se pueden denominar cognitivos por su exploración

de los componentes individuales del proceso pregunta-respuesta: interpretación y

comprensión, recuperación de información, juicio y comunicación de la respuesta (Collins,

2003); siendo la entrevista cognitiva la principal manifestación de este segundo grupo de

métodos. Habiendo establecido el objetivo de la tesis como la identificación de los errores de

respuesta a través de los métodos de pretest de cuestionarios, no se va a entrar en la discusión

sobre la existencia de estos dos posibles grupos de métodos, qué métodos se incluirían en

cada uno de estos grupos ni tampoco cuáles serían denominados como métodos cognitivos y

cuáles no. En este sentido se hará una revisión de los métodos de pretest más utilizados en la

evaluación de los cuestionarios y se profundizará en los que se han utilizado para alcanzar el

objetivo de la tesis doctoral; estos son: la codificación del comportamiento y la entrevista

cognitiva. A continuación se hará una revisión de los siguientes métodos de pretest: la latencia

de respuesta, respondent debriefing, el análisis de viñetas, los experimentos, la codificación

del comportamiento y la entrevista cognitiva.

Capítulo II

38

2. Latencia de Respuesta

La latencia de respuesta se utiliza para medir la precisión de las respuestas de los

encuestados y a su vez, de forma indirecta, para evaluar las propias preguntas. Draisma y

Dijkstra (2004) especifican que la latencia se refiere a la demora, al tiempo que transcurre,

entre que el entrevistador termina de leer la pregunta y el encuestado da la respuesta. Estos

autores afirman que demoras largas son indicativas de dudas en el encuestado y de errores en

las respuestas. Además comparan los resultados de la latencia de respuesta con otros

indicadores de dudas o incertidumbre en el encuestado. Draisma y Dijkstra (2004) se basan en

las aportaciones de la psicología cognitiva que asume que la latencia de respuesta es a

menudo un indicador de la dificultad de una tarea (Luce, 1986). Como se puede intuir, una

mayor latencia de respuesta implica una mayor dificultad de la tarea. Estos autores además

establecen que la dificultad de una pregunta puede ser una causa muy importante de los

errores de respuesta, así que a mayor latencia de respuesta, mayor dificultad en la pregunta y

mayor probabilidad de ocurrencia de una respuesta incorrecta. De esta forma con la latencia

de respuesta se obtiene un indicador de la dificultad de la pregunta que a su vez se convierte

en un indicador o identificador de posibles errores de respuesta.

La latencia de respuesta comenzó a usarse como una medida de ejecución de tareas

experimentales en el área de la psicología cognitiva. Aaker, Bagozzi y Carman (1980) y

LaBarbera y MacLachlan (1979) fueron los primeros autores en aplicar el método de la

latencia de respuesta en el contexto de la medición por encuesta. Ellos utilizaron la latencia de

respuesta para comparar pares de productos en un estudio de marketing. Asumieron que una

vez que se daba una respuesta ante dos marcas de productos, las respuestas más rápidas de la

marca escogida eran indicativas de una mayor preferencia por dicha marca. No obstante, el

trabajo más relevante, en la aplicación de la latencia de respuesta a la evaluación de las

preguntas de las encuestas, fue el realizado por John Basili y sus co-autores. Basili y Fletcher

(1991) usaron la latencia de respuesta para ordenar varios tipos de preguntas actitudinales. El

grupo de preguntas que tenía una latencia de respuesta corta estaba compuesto por preguntas

simples mientras que aquellas con una latencia mayor se correspondían con preguntas más

complejas. Además estas preguntas más complejas, especialmente aquellas en las que había

habido problemas durante su elaboración, parecían necesitar más tiempo para ser contestadas

(Basili, 1996). En otro estudio, Basili y Scott (1996) utilizaron la latencia de respuesta como


39

un indicador de problemas con las preguntas, comprobando que preguntas pobremente

formuladas ofrecían una latencia mayor que versiones modificadas y ajustadas de estas

mismas preguntas.

3. Respondent Debriefings

El respondent debriefing es un método participante, en el que se le informa al

encuestado del objetivo del mismo. A diferencia de los debriefing tradicionales que se

recomendaban como un complemento de la forma tradicional de pretest (Kornhauser, 1951)

en la que el entrevistador era quien aportaba la información de los problemas con las

preguntas del cuestionario, este tipo de debriefing llevado a cabo de una forma estandarizada,

puede revelar las interpretaciones y las reacciones que los encuestados realizan de las

preguntas. En este método de pretest una vez que los participantes han contestado las

preguntas de la encuesta, se les pide información sobre cómo han contestado a las preguntas o

cómo las han interpretado, si ha habido algún problema con las mismas, etc. Belson (1981)

usó este método de pretest administrando a una muestra de participantes las preguntas de la

encuesta y realizando al día siguiente, una entrevista con el fin de identificar problemas con la

interpretación de las preguntas. Empleó lo que él llamó doble entrevista. Martin (2004), por

su parte, mostró cómo estos debriefings pueden ser utilizados para obtener evidencias acerca

de en qué medida las preguntas generan omisiones o malas interpretaciones de los

encuestados.

4. Análisis de Viñetas

El uso de las viñetas tiene una larga historia en la investigación social. Podemos

remontarnos hasta los trabajos de Piaget (1932/1965) en los que utilizó pequeñas historias

para estudiar el razonamiento moral en niños. Las viñetas son pequeñas historias o escenarios

que describen hipotéticas situaciones que son presentadas a los participantes para que las

evalúen y/o comenten. Este método de análisis de viñetas es especialmente útil para explorar

temas sensibles para los participantes, ya que se basa en la presentación de escenarios

hipotéticos (Finch, 1987). El análisis de viñetas puede servir para: explorar los pensamientos

Capítulo II

40

de las personas sobre distintos conceptos, para comprobar si las interpretaciones de dichos

conceptos son consistentes con las interpretaciones previstas, para analizar la dimensionalidad

de los conceptos; y para diagnosticar otros problemas en la redacción de las preguntas

(Presser et al., 2004). Un buen ejemplo de aplicación en la evaluación y desarrollo de los

cuestionarios fueron los trabajos de Gerber (1990, 1994). Esta autora llevó a cabo un estudio

exploratorio mediante entrevistas para examinar cómo las personas piensan acerca de su

residencia, el lenguaje que utilizan para describirla y los factores que tienen en cuenta a la

hora de hablar sobre esta temática en las encuestas.

5. Experimentos

La evolución que en las últimas tres décadas ha experimentado el área de la

investigación por encuesta, ha generado un cuerpo de métodos y técnicas de evaluación de

cuestionarios que indudablemente ha mejorado la calidad de las encuestas. Estos métodos se

han enfocado en la identificación y revisión de las preguntas que son difíciles de entender o

difíciles de contestar consiguiendo una mejora en las mediciones de las encuestas. Sin

embargo, como especifica Fowler (2004), existen límites para estas técnicas; pues, dichas

técnicas son capaces de identificar las causas de potenciales problemas que pueden afectar a

la calidad de los datos, pero no proporcionan información acerca de en qué medida esos

potenciales problemas podrían afectar a la calidad de los datos. Es más, cuando se modifican

las preguntas de los cuestionarios, con el fin de evitar los problemas identificados mediante la

aplicación de una de las técnicas, no se proporciona información sobre si ha aumentado o no

la calidad de los datos con respecto a la versión original. En este sentido los experimentos de

campo juegan un papel fundamental a la hora de cubrir este hueco.

El concepto subyacente a los experimentos es bastante simple. Se seleccionan dos

muestras “comparables” de participantes y se les administra diferentes versiones de las

preguntas de la encuesta diseñada con un objetivo de medición común. Fowler (2004)

propone tres formas distintas de comparar las dos versiones de las preguntas:


41

1. Distribución de Respuestas: Esta es la comparación más simple. Si la distribución de

respuestas de las dos versiones de preguntas son idénticas se puede concluir que las

preguntas también son idénticas.

2. Validez: De igual modo se puede comparar la validez de las dos preguntas. Por

supuesto, previamente se debe haber especificado algún tipo de criterio o estándar con

el que evaluar las respuestas de los participantes y poder concluir qué pregunta

presenta mayor validez.

3. Usabilidad: A menudo el pretest cognitivo de los cuestionarios puede identificar

preguntas cuya redacción sea confusa o compleja. Uno de los objetivos de la

evaluación es reelaborar las preguntas de modo que resulten más fáciles de usar para

los entrevistadores y de entender por los encuestados. En este sentido los

experimentos de campo también pueden aportar información sobre ello.

Un ejemplo de la utilización de experimentos de campo en el pretest de encuestas es el

que aplicó Fowler en 1992. En este caso el pretest cognitivo de un cuestionario no aportó

información clara sobre si incluir o no, pasear como una forma de hacer ejercicio. Se elaboró

una versión de la pregunta en la que explícitamente se especificaba que se sí podía incluir

pasear como una forma de hacer ejercicio. La prueba experimental mostró que la inclusión

explícita de pasear como forma de hacer ejercicio, incrementó la tasa en la que los

participantes informaban que hacían ejercicio. De manera que los investigadores concluyeron

que esta última versión de la pregunta tenía mayor validez.

6. Codificación del Comportamiento

La codificación del comportamiento fue desarrollada por Charles Cannell y sus

colegas en los años 60 en el University of Michigan Survey Research Center. Puede ser

utilizada tanto para evaluar preguntas como para evaluar entrevistadores. En sus primeras

aplicaciones se enfocó, casi por completo, en la evaluación de los entrevistadores, de modo

que no tuvo un impacto inmediato en las prácticas de los pretest (Presser et al. 2004). A

finales de los 70 y comienzos de los 80, algunos investigadores europeos utilizaron la

Capítulo II

42

codificación del comportamiento para estudiar preguntas, sin embargo, su aplicación en la

fase de pretest no llegó hasta finales de los 80 en Estados Unidos (Oksenberg, Cannell, &

Kalton, 1991).

La codificación del comportamiento implica la monitorización de las entrevistas, a

través de las transcripciones o las grabaciones en audio y vídeo, de un conjunto de conductas

verbales tanto del entrevistador como del entrevistado durante la interacción entre ambos.

Dentro de dicha interacción se va codificando la conducta realizada por el entrevistador y por

el encuestado. Generalmente, se codifica la conducta realizada por el entrevistador y el

entrevistado en cada una de las preguntas del cuestionario. Cuando ciertas conductas (p. ej. el

entrevistador no lee la pregunta completamente o el encuestado solicita una aclaración) tienen

una alta frecuencia de aparición, se considera que la pregunta debe ser revisada. En un amplio

sentido, la codificación del comportamiento busca identificar las desviaciones de la secuencia

ideal de conductas entre el entrevistador y el entrevistado. El objetivo fundamental es

descubrir cómo estas desviaciones están relacionas, por una parte, con la calidad de los datos

y, por otra parte, con las características del entrevistador, del entrevistado y del diseño del

cuestionario (Ongena & Dijkstra, 2006).

6.1. Esquemas de Codificación

A continuación, se van a explicar dos esquemas de codificación. El primero de ellos,

fue desarrollado por Oksenberg, Cannell y Kalton (1991). Este esquema de codificación ha

sido aplicado con mayor frecuencia por los profesionales del área y es el que hemos utilizado

en la investigación del Capítulo V. Este primer esquema es bastante sencillo y muy enfocado

a cubrir los objetivos del estudio. El segundo de ellos, fue utilizado por van der Zouwen y

Smit (2004). La razón de incluirlo es que estos autores elaboraron un esquema de codificación

muy detallado y, por tanto, creo que es muy útil desde un punto de vista explicativo. Además,

contemplaba las fases del modelo del proceso pregunta-respuesta propuesto por Tourangeau

(1984).


43

Esquema de Oksenberg, Cannell y Kalton (1991)

Oksenberg et al. (1991) tenían como meta elaborar un esquema de codificación que

fuera fácilmente aplicable a lo largo del pretest. Encontraron que había una gran cantidad de

información acerca de la conducta del entrevistador y el entrevistado superflua. Por ello,

desarrollaron un esquema de codificación que se ceñía a la exactitud con la que el

entrevistador leía la pregunta y a la conducta del entrevistado tras esa lectura. La Tabla II. 1

muestra una breve descripción de este esquema de codificación.

Tabla II. 1. Esquema de Análisis de la Codificación del Comportamiento

Conducta Código Significado

Exacto Lee la pregunta exactamente como está

escrita

Cambios ligeros Lee la pregunta cambiando ciertas

palabras sin alterar el significado de la

pregunta

Entrevistador leyendo la

pregunta

Cambios grandes Cambia el significado de la pregunta/No

lee completamente la pregunta

R. Adecuada La respuesta se ajusta al objetivo de la

pregunta (secuencia ideal)

R. No Ajustada La respuesta es adecuada pero no coincide

con ninguna de las alternativas ofrecidas

R. Inválida La respuesta no está relacionada con la

pregunta

R. No sé El entrevistado no sabe la respuesta

R. Limitada La respuesta indica duda o incertidumbre

Interrupción El entrevistado interrumpe la lectura de la

pregunta

Entrevistado contestando la

pregunta

Aclaración El entrevistado solicita una aclaración

En función del tipo de conducta que tenga lugar, se pueden especificar distintas

secuencias. Generalmente, las secuencias se clasifican en “paradigmáticas”, “no

paradigmáticas problemáticas” y “no paradigmáticas no problemáticas”. Una secuencia

“paradigmática” es una secuencia ideal, en la que el entrevistador realiza la pregunta tal y

Capítulo II

44

como está establecido, el entrevistado ofrece una respuesta adecuada y el entrevistador

reconoce esa respuesta como adecuada (Ongena & Dijkstra, 2006). Ahora, una secuencia “no

paradigmática” se clasifica como “problemática” o “no problemática” si el investigador

considera que la conducta está afectando de forma problemática a los datos. Es decir, una

conducta se puede establecer como problemática si realmente tiene una influencia en los

datos. Si el investigador cree que la conducta en sí misma, no es la ideal, pero no afecta a los

datos se clasificaría como “no problemática” (ver esquema de análisis del Capítulo V).

Esquema de van der Zouwen y Smit (2004)

El esquema de codificación de van der Zouwen y Smit (2004) (ver Figura II.1) se

divide en las cinco fases siguientes:

1. Selección y formulación de la pregunta.

El proceso de pregunta-respuesta para una pregunta de un cuestionario comienza

con la decisión del entrevistador sobre si formular esa pregunta, al correspondiente

encuestado en el momento requerido. En el caso de que no se formulara la pregunta, se

asignaría el código WS (word skip) indicando que la secuencia de interacción no

comenzó. La omisión de la pregunta, en principio, llevaría a dejar en blanco la matriz

de datos, es decir, no asignar ninguna alternativa de respuesta. Sin embargo, en

algunas ocasiones el entrevistador asigna una alternativa de respuesta a pesar de que la

pregunta no haya sido formulada (flecha 1). Esta conducta se codificaría como CE

(coding error).

Es posible que el entrevistador formule la pregunta de forma que cambie

sustancialmente el contenido del texto de la pregunta del cuestionario. Esta

reformulación (RQ, reformulation) implica que el entrevistado responda a una

pregunta diferente de la prevista, con una alta probabilidad asociada de que ofrezca

información no relevante o no comparable. Este efecto también podría ocurrir cuando

se produce la omisión (OM, omission) de una parte de la pregunta, ya sea del propio

texto o de las alternativas de respuesta.


45

2. Procesamiento Cognitivo

Una vez que el entrevistador ha formulado la pregunta, el encuestado pone en

marcha un proceso cognitivo con el fin de ofrecer una respuesta. En línea con el

1. SELECCIÓN Y FORMULACIÓN

2. PROCESAMIENTO COGNITIVO

3. EVALUACIÓN DE LA RESPUESTA

4. REPARACIÓN

5. ASIGNACIÓN DE ALTERNATIVA

No Alternativa

Sí Alternativa

Alternativa se ajusta a la respuesta

Alternativa no se ajusta a la respuesta

No pregunta

Entrevistador

3º persona

1

2

3 Adecuada Inadecuada

Adecuada Inadecuada

RQ OM WS

Ayuda

MQ

RE PT CA CH

R. Inadecuada: RF IA DK MM

AR IR MR

CE

WS: wrong skip; RQ: reformulation; OM: omission; MQ: misinterpretation; RE: request for elucidation; PT: participation 3rd person; CA: comment to answer; CH: check of answer; IA: irrelevant answer; RF: refusal; DK: don’t know answer; MM: mismatch; AR: adequate repair; MR: missing repair; CE: coding error; IR: inadequate repair;

Códigos

Figura II. 1. Ejemplo Esquema de Codificación

1. Compresión 2. Recuperación de información 3. Juicio 4. Respuesta

Adaptado de Van der Zouwen y Smit (2004)

Capítulo II

46

modelo presentado en el capítulo anterior, este procesamiento se divide en las 4 fases

que aparecen en la Figura II. 1. Dicho procesamiento no es directamente observable.

No obstante, como explican van der Zouwen y Smit (2004) durante la entrevista parte

de este procesamiento puede llegar a ser indirectamente observable. Esto sucede

cuando el encuestado solicita ayuda al entrevistador o a una tercera persona que esté

presente en la entrevista. Esta conducta puede indicar qué parte de la pregunta

ocasiona problemas, convirtiéndose estas interacciones y comentarios en medios de

información muy útiles a la hora de evaluar la pregunta. En el caso de que el

encuestado solicite una repetición o aclaración al entrevistador se aplicaría el código

RE (request for elucidation). Si una tercera persona interrumpiera el proceso de

respuesta, por ejemplo, ofreciendo la información solicitada, se codificaría con PT

(participation of 3rd person). Si el encuestado parafraseaba la pregunta mostrando que

no ha comprendido de forma correcta el objetivo de la pregunta, se aplicaría el código

MQ (misinterpretation). Por último dentro de esta fase, algunas veces el encuestado

comenta las razones de su respuesta o elección; en esas ocasiones se utilizaría el

código CA (comment on answer).

3. Evaluación de la respuesta

Tras la respuesta del encuestado el entrevistador debe evaluar dicha respuesta. En

el caso de que se utilizara un formato de pregunta de respuesta cerrada, el

entrevistador tiene que comprobar la adecuación de la respuesta dada por el

encuestado, con las distintas alternativas de respuesta previstas para la pregunta. Sin

embargo, una respuesta adecuada no siempre es una respuesta correcta. El

entrevistador puede tener dudas sobre si la respuesta es correcta o no y decidir

comprobarlo (CH, check) repitiendo la pregunta (flecha 2). En el caso de que la

respuesta fuera adecuada, el entrevistador marcaría la opción correspondiente y

finalizaría la secuencia de interacción. Por el contrario, si la respuesta es inadecuada

(de acuerdo con los autores), puede ser de cuatro tipos diferentes: a) se niega a dar una

respuesta (RF, refusal); b) la respuesta es irrelevante con respecto a la temática de la

pregunta (IA, irrelevant answer); c) la respuesta es “no sabe” (DK, don’t know) y d) la

respuesta es relevante con respecto a la temática de la pregunta pero no se ajusta a

ninguna de las alternativas previstas (MM, mismatch).


47

4. Reparación

Si el encuestado ofrece una respuesta inadecuada se espera que el entrevistador

intente solucionar la situación y en colaboración con el encuestado “reparar” la

respuesta, con el fin de obtener una respuesta adecuada (flecha 3). En esta situación,

las habilidades del entrevistador juegan un papel crucial para solucionar el problema

sin sesgar al encuestado hacia una respuesta u otra. En el caso de que la respuesta

fuera lo suficientemente “reparada” se aplicaría el código AR (adequate repair). Sin

embargo, puede ocurrir que la situación no se haya solucionado satisfactoriamente y el

entrevistador en el intento de “reparar” la respuesta haya sesgado o dirigido al

encuestado hacia una alternativa de respuesta. De modo que sería una “reparación

inadecuada”, para ello se utilizó el código IR (inadequate repair). Por supuesto,

también puede ocurrir que el entrevistador pese a oír una respuesta inadecuada no

realice ningún intento de solucionar la reparación y marque una alternativa que no se

ajusta con la respuesta ofrecida. A esta última secuencia de conductas se aplicó el

código MR (missing repair).

5. Asignación de respuesta

Esta es la última fase en el esquema de codificación usado por van der Zouwen y

Smit (2004). En la fase de asignación de respuesta no designaron ningún código

específico a una secuencia de conductas sino que el único código posible (CE, coding

error) venía designado por los comportamientos en las fases anteriores.

En base a estos 16 códigos utilizados para analizar la interacción entre el entrevistador

y el encuestado, van der Zouwen y Smit (2004) establecieron tres tipos de secuencias. Estas

son las siguientes: a) “Secuencias Paradigmáticas”, aquellas en las que el entrevistador

selecciona y formula la pregunta de forma adecuada, el encuestado también ofrece una

respuesta adecuada y se selecciona una alternativa que se ajusta a la respuesta; b) “Secuencias

Inadecuadas”, cuando ha ocurrido alguna desviación de la secuencia paradigmática pero dicha

situación ha sido satisfactoriamente resuelta (código AR, adequate repair) o cuando han

ocurrido secuencias como RE (request for elucidation), CH (check) o CA (comment to

answer); c) “Secuencias Problemáticas”, en este tipo de secuencias sucedieron importantes

Capítulo II

48

desviaciones con respecto a la secuencia paradigmática que no fueron resueltas (MR, missing

repair) o que no fueron satisfactoriamente resueltas (IR, inadequate repair).

6.2. Análisis de los Datos

Una vez que los investigadores han establecido los códigos de conducta y qué códigos

forman las secuencias, como por ejemplo la clasificación de van der Zouwen y Smit (2004),

se procede con la administración de las preguntas de la encuesta. Estas sesiones de

administración de las preguntas de la encuesta suelen ser grabadas en audio y/o vídeo para su

posterior análisis.

Se extraen las frecuencias tanto de los códigos como de las secuencias

(“paradigmáticas”, “problemáticas”, etc.). El análisis de frecuencias proporciona información

sobre las preguntas que están presentando dificultades para los encuestados. Por ejemplo, si

en el estudio de van der Zouwen y Smit (2004), una pregunta muestra una alta tasa de

secuencias “problemáticas” o de códigos “inadequate repair” está indicando que los

encuestados no son capaces de dar respuestas ajustadas al objetivo de la pregunta, y pese al

intento del entrevistador de “reparar” la situación, tampoco son capaces de ajustarse a la

pregunta.

Existen aplicaciones informáticas específicamente diseñadas para realizar este tipo de

análisis. Por ejemplo, el software Sequence Viewer versión 4.4a (Dijkstra, 2008) ejecuta el

análisis de la codificación del comportamiento utilizando las transcripciones de las

interacciones entre el entrevistador y el encuestado. Este software ha sido usado en uno de los

estudios empíricos de la tesis.

Por último, hay una amplia variedad de criterios para decidir cuándo la distribución de

frecuencias de las secuencias indica que la pregunta debe ser revisada. Van der Zouwen y

Smit, en el estudio que se ha utilizado de ejemplo, incluyeron una revisión de criterios

utilizados en diversos estudios desde el año 1969 hasta el 2004. Este estudió mostró que el

criterio más utilizado es: revisar la pregunta del cuestionario cuando se ha obtenido un

porcentaje menor del 85% de respuestas categorizadas como adecuadas o paradigmáticas.


49

7. La Entrevista Cognitiva

La entrevista cognitiva posee un gran número de denominaciones distintas en la

literatura: protocolos retrospectivos y concurrentes (Groves, 1996), entrevistas en profundidad

(Snijkers, 2002), entrevistas expansivas (Forsyth & Lessler, 1991), entrevistas intensivas

(Belson, 1981; Fowler, 1992, 1995), entrevistas intensivas cara-a-cara (Campanelli, Martin &

Rothgeb, 1991), entrevistas think-aloud (Forsyth & Lessler, 1991; DeMaio & Rothgeb, 1996),

think alouds (Sudman, Bradburn, & Schwarz, 1996) o entrevistas cognitivas (Presser & Blair,

1994; Presser et al. 2004; Campanelli, 1997; Willis, 2004; Willis, 2005; Beatty & Willis,

2007; Castillo, Padilla, Gómez y Andrés, en prensa). Como se ha venido haciendo en

capítulos anteriores, el término “entrevista cognitiva” será el empleado a lo largo de la tesis.

La entrevista cognitiva ha emergido como uno de los métodos predominantes para la

identificación y corrección de problemas con las preguntas de las encuestas (Beatty & Willis,

2007). Numerosos institutos de investigación por encuesta, agencias estatales y centros

privados de investigación han incorporado la entrevista cognitiva como un procedimiento

habitual en el desarrollo de cuestionarios, y algunas organizaciones han creado laboratorios

de diseño de cuestionarios para facilitar el uso de la entrevista cognitiva (p. ej. Census

Bureau, National Center for Health Statistics, Bureau of Labor Statistics, Westat, RTI

Internacional y Abt Associates).

No obstante, a pesar de todos estos avances y desarrollos en el uso de la entrevista

cognitiva, hoy en día no existe una definición comúnmente aceptada sobre la misma que

incluya en qué consiste y cuál es el método adecuado de aplicación (Presser et al. 2004). Con

el objetivo de incluir en esta tesis una definición de referencia, se va a utilizar la propuesta por

Beatty y Willis en 2007 que parece reflejar el mayor consenso entre los profesionales del área:

“la entrevista cognitiva implica la administración de un borrador de preguntas de la encuesta mientras se recoge información verbal adicional sobre las respuestas a las preguntas de la encuesta, dicha información es usada para evaluar la calidad de las respuestas o para ayudar a determinar si la pregunta está generando la información que el autor de la encuesta pretendía” (p. 288).

Capítulo II

50

Mas allá de esta definición general, la entrevista cognitiva potencialmente incluye una

serie de actividades basadas en las distintas suposiciones sobre el tipo de datos que se esta

obteniendo y el rol del entrevistador en el proceso. Por ejemplo, el material verbal generado

por las entrevistas podría consistir en: 1) las elaboraciones de los encuestados acerca de como

ellos construyen sus respuestas, 2) las explicaciones sobre cuál ha sido su interpretación de la

pregunta, 3) la información sobre los distintos problemas que hayan tenido contestando a las

preguntas; o 4) cualquier otra información que arroje luz sobre la amplia variedad de aspectos

que rodea el proceso pregunta-respuesta (Beatty & Willis, 2007).

Desde un punto de vista mucho más práctico, la entrevista cognitiva puede ser

conceptualizada como una modificación y expansión del proceso normal de entrevista en la

encuesta (Willis, 1994; Willis, DeMaio & Harris-Kojetin, 1999). La entrevista se lleva a cabo

por entrevistadores cognitivos especialmente entrenados en la indagación del proceso

pregunta-respuesta, en lugar de por los tradicionales encuestadores. Dichos entrevistadores

pueden usar un protocolo semi-estructurado o dirigir la entrevista de una forma más abierta,

basándose en las distintas cuestiones que surjan en el transcurso de la interacción entre el

entrevistador y el encuestado.

7.1. La Validez del Informe Verbal

La perspectiva cognitiva de la evaluación de cuestionarios ha estado fuertemente

ligada al trabajo de Ericsson y Simon (1980) en Psychological Review, al posterior libro y a

su revisión (1984, 1993). Ericsson y Simon estuvieron, en un principio, interesados en la

evaluación de la utilidad de los informes verbales para obtener información de los procesos de

pensamiento de las personas, en contraposición a la larga tradición de escepticismo, marcada

por el conductismo, sobre la habilidad de las personas a la hora de hablar de sus motivaciones,

procesos de conciencia y procesos cognitivos en general (Lashley, 1923).

Después de una amplia y extensa revisión, Ericsson y Simon presentaron un modelo

de procesamiento cognitivo (siguiendo a Newell y Simon, 1972). La hipótesis principal en la

que se basa el modelo es que la información se almacena en distintas memorias con distintas

capacidades de almacenamiento y distintas características de acceso, estas son:


51

1) Varios almacenes sensoriales de corta duración (p. ej. memorias icónicas o eoicas).

2) Una memoria a corto plazo (MCP) de capacidad limitada y/o duración intermedia.

3) Una memoria a largo plazo (MLP) de gran capacidad y almacenamiento relativamente

permanente.

El modelo del procesamiento de la información establece, de forma sencilla, que la

información recientemente adquirida a través de la interacción con el entorno, se mantiene en

la MCP durante un tiempo limitado. Mientras la información se encuentra en la MCP se

puede procesar para ser utilizada en el mismo momento (p. ej. para producir informes

verbales) o puede pasar a almacenarse en la MLP. Tras un periodo de tiempo limitado la

información en la MCP se pierde. Por otra parte, la información, que tiempo atrás había sido

almacenada en la MLP, tiene que ser transferida a la MCP para poder ser utilizada y poder

informar sobre la misma. Ericsson y Simon (1980) asumen que cualquier verbalización o

informe verbal acerca de un proceso cognitivo tendría que basarse en un subconjunto de

información que se encuentre en alguna de estas dos memorias. En esta línea, concluyeron

que provenga de donde provenga la información, para que una persona exprese sus

pensamientos la información se debe encontrar en ese momento en la MCP, de lo contrario no

podría hacerlo.

En lo que concierne al ámbito de la metodología de encuestas, el aspecto clave del

modelo es dónde se almacena la información: la información contenida en la MCP durante el

transcurso de una tarea de solución de problemas o cualquier otra actividad cognitiva puede

ser verbalizada sin que este acto interfiera en el proceso cognitivo puesto en marcha. Ericsson

y Simon (1980) afirmaron que los informes verbales son verídicos no sólo porque contienen

información pertinente que se encuentra disponible en la MCP, sino porque también, el acto

de verbalizar esta información demanda poca actividad cognitiva adicional y, por tanto, no

interfiere en el proceso de pensamiento sobre el que se está informando.

Los profesionales de la investigación por encuesta no estaban interesados en el uso de

los métodos de informe verbal sobre tareas cognitivas en el contexto de los experimentos

psicológicos, sino en su aplicación en la evaluación cognitiva de las preguntas de las

encuestas. En la medida en que Ericsson y Simon defienden el uso general de los métodos de

Capítulo II

52

informe verbal, los entrevistadores cognitivos asumen que el uso de estos métodos en la

evaluación de las preguntas de los cuestionarios representa una aplicación natural (Willis,

2004). Desde el trabajo inicial de Ericsson y Simon, los métodos de informe verbal se han

extendido al área de la comprensión de los textos escritos (Magliano & Graesser, 1991;

Trabasso & Suh, 1993).

Sin embargo, no todos los procesos de pensamiento son accesibles, existen ciertos

procesos de pensamiento automáticos en los que las personas tienen muy poco o nada que

decir sobre la información procesada (Schneider & Shiffrin, 1977). Conrad y Blair (2009)

ejemplifican esta restricción de la validez de los informes verbales exponiendo dos tareas

cognitivas distintas, una automática y otra no automática:

a) Cuando una persona planifica un movimiento en ajedrez se anticipa una serie

de movimientos posibles, se almacena temporalmente el estado de la tabla de

ajedrez en la MCP, las consecuencias de cada uno de los movimientos, etc.

Además, la persona es capaz de explicar los procesos de pensamiento que han

tenido lugar antes de realizar al movimiento de la figura de ajedrez.

b) Cuando una persona tiene que recordar una contraseña o un correo electrónico

simplemente la información aparece en su MCP desde su MLP, y tiene muy

poco que explicar sobre este proceso de pensamiento. Si se le pidiera a esa

persona que comentara cómo ha llevado a cabo esa tarea cognitiva

probablemente diría: “simplemente he recordado la contraseña”.

Ambas situaciones son aplicables a la entrevista cognitiva. En la medida en que las

preguntas de la encuesta impliquen un procesamiento cognitivo automático, los participantes

de la entrevista apenas podrán ofrecer información sobre dicho procesamiento cognitivo y,

por tanto, la entrevista cognitiva tendrá poca utilidad en la indagación de los procesos de

respuesta en este tipo de preguntas. En cambio, si el procesamiento cognitivo es no

automático, es elaborado, la entrevista cognitiva adquirirá una enorme utilidad para indagar

en los procesos de pensamiento del encuestado.

Veamos a continuación cómo se han usado estos métodos de informe verbal en la

evaluación de las pregunta de las encuestas.


53

7.2. Paradigmas de Aplicación

Todas las formas de aplicación de las entrevistas cognitivas consisten en dos tareas

principales:

a) La administración de las preguntas de la encuesta a potenciales encuestados.

b) Recoger información verbal acerca de los distintos procesos de respuesta que

llevan a cabo los encuestados.

Tradicionalmente existen dos grandes formas de implementar las entrevistas

cognitivas. En una de ellas, el entrevistador tiene el rol de facilitar la verbalización de

pensamientos del participante e intervenir tan poco como sea posible en la generación de esta

información verbal. En la otra, el entrevistador guía la interacción de forma proactiva,

realizando preguntas y pruebas de indagación. Ambas formas han dado lugar a lo que se

puede considerar como dos paradigmas distintos de aplicación. La primera aplicación seguiría

el Paradigma Thinking-aloud mientras que la segunda se corresponde con el Paradigma

Probing Based.

El Paradigma Thinking-aloud

El paradigma thinking-aloud fue la aplicación original de la entrevista cognitiva. En

esta aplicación se anima al participante a que verbalice sus pensamientos mientras va

contestando a las preguntas de la encuesta. Loftus en el congreso CASM I fue la primera

persona que mostró la utilización de esta técnica para indagar en los procesos cognitivos del

participante, mientras contestaba a una pregunta autobiográfica, en relación a cuántas veces

había visitado al médico. Este paradigma de aplicación se consideró como una derivación

directa del trabajo de Ericsson y Simon (1980, 1984) sobre la validez del informe verbal. Es

decir, se asumió que el método think-aloud proporciona información real sobre los procesos

cognitivos que tienen lugar en la MCP del entrevistado. Trabajos cercanos a la fecha de esta

primera aplicación (p. ej. Royston, Bercini, Sirken & Mingay, 1986) sugieren que, las

primeras formas de entrevistas cognitivas, están fuertemente basadas, si no exclusivamente,

Capítulo II

54

en el método think-aloud. La aplicación del think-aloud fue el método predominante y no es

de extrañar que también se convirtiera en el paradigma original de las entrevistas cognitivas.

En algún momento, emergió un paradigma de aplicación de la entrevista cognitiva

como alternativa al uso de un think-aloud puro. En concreto, se defendía el uso de preguntas o

pruebas directas al participante, en lugar de ir animándolo a que hablara de sus pensamientos.

Existen varios precedentes que podían haber marcado el desarrollo de esta nueva aplicación.

Por ejemplo, Streett (1983) había descrito las preguntas “marcos de referencia” sobre cómo

los encuestados interpretan distintos términos o conceptos. Converse y Presser (1986)

propusieron los “pretest participantes” en los que explícitamente se informaba a los

participantes del carácter evaluativo de la entrevista y que se les iba a pedir que explicaran sus

respuestas.

El Paradigma Probing Based

El método probing based implica una técnica de informe verbal que se ha ido

consolidando, y con la que los investigadores cognitivos están mucho más de acuerdo (Willis

et al., 1999). Desde este paradigma se lleva a cabo una entrevista en la que el entrevistador

administra las preguntas de la encuesta a evaluar (preguntas target) y el participante responde

a dichas preguntas. Posteriormente, el entrevistador indaga en la información que el

participante tiene en su MCP, a través de preguntas específicas o pruebas.

Este paradigma ha ido evolucionando gradualmente (Beatty & Willis, 2007). Aunque

algunas primeras descripciones de la entrevista cognitiva (Bercini, 1992; Forsyth & Lessler,

1991; Royston, 1989) se enfocaron en el think-aloud como el paradigma dominante de la

entrevista cognitiva, otras (Royston & Bercini, 1987; Willis, Royston, & Bercini, 1991)

sugirieron que tanto think-aloud como probing based podrían ser alternativas perfectamente

viables. Más tarde, Willis (1994) propuso con énfasis el uso de probing based, principalmente

basando su defensa en la observación de que la técnica think-aloud parece ser difícil y

desbordante para muchos participantes. En esta misma línea DeMaio y Rothgeb (1996)

propusieron que las entrevistas cognitivas podrían incluir una serie de actividades

previamente establecidas, tales como, pruebas sobre la comprensión de ciertos términos o


55

solicitar a los participantes que parafraseen alguna pregunta, en ausencia del uso del think-

aloud.

Artículos posteriores demuestran que esta tendencia hacia el uso del probing based

siguió creciendo. Por ejemplo, Gerber y Wellens en 1997 afirmaron que la entrevista

cognitiva parecía haber evolucionado de su forma original “incluyendo más pruebas, y

muchas de ellas sobre la interpretación de los participantes que las que originalmente se

habían previsto” (p. 35). O’Muircheartaigh continúa en 1999 estableciendo que la práctica de

la entrevista cognitiva había divergido sustancialmente del paradigma original propuesto por

Ericsson y Simon. Para finalizar con esta línea argumental, se incluye la puntualización que

Willis et al. realizaron en 1999, exponiendo que a menudo la entrevista cognitiva es

denominada como “entrevistas think-aloud”, no obstante, dicha denominación debería usarse

con moderación ya que la forma think-aloud de aplicación de la entrevista cognitiva no es

necesariamente la forma dominante de implementación de la entrevista cognitiva.

A continuación, la Tabla II. 2 ilustra algunas categorías de las pruebas “clásicas” en el

diseño probing based de la entrevista cognitiva y ejemplos de cada una de ellas. Esta tabla

sólo muestra un pequeño ejemplo de las distintas pruebas que pueden utilizarse durante la

entrevista cognitiva. No obstante, la aplicación de la entrevista cognitiva de acuerdo a un

diseño probing based es bastante variado y complejo. Tal y como puede observarse en la

Tabla II. 2 las pruebas parecen estar basadas en el sentido común, y por ello, los

entrevistadores suelen estar muy dispuestos a aplicarlas. Sin embargo, desde un punto de vista

teórico, la utilidad de estas pruebas con el objetivo de evaluar las preguntas de la encuesta se

basa en tres puntos claves (Willis, 2005):

1. Las características de las preguntas de las encuestas (p. ej., longitud,

terminología utilizada, etc.) deberían afectar al procesamiento de información

en varios puntos: en las fases de comprensión, recuperación de información,

juicio y respuesta de los encuestados.

2. Se podría aplicar esta técnica de pruebas verbales para, literalmente, “probar”

el sistema de procesamiento. Es decir, se le aplican estas pruebas al

participante con el fin de indagar en alguna de las fases del proceso pregunta-

respuesta, tales como, comprensión o recuperación de información.

Capítulo II

56

Tabla II.2. Típicas Pruebas Cognitivas

Prueba Cognitiva Ejemplo

Prueba General ¿En qué estaba pensando mientras respondía a la

pregunta? ¿Qué información le ha venido a la

cabeza mientras respondía?

Prueba sobre Comprensión de conceptos ¿Qué ha entendido por el termino “familia”?

Prueba de Parafraseo ¿Podría repetir la pregunta con sus propias

palabras?

Juicios de Confianza ¿Con qué seguridad afirma que… “su seguro

médico cubre el tratamiento del alcohol y las

drogas”?

Prueba sobre Recuperación de Información ¿En qué se ha basado para decir que… “fue al

médico cinco veces durante el año pasado”?

Prueba Especifica ¿Ha sido fácil o difícil responder a la pregunta?

Me he dado cuenta que ha dudado al responder,

¿me podría decir qué ha sucedido?

3. La respuesta del participante a estas pruebas, podría ser usada para evaluar el

procesamiento de estas fases. En particular, para evaluar si la pregunta de la

encuesta esta siendo procesada como se esperaba.

Procedimiento de Aplicación

Aquellos entrevistadores que utilizan la aplicación probing based, en contraposición a

la utilización del think-aloud, deben decidir cuándo aplicar dichas pruebas. Es decir, cuándo

introducir dichas pruebas durante la entrevista. Existen fundamentalmente dos opciones,

introducir las pruebas como una parte integrada en la administración de las preguntas del

cuestionario a evaluar, denominadas preguntas “target” (Willis, 2005), o esperar a que se

administren todas las preguntas target y como una actividad separada se realizan las pruebas.

El primer procedimiento se denomina concurrent probing o immediate restropective probing

(Willis et. al 1991); mientras que el segundo se denomina delayed retrospective probing,

retrospective probing o subject debriefing (Willis, 2005). En el marco de esta tesis doctoral,


57

se utilizará el término diseño concurrente para referirse al primer procedimiento, y diseño

retrospectivo para referirse al segundo procedimiento. En el diseño concurrente las pruebas se

llevan a cabo de una forma interactiva y conversacional en la que el entrevistador cognitivo y

el participante se turnan para ir preguntando y contestando tanto las preguntas target como las

pruebas cognitivas. Actualmente, el diseño concurrente es el más utilizado, prueba de ello es

el estudio que realizaron DeMaio y Landreth (2004) sobre tres laboratorios cognitivos

determinando que aproximadamente el 95% de las pruebas fueron administradas de forma

concurrente. En la Figura II. 2 se expone una secuencia típica en la aplicación concurrente de

la entrevista cognitiva, junto a un extracto de trascripción de una entrevista cognitiva real.

Podría parecer más efectivo esperar a que se administraran todas las preguntas target y

posteriormente realizar las pruebas cognitivas, evitando de este modo efectos de reactividad

en el participante debido a la acumulación de pruebas durante la entrevista. Sin embargo, la

mayoría de los entrevistadores cognitivos coinciden con Ericsson y Simon (1980, 1984) en

que la información debería estar fresca en la mente del participante (en su memoria a corto

plazo) para poder ser evaluada correctamente. En otras palabras, si se aplican las pruebas

cognitivas muy tarde, se corre el riesgo de que los participantes no recuerden qué estaban

pensando cuando contestaban a cada una de las preguntas target.

Sería más conveniente utilizar el diseño retrospectivo bajo ciertas circunstancias: (a)

cuando se evalúan preguntas de encuestas auto-administradas, especialmente cuando el

objetivo de la evaluación es determinar la capacidad del participante para utilizar un

instrumento de medida auto-administrado, (b) en las últimas fases del desarrollo de las

preguntas cuando los diseñadores quieren simular las condiciones reales de la administración

de la encuesta sin la interrupción de las pruebas, y (c) cuando junto a la entrevista cognitiva se

aplica otro método de pretest, por ejemplo, la codificación del comportamiento, y se necesita

obtener una secuencia de conductas sobre la interacción del entrevistador y el participante sin

la interrupción de las pruebas cognitivas (ver capítulo V).

Capítulo II

58

Figura II. 2. Ejemplo de diseño concurrente

Secuencia Extracto de la Entrevista Cognitiva

1. El entrevistador

administra la

pregunta target

P.1 ¿Tiene dificultad importante para hablar de manera comprensible y

decir frases con sentido sin ayudas?

SI

NO

2. El participante

contesta a la pregunta

“Sin ayuda de otra persona, sí, por supuesto, yo me considero bien al hablar

sin ayuda de nadie”

3. El entrevistador

marca la alternativa

de respuesta

“Entonces…la respuesta sería, NO”

4. El entrevistador

realiza la prueba

cognitiva

(prueba general en

este caso)

¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

5. El participante

contesta a la prueba

“Porque yo creo que en esta facultad que yo tengo ahora mismo, es la que

tengo sana. Entonces me veo muy desarrollada a la hora de poder…no a lo

mejor el decir cosas que uno quiere…pero creo que sí, que saber escucharlo y

decirlo, me veo preparada porque no me veo con ninguna dificultad en ese

sentido, de adentro interior”

6. La secuencia 3 y 4

se suele repetir varias

veces

¿Qué significan para Vd. las palabras “hablar de manera comprensible”?

“Yo el concepto es saber escuchar y comprender a la persona con la que estás

hablando”

7. El entrevistador

administra la

siguiente pregunta

target

P.2 ¿Tiene dificultad importante para comprender el significado de lo

que le dicen otras personas sin ayudas?

SI

NO


59

7.3. Contextualización y Procedimiento

La aplicación de la entrevista cognitiva, como método de pretest, supone una fase en

la amplia secuencia de desarrollo de la encuesta. Es importante no cometer el error de aplicar

la entrevista cognitiva demasiado pronto o demasiado tarde en dicho proceso. Si se aplicara

demasiado pronto aspectos como, la concreción de objetivos de la encuesta o la búsqueda y

localización de encuestas similares podrían interferir en el proceso de evaluación del

cuestionario. Por otra parte, si se aplicara demasiado tarde no se dispondría de suficiente

tiempo para realizar los cambios y ajustes necesarios tras los resultados de la entrevista

cognitiva (Beatty, 2004). La entrevista cognitiva se debe aplicar una vez que se dispone de un

borrador del cuestionario. En base a este borrador del cuestionario se seleccionarán las

preguntas a ser evaluadas mediante la entrevista cognitiva, es decir las preguntas target.

La selección de dichas preguntas se puede llevar a cabo de varias formas. Por una

parte, los autores de la encuesta pueden decidir cuáles son las preguntas que necesitarían ser

evaluadas. Por ejemplo, aquellas que han resultado más complejas durante las fases iniciales

de la elaboración del cuestionario. Por otra parte, los autores de la encuesta con el

asesoramiento de entrevistadores cognitivos pueden decidir qué preguntas pueden ser las más

problemáticas e identificar las potenciales fuentes de error de respuesta que pudieran poseer.

Por supuesto, sin mencionar que para obtener un borrador del cuestionario, previamente y de

forma general, se tuvo que establecer los objetivos de la investigación, llevar a cabo un juicio

de expertos, revisión bibliográfica o cualquier método similar para la concreción y desarrollo

de conceptos o constructos a implementar en el cuestionario, y por último, operativizar dichos

conceptos y constructos hasta poder ser representados en preguntas dentro de la encuesta. La

Figura II. 3 muestra el procedimiento de la entrevista cognitiva una vez que se ha obtenido el

borrador del cuestionario.

Antes de comenzar con la entrevista y una vez seleccionadas las preguntas target, se

debe preparar y/o adaptar el cuestionario para su administración en la entrevista cognitiva. Así

mismo, se deben desarrollar las correspondientes pruebas cognitivas para indagar en el

proceso pregunta-respuesta y, por tanto, obtener evidencias de esas potenciales fuentes de

error de respuesta.

Capítulo II

60

Dichas pruebas junto con instrucciones sobre el objetivo de la entrevista cognitiva, su

desarrollo, y función del entrevistador y el participante suelen ser implementadas en un

protocolo o guión de entrevista. A veces, las preguntas target, también se insertan en dicho

protocolo y, otras veces, se crea un documento independiente con dichas preguntas.

Figura II. 3. Procedimiento de la Entrevista Cognitiva

Borrador del Cuestionario Disponible para ser Evaluado

Preparación de la Entrevista Elección de las preguntas target Preparación del cuestionario para la entrevista cognitiva Desarrollo de las pruebas Desarrollo del Protocolo de entrevista (instrucciones + preguntas target + pruebas)

Proceso

de

Entrevista

Cognitiva

Reunión con el cliente o autores de la encuesta para las posibles modificaciones

Reclutamiento Determinar las características de los participantes Desarrollar e implementar una estrategia de reclutamiento (anuncios, bola de nieve…) Reclutar y citar a los participantes

El cuestionario es revisado por los diseñadores

¿Se necesita llevar a cabo otra ronda de evaluación?

Informe de Resultados

Análisis de los datos de las entrevistas (grabaciones, transcripciones, notas…)

Realizar entre 15-20 entrevistas cognitivas

NO

Fase del Pretest de Campo

Administración de la Encuesta

SI


61

A su vez y como una parte muy importante del procedimiento se deben reclutar a los

participantes de la entrevista cognitiva. Actualmente, el ámbito de los participantes

“adecuados” para la entrevista cognitiva y cuestiones tales como la representatividad de los

participantes, su capacidad de comunicación verbal, la utilización de los mismos participantes

en varios pretest cognitivos, etc. se está convirtiendo en un foco de atención por los

profesionales del área; por ejemplo, Willis (2005) dedica varias páginas de su libro a ilustrar

quiénes son los participantes adecuados para la entrevista y cómo podrían ser reclutados.

Basándonos en la experiencia acumulada en la realización de entrevistas cognitivas

podemos apuntar que la característica más importante que deben poseer los participantes no es

tanto la representatividad de la población objetivo sino la posesión de ciertas características

que hagan “saltar” los problemas con las preguntas. Dada la finalidad de la entrevista

cognitiva, que es identificar las causas de los errores de respuesta en las encuestas, se deben

seleccionar potenciales participantes que se espera muestren esos errores de respuesta durante

la administración de las preguntas target en la entrevista cognitiva. Por ejemplo, si se va a

evaluar las preguntas de una encuesta de discapacidad, cuyo objetivo final sea identificar

mediante las respuestas a las preguntas qué personas se consideran con discapacidad y cuales

no. Los participantes de la entrevista cognitiva deberían ser personas que se encuentren en el

margen de la discapacidad; es decir, podrían ser personas con ciertos problemas de movilidad,

con cierto grado de limitación visual, etc. y que en teoría, mostrarían mayores dificultades a la

hora de contestar a las preguntas. En este sentido, los potenciales errores de respuesta en las

preguntas se harían evidentes, “saltarían”, con mayor facilidad. Realizando una analogía con

la disciplina de la Ingeniería Informática, cuando los informáticos quieren “testear” un nuevo

software lo prueban en las condiciones límites para asegurar su futuro rendimiento. En nuestra

disciplina, las condiciones o situaciones límites son aquellos participantes que mostrarían

mayores problemas en la compresión de las preguntas target.

Una vez especificadas las características de los participantes, se lleva a cabo la

estrategia de captación más adecuada, ya sea con anuncios, realizando muestreos tipo bola de

nieve, delegando esta tarea en una organización de estudios de campo, etc. Con los materiales

y los participantes disponibles comienza el propio proceso de la entrevista cognitiva. Se

suelen llevar a cabo alrededor de 15-20 entrevistas, dirigidas por entrevistadores entrenados y

cualificados, en un laboratorio cognitivo, idealmente provisto de sistemas de grabación de

audio y vídeo, con el fin de poder observar y analizar las entrevistas cuantas veces se requiera.

Capítulo II

62

La realización de las entrevistas cognitivas en un laboratorio cognitivo es una práctica

no extendida y ni compartida por todos los profesionales del área. Prueba de ello, es que

existen ciertos grupos de investigación, en su mayoría europeos, que defienden la aplicación

de la entrevista cognitiva en el mismo contexto en el que posteriormente se aplicaría la

encuesta, es decir, en los hogares. No obstante, nuestro grupo de investigación comparte la

perspectiva americana acerca de realizar la entrevista cognitiva en una situación más

controlada evitando las interrupciones que podrían surgir al realizarla en los hogares, aunque

a pesar de ello se pueda perder cierta validez “ecológica” de los datos.

El número de entrevistas cognitivas puede ser variable por distintas razones. En primer

lugar, en función de la temática de la encuesta y, por lo tanto, de las preguntas target se

pueden necesitar más o menos entrevistas para la obtención de evidencias empíricas de los

potenciales errores de respuesta en dichas preguntas. En segundo lugar, la realización de

entrevistas cognitivas conlleva un alto coste económico y temporal, de modo que, los recursos

económicos, humanos y temporales disponibles son un factor muy determinante del número

de entrevistas cognitivas.

Los datos de la entrevista cognitiva se pueden obtener a través de las grabaciones de la

entrevista y a través de las notas tomadas por el entrevistador durante la entrevista cognitiva.

Con respecto a esta última aproximación DeMaio y Landreth (2004) aportaron evidencias

sobre una reducción de la capacidad de la entrevista cognitiva a la hora de identificar

problemas con las preguntas del cuestionario, ya que supone una demanda cognitiva excesiva

para el entrevistador: administrar el cuestionario, aplicar y guiar las pruebas para la

indagación en el proceso pregunta-respuesta del participante y además tomar notas de los

resultados principales de forma comprensible e inteligible. El análisis de estos datos se suele

trasladar a un informe de resultados en el que se detallan información sobre los procesos de

respuesta de los participantes en cada una de las preguntas target, además de evidencias sobre

los problemas de las preguntas evaluadas y sobre las fuentes de error de dichas preguntas, y

recomendaciones para evitar estos errores de respuesta. Basado en los resultados de las

entrevistas cognitivas se realizan las modificaciones oportunas al cuestionario. Si fuera

necesario, se llevaría a cabo otra ronda de entrevistas cognitivas con la nueva versión del

cuestionario o de lo contrario comenzaría la fase del pretest de campo y finalmente la

administración de la versión final de la encuesta.


63

7.4. Análisis de los Datos

El análisis de los resultados de la entrevista cognitiva implica un gran esfuerzo a nivel

de interpretación y juicio de los informes verbales de los participantes.

Miller en 2007 estableció un sistema piramidal invertido compuesto por tres niveles de

análisis que idealmente los resultados de las entrevistas cognitivas debían alcanzar. Este

sistema piramidal se puede observar en el Diagrama II. 1.

Diagrama II. 1. Niveles de Análisis

1. Procesos de Respuesta a la Pregunta(descripción individual)

2. Patrones de los Procesos de Respuesta

3. Diferentes Patrones entre Grupos(descripción trans-cultural)

Análisis Individual

Comparación de las Entrevistas

Comparación de los Grupos de Entrevistas

El sistema desarrollado por Miller (2007) se basa en la generalización de los

resultados de la entrevista cognitiva. El sistema parte de la cúspide de la pirámide, como el

nivel más elemental de análisis, y se va abriendo hasta la base, donde se sitúa el mayor nivel

que pueden alcanzar los resultados de la entrevista cognitiva.

El primer nivel de análisis sucede en el transcurso de la entrevista, específicamente,

cuando el entrevistador intenta recabar información sobre el proceso de respuesta del

entrevistado ante una pregunta de la encuesta: cómo ha interpretado la pregunta, en qué

información se ha basado para dar esa respuesta, etc. El entrevistador debe comportarse como

un analista durante la entrevista, evaluando la información que el participante le va ofreciendo

e indagando si existen ciertas incongruencias en las explicaciones del entrevistado o si

Capítulo II

64

necesita más información para identificar problemas con la pregunta de la encuesta. Además

el entrevistador debe evaluar la calidad de la información que está recabando durante la

entrevista cognitiva. Si esta información no es útil para cubrir el objetivo de la entrevista, el

entrevistador debe cambiar y adaptar la técnica de indagación. En este nivel de análisis se

pueden identificar problemas con las preguntas de la encuesta de forma exclusivamente

individual.

El segundo nivel de análisis tiene lugar cuando se examinan todas las entrevistas

realizadas con el fin de extraer patrones sobre el modo en el que los participantes interpretan y

procesan las preguntas. Es decir, a través de la comparación de todas las entrevistas se

intentan extraer patrones de los procesos de respuesta a las preguntas, y además, conocer la

consistencia de estos patrones. Este nivel de análisis es, también, muy importante a la hora de

saber en qué medida los participantes están realizando la misma interpretación de ciertos

conceptos claves en el texto de la pregunta. Por ejemplo, si ante una cláusula temporal como

“en los últimos 12 meses” o “en las últimas dos semanas” los entrevistados usan, de forma

consistente, esta cláusula para responder a la pregunta. Este nivel de análisis es fundamental

para entender el procesamiento cognitivo general que subyace a las respuestas de los

entrevistados.

El último nivel ideal de análisis implica la comparación de los patrones de

procesamiento cognitivo entre distintos grupos de participantes. Esta comparación entre

diversos grupos de participantes es esencial para comprobar si los problemas con las

preguntas de la encuesta son específicos a un grupo o comunes entre grupos con distintas

características. Este nivel es particularmente necesario en el contexto de la medición por

encuesta en estudios trans-culturales.

Los datos de la entrevista cognitiva se pueden analizar de tres formas distintas. En

función de las características de cada uno de los tres métodos de análisis, se podrá alcanzar un

nivel u otro de los propuestos por Miller (2007). Estas son:

1. Revisión y documentación de las entrevistas de forma individual. Este método de

análisis requiere la trascripción y análisis individual de cada entrevista. Se analiza de

forma detallada cada una de las entrevistas, extrayendo resultados por cada uno de los

participantes. Proporciona una revisión completa de la evaluación de cada pregunta,


65

representando la forma más detallada de análisis. No obstante, una revisión y análisis

tan pormenorizado dificulta llegar a conclusiones generales sobre los problemas de las

preguntas de las encuestas. Esta situación se ejemplifica con la famosa frase: “los

árboles impiden ver el bosque”. Esta forma de análisis sólo alcanzaría el primer nivel

propuesto por Miller (2007).

2. Compilación de resultados a lo largo de las entrevistas. Este método de análisis

combina los resultados de todas las entrevistas. Normalmente, el análisis se estructura

en base a cada una o grupo de preguntas target. Es decir, en cada pregunta target se

comparan todos los comentarios de los entrevistadores o informes verbales de los

participantes y, por último, se obtienen conclusiones acerca de los problemas y los

errores de respuesta en dicha pregunta. Se puede extraer tanto información de carácter

cualitativo como cuantitativo. Por una parte, se extrae información cualitativa en el

sentido de que permite ver qué tipo de problemas surgen en cada pregunta o cuáles son

los errores de respuesta presentes en las preguntas y, además, si son consistentes a lo

largo de las entrevistas. Por otra parte, se obtiene información cuantitativa en el

sentido de que se puede cuantificar la severidad del problema en función de su

frecuencia de aparición entre los participantes. Sin embargo, algunos centros de

investigación, como por ejemplo, el National Centre for Social Research, a pesar de

utilizar esta estrategia de análisis, sólo extraen los resultados a un nivel cualitativo.

Los investigadores de este centro de investigación asumen que la entrevista cognitiva

es una herramienta de obtención de datos de naturaleza cualitativa siendo no admisible

la cuantificación.

El método de compilación de resultados a lo largo de las entrevistas se sitúa en

el segundo nivel del sistema piramidal. Posteriormente, si el patrón de procesamiento

de respuesta obtenido se comparara con otros grupos se estaría llegando al último

nivel del sistema de Miller (2007).

3. Esquema de codificación. Esta forma de análisis de los datos de la entrevista cognitiva

se asemeja a la utilizada en la codificación del comportamiento. En primer lugar, se

establece un sistema de códigos que se asociará al informe verbal del participante.

Generalmente, se asignan códigos conceptuales a las porciones de información verbal

Capítulo II

66

que son muestra de problemas con las preguntas del cuestionario. Por ejemplo, Presser

y Blair (1994) crearon el esquema de codificación que aparece en la Figura II. 4.

En relación al modelo del proceso pregunta-respuesta (Tourangeau, 1984), el

esquema de codificación de Presser y Blair está muy desproporcionado. De las seis

categorías, expuestas en la Figura II. 4, cuatro de ellas, desde el Código2 hasta el

Código5, implican la fase de comprensión del modelo. Mientras que para la fase de

recuperación de información, juicio y comunicación de respuesta sólo se ha

designado una categoría, el Código6. Presser y Blair encontraron que las categorías

entre el Código2 y el Código5 (problemas semánticos) fueron las más frecuentes en

los resultados de las entrevistas cognitivas.

Willis et al. (1999) y de forma independiente Conrad y Blair (1996)

desarrollaron esquemas de codificación similares, que posteriormente Collins (2007)

los denominó esquemas de codificación estandarizados. Estos esquemas de

codificación estandarizados reflejan el modelo del proceso pregunta-respuesta

dominante, ajustándose totalmente al modelo de 4 fases del proceso pregunta-

respuesta (Tourangeau, 1984). Estos esquemas de codificación estandarizados

proponen la identificación de los siguientes tipos de problemas:

Código1: El entrevistador tiene un problema leyendo la pregunta o marcando la alternativa de respuesta.

Código2: El participante tiene dificultad para comprender el

significado de la pregunta. Código3: El participante tiene dificultad para recordar la pregunta.

Código4: El participante tiene dificultad para entender el significado de

algunas palabras o conceptos dentro de la pregunta. Código5: Distintos participantes llevan a cabo distintas interpretaciones

de la misma pregunta. Código6: El participante tiene dificultad recuperando información o

exponiendo su respuesta.

Figura II. 4. Ejemplo Esquema de Codificación


67

(1) Comprensión, que refleja cuando el participante no comprende el objetivo

de la pregunta o lo que se le está preguntado.

(2) Recuperación de la información, el participante tiene problemas para

recuperar la información o recordar la información necesaria para contestar a la

pregunta.

(3) Juicio, que incluye los problemas en la fase de evaluación de esa

información recuperada.

(4) Categoría de Respuesta, cuando el participante tiene un problema a la hora

de dar su respuesta. Por ejemplo, cuando ofrece una respuesta que no se corresponde

con ninguna de las opciones de respuesta establecidas en la pregunta.

El resultado de estos elaborados sistemas de análisis de los datos de la

entrevista cognitiva es un informe en el que se indica la frecuencia de aparición de

cada código conceptual o categoría en todas las entrevistas. Estos sistemas de análisis,

basados en esquemas de codificación, han sido utilizados en mayor medida para

alcanzar objetivos de investigación y comprobación de hipótesis de investigación que

para objetivos aplicados de revisión, mejora y modificación de las preguntas de los

cuestionarios (Rothgeb, Willis, & Forsyth, 2001).

Las principales variaciones entre los distintos esquemas de codificación

utilizados, generalmente, se basan en el número de códigos y en la asociación de

dichos códigos con informes verbales o conductas del entrevistador y el participante.

Es decir, en el grado en el que se enfocan en distintos momentos del procesamiento

cognitivo que tiene lugar durante la entrevista (DeMaio & Landreth, 2004). Al igual

que ocurre con el método anterior, este método se situaría en el segundo nivel de

análisis del sistema de Miller (2007), pudiendo alcanzar el tercer nivel si se establecen

comparaciones de los resultados de los esquemas de análisis entre distintos grupos.

Independientemente del método utilizado para analizar las entrevistas cognitivas y del

nivel al que se sitúe cada método, los resultados que se pueden obtener a través de las

Capítulo II

68

entrevistas cognitivas principalmente se clasifican en cinco tipos distintos. De acuerdo con

Willis (2005), estas cinco categorías de resultados son las siguientes:

1. Recomendaciones específicas en el texto de las preguntas (defectos de las preguntas

basados en problemas cognitivos, lógicos/estructurales o culturales). Esta categoría

constituye el resultado más acorde con el objetivo principal de la entrevista cognitiva,

como es, proporcionar información que sea usada para realizar recomendaciones y

cambios en las preguntas de los cuestionarios.

2. Re-especificación de objetivos. Necesidad de una especificación mayor del objetivo de

la pregunta o el modo en el que la pregunta intenta cubrir dicho objetivo.

3. Problemas relativos al orden (preguntas, secciones, etc.) y otras interacciones entre

las preguntas de la encuesta. Aunque la entrevista cognitiva está enfocada en la

evaluación de preguntas de forma individual, a menudo, los resultados transcienden a

otros niveles, como los efectos de orden de las preguntas o interacciones entre dichas

preguntas.

4. Problemas relativos a la reducción de la longitud o carga del instrumento. Esta

categoría de resultados incluye evidencias sobre los problemas, que pueden generar en

los entrevistados, la longitud o la carga de la encuesta. Concluyendo en una propuesta

de reducción de la encuesta evaluada.

5. Limitaciones sobre qué debe ser estudiado a través de la encuesta. No todo lo que se

pretende medir en una encuesta es necesariamente medible. Los resultados de la

entrevista cognitiva pueden ofrecer información sobre la complejidad del objeto de

medición a través de los informes verbales de los participantes.

7.5. Errores en los Resultados

La entrevista cognitiva puede llevar a conclusiones incompletas, erróneas o

incorrectas. Existen distintos tipos de error ligados al uso de este método de pretest. Por

ejemplo, la entrevista cognitiva puede identificar problemas que posteriormente no ocurran en


69

la aplicación “real” de la encuesta o, por el contrario, puede no identificar problemas que

posteriormente sí ocurran en la administración de la encuesta. Además, los resultados podrían

ser inconsistentes cuando se llevan a cabo por grupos independientes de investigadores. Los

dos primeros errores en los resultados de las entrevistas cognitivas hacen referencia a la

validez del método, y serían clasificados como errores de comisión y errores de omisión,

respectivamente; mientras que el último tipo de error haría referencia a la fiabilidad del

método (Beatty & Willis, 2007).

Con respecto a los errores de comisión, los profesionales del área admiten que la

entrevista cognitiva identifica problemas que posteriormente ocurrirán en las encuestas. Se

han llevado a cabo, al menos, dos estudios que verificaron cómo los resultados de las

entrevistas cognitivas fueron ratificados por los datos de campo y, por tanto, carecían de

errores de comisión (Beatty, Fowler, & Cosenza, 2006; Willis & Schechter, 1997). En ambos

estudios administraron, en dos grupos independientes, las preguntas originales de la encuesta,

y estas mismas preguntas con las modificaciones realizadas tras la entrevista cognitiva. Los

resultados mostraron un mayor ajuste estadístico de las preguntas modificadas tras la

entrevista cognitiva.

En relación a los errores de omisión, no sería razonable pensar que la entrevista

cognitiva pueda identificar y resolver todos los problemas del cuestionario. La utilidad del

método se basa en la suposición de que, los problemas más relevantes se harán evidentes en la

mayoría de los grupos de participantes apropiados, en función de la temática de la encuesta

(Beatty & Willis, 2007).

La frecuencia de aparición de estos errores de omisión y de comisión ha sido

relacionada con el tipo de diseño de aplicación de la entrevista cognitiva en el estudio de

Conrad y Blair (2009). Aquellos entrevistadores que llevaron a cabo la entrevista cognitiva de

una forma mucho más abierta, menos estructurada y con una aplicación de pruebas cognitivas

dependiente de los informes verbales que iban aportando los participantes, identificaron un

gran número de problemas con las preguntas de las encuestas que resultaron ser en muchos

casos falsas alarmas (errores de comisión). De forma contraria, aquellos entrevistadores que

aplicaron la entrevista cognitiva bajo un diseño más cerrado y ceñido a pruebas cognitivas

previamente establecidas, obtuvieron un menor número de errores de comisión pero

Capítulo II

70

igualmente identificaron una menor cantidad de problemas reales con las preguntas de la

encuesta, por tanto, obteniendo más errores de omisión.

Por último, siempre existe la posibilidad de que grupos independientes de

entrevistadores cognitivos no obtengan las mismas conclusiones en relación a la misma

pregunta del cuestionario (ver DeMaio & Landreth, 2004; Forsyth, Rothgeb, & Willis, 2004).

Especialmente si un grupo está trabajando bajo un paradigma “investigador” y otro grupo está

trabajando bajo un paradigma “aplicado” (Beatty & Willis, 2007). No obstante, cuando los

resultados no coinciden no quiere decir que sean contradictorios. Esta falta de coincidencia

puede ser indicativa de que los resultados de la entrevista cognitiva no han sido extraídos

completamente y se necesita de una revisión más exhaustiva. Por ejemplo, la no coincidencia

podría indicar un mal procesamiento y razonamiento de los analistas de la entrevista cognitiva

o que las entrevistas no han indagado correctamente en los procesos de respuesta asociados a

las preguntas (Beatty & Willis, 2007). En la primera situación se necesitaría de una nueva

revisión de los datos mientras que en la segunda se debería realizar una segunda ronda de

entrevistas. De cualquier forma, tal y como especifican Conrad y Blair (2009), en la medida

en que las respuestas a las preguntas de las encuestas deberían ser independientes del

entrevistador que realice la pregunta, la detección de problemas mediante las entrevistas

cognitivas debería ser también independiente de la persona que analice los informes verbales

de los participantes. Estos autores sugieren que el uso de varios revisores, que alcanzaran un

consenso en relación a los problemas identificados, podría mitigar esta debilidad de la

entrevista cognitiva. Así como, en base a los resultados hallados en su estudio, sugieren que el

aumento del número de informes verbales en cada una de las preguntas mejoraría la

identificación de aquellas preguntas que necesitan una revisión posterior.

En definitiva, parafraseando a Conrad y Blair (2009), toda actividad de medición

conlleva un error inherente y la entrevista cognitiva no es una excepción. La clave radica en

diseñar, en cada caso, la aplicación de la entrevista cognitiva, de tal forma que, maximice la

identificación de problemas con las preguntas de las encuestas y minimice el error inherente a

la técnica.


71

7.6. Limitaciones de la Entrevista Cognitiva

La entrevista cognitiva no es la panacea para la identificación de errores de respuesta

en las preguntas de las encuestas; por supuesto, posee una serie de limitaciones que deben ser

tenidas en cuenta. De acuerdo, con Willis (2005), las principales limitaciones son cuatro:

1. Los participantes de la entrevista cognitiva no son los encuestados. Los participantes

de las entrevistas cognitivas son, por definición, auto-seleccionados y, por tanto, poco

representativos de la población objetivo de la encuesta.

2. El contexto del laboratorio cognitivo es diferente del contexto en el que se aplica la

encuesta. Las condiciones físicas y sociales no son una réplica de las condiciones de

campo.

3. Los entrevistadores cognitivos no son (generalmente) los encuestadores. La entrevista

de campo y la entrevista cognitiva requieren distintos tipos de habilidad y prioridad, y

en general, la entrevista cognitiva no es útil para detectar errores de medición

atribuibles al encuestador (Von Thurn & Moore, 1994). De todas formas, no es una

limitación inherente al proceso de la entrevista cognitiva, ya que se puede tratar este

tipo de problemas si se atiende a los mismos.

4. La muestra utilizada en la entrevista cognitiva es muy pequeña. Debido a esto, a veces

se discute su capacidad de inferencia. No obstante, se deben tener en cuenta tres

aspectos antes de limitar la capacidad de inferencia de la entrevista cognitiva: (a) el

objetivo de la entrevista cognitiva no es la estimación estadística, de modo que no es

necesario conseguir muestras lo suficientemente grandes como para dar precisión y

relevancia a algún contraste estadístico; (b) la naturaleza de la entrevista cognitiva es

cualitativa más que cuantitativa, no se evalúan las preguntas de las encuestas

simplemente contando el número de entrevistas en las que ha ocurrido problemas, la

cuantificación de las entrevistas cognitivas sólo se usa para tener una idea del tamaño

del problema que está sucediendo; y (c) la aparente superioridad cuantitativa en los

prestest de campo puede ser ilusoria. Willis demostró en un estudio en 1989 cómo,

debido a las preguntas filtro y los routings que poseen las encuestas, en un pretest de

campo de unos 300 hogares solamente 12 personas contestaron a una sección muy

Capítulo II

72

importante, como es el uso de dispositivos de ayudas (perros-guía, sillas de ruedas,

etc.). Esta sección recibió muy poca atención en el debriefing posterior al estudio de

campo, mientras que en la entrevista cognitiva previa al estudio de campo se habían

reclutado participantes con las características específicas para contestar a esas

preguntas y, en consecuencia, evaluarlas. Como resultado la proporción de muestra

efectiva fue sustancialmente mayor en el pretest cognitivo que en el pretest de campo.

8. Referencias

Aaker, D., Bagozzi, R. & Carman, J. (1980). On using response latency to measure

preferences. Journal of Marketing Research, 17, 237-244.

Basili, J. (1996). The how and why of response latency measurement in telephone surveys. En

N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining

cognitive and communicative processes in survey research (pp. 319-346). San Francisco:

Jossey-Bass.

Basili, J. & Fletcher, J. (1991). Response-time measurement in survey research: a method for

CATI and a new look at nonattitudes. Public Opinion Quarterly, 55, 331-346.

Basili, J. & Scott, B. (1996). Response latency as a signal to question problems in survey

research. Public Opinion Quarterly, 60, 390-399.

Beatty, P., Fowler, F.J. & Cosenza, C. (2006). Do Questionnaire Design Recommendations

Lead to Measurable Improvements? Some Experiments with Alternate Versions of Complex

Survey Questions. Proceedings del Q2006 European Conference on Quality in Survey

Statistics. Disponible online en:

http://www.statisctics.gov.uk/events/q2006/dowloads/T04_Beatty.doc.

Beatty, P. (2004). The Dynamics of Cognitive Interviewing. En S. Presser, J. Rothgeb, M.P.

Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and

Evaluating Survey Questions (pp. 45-66). Nueva Jersey: John Wiley & Sons.


73

Beatty, P. & Willis, G.B. (2007). Research synthesis: The practice of cognitive interviewing.

Public Opinion Quarterly, 71, 287-311.

Belson, W. (1981). The Design and Understanding of Survey Questions. Aldershot, Reino

Unido: Gower.

Campanelli, P. (1997). Testing Survey Questions: New Directions in Cognitive Interviewing.

Bulletin de Methodologie Sociologique, 55, 5-17.

Campanelli, P.E., Martin, E. & Rothgeb, J. (1991). The Use of Respondent and Interviewer

Debriefing Studies as a Way to study Response Error in Survey Data. The Statistician, 40,

253-264.

Castillo, M., Padilla, J.L., Gómez, J. y Andrés, A. (en prensa). Mapa de productividad de los

métodos de pretest cognitivos para optimizar las preguntas de las encuestas. Psicothema.

Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality

of Life Research, 12, 229-238.

Collins, D. (2007). Analysing and interpreting cognitive interviewing data: A qualitative

approach. Proceedings del QUEST 2007 (pp. 64-73), Abril, Ottawa.

Conrad, F.G. & Blair, J. (1996). From impressions to data: Increasing the objectivity of

cognitive interviews. Proceedings of the Section on Survey Research Methods, American

Statistical Association, 1-9.

Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion


Converse, J.M. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized

Survey Questionnaire. Newbury Park, CA: Sage.

Capítulo II

74

DeMaio, T.J. & Landreth, A. (2004). Do different cognitive interview techniques produce

different results? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin &

E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 89-108). Nueva

Jersey: John Wiley & Sons.

DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: In the lab and in

the field. En N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for

determining cognitive and communicative processes in survey research (pp. 177-195). San

Francisco: Jossey-Bass.

Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam, Países

Bajos.

Draisma, S. & Dijkstra, W. (2004). Response Latency and (Para) Linguistic Expressions as

Indicators of Response Error. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin,

J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 131-

148). Nueva Jersey: John Wiley & Sons.

Ericsson, K.A & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-

251.

Ericsson, K.A & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge:

MIT Press.

Ericsson, K.A. & Simon, H.A. (1993). Protocol analysis: Verbal reports as data. 2ª edición.

Cambridge: MIT Press.

Finch, J. (1987). Research note: the vignette technique in survey research. Sociology, 21, 105-

114.

Forsyth, B.H., Rothgeb, J. & Willis, G.B. (2004). Does Questionnaire Pretesting Make a

Difference? An Empirical Test. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E.

Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions

(pp. 525-546). Nueva Jersey: John Wiley & Sons.


75

Forsyth, B.H. & Lessler, J.T. (1991). Cognitive Laboratory Methods: A Taxonomy. En P.P.

Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement

Error in Surveys (pp. 393-418). Nueva York: John Wiley & Sons

Fowler, F.J. (1992). How unclear terms affect survey data. Public Opinion Quarterly, 56,

218-231.

Fowler, F.J. (1995). Improving Survey Questions. Thousand Oaks, CA: Sage.

Fowler, F.J. (2004). The Case for More Split-Sample Experiments in Developing Survey

Instruments. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.

Singer. Methods for Testing and Evaluating Survey Questions (pp. 173-188). Nueva Jersey:

John Wiley & Sons.

Gerber, E.R. (1990). Calculating residence: a cognitive approach to household membership

judgements among low income Blacks. Report para el U.S. Census Bureau. Washington, DC:

US. Census Bureau.

Gerber, E.R. (1994). The Language of Residence: Respondent Understandings and Census

Rules. Center for Survey Methods Research, U.S. Census Bureau.

Gerber, E.R. & Wellens, T.R. (1997). Perspectives on Pretesting: ‘Cognition’ in the Cognitive

Interview? Bulletin de Methodologie Sociologique, 11, 18-39.

Groves, R.M. (1996). How do we know what we think they think is really what they think. En

N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining

cognitive and communicative processes in survey research (pp. 389-402). San Francisco:

Jossey-Bass.

Kornhauser, A. (1951). Constructing questionnaires and interview schedules. En M. Jahoda,

M. Deutsch & S. Cook (Eds.), Research Methods in Social Relations: Part two. Nueva York:

Dryden.

Capítulo II

76

LaBarbera, P. & MacLachlan, J. (1979). Response latency in telephone interviews. Journal of

Advertising Research, 19, 49-55.

Lashley, K. (1923). The behavioristic interpretation of consciousness II. Psychological

Bulletin, 30, 329-353.

Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M.

Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge

between disciplines (pp. 61-64). Washington, DC: National Academy Press.

Luce, R. (1986). Response Times: Their Role in Inferring Elementary Mental Organization.

Nueva York: Oxford University Press.

Magliano, J. & Graesser, A. (1991). A three-pronged method for studying inference

generation in literary text. Poetics, 20, 193-232.

Martin, E. (2004). Vignettes and Respondent Debriefing for Questionnaire Design and

Evaluation. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.

Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 149-170). Nueva


Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing.

Congreso de la European Survey Research Association. Praga, Checoslovaquia.



Newell, A. & Simon, H. (1972). Human Problem Solving. Englewood Cliffs, NJ: Prentice

Hall.

Oksenberg, L., Cannell, C. & Kalton, G. (1991). New strategies for prestesting survey

questions. Journal of Official Statistics, 7, 349-356.


77

Ongenga, I.P. & Dikstra, W. (2006). Methods of Behavior Coding of Survey Interviews.

Journal of Official Statistics, 22, 419-451.

O’Muircheartaigh, C. (1999). CASM: Successes, Failures, and Potential. En M. Sirken, D.

Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.), Cognitive and survey

research (pp. 39-62). Nueva York: John Wiley & Sons.

Piaget, J. (1932/1965). The Moral Judgment of the Child. Nueva York: Free Press.

Presser, S. & Blair, J. (1994). Survey Pretesting: Do different Methods produce different

Results? Sociological Methodology, 24, 73-104.

Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E.

(2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley &

Sons.

Rothgeb, J. Willis, G.B. & Forsyth, B. (2001). Questionnaire pretesting methods: Do different

techniques and different organizations produce similar results? Proceedings of the Section on

Survey Research Methods, American Statistical Association [CD-ROM].

Royston, P.N. (1989). Using Intensive Interviews to Evaluate Questions. En F.J. Fowler (Ed.),

Conference Proceedings: Health Survey Research Methods. Rockville, MD: National Center

for Health Services Research.

Royston, P.N. & Bercini, D. (1987). Questionnaire Design Research in a Laboratory Setting:

Results of Testing Cancer Risk Factor Questions. Proceedings of the Section on Survey

Research Methods, 829-833. Alexandria, VA: American Statistical Association.

Royston, P. N., Bercini, D., Sirken, M. & Mingay, D.D. (1986). Questionnaire Design

Research Laboratory. Proceedings of the Section on Survey Research Methods, 703-707.

Alexandria, VA: American Statistical Association.

Schneider, W. & Shiffrin, R.M. (1977). Controlled and Automatic Human Information

Processing: 1. Detectcion, Search, and Attention. Psychological Review, 84, 1-66.

Capítulo II

78

Snijkers, G. (2002). Cognitive laboratory experiences: on pretesting computarised

questionnaires and data quality. Tesis doctoral, Universidad de Utrecht, Países Bajos.

Streett, A.R. (1983). Investigating Respondent’s Interpretations of Survey Questions. En T.J.

DeMaio (Ed.), Approaches to Developing Questionnaires. Statistical Policy Working Paper

10. Washington DC: Statistical Policy Office, U.S. Office and Management and Budget.

Sudman, S., Bradburn, N. & Schwarz, N. (1996). Thinking about answers. The application of

cognitive processes to survey methodology. San Francisco: Jossey-Bass.

Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T.

Jabine, M. Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design:

Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy

Press.

Trabasso, T. & Suh, S. (1993). Understanding text: achieving explanatory coherence through

on–line inferences and mental operations in working memory. Discourse Processing, 16, 3-

34.

Van der Zouwen, J. & Smit, J. (2004). Evaluationg Survey Questions by Analyzing Patterns

of Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser,

J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin, & E. Singer (Eds.), Methods for

Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons.

Von Thurn, D. & Moore, J. (1994). Results from a cognitive exploration of the 1993

American Housing Survey. Proceedings of the Section on Survey Research Methods,

American Statistical Association, 1210-1214.

Willis, G.B. (1989). Evaluation of 1990 NHIS pretest findings. Unpublished manuscript,

National Center for Health Statistics, Hyattsville, MD.


79

Willis, G.B. (1994). Cognitive Interviewing and Questionnaire Design: A training Manual.

Cognitive Methods Staff Working Paper Series, 7. Hyattsville, MD: National Cancer for

Health Statistics.

Willis, G.B. (2004). Cognitive Interviewing Revisited: A useful Technique, in Theory? En S.

Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.),

Methods for Testing and Evaluating Survey Questions (pp. 23-44). Nueva Jersey: John Wiley

& Sons.


Thousands Oaks, CA: Sage

Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the

methodological promised land? Evaluating the validity of cognitive interviewing techniques.

En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.),

Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons.

Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing,

expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey


Willis, G.B., Royston, P.N. & Bercini, D. (1991). The Use of Verbal Report Methods in the

Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251-

267.

Willis, G.B. & Schechter, S. (1997). Evaluation of Cognitive Interviewing Techniques: Do

the Results Generalize to the Field? Bulletin de Methodologie Sociologique, 11, 40-66.

80

CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE

PRETEST DE CUESTIONARIOS

Estado actual de los métodos de pretest de cuestionarios

81

1. Introducción

Existe un amplio consenso entre los profesionales implicados en la investigación por

encuesta en considerar el uso de los métodos de pretest como uno de los mayores desarrollos

en las tres últimas décadas (Beatty, 2003). Estos procedimientos, que son normalmente

agrupados bajo el término “métodos cognitivos para la evaluación de cuestionarios”

(Woolley, Bowen & Bowen, 2006), son entre otros: la entrevista cognitiva, la codificación del

comportamiento, la latencia de respuesta, el análisis de viñetas y el debriefing enfocado en el

encuestado (Presser et al., 2004). El modelo analítico de Tourangeau (1984) ha sido uno de

los fundamentos teóricos más citados para describir cómo los encuestados responden a las

preguntas de los cuestionarios. Hoy día, el campo de la evaluación de encuestas ha llegado a

desarrollarse tanto, hasta incluir los métodos de pretest como una importante herramienta

compañera de métodos tales como la revisión de expertos y los usability tests (Cosenza,

2002).

En los últimos años, ha habido un creciente interés en la materia, que se ha reflejado

en la creación de congresos, libros especializados, recomendaciones y guías específicas

desarrolladas tanto por entidades públicas como por privadas, etc. Además, existen libros y

artículos de investigación dedicados al uso de los métodos de pretest (Beatty & Willis, 2007;

Willis, 2005; Presser et al. 2004).

En términos generales, la utilización de los métodos de pretest parece que se ha

concentrado en organizaciones cuya principal misión no es la investigación ni la circulación

del conocimiento, sino el uso de estos métodos en proyectos aplicados. Esta situación, unida

al hecho del corto período de tiempo que ha transcurrido desde el desarrollo de los nuevos

métodos de pretest, hace tremendamente difícil describir el estado actual de su producción

científica. Sin embargo, la ciencia como tal no existiría si los resultados científicos no fueran

publicados (van Raan, 1999). De modo que, una forma útil de analizar el nivel de

conocimiento en un campo de estudio, es analizar las características de sus resultados

científicos. Hoy en día, se puede disponer de una herramienta capaz de obtener información

sobre los resultados científicos en el campo de los métodos de pretest de cuestionarios. Esta

herramienta es conocida como “Bibliometría”.

Capítulo III

82

Actualmente, la Bibliometría está presente en un gran número de disciplinas

científicas y se considera de enorme utilidad en el mundo de la investigación y de la ciencia

en general, ya que se considera como una herramienta eficiente que utiliza apropiadamente las

fuentes de investigación (Moreno & Sánchez, 1998; Zulueta & Bordons, 1999); y cuyo

principal objetivo es el almacenamiento y recuperación de la información (Guilera, Gómez y

Hidalgo, 2006).

El objetivo del primer estudio empírico incluido en la tesis es ilustrar las

características de la situación actual de los métodos de pretest a través de dos estudios

bibliométricos. El primer estudio analizó los documentos obtenidos mediante una búsqueda

indexada. El segundo estudio completó el cuerpo de documentos hallados en el Estudio 1, con

documentos localizados a través de una búsqueda dirigida. En ambos estudios se analizaron:

la evolución de los resultados científicos, los distintos tipos de documentos publicados, las

fuentes de publicación, los centros de investigación y países, y el tipo de colaboración entre

los profesionales del área.

2. Estudio 1: Búsqueda Indexada

El objetivo del Estudio 1 consistió en analizar los resultados científicos en el campo de

los métodos de pretest de cuestionarios a través de los documentos indexados en las

principales bases de datos bibliográficas.

2.1. Método

Las publicaciones incluidas en este estudio fueron identificadas a través de la base de

datos Web of Science (WoS) del Institute for Scientific Information (ISI-Thomson Scientific,

Philadelphia, PA, USA), concretamente a través del Expanded Science Citation Index (SCI-

EXPANDED), Arts and Humanities Citation Index (A&HCI) y el Social Sciences Citation

Index (SSCI). Los documentos indexados fueron también localizados usando las bases de

datos bibliográficas PsycINFO, Medline, Sociological Abstract y Cinahl.


83

La búsqueda bibliográfica se limitó al periodo de tiempo comprendido entre 1980 y

2007. Se decidió comenzar la búsqueda en 1980, ya que el desarrollo de los métodos

cognitivos aplicados a los pretest de encuestas no ocurrió hasta los congresos de CASM a

comienzos de los 80 (Jabine, Straf, Tanur & Tourangeau, 1984) (ver Capítulo I).

Dada la amplia variedad de denominaciones que poseen los métodos de pretest de

cuestionarios, y después de varios intentos de búsqueda usando palabras claves, tales como,

“cognitive pretest”, “cognitive method”, “survey pretest”, “pretest”, “questionnaire pretest”,

etc., se decidió que la palabra clave más adecuada para obtener el mayor número de

publicaciones era “pretesting”. De este modo, la palabra clave “pretesting” fue insertada

como criterio de búsqueda en las bases de datos bibliográficas, tanto en el campo de los

títulos, como en los abstracts y las key words. Todo ello con el fin de localizar artículos en

revistas, libros, capítulos de libros, presentaciones de congresos, tesis doctorales, etc.

Codificación de los documentos y análisis

El uso de una palabra clave tan general como “pretesting” demandó un minucioso y

cuidadoso proceso de selección de documentos. Dos codificadores independientes, en dos

rondas consecutivas, filtraron la búsqueda inicial leyendo los títulos y abstracts de los

documentos. Dichos codificadores fueron instruidos en seleccionar solamente aquellos

trabajos en los que se refería explícitamente al uso de los métodos de pretest de cuestionarios.

Seleccionaron documentos en los que se había utilizado alguno de los métodos de pretest

usuales (la entrevista cognitiva, la codificación del comportamiento, la latencia de respuesta,

el análisis de viñetas y el debriefing enfocado en el encuestado) en el diseño o evaluación de

cuestionarios. El uso de cualquiera de estos métodos de pretest tenía que haber sido previo a

la realización de los tradicionales estudios pilotos o estudios de campo, para recoger

información sobre la “carga de trabajo” de los entrevistadores, los ratios de respuesta y

omisiones, etc.

Los codificadores trabajaron de forma independiente y la selección final se obtuvo tras

dos rondas. En la segunda ronda, cada codificador revisó los documentos seleccionados por el

otro codificador. Tras esto, se llevó a cabo una reunión en la que se volvieron a revisar

Capítulo III

84

aquellos documentos en los que no había habido un acuerdo sobre su inclusión en el grupo de

documentos a analizar. La reunión finalizó cuando el acuerdo fue total.

Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes

variables: año de publicación, número de autores, nombres de los autores, institución y país de

pertenencia, tipo de publicación y fuente de publicación. Los análisis aplicados fueron

fundamentalmente descriptivos: análisis de frecuencias y porcentajes.

Hay que recalcar que se tuvo especial cuidado en no repetir documentos que

aparecieran en más de una base de datos bibliográfica.

2.2. Resultados

Las búsquedas bibliográficas en las distintas bases de datos generaron un total de

1119 publicaciones, de las cuales los codificadores seleccionaron sólo 75 documentos (6.7%).

El 93.3% restante, en su mayoría, hacía referencia a pretest en el contexto de estudios

experimentales, pretest no aplicados a encuestas o pretest referidos a análisis psicométricos de

los ítems. A continuación se presentan los principales resultados de los análisis realizados.

Evolución de los resultados científicos y número de autores

La evolución de los resultados científicos fue analizada a través del cálculo de la

frecuencia del número de trabajos publicados en el período comprendido entre 1980 y 2007.

Dicho periodo fue dividido en siete intervalos de cuatro años cada uno. La Figura III. 1

muestra la evolución temporal del número de publicaciones. Durante el período de tiempo

analizado, sólo un intervalo, 2000-2003, tuvo una frecuencia de publicaciones menor que el

anterior. En términos generales ha habido un constante crecimiento en el número de

publicaciones. Este incremento ha sido más notable en la segunda mitad de los años 90. En

contraposición, durante los años 80, el número de estudios que utilizaron los métodos de

pretest fue muy reducido.


85

Figura III. 1 Evolución del Número de Publicaciones

0

5

10

15

20

25

1980-1983 1984-1987 1988-1991 1992-1995 1996-1999 2000-2003 2004-2007

Año

Núm

ero

de P

ublic

acio

nes

Los 75 documentos incluidos en la base de datos fueron escritos por 194 autores

distintos. El número de autores que contribuyó a cada una de las publicaciones varió entre uno

y diez (M = 3.07; DT = 2.18). Además, la mayoría de los artículos han sido creados por uno o

dos autores, 26.7% y 24% respectivamente; seguido del 21.3% de los documentos que fueron

escritos por tres autores. Después de tres autores, el número de publicaciones desciende

considerablemente, con sólo un 27.9% de publicaciones escritas por cuatro autores o más.

Tipos de documentos y fuentes de publicación

Los tipos de documentos encontrados fueron artículos de revistas, capítulos de libros,

libros y conference papers. La Tabla III. 1 ofrece las frecuencias y porcentajes de cada tipo de

documento. El grupo de 75 documentos analizados fue en su mayoría compuesto por artículos

publicados en revistas. El resto de los documentos representa un bajo porcentaje, sólo el 20%

son capítulos de libros, libros y conference papers.

Capítulo III

86

Tabla III. 1

Distribución del Tipo de Documento

Tipo de Documento Frecuencia Porcentaje

Artículo 60 80.0

Capítulo de libro 6 8.0

Libro 5 6.7

Conference paper 4 5.3

Total 75 100.0

Con respecto a las fuentes de publicación, los resultados muestran que existe una gran

dispersión, incluyendo fundamentalmente tres tipos: editoriales, revistas de investigación por

encuesta y revistas de salud. Los 75 documentos han sido publicados por 57 diferentes

fuentes. A continuación, se exponen las fuentes más productivas y junto a cada una se indica

el número de publicaciones entre paréntesis: Public Opinion Quarterly (4), Bulletin de

Methodologie Sociologique (3), Medical Care (3), Research in Nursing and Health (3) y

Quality of Life Research (3).

Centros de producción

El análisis establece que los autores pertenecen a una gran variedad de organizaciones.

Los 194 autores trabajaban en 76 organizaciones distintas. La Tabla III. 2 presenta las

organizaciones más productivas en el campo de los métodos de pretest. Entre las

organizaciones más productivas se encuentran tres principales tipos de instituciones: (a)

universidades, tales como, Massachusetts o Michigan; (b) centros de investigación públicos,

tales como el US Census Bureau y; (c) centros públicos de investigación, tales como el

National Cancer Institute.


87

Tabla III. 2

Instituciones Más Productivas

Instituciones Frecuencia Porcentaje

US Census Bureau 10 13.2

Universidad de Massachusetts 9 11.8

Universidad de Michigan 8 10.6

National Cancer Institute 6 7.9

McMaster University 4 5.3

Gte Laboratories Incorporation 3 3.9

Universidad de Carolina del Norte 3 3.9

Universidad de Maryland 3 3.9

Otras 30 39.5

En relación a la productividad de los países, los resultados muestran que la producción

científica está distribuida en 18 países. No obstante, hay que tener en cuenta que autores de

distintos países pueden haber contribuido en el mismo artículo.

Tabla III. 3

Países Más Productivos

País Frecuencia Porcentaje

Estados Unidos 55 64.7

Reino Unido 6 7.1

Canadá 4 4.7

Italia 3 3.5

Alemania 2 2.4

Holanda 2 2.4

Otros 13 15.3

Como se puede apreciar en la Tabla III. 3, hay una concentración de trabajos

producidos en Estados Unidos, donde se ha generado más de la mitad (64.7%) de la

producción científica en materia de los métodos de pretest. El 35.3% restante de la producción

está distribuida entre 17 países, entre los que destaca Reino Unido con seis documentos.

Capítulo III

88

2.3. Discusión

En el Estudio 1, se ha llevado a cabo un análisis de los resultados científicos en el área

de los métodos de pretest de cuestionarios con respecto al número de documentos publicados.

Después de valorar los pros y los contras, se decidió usar la palabra clave “pretesting” como

criterio de búsqueda, con el fin de obtener el mayor número de documentos. Para minimizar el

número de falsos positivos, es decir, documentos localizados por la base de datos pero no

relacionados con los métodos de pretest, dos codificadores independientes en dos rondas

realizaron un meticuloso proceso de depuración y selección de documentos.

Buscando a través de cinco de las bases de datos bibliográficas más comunes, sólo se

hallaron 75 documentos indexados en un período de tiempo de 28 años. La mayoría de dichos

documentos (80%) estaban publicados en revistas. El número tan reducido de documentos

indexados podría indicar que una gran parte de los estudios aplicados sobre los métodos de

pretest no se estén publicando a través de las revistas. Por tanto, usando solamente

documentos indexados como indicadores de la productividad científica, podemos estar

cometiendo el error de obtener una representación parcial de la productividad científica en el

área.

Se llevó a cabo una “búsqueda dirigida” para solventar este problema y completar el

conjunto de documentos obtenidos en la búsqueda indexada. La búsqueda dirigida se enfocó

en otros medios de difusión de los resultados científicos, tales como, comunicaciones en

congresos del área, informes de investigación, redes de comunicación entre los profesionales

del área, revistas no-indexadas comúnmente usadas por los profesionales del área, etc.

3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida

El objetivo del Estudio 2 fue ampliar el banco de documentos del Estudio 1 y volver a

analizar la nueva base de documentos.


89

3.1. Método

Se utilizaron las siguientes estrategias de búsqueda para completar el conjunto de

documentos previamente analizados en el Estudio 1:

1) Conference papers en los Quest Workshops Conference en 2005 y 2007.

2) Una búsqueda en la base de datos bibliográfica de la Web of Science basada en los

autores más productivos de acuerdo a los datos del Estudio 1.

3) Una búsqueda orientada en las revistas más productivas en el área, tales como

Public Opinion Quarterly, Bulletin de Methodologie Sociologique, Quality of Life

Research, Quality and Quantity, Field Methods, Research in Nursing and Health,

Medical Care y Journal of Official Statistics.

Codificación de los documentos y análisis

La búsqueda dirigida se limitó, igualmente, al periodo de tiempo comprendido entre

1980 y 2007. Se siguió un procedimiento muy similar al del Estudio 1. Dos codificadores

seleccionaron de forma independiente los documentos leyendo los títulos y los abstracts.

Dichos codificadores fueron instruidos en seleccionar sólo aquellos trabajos en los que se

hacía referencia explícita al uso de los métodos de pretest. Los codificadores seleccionaron,

una vez más, sólo aquellos documentos en los que algún método de prestest (entrevistas

cognitivas, codificación del comportamiento, análisis de viñetas, etc.) había sido utilizado

durante el diseño o evaluación de los cuestionarios.

De nuevo, se mantuvo una reunión en la que se revisaron los documentos que

originaban desacuerdo entre ambos codificadores y finalmente se obtuvo un nuevo conjunto

de documentos a analizar.

Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes

variables: año de publicación, número de autores, nombres de los autores, institución y país de

pertenencia, tipo de publicación y fuente de publicación.

Capítulo III

90

3.2. Resultados

Evolución temporal de la producción científica y número de autores

El Estudio 2 generó un total de 205 publicaciones. La evolución temporal de la

productividad científica se analizó calculando la frecuencia de trabajos publicados en el

periodo de tiempo comprendido entre 1980 y 2007. Dicho periodo fue dividido en siete

intervalos de cuatro años cada uno, al igual que en el Estudio 1. La Figura III. 2 muestra dicha

evolución temporal.

Figura III. 2 Evolución del Número de Publicaciones

01020304050607080

1980-1983 1984-1987 1988-1991 1992-1995 1996-1999 2000-2003 2004-2007

Año

Núm

ero

de p

ublic

acio

nes

Existe un progresivo aumento en el número de documentos a lo largo del periodo de

tiempo analizado. Este incremento es más pronunciado durante la segunda mitad de los años

90.

Los 205 documentos analizados en el Estudio 2 fueron escritos por 356 autores

distintos. El número de autores que contribuyó a cada publicación varía entre 1 y 10 (M =

2.64; DT = 1.873), aunque la gran mayoría de los documentos han sido escritos por 1 o 2

autores (59.5%).


91

Tipo de documentos y fuentes de publicación

El tipo de documentos encontrado en el Estudio 2 coincide con algunos encontrados

en el Estudio 1, tales como, artículos en revistas, capítulos de libros, libros y conference

papers. No obstante, también se han encontrado siete nuevos tipos de documentos, estos son:

ponencias, papers no publicados, proceedings, memorandums, informes de resultados,

comunicaciones doctorales y libros de abstracts. La Tabla III. 4 presenta la frecuencia y

porcentajes de aquellos tipos de documentos que superan el 5% de representación.

Tabla III. 4

Distribución del tipo de documento

Tipo de Documento Frecuencia Porcentaje

Artículo 94 45.9

Libro 25 12.2

Comunicación 25 12.2

Conference paper 21 10.2

Capítulo de libro 14 6.8

Paper no publicado 11 5.4

Otros 15 7.3

El porcentaje de artículos publicados en revistas decrece casi un 35%, debido al

incremento relativo de otros documentos, tales como, libros, conference papers y

comunicaciones. Estas últimas con un relevante porcentaje del 12.2% durante el periodo

analizado.

Con respecto a las fuentes de publicación, los resultados reflejan la gran dispersión

existente en el área, ya que los 205 documentos han sido publicados por 115 fuentes distintas.

La mayoría de las mismas están relacionadas con el área de la investigación por encuesta y la

salud. Dentro de esta sección, es importante resaltar que en el Estudio 2 se han localizado dos

nuevos tipos de fuentes de publicación, estas son: revistas no-indexadas (p. ej. Journal of

Official Statistics) y centros públicos de investigación (p. ej. US Census Bureau).

Capítulo III

92

Centros de producción y patrones geográficos de colaboración

El análisis establece que los 356 autores pertenecen a 94 organizaciones distintas. Los

resultados de las organizaciones más productivas en el área de los métodos de pretest

aparecen en la Tabla III. 5.

Tabla III. 5

Organizaciones Más Productivas

Organizaciones Frecuencia Porcentaje

US Census Bureau 44 14.5

Statistics Canada 23 7.6

Universidad de Michigan 22 7.2

Universidad de Massachusetts 17 5.6

National Cancer Institute 13 4.3

National Centre for Health Statistics 11 3.6

Statistics Norway 10 3.3

Otras 163 53.8

El resultado más destacable es el incremento en el número de centros públicos de

investigación, tales como, el National Cancer Institute, el National Centre for Health

Statistics, el Statistics Norway, etc. La productividad de estos centros de investigación supera

incluso a las universidades.

En relación a los países de origen de los autores, la productividad científica esta

distribuida en 19 países, una más que en el Estudio 1. La Tabla III. 6 muestra los resultados

de los análisis. Los profesionales de los centros de producción localizados en Estados Unidos

generaron más de la mitad (62%) de la producción científica en el área.


93

Tabla III. 6

Países Más Productivos

País Frecuencia Porcentaje

Estados Unidos 126 62.0

Canadá 23 11.3

Holanda 13 6.4

Reino Unido 8 3.9

Alemania 6 2.9

Noruega 6 2.9

Otros 21 10.3

Finalmente, se llevó a cabo un análisis más detallado, con el fin de extraer los patrones

de colaboración. La productividad total de los seis anteriores se dividió en documentos de un

solo autor, colaboraciones intranacionales y colaboraciones internacionales; pudiendo

identificar de este modo el patrón geográfico de colaboración. La Figura III. 3 ilustra la

distribución de los tipos de colaboración.

Figura III. 3Tipo de Colaboración

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

EEUU Canadá Holanda ReinoUnido

Alemania Noruega

País

Por

cent

aje Internacional

IntranacionalUn autor

Capítulo III

94

La Figura III. 3 muestra que la mayoría de los documentos son fruto de colaboraciones

intranacionales en todos los países, entre los que destacan los porcentajes de Estados Unidos,

Canadá y Alemania; a excepción de Reino Unido donde el mayor porcentaje corresponde a

colaboraciones internacionales.

3.3. Discusión

En el Estudio 2 se llevó a cabo una “búsqueda dirigida” con el fin de completar el

conjunto de documentos obtenidos a través de la búsqueda indexada en el Estudio 1. La

búsqueda dirigida se realizó incluyendo otras formas de difusión de los trabajos científicos,

tales como, conference papers en el área, informes de investigación, redes de comunicación

entre los profesionales del área, revistas no indexadas, etc. Con el objetivo de recoger en la

búsqueda dirigida a gran parte de los profesionales más activos en el área, se decidió incluir

las comunicaciones de los congresos del QUEST de 2005 y 2007. A su vez, se incluyó en esta

búsqueda dirigida revistas no indexadas pero de nombrado prestigio entre los profesionales

del área, como Journal of Official Statistics.

El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los

documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de

este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir

de la segunda mitad de los 90. La distribución del número de autores es bastante similar en

ambos estudios, ya que la mayoría de los documentos han sido publicados por 1 o 2 autores

tanto en el Estudio 1 (50.6%) como en el Estudio 2 (59.5%). No obstante, se identificaron

nuevos tipos de documentos en el Estudio 2: comunicaciones, papers no publicados,

proceedings, memorandums, informes de resultados, comunicaciones doctorales y libros de

abstracts, y como resultado, decreció el porcentaje de publicaciones en revistas desde un 80%

(Estudio 1) a un 45.9% (Estudio 2). Con respecto a los centros de producción, los resultados

establecen que centros públicos de investigación, tales como, el National Cancer Institute, el

National Centre for Health Statistics, etc., juegan un papel importante en el área. Por último,

en relación a los países más productivos, Estados Unidos es, con diferencia, el país más

productivo en materia de los métodos de pretest de cuestionarios, seguido de Canadá y

Holanda. Los seis países más productivos poseen un patrón de colaboración


95

predominantemente intranacional, a excepción de Reino Unido en el que predomina el

carácter internacional.

4. Conclusiones

El objetivo del Capítulo III de la tesis era contextualizar y caracterizar la producción

científica en el campo de los métodos de pretest de cuestionarios a través de evidencias

bibliométricas. Este estudio es útil tanto para conocer el estado actual de estos métodos como

para anticipar su evolución, y facilitar la compresión de aquellos utilizados en la presente

tesis, como son la entrevista cognitiva y la codificación del comportamiento. En el Estudio 1

se obtuvieron los documentos a través de las bases de datos bibliográficas más comúnmente

usadas, mientras que en el Estudio 2 se completó este primer conjunto de datos con una

búsqueda dirigida. La separación de ambos estudios presenta dos beneficios: (1) se reducen

parcialmente las limitaciones de las bases de datos bibliográficas (criterios de indexación,

tiempo de demora para la publicación, etc.) y (2) se puede comparar los resultados obtenidos

mediante una búsqueda tradicional (bases de datos bibliográficas) con una búsqueda “experta”

(búsqueda dirigida). Hay que tener en cuenta que el objetivo de la búsqueda dirigida no es ser

exhaustivos en la localización de los documentos, sino complementar y mejorar el alcance del

primer grupo de documentos analizados. El patrón de documentos obtenidos en ambos

estudios es muy similar, lo que refuerza la conveniencia de la búsqueda dirigida del Estudio 2.

Los resultados obtenidos en ambos estudios nos permiten predecir que el incremento

en los documentos sobre los métodos de pretest continuará su ascenso en los próximos años.

Este incremento podrá equiparar la producción científica en el área de los métodos de pretest

con otras áreas metodológicas. Adicionalmente, la consolidación de los grupos de

investigación, de los departamentos en universidades y de los centros públicos de

investigación europeos generará un aumento mayor de la producción científica. Por último, la

actividad científica de las universidades, junto al deseo de los centros públicos de

investigación de publicar en revistas especializadas, podría aumentar la visibilidad de la

producción científica en el área de los métodos de pretest a través de los medios habituales de

difusión del conocimiento científico.

Capítulo III

96

5. Referencias

Beatty, P.C. (2003). Answerable questions: advances in the methods for identifying and

resolving questionnaire problems in survey research. Doctoral Dissertation. Universidad de

Michigan, Michigan, USA.

Beatty, P.C. & Willis, G.B. (2007). Research synthesis: the practice of cognitive interviewing.

Public Opinion Quarterly, 71, 287-311.

Cosenza, C. (2002). Not Your Grandparent’s Cognitive Testing: Exploring Innovative

Methods in Cognitive Evaluation of Questions. Paper presentado en la International

Conference on Questionnaire Development, Evaluation and Testing Methods (QDET).

Noviembre, Charleston, Carolina del Sur, EEUU.

Guilera, G., Gómez, J. e Hidalgo, M.D. (2006). Funcionamiento Diferencial de los Items: un

análisis bibliométrico de las revistas editadas en español. Psicothema, 18, 841-847.

Jabine, T.B., Straf, M.L., Tanur, J.M. & Tourangeau, R. (1984). Cognitive Aspects of Survey

Methodology: Building a Bridge between Disciplines. Washington, DC: National Academy

Press.

Moreno, S. y Sánchez, A. (1998). Análisis Bibliométrico de la Revista Psicothema (1989-

1997). Psicothema, 10, 23-27.

Presser, S., Rothgeb, J.M., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E.

(2004). Methods for Testing and Evaluating Survey Questionnaires. Nueva York: John Wiley.

SPSS. 2007. SPSS for Windows (Version 14.0.5) [Computer Software]. Chicago, IL: Author.

Tourangeau, R. (1984). Cognitive science and survey methods. En Jabine, T., Straf, M.,

Tanur, J. & Tourangeau, R. (Eds), Cognitive aspects of survey methodology: Building a

bridge between disciplines (pp. 73-100). Washington, DC: National Academy Press.


97

Van Raan, A. (1999). Advanced bibliometric methods for the evaluation of Universities.

Scientometrics, 45, 417-423.


Sage: Thousand Oaks, CA.

Woolley, M.E., Bowen, G.L. & Bowen, N.K. (2006). The development and evaluation of

procedures to assess child self-report item validity. Educational and Psychological

Measurement, 66, 687-700.

Zulueta, M.A. y Bordons, M. (1999). La producción científica española en el área

cardiovascular a través del Science Citation Index (1990-1996). Revista Española de

Cardiología, 52, 751-764.

98

CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES

DIRECTOS VS. INFORMANTES PROXY

Informantes directos vs informantes proxy

99

1. Introducción

En muchas situaciones, tanto en clínica como en investigación, es necesario utilizar

información que no proviene directamente de la persona objeto de estudio, sino a través de

otros informantes, normalmente un familiar o una persona con la que se convive. Por ejemplo,

cuando se selecciona un hogar para una encuesta, la primera persona con la que se contacta

proporciona información de todos los miembros del hogar estén o no presentes, en lo que

comúnmente se denomina “tabla de composición del hogar”. En la medida en la que esta

primera persona está ofreciendo información de otros miembros del hogar, se está

convirtiendo en un informante “indirecto” o proxy. Mientras que si proporciona información

sobre sí mismo desarrolla el papel de informante “directo”. Es decir, en este contexto, un

informante proxy es aquella persona que responde las preguntas de la encuesta pensando o

poniéndose en el lugar de una tercera persona, ya sea un miembro del hogar o de su entorno

cercano. Por el contrario, un informante “directo” es aquella persona que responde las

preguntas de la encuesta pensando en sí mismo. Los informantes proxy a menudo son

utilizados en la investigación por encuesta, en el ámbito de la salud y de la epidemiología,

cuando el sujeto de interés no puede dar información por sí mismo. La introducción de este

tipo de informantes en los estudios por encuesta aporta ciertos beneficios, por ejemplo,

aumenta el tamaño de la muestra y la potencia del estudio (Campbell, Sloan & Kreiger, 2000).

No obstante, como se puede intuir, también plantea algunas desventajas, siendo la más

evidente el aumento del error de respuesta con respecto a los datos obtenidos de los

informantes directos. En este sentido, la decisión del uso de los informantes proxy se basa en

sopesar las desventajas, como el aumento del error de respuesta y las ventajas, como la

reducción del error de muestreo y de los costes de la encuesta (Sunghee, Mathiowetz &

Tourangeau, 2007).

El uso de los informantes proxy es una práctica común en la investigación por

encuesta, especialmente en las encuestas de salud. No obstante, el documento de la Eurostat

Task Force, que refleja el consenso de los profesionales de la investigación por encuesta sobre

las directrices y criterios de calidad para el diseño de encuestas de salud, desaconseja el uso

de informantes proxy. Este consenso recomienda que el uso de informantes proxy debiera

limitarse solamente a dos situaciones. En primer lugar, cuando se trata de reemplazar a

aquellas personas que son incapaces de responder a las preguntas de la encuesta debido a

Capítulo IV

100

graves problemas de salud (p. ej. demencia, discapacidad física o mental severa, etc.), y en

segundo lugar, cuando no es posible encuestar a ciertos grupos de personas por motivos

legales, por ejemplo, menores de edad (Tafforeau, Lopez, Tolonen, Scheidt-Nave & Tinto,

2006).

Esta práctica del uso de informantes proxy se ha convertido en un importante foco de

estudio; concretamente, en relación a la calidad de la información proporcionada por dichos

informantes proxy. Varios estudios han encontrado diferencias entre la información ofrecida

por un informante directo y un informante proxy, con respecto a ciertos aspectos de salud

(Bassett, Magaziner & Hebel, 1990; Epstein, Hall, Tognetti, Son & Conant, 1989;

Mathiowetz & Groves, 1985; Rothman, Hedrick, Bulcroft, Hickarn & Rubenstein, 1991). Por

ejemplo, Magaziner, Bassett, Hebel y Gruber-Maldini (1996) hallaron que aunque los

participantes proxy pueden ser menos precisos aportando información sobre síntomas de salud

(a menudo no observables y no compartidos con otros), son capaces de proporcionar

información con bastante exactitud sobre áreas de la salud que son observables y

probablemente compartidas con otras personas, tales como, problemas con actividades físicas

de la vida cotidiana o limitaciones crónicas. En este sentido, Grootendorst, Feeny y Furlong

(1997) afirmaron que el estado emocional, el dolor y otras dimensiones de salud no

directamente observables, son generalmente menos adecuadas para ser medidas utilizando

informantes proxy, que aquellas que son directamente observables. En esta línea, los estudios

sobre informantes proxy, principalmente, han descrito dos tipos de error asociado con su uso:

“el efecto proxy” que consiste en subestimar los eventos debido a una falta de conocimiento,

y “el principio de saliencia” que sucede cuando los participantes proxy informan con mayor

exactitud sobre aquellos eventos que consideran más relevantes (Rajmil et al., 1999). Rajmil

et al. (1999) apuntaron que, típicamente los principales factores estudiados que pueden influir

en las respuestas de los informantes proxy han sido: el contenido de la propia pregunta, las

características del informante proxy y la relación entre el informante proxy y la persona

seleccionada.

El lector ha podido comprobar que existe evidencia suficiente para afirmar que la

información aportada por un participante proxy y un participante directo puede ser distinta. Es

decir, las respuestas dadas a las preguntas de las encuestas por parte de un informante proxy

pueden ser muy distintas de las ofrecidas por un informante directo. Desde un punto de vista

del procesamiento de la información, estas respuestas son la resultante observable o la


101

conducta observable que se deriva de varios procesos cognitivos anteriores (ver modelo del

proceso pregunta-respuesta en el Capítulo II). En la medida en que las respuestas de ambos

tipos de informantes son distintas, se puede asumir que los procesos mentales subyacentes a

dichas conductas también pueden ser distintos. De este modo, tanto la información disponible

en la que el informante directo y el informante proxy se han basado para realizar juicios y

proporcionar una respuesta, como las estrategias de formación de dichos juicios, también

pueden ser diferentes (Bickart, Menon, Schwarz & Blair, 1994; Kuiper & Rogers, 1979;

Schwarz & Wellens, 1997; Sudman, Bradburn & Schwarz, 1996).

Todorov y Kirchner expusieron (2000) que al realizar juicios sobre otra persona, se

puede recuperar información sobre las conductas de dicha persona, es decir, se puede

recuperar información observable; pero difícilmente se puede acceder a la información sobre

su estado interno. Por ejemplo, una expresión de una discapacidad física puede ser la

limitación que una persona tenga para subir el bordillo de una acera. No obstante, aunque esta

información, en la que el discapacitado tiene algunos problemas para solventar el obstáculo,

puede estar disponible para otras personas; el dolor que la persona con discapacidad pueda

experimentar en el intento de subir el bordillo, sólo es totalmente accesible para esa persona.

Esta diferencia, en la disponibilidad de la información, puede llevar a realizar distintos juicios

sobre lo que constituiría una discapacidad cuando uno está respondiendo por uno mismo

(informante directo) que cuando uno está respondiendo por otra persona (informante proxy).

Dada esta diferencia en la disponibilidad de la información, y la posibilidad de que los

informantes estén llevando a cabo distintos juicios, es fundamental comprobar dónde se

encuentran estas diferencias en los procesos de respuesta, y de qué forma se podrían

minimizar esas diferencias para optimizar la convergencia entre las respuestas de ambos tipos

de informantes. En base a la evidencia empírica sobre la utilidad de la entrevista cognitiva

para indagar en los procesos de respuesta (Willis, 2004), el objetivo de este estudio es

identificar, a través de la entrevista cognitiva, las posibles diferencias en los procesos de

respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una

vía para optimizar la coincidencia entre las respuestas de los informantes, reduciendo con ello

los potenciales errores de respuesta.

La consecución de este objetivo se llevó a cabo realizando una serie de entrevistas

cognitivas a parejas compuestas por informantes directos e informantes proxy. El material

Capítulo IV

102

utilizado para estas entrevistas cognitivas fueron las preguntas de un cuestionario de una

encuesta de discapacidad.

2. Método

2.1. Participantes

El número de participantes en el estudio fue de 24 personas, 8 hombres y 16 mujeres,

con edades comprendidas entre los 18 y los 65 años. La Tabla IV. 1 presenta los valores de

ambas variables en cada grupo de informantes.

Tabla IV. 1. Edad y Género de los Participantes

Género Edad (Media) Grupo

Hombre Mujer 18-35 36-50 51-65

Informante Directo 2 10 1 (33) 7 (46.7) 4 (57.5)

Informante Proxy 6 6 7 (24) 4 (43.7) 1 (51)

La distribución de los participantes se basó en parejas en las que un miembro asume el

rol de informante proxy mientras que el otro hace de informante directo. El requisito

fundamental para participar en el estudio fue que el informante directo padeciera una

limitación para realizar las actividades que la gente habitualmente hace debido a un problema

de salud. De este modo, la distribución de las causas de las limitaciones de los 12 informantes

directos fue la siguiente: dos participantes padecían problemas emocionales, seis participantes

tenían problemas de movilidad, dos participantes presentaban problemas sensoriales, un

participante padecía problemas hormonales y un participante tenía problemas cardíacos. Los

miembros de cada pareja vivían juntos y poseen una relación familiar directa (padres-hijos,

marido-mujer, etc.). En todos los casos, los participantes debían mostrar un nivel funcional de

español, es decir, suficiente como para poder comunicarse en cualquier situación.


103

La decisión de utilizar solamente a parejas de participantes en las que el informante

directo padeciera una limitación radica en una argumentación lógica: la riqueza de

información disponible. Aquellas parejas en las que el informante directo posee algún tipo de

limitación podrían aportar una mayor riqueza de información en cuanto a las situaciones,

eventos, recuerdos, etc. en los que este informante directo sufriera la limitación. Por tanto, los

informes verbales de ambos miembros de la pareja serían mucho más variados y amplios, y

facilitarían la indagación y la comparación entre los procesos de respuesta de sendos

miembros de la pareja. Favoreciendo de este modo alcanzar el objetivo del estudio.

La captación de los participantes fue realizada mediante el procedimiento de “bola de

nieve” a través de los contactos de miembros del equipo de investigación, alumnos de la

Universidad de Granada, así como miembros de la Federación Granadina de Discapacitados

Físicos. Los participantes fueron informados sobre su colaboración en el pretest de un

cuestionario de discapacidad, sobre el procedimiento de las entrevistas y la confidencialidad

de los datos. No obstante, no sabían cuál sería el papel a desempeñar, es decir, no sabían que

uno de ellos sería el informante directo y otro el informante proxy. Así mismo, durante la fase

de reclutamiento, se fueron balanceando entre los participantes variables como sexo, edad,

nivel de estudios y tipo de limitación del informante directo. Además, se tuvo especial

cuidado en que las personas seleccionadas no hubiesen participado con anterioridad en

estudios para el pretest de cuestionarios. Cada pareja fue entrevistada el mismo día y en

momentos consecutivos, es decir, en primer lugar se entrevistaba a un miembro de la pareja y

a continuación al siguiente, balanceando el orden entre informantes directos e informantes

proxy. Cada participante recibió una gratificación de 20€ como compensación por gastos de

transporte, tiempo empleado en la entrevista, etc.

2.2. Materiales

Antes de comenzar a hablar de los “materiales” es preciso mencionar, que en el

contexto del presente estudio, se llevó a cabo un juicio de expertos para seleccionar las

preguntas del cuestionario que iban a ser administradas en la entrevista cognitiva (preguntas

target) y para desarrollar las pruebas de indagación pertinentes, con el fin de indagar en el

proceso pregunta-respuesta de los informantes. De este modo, se seleccionaron 11 preguntas

Capítulo IV

104

target, y fueron aquellas relacionadas con dificultades en la realización de actividades de la

vida cotidiana, dificultades de comunicación, dificultades de movilidad, dificultades de

aprendizaje y dificultades en la relación con otras personas. La Figura IV. 1 muestra una de

estas preguntas y las correspondientes pruebas de indagación.

De las preguntas target y las pruebas de indagación mencionadas anteriormente, se

derivan los dos tipos de materiales utilizados:

a) El cuestionario adaptado: es el cuestionario que se utiliza en la entrevista cognitiva. Se

compone de todas las preguntas target que se van a evaluar y algunas preguntas

sociodemográficas. Se puede decir que el cuestionario adaptado contiene las preguntas

más problemáticas de la versión original.

b) El protocolo de entrevista: es la guía de la entrevista cognitiva. Este protocolo incluye

las instrucciones de la entrevista y las pruebas para indagar en los procesos de

respuesta de los participantes.

P.14 ¿Debido a problemas de naturaleza cognitiva o intelectual, tiene dificultad importante para utilizar intencionadamente los sentidos? Por ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc.

Pregunta General: ¿Qué significa esta pregunta para Vd. y por qué ha contestado

así? Preguntas Específicas:

Dígame con sus propias palabras ejemplos de “problemas de naturaleza cognitiva o intelectual”.

Imagine que tiene que explicar a otra persona qué es “utilizar intencionadamente lo sentidos”, ¿qué le diría?

Pruebas de Indagación

Figura IV. 1. Pregunta Target y Pruebas de Indagación


105

Cuestionario Adaptado

El cuestionario adaptado contenía unas preguntas sociodemográficas en la primera

sección y las preguntas target en el resto del cuestionario. Estas preguntas target provenían de

un cuestionario de discapacidad y habían sido desarrolladas a partir de la Clasificación

Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF) (ver Anexo). Se

utilizaron dos versiones del cuestionario adaptado, en las que la única diferencia aparece en el

texto de las preguntas. Es decir, las preguntas para los informantes directos se conjugaron en

segunda persona del singular, utilizando el sujeto “usted”; mientras que las preguntas para los

informantes proxy se conjugaron en tercera persona del singular, sustituyendo el sujeto

“usted” por “alguna persona del hogar”. La Figura IV. 2 ilustra con un ejemplo esta

diferencia.

Protocolo de Entrevista

El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluyó

la descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las instrucciones

que se le debían dar al participante al comenzar la entrevista cognitiva y las pruebas de

indagación (ver Anexo). Al igual que con el cuestionario adaptado también se generaron dos

versiones del protocolo de entrevista, una para informantes directos y otra para informantes

proxy.

Informante

Directo

Figura IV. 2. Preguntas Informante Directo vs. Proxy

P. 8 ¿Tiene dificultad importante para hablar de manera comprensible y decir frases con sentido sin ayudas?

P. 8 ¿Alguna persona del hogar tiene dificultad importante para hablar de manera comprensible o decir frases con sentido sin ayudas?

Informante

Proxy

Capítulo IV

106

2.3. Procedimiento

Se utilizó un diseño concurrente en la entrevista cognitiva, es decir, primero el

entrevistador formulaba la pregunta de la misma forma que se realizaría en la administración

real de las preguntas de la encuesta y, después, procedía con la aplicación de las pruebas de

indagación.

Cuestionario Adaptado


Procedimiento

P. Dificultad en Actividades de la Vida Cotidiana

Instrucciones

P. Sociodemográficas


P. Dificultad de Comunicación


P. Dificultad de Aprendizaje


P. Dificultad de Movilidad


P. Dificultad de Relación con otras personas


Figura IV. 3. Procedimiento de la Entrevista Cognitiva


107

Tal y como muestra la Figura IV. 3, tras cada grupo de preguntas target se aplicaban

las distintas pruebas para la indagación en los procesos de respuesta de los informantes.

Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores

(una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas

cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los

participantes, y tuvieron lugar en un laboratorio cognitivo que está equipado de un sistema de

grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de

Granada.

2.4. Esquema de Análisis de las Entrevistas Cognitivas

El análisis de las 24 entrevistas cognitivas realizadas se basó en un esquema de

codificación establecido por Willis, Schechter y Whitaker en 1999. Este esquema de

codificación, estructurado de acuerdo al modelo del proceso pregunta-respuesta (Tourangeau,

1984), propone la identificación de problemas con las preguntas de las encuestas durante la

entrevista cognitiva en las cuatro fases del modelo pregunta-respuesta:

1. Compresión, refleja cuando el participante no comprende el objetivo de la

pregunta, lo que se le está preguntado o algún término o expresión del texto de la

pregunta.

2. Recuperación, el participante tiene problemas para recuperar la información o

recordar la información necesaria para contestar a la pregunta.

3. Juicio, incluye aquellos problemas que tienen lugar en la fase de evaluación de la

información previamente recuperada.

4. Respuesta, cuando el participante ofrece una respuesta que no se corresponde con

las opciones de respuesta establecidas en la encuesta.

Capítulo IV

108

En el contexto del presente estudio, se utilizó este esquema de codificación para

identificar en qué parte del proceso pregunta-respuesta existían diferencias entre el informante

directo y el informante proxy. La identificación de las diferencias entre los procesos de

respuesta del informante proxy y el informante directo se llevó a cabo por dos analistas

independientes en dos rondas sucesivas. En la primera ronda, ambos analistas leyeron o

escucharon los informes verbales de los participantes de forma independiente. En la segunda

ronda, cada analista revisó la clasificación de las diferencias del proceso pregunta-respuesta

realizada por el otro. Por último, se llevó a cabo una reunión en la que se revisaron aquellos

informes verbales, en los que no había habido acuerdo sobre en qué parte del proceso

pregunta-respuesta incluir la diferencia hallada, entre el informante directo y el informante

proxy. La reunión finalizó con el total acuerdo entre ambos analistas.

El análisis de las entrevistas se estructuró por parejas, comparando las respuestas y los

informes verbales de cada miembro de la pareja, en cada uno de los conjuntos de preguntas

target y pruebas de indagación. Para el análisis de los datos de las entrevistas se utilizó el

software AQUAD 6 (Huber, 2008). Este software permite el análisis de las entrevistas a partir

de los archivos de vídeo y además facilita enormemente la visualización de la pareja de

entrevistados al mismo tiempo.

La interfaz que muestra la Imagen IV. 1 es la que utiliza AQUAD 6 para llevar a cabo

la asignación de códigos y anotaciones a las porciones de vídeo de la entrevista. En la parte de

la derecha de la imagen, se puede observar el archivo de vídeo, y debajo de este los

controladores para ir marcando las porciones de vídeo o frames a las que asignar los códigos.

En la parte de la izquierda de la imagen, se puede ver los códigos que ya han sido asignados y

entre qué números de frames se encuentra cada código.

El análisis en AQUAD 6 se ejecutó del siguiente modo. En un primer lugar, se

asociaron anotaciones a los frames que se corresponden con los informes verbales de los

participantes ante las pruebas de indagación. Estas anotaciones simplemente consistieron en la

interpretación que cada analista realizó sobre el informe verbal del participante. Al mismo

tiempo, el analista también asignaba un código a la anotación y, por tanto, al informe verbal

correspondiente, designando en qué parte del proceso pregunta-respuesta estaba ocurriendo

una diferencia entre el informante directo y el informante proxy.


109

En segundo lugar, todas las anotaciones y códigos establecidos en el primer paso en

cada una de las entrevistas eran revisados por el otro analista. El software AQUAD 6 fue

clave para que ambos analistas pudieran trabajar de forma independiente y simultánea, y

pudieran revisar con facilidad el análisis realizado por el otro analista.

3. Resultados

3.1. Convergencia de las respuestas a las preguntas target

En primer lugar, se va a presentar la distribución de las respuestas de cada pareja de

participantes a las preguntas target. El número total de respuestas que se podían obtener de 12

parejas de participantes contestando a 11 preguntas es de 132. La distribución de estas 132

respuestas aparece representada en la Tabla IV. 2. Dicha tabla muestra la frecuencia de las

respuestas coincidentes (Sí/Sí; No/No), las no coincidentes (Sí/No; No/Sí), los datos perdidos

Imagen IV. 1. Interfaz de AQUAD 6

Capítulo IV

110

y las respuestas con distinta graduación. Esta última categoría se ha introducido para designar

a aquellas respuestas en las que ambos participantes responden “Sí” pero con distinta

graduación; por ejemplo, “Sí, estoy gravemente limitado”, “Sí, mi marido esta limitado, pero

no gravemente”.

Tabla IV. 2.Tipos y Frecuencias de Respuestas

Respuestas Informante Directo Respuestas Informante

Proxy Sí No

Sí 13 (9.8%) 9 (6.8%)

No 18 (13.6%) 76 (57.6%)

Distinta Graduación 3 (2.3%)

Perdidos 13 (9.9%)

Total 132 (100%)

Con la finalidad de “poner en situación” al lector sobre la problemática del uso de los

informantes proxy, se establece como primer resultado que las respuestas de los informantes

directos e informantes proxy coincidieron solamente en un 67.4% de las 132 respuestas,

mientras que ofrecieron respuestas distintas en un 22.7%. No obstante, un resultado mucho

más interesante y relacionado con el objetivo del presente estudio, como es la diferencia en

los procesos de respuesta, aparece a continuación.

3.2. Convergencia de los procesos de respuesta

La Tabla IV. 3. expone por columnas el binomio de respuesta que puede ofrecer cada

pareja de participantes (Sí/Sí, No/No, Sí/No, etc.), la frecuencia de cada uno de estos

binomios de respuesta y, por último, las veces que se identificó una diferencia en el proceso

pregunta-respuesta entre ambos miembros de la pareja, en cada uno de estos binomios de

respuesta.


111

Tabla IV. 3. Diferencias en el Proceso Pregunta-Respuesta

Respuesta: Proxy / Directo Frecuencia Diferencias en Proceso P-R

Sí / Sí 13 4

No / No 76 5

Sí / No 9 9

No / Sí 18 18

Sí / Sí (diferente graduación) 3 3

Perdidos 13 0

Total 132 39

En primer lugar, con respecto a las respuestas coincidentes, pese a que ambos

miembros de la pareja están ofreciendo la misma respuesta a la pregunta target (Sí/Sí, No/No)

no siempre coinciden sus procesos de respuesta. De hecho, de las 13 veces que ambos

miembros de la pareja responden “Sí/Sí”, en cuatro ocasiones el proceso de respuesta del

informante proxy es distinto al del informante directo; y de las 76 veces que ambos miembros

de la pareja responden “No/No”, en cinco de ellas los procesos de respuesta generados

también son distintos. La problemática de esta situación radica en que, a pesar de que las

respuestas ante la misma pregunta son iguales, a través del informante proxy no se está

accediendo a la información “real”. Es decir, el informante proxy no tenía la misma

información que el directo para responder, ni tampoco comprendía la pregunta de la misma

manera, pero finalmente coincidían sus respuestas. En esta situación igualmente se está

cometiendo un error de respuesta.

En segundo lugar, una vez que la respuesta de ambos informantes es distinta (Sí/No,

No/Sí, Sí/Sí distinta graduación) existe una diferencia subyacente en los respectivos procesos

de respuesta. Independientemente si el binomio de respuesta (en orden Proxy/Directo) es

“Sí/No”, “No/Sí” o “Sí/Sí” con distinta graduación, siempre existe una diferencia subyacente

en el proceso pregunta-respuesta.

Capítulo IV

112

3.3. Identificación de las diferencias en los procesos de respuesta

Hubo 39 respuestas a las preguntas target en las que hubo diferencias en el modelo del

proceso pregunta-respuesta (Tourangeau, 1984) entre ambos tipos de informantes. La mayoría

de esas diferencias se identificaron en la fase de compresión y recuperación de la

información, y seguidamente en la fase de juicio. La Figura IV. 4 ilustra gráficamente los

resultados del análisis.

Es necesario recalcar, para facilitar la compresión de los datos de la Figura IV. 4, que

una vez que se ha producido una diferencia en el proceso de respuesta a una pregunta, dicha

diferencia se puede encontrar en varias fases; es decir, las fases del proceso pregunta-

respuesta no son mutuamente excluyentes. A continuación, se exponen dos ejemplos de

transcripciones de entrevistas en las que se encontraron diferencias en el proceso pregunta-

respuesta.

Diferencias en el

Proceso P-R (39)

Recuperación 22 (56%)

Juicio 16 (41%)

Respuesta 0 (0%)

Compresión 23 (59%)

Figura IV. 4. Identificación de las Diferencias en las Fases del Modelo P-R


113

El Ejemplo IV. 1 incluye una pareja de participantes en la que el informante directo

posee una limitación física, para realizar las actividades que la gente habitualmente hace

debido a un pinzamiento lumbar. El proceso de respuesta es el siguiente: a) Compresión:

ambos informantes comprenden el objetivo de la pregunta; b) Recuperación de información:

recuperan la misma información en la que a veces el informante directo tiene problemas para

cambiar de postura; c) Juicio: por una parte, el informante proxy evalúa la información

generada como lo suficientemente grave como para responder “Sí”. Por otra parte, el

informante directo evalúa la información generada como que es una dificultad puntual y no

importante y, por tanto, en acorde con la pregunta target responde que “No”; y d) Respuesta:

el informante directo responde “No” y el informante proxy “Sí”. La diferencia fundamental

del proceso pregunta-respuesta radica en la fase de juicio.

No obstante, esta trascripción ejemplifica la dificultad que puede haber a la hora de

identificar en qué parte del proceso pregunta-respuesta existe una diferencia. Por ejemplo, se

podría considerar que el informante directo interpreta el concepto “importante”, de forma

distinta al informante proxy y, por ello, las respuestas son distintas. En este caso la diferencia

estaría en la fase de interpretación, en lugar de en la fase de juicio. En el proceso de la

Ejemplo IV. 1

P. ¿(Alguna persona del hogar) Tiene dificultad importante para mover el cuerpo de un sitio a otro sin cambiar la posición, sin ayudas y sin supervisión? Por ejemplo, pasar de estar sentado en una cama a sentarse en una silla.

Informante Proxy: “Sí” Entrevistador: “¿En qué ha pensado para responder a la pregunta,

por qué ha contestado así?” Informante Proxy: “…mi madre tiene una dificultad para

levantarse por un pinzamiento que tiene en la columna, pero no le ocurre siempre…”

Informante Directo: “No” Entrevistador: “¿En qué ha pensado para responder a la pregunta,

por qué ha contestado así?” Informante Directo: “…tengo dificultad puntual…pero no

siempre…como ahí pone importante…dificultad importante no tengo…es puntual no continua. A veces me quedo encajada y no puedo levantarme del sofá pero no ocurre siempre…me ocurre dos o tres veces todos los días”

Capítulo IV

114

entrevista no se indagó sobre la interpretación de dicho concepto, de modo que no podemos

concluir que también existiera diferencia en la fase de interpretación.

El caso del Ejemplo IV. 2 incluye una pareja de participantes en la que el informante

directo tiene una limitación visual. Esta trascripción es un gran ejemplo de los principales

resultados que se han encontrado en el estudio. La base de las diferencias en las respuestas a

las preguntas target, entre los dos tipos de participantes, se encuentran en los errores de

compresión de dichas preguntas target y en la distinta información generada por cada uno de

los participantes. El proceso de respuesta es el siguiente: a) Comprensión: ambos participantes

están mostrando errores en la fase de compresión, ya que la pregunta se refiere a “una

dificultad importante por problemas de naturaleza cognitiva e intelectual” y ninguno de ellos

introduce esta referencia en sus procesos de respuesta; b) Recuperación de información: el

informante directo está recuperando información acerca de situaciones, en las que debido a su

limitación visual, pone más atención a los estímulos externos usando (de forma intencionada)

otros sentidos como el oído; mientras que el informante proxy recupera información sobre

situaciones en las que su madre no es capaz de usar el sentido de la vista debido a su

limitación; c) Juicio: no hay informes verbales para la fase de juicio. Podemos suponer que en

Ejemplo IV. 2 P. ¿Debido a problemas de naturaleza cognitiva o intelectual, (Alguna persona del hogar) tiene dificultad importante para utilizar intencionadamente los sentidos? Por ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc.

Informante Proxy: “Sí” Entrevistador: “¿En qué ha pensado para responder a la pregunta,

por qué ha contestado así?” Informante Proxy: “…mi madre tiene una limitación visual así que

no puede utilizar el sentido de la vista…” Informante Directo: “No” Entrevistador: “¿En qué ha pensado para responder a la pregunta,

por qué ha contestado así?” Informante Directo: “…porque debido a mi limitación visual, a

veces intento usar los otros sentidos y poner más atención a lo que estoy escuchando”


115

ambos informantes evalúan la información recuperada como adecuada para responder; y d)

Respuesta: cada informante ofrece una respuesta distinta.

3.4. Procesos de respuesta en función del tipo de pregunta

Por último, se llevó a cabo un análisis de las diferencias en el proceso pregunta-

respuesta en función del tipo de preguntas target incluida en el estudio. Este análisis se realizó

ya que la bibliografía revisada especifica la dificultad a la hora de medir ciertos aspectos de la

salud a través de informantes proxy (Grootendorst et al., 1997), concretamente, sobre la

problemática existente a la hora de utilizar informantes proxy cuando se está preguntando

sobre ámbitos de la salud que no son directamente observables por dichos informantes.

Tabla IV. 4. Diferencias en el Proceso Pregunta-Respuesta por el Tipo de Preguntas Target

Tipo de Preguntas Target Frecuencia Diferencias en el Proceso P-R

Dificultad en Actividades de la Vida Cotidiana 11 6

Dificultad de Comunicación 31 10

Dificultad de Movilidad 24 10

Dificultad de Aprendizaje 21 7

Dificultad en las Relaciones con los demás 32 6

Perdidos 13 0

Total 132 39

La Tabla IV. 4 presenta en las columnas: cada tipo de pregunta target, la frecuencia de

las respuestas y cuándo han aparecido diferencias en el proceso pregunta-respuesta entre las

respuestas de los participantes. Los resultados del análisis de las entrevistas cognitivas

muestran que las preguntas relacionadas con dificultad en actividades de la vida cotidiana y

dificultad de movilidad son las que presentan mayores diferencias entre los informantes (6

diferencias en 11 respuestas y 10 diferencias en 24 respuestas, respectivamente). En

Capítulo IV

116

contraposición, las preguntas, que menores diferencias generan, son aquellas relacionadas con

problemas de aprendizaje (7 diferencias en 24 respuestas), comunicación (10 diferencias en

31 respuestas) y, por último, relación con los demás (6 diferencias en 32 respuestas).

Estos resultados están en disonancia con la bibliografía, ya que tanto las dificultades

en actividades de la vida cotidiana como las dificultades de movilidad se consideran ámbitos

de la salud directamente observables y accesibles por los informantes proxy. Mientras que las

dificultades en las relaciones con los demás, donde se ha encontrado una mayor convergencia

entre los procesos de respuesta, implican procesos emocionales que a priori se consideran no

directamente observables por dichos informantes proxy. A continuación, se expone el informe

verbal de una pareja de participantes como ejemplo de estos resultados.

La pareja del Ejemplo IV. 3 incluye un participante directo con una grave limitación

visual y su mujer como participante proxy. En la transcripción se puede observar el siguiente

proceso de respuesta: a) Comprensión: no hay informes verbales específicos de esta fase, pero

se puede apreciar que ambos participantes comprenden correctamente la pregunta; b)

Recuperación de información: el informante directo recupera dos tipos de actividades: una en

las que no tiene problemas (podríamos denominar de “puertas para adentro”) como levantarse,

Ejemplo IV. 3

P. (Alguna persona de su hogar) ¿se ha visto limitado/a para realizar las actividades que la gente habitualmente hace, debido a un problema de salud? La limitación debe durar más de un año.

Informante Proxy: “Sí, gravemente limitado” Entrevistador: “¿Qué entiende por actividades de la vida

cotidiana?” Informante Proxy: “…por ejemplo, levantarse por la mañana, ir al

servicio, asearse sin que nadie te diga dónde está el cepillo o la pasta de dientes, si no encuentra el jabón que nadie te tenga que decir dónde está...no puede salir solo a la calle, tiene que ir con alguien...”

Informante Directo: “Sí, pero no gravemente limitado” Entrevistador: “¿Qué entiende por actividades de la vida

cotidiana?” Informante Directo: “…actividades de la vida cotidiana son,

levantarse, desayunar, ir al servicio, vestirse...esas puedo hacerlas, pero hay otras actividades de la vida cotidiana como es salir a la calle, cruzar la calle, ir a la tienda en estas sí que necesito ayuda”


117

desayunar, ir al servicio, vestirse, etc., y otras actividades en las que sí tiene problemas

(podríamos denominar de “puertas hacia fuera”) como salir a la calle, cruzar la calle, ir a la

tienda, etc.. El informante proxy recupera información de todas las actividades en las que su

marido tiene problemas, sin diferenciar entre ellas; es decir, problemas en actividades como

levantarse, ir al servicio y asearse, y en actividades como salir a la calle; c) Juicio, cada

informante evalúa la información generada y prepara una respuesta; y d) Respuesta, el

informante directo establece que está “limitado pero no gravemente”, ya que hay algunas

actividades que puede realizar por sí solo, y el informante proxy comunica que su marido

“está gravemente limitado” porque necesita ayuda para todas las actividades.

3. Discusión

El objetivo de este estudio fue identificar las posibles diferencias en los procesos de

respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una

vía para optimizar la coincidencia entre las respuestas de los informantes. La consecución de

este objetivo se ha implementado en el marco de un estudio, en el que se utilizaron

informantes directos e informantes proxy para responder a preguntas de un cuestionario de

una encuesta de discapacidad. El análisis de los procesos de respuesta de ambos tipos de

informantes se realizó en base al esquema de codificación propuesto por Willis et al. (1999).

Este esquema permite la identificación de problemas en cada una de las fases del modelo de

pregunta-respuesta (Tourangeau, 1984).

Los resultados del estudio han mostrado:

a) A pesar de que los informantes directos y los informantes proxy coincidan en sus

respuestas, los procesos de respuesta subyacentes, en ocasiones, son distintos. Es

decir, el informante proxy puede estar comprendiendo la pregunta de forma

distinta que el informante directo, recuperando distinta información y evaluándola

también de forma distinta aunque finalmente ofrezca la misma respuesta. Esta

situación supone un problema de error de respuesta en la medida en la que no se

está accediendo al valor “real”; en términos de evaluación psicométrica clásica, en

la medida en la que, a pesar de haber obtenido el mismo valor “observado” no se

Capítulo IV

118

está accediendo al valor “verdadero” del informante directo, a través del

informante proxy.

b) Una vez que ambos informantes han ofrecido una respuesta distinta existe una

diferencia subyacente en el proceso de pregunta-respuesta. La mayoría de estas

diferencias subyacentes se encuentran en la fase de compresión y recuperación de

información del modelo del proceso de pregunta-respuesta (Tourangeau, 1984). En

la bibliografía se establecía que, las diferencias en las respuestas se deben a la

distinta información disponible para realizar juicios y a las distintas estrategias de

formación de dichos juicios (Bickart et al., 1994; Kuiper & Rogers, 1979; Schwarz

& Wellens, 1997; Sudman, et al., 1996); sin embargo, el estudio ha mostrado que

las diferencias se deben, en gran medida, a las diferentes interpretaciones que

realizan los participantes de las preguntas del cuestionario; concretamente, a los

errores de interpretación del objetivo de estas preguntas.

El primer paso, para evitar que los informantes proxy ofrezcan respuestas distintas a

los informantes directos, es asegurar una interpretación común de la pregunta del

cuestionario. Es esencial conseguir que todos los participantes comprendan la pregunta de la

misma forma, y que esa interpretación coincida con el objetivo de medición de dicha

pregunta, es decir, coincida con la interpretación prevista por los autores del cuestionario. De

este modo, se debe realizar un esfuerzo a la hora de elaborar preguntas claras, sencillas,

cognitivamente accesible para la población objeto de medición y que reflejen nítidamente el

objetivo de medición de la misma. Este primer paso es tan importante que si no se ejecuta es

indiferente utilizar informantes directos e informantes proxy en las encuestas, ya que los

propios informantes directos van a mostrar una gran divergencia en las respuestas entre sí

mismos. No habría que esperar a introducir informantes proxy para que aumentaran los

errores de respuesta en los datos de las encuestas. El segundo paso, consistiría en tratar de

conseguir que, los informantes proxy se basaran en la misma información que los informantes

directos, a la hora de contestar a las preguntas.

Con respecto al tipo de preguntas, varios autores apuntaron que las respuestas de los

informantes proxy son más exactas en ámbitos de la salud que son directamente observables y

probablemente conocidos por otros (Magaziner et al., 1996), tales como, problemas con

actividades de la vida cotidiana y limitaciones crónicas. No obstante, los resultados del


119

presente estudio han puesto de manifiesto, que la mayoría de las diferencias de los procesos

de respuesta aparecen en las preguntas relacionadas con limitaciones en las actividades

cotidianas y con problemas de movilidad. De forma contraria, la mayor convergencia de los

procesos de respuesta se ha encontrado en las preguntas relacionadas con dificultades en la

relación con los demás, que implican a la hora de responder un acceso a información

emocional (ver Anexo). La explicación de esta situación no está clara. Se podría hipotetizar,

que por efectos de deseabilidad social, ambos informantes hayan restringido la información

aportada durante la entrevista cognitiva, con respecto a problemas emocionales y problemas

de relación con otras personas, ofreciendo respuestas e informes verbales en los que muestran

que no existen problemas de relación con otras personas y todo está bien. De hecho, la mayor

frecuencia de respuestas entre ambos informantes fue “No/No”. Este hallazgo podría abrir una

nueva línea de investigación que comprobara la causa de este resultado, y arrojara luz sobre el

grado de convergencia en las respuestas entre informantes directos e informantes proxy en

función de la temática de la pregunta.

Finalmente, en este estudio se ha demostrado, una vez más, cómo el uso de la

entrevista cognitiva nos permite saber cómo están interpretando y respondiendo a las

preguntas de las encuestas los participantes e identificar los tipos de error que se están

cometiendo (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler, & Brown, 1999; Nápoles-

Springer, Santoyo-Olsson, O’Brien, & Stewart, 2006). A través del uso de la entrevista

cognitiva es posible identificar fuentes de error en los procesos de respuesta a las preguntas de

la encuesta, tales como, problemas en la comprensión del objetivo de la pregunta o conceptos

insertados en la pregunta, o diferencias en la recuperación de la información y en el juicio

realizado por distintos tipos de informantes; y en base a estas evidencias proponer

modificaciones en dichas preguntas para asegurar la calidad de los datos obtenidos y reducir

los errores basados en los procesos de respuesta.

5. Referencias

Bassett, S.S., Magaziner, J. & Hebel, J.R. (1990) Reliability of proxy response on mental

health indices for aged, community-dwelling women. Psychology and Aging, 5, 127-132.

Capítulo IV

120

Bickart, B., Menon, G., Schwarz, N. & Blair, J. (1994). The use of anchoring strategies in

constructing proxy reports of attitudes. International Journal of Public Opinion Research, 6,

375-379.

Campbell, P.T., Sloan, M. & Kreiger, N. (2000). Utility of Proxy versus Index Respondent

Information in a Population-Based Case-Control Study of Rapidly Fatal Cancers. Annals of

Epidemiology, 17, 253-257.

DeMaio, T.J. & Rothgeb J.M. (1996). Cognitive interviewing techniques: in the lab and in the

field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for Determining

Cognitive and Communicative Processes in Survey Research. San Francsico: Jossey-Bass, 177–

196.

Epstein, A.M., Hall, J.A., Tognetti, J., Son, L.H. & Conant, L. (1989). Using proxies to

evaluate quality of life. Medical Care, 27, 91-98.

Grootendorst, P.V., Feeny, D.H. & Furlong, W. (1997). Does it matter whom and how you

ask? Inter- and intra-rater agreement in the Ontario Health Survey. Journal of Clinical

Epidemiology, 50, 127-135.

Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to

develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans

Study. Medical Care, 37, 10–21.

Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1).

Universidad de Tübingen, Alemania: Ingeborg Huber Verlag.

Kuiper, N.A. & Rogers, T.B. (1979). Encoding of personal information: self-other

differences. Journal of Personality and Social Psychology, 37, 499-514.

Magaziner, J., Bassett, S.S., Hebel, J.R. & Gruber-Maldini, A. (1996). Use of Proxies to

Measure Health and Functional Status in Epidemiologic Studies of Community-dwelling

Women Aged 65 Years and Older. American Journal of Epidemiology, 143, 283-292.


121

Mathiowetz, N.A. & Groves, R. M. (1985). The effects of respondent rules on health survey

reports. American Journal of Public Health, 75, 311-316.

Nápoles-Springer, A.M., Santoyo-Olsson, J., O’Brien, H. & Stewart, A.L. (2006). Using

cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30.

Rajmil, L., Fernández, E., Gispert, R., Rúe, M., Glutting, J.P., Plasencia, A. & Segura, A.

(1999). Influence of proxy respondents in childrens’ health interview survey. Journal of

Epidemiology and Community Health, 53, 38-42.

Rothman, M.L., Hedrick, S.C., Bulcroft, K.A., Hickarn, D.H. & Rubenstein, L.Z. (1991). The

validity of proxy-generated scores as measures of patient health status. Medical Care, 29,115-

124.

Schwarz, N. & Wellens, T. (1997). Cognitive dynamics of proxy responding: the diverging

perspective of actors and observers. Journal of Official Statistics, 13, 159-179.

Sudman, S., Bradburn, N.M. & Schwarz, N. (1996). Thinking about answers: The Application

of Cognitive Processes to Survey Methodology. San Francisco, CA: Jossey-Bass.

Sunghee, L., Mathiowetz, N.A. & Tourangeau, R. (2007) Measuring disabilities in surveys:

Consistency over the time and across respondents. Journal of Official Statistics, 23, 163-184.

Tafforeau, J., Lopez, M., Tolonen, A., Scheidt-Nave, C. & Tinto, A. (2006). Guidelines for

the development and criteria for the adoption of Health Survey instruments. Eurostat Working

Papers and Studies.

Todorov, A. & Kirchner, C. (2000). Bias in Proxies’ Reports of Disability: Data From the

National Health Interview Survey on Disability. American Journal of Public Health, 90,

1248-1253.

Tourangeau, R. (1984). Cognitive science and survey methods: a cognitive perspective. En:

T. Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive Aspects of Survey

Capítulo IV

122

Methodology: Building a Bridge Between the Disciplines (pp. 73-100). Washington, DC:

National Academy Press.

Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S.



& Sons.

Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing,

expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey



123

6. Anexo

CUESTIONARIO ADAPTADO INFORMANTE PROXY

Código de entrevista:

Fecha: dd/mm/aa Entrevistador/a Entrevistado/a1 Sexo (H ó M)

1Códigos: E1_01 a E1_03; o E2_04 a E2_05

A) Datos del encuestado

“Para empezar, necesito conocer algunos datos personales que nos ayudarán a interpretar

sus respuestas”.

(A partir de aquí, el entrevistador debe preguntar al encuestado)

P.1 ¿Cuál es su edad? ________

P.2 ¿Cuál es su país de nacimiento? País de nacimiento: _____________

P.3 ¿Vive con otras personas en su domicilio actual? No 1 Sí 2_

(Si la respuesta es “No” se anula la entrevista, el entrevistado tenía que vivir en domicilio familiar).

P.4 Alguna persona de su hogar, ¿se ha visto limitado/a para realizar las actividades que la gente

habitualmente hace, debido a un problema de salud? La limitación debe durar más de un año.

Sí, gravemente limitado 1 → Entrevistador pase a P.5

Sí, limitado pero no gravemente 2 → Entrevistador pase a P.5

No 3 PRUEBA 4 DE INDAGACIÓN (PROTOCOLO)

P.5 ¿Cuál es su relación de parentesco con esta/s persona/s?

Parentesco

(1) __________ ¿Cuál es su edad?____

(2) __________ ¿Cuál es su edad?____

(3) __________ ¿Cuál es su edad?____

(4) __________ ¿Cuál es su edad?____

PRUEBA 4 DE INDAGACIÓN (IR A PROTOCOLO)

B) Núcleo de la entrevista

Capítulo IV

124

Entrevistador/a: Léale al informante: "Ahora voy hacerles unas preguntas para identificar a las

personas de su vivienda que tienen dificultades o limitaciones importantes para realizar actividades

de la vida cotidiana, debido a un problema de salud”.

“Por favor, tenga en cuenta para responder a las preguntas que se considera que un problema de

salud es de larga duración cuando las dificultades duran ya más de un año o se espera que duren

más de un año”.

“Incluya también a las personas que para hacer las actividades cotidianas necesitan ayudas

técnicas externas o que alguien las supervise mientras están haciéndolas.

Entrevistador/ a: Léale al informante: “Empecemos por las dificultades de comunicación cuya

duración supere un año.

P.6 ¿Alguna persona del hogar tiene dificultad importante para hablar de manera

comprensible o decir frases con sentido sin ayudas?

SI → ¿Cuál es su relación de parentesco con esta/s persona/s?

(1) ________ (2) ________ (3)________ (4)________

NO


P.7 ¿Alguna persona del hogar tiene dificultad importante para comprender el significado

de lo que le dicen otras personas sin ayudas?


(1) ________ (2)________ (3)________ (4)________

NO


P. 8. ¿Alguna persona del hogar tiene dificultad importante para utilizar el teléfono u

otros dispositivos o técnicas de comunicación sin ayudas y sin supervisión? Incluya la

máquina para escribir Braille y la lectura labial.


(1) ________ (2)________ (3)________ (4)________

NO


Entrevistador/ a: léale al informante: “Ahora voy a hacer unas preguntas sobre dificultades de

aprendizaje que duren más de un año”.


125

P. 9. ¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del

hogar tiene dificultad importante para utilizar intencionadamente los sentidos? Por

ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc.


(1) ________ (2)________ (3)________ (4)________

NO


P.10 ¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del

hogar tiene dificultad importante para aprender a leer, a escribir, a contar (o calcular), a

copiar o dificultad para aprender a manejar utensilios de uso cotidiano?


(1) ________ (2)________ (3)________ (4)________

NO


Entrevistador/ a: Léale al informante: “El siguiente bloque incluye preguntas sobre dificultades

de movilidad que duren más de un año”.

P.11 ¿Alguna persona del hogar tiene dificultad importante para mover el cuerpo de un

sitio a otro sin cambiar la posición sin ayudas y sin supervisión? Por ejemplo, pasar de

estar sentado en una cama a sentarse en una silla.


(1) ________ (2)________ (3)________ (4)________

NO


P.12 ¿Alguna persona del hogar tiene dificultad importante para cambiar de postura sin

ayudas y sin supervisión? Por ejemplo levantarse de una silla, tumbarse en una cama,

arrodillarse, etc. Excluye la acción de transferir el propio cuerpo planteada en la

pregunta anterior.


(1) ________ (2)________ (3)________ (4)________

NO


Capítulo IV

126

Entrevistador/ a: Léale al informante: “Para terminar este bloque, las siguientes preguntas

tratan sobre dificultades por problemas de salud en las relaciones con otras personas, en las

relaciones familiares, etc., de más de 1 año de duración”

P.13. ¿Alguna persona del hogar tiene dificultad importante para mostrar a otras

personas afecto, respeto o para transmitir sentimientos incluyendo el contacto físico,

como besos, caricias, etc.?


(1) ________ (2)________ (3)________ (4)________

NO


P.14. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener

relaciones familiares?


(1) ________ (2)________ (3)________ (4)________

NO


P.15. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener

relaciones sentimentales, de pareja o sexuales?


(1) ________ (2)________ (3)________ (4)________

NO


Protocolo Informante PROXY

Debe realizar la entrevista igual que se administra un cuestionario tradicional:

empiece por el principio, avance a través de cada página hasta el final del

protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta

exactamente como aparecen.


127

La información para dar al encuestado está escrita con un estilo de fuente en

cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de

fuente en negrita, las preguntas con las pruebas de indagación con un estilo

normal. También pueden aparecer instrucciones para Vd. que no debe leer al

entrevistado. Estas instrucciones aparecen (entre paréntesis).

A continuación, se describen los diferentes tipos de preguntas incluidas en el

protocolo junto con algunas indicaciones para el entrevistador:

Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se

pretenden examinar mediante la entrevista cognitiva. El resto de las

preguntas del protocolo están diseñadas para analizar como funcionan

estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas

de respuesta exactamente como aparecen escritas. Debe también registrar

la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS

PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA

RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas

cognitivas es conocer como los encuestados interpretan las preguntas.

También se pretende averiguar el grado de dificultad que conlleva

contestar a las preguntas, sin la ayuda de un entrevistador.

Pregunta general de indagación. Inmediatamente después de la

pregunta objeto de análisis, aparece una pregunta abierta diseñada para

obtener información sobre como el entrevistado ha interpretado la

pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta

pregunta en cuanto detecte que el entrevistado ha terminado de responder

a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO

QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.

Preguntas específicas de indagación. Tras la pregunta general debe

hacer una serie de preguntas diseñadas para obtener información

específica sobre el proceso de “pregunta-respuesta” seguido por el

entrevistado. Interesa conocer en detalle como el entrevistado ha

“construido” la respuesta. Estas preguntas son fáciles de responder. No

obstante, también puede recurrir a las habituales estrategias de indagación

para profundizar en las respuestas: “Puede repetirme lo último…”; “Me

parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o

repitiendo las últimas palabras o frases del encuestado.

Capítulo IV

128

Información previa al encuestado

Tras la presentación inicial y después de que ocupen las posiciones adecuadas en

la sala1, proporcione la siguiente información:

• “La Universidad de Granada está probando unas preguntas de un cuestionario que

posteriormente se utilizarán en una encuesta. La información obtenida con la

encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida

de los ciudadanos".

• “El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario

que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS

PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO

VD. La información que Vd. proporcione es muy valiosa para mejorar el

funcionamiento del cuestionario”.

• “Primero responderá a un cuestionario y después le pediré que me diga COMO HA

CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que

información ha tenido en cuenta para responder, como ha recordado la

información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”

• “Toda la información que proporcione es muy importante para nosotros. Por tanto,

siéntase libre de decir todo lo que crea que puede ayudar a mejorar el

cuestionario haciendo bien las preguntas.” “Para no perder nada de sus

respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son

confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene

alguna duda?... Pues vamos a empezar.”

Desarrollo de la entrevista cognitiva

PPRRUUEEBBAA PP..44 DDEE IINNDDAAGGAACCIIÓÓNN ((““AACCTTIIVVIIDDAADDEESS HHAABBIITTUUAALLEESS””))

1 1 Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible las caras y el cuerpo de ambos.


129

• GENERAL

P. 4. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

⇒ ESPECÍFICAS

P. 4. 2 ¿Qué entiende Vd. por “actividades de la vida cotidiana”?

PRUEBA P.6 (“HABLAR DE MANERA COMPRENSIBLE”)

• GENERAL


⇒ ESPECÍFICAS

P. 6. 2 ¿Qué significan para Vd. las palabras “hablar de manera comprensible”?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SÍ” A LA PREGUNTA P.6. DEL

CUESTIONARIO

P. 6. 3. Vd. ha contestado que su _________ (Nombrar por el

parentesco a la persona 1), tiene dificultad importante para hablar

de manera comprensible y decir frases con sentido, cuénteme con

sus propias palabras una situación en la que su ________ (la

persona 1), tenga una dificultad importante para hablar de manera

comprensible y decir frases con sentido.

PPRRUUEEBBAA PP..77 DDEE IINNDDAAGGAACCIIÓÓNN ((““CCOOMMPPRREENNDDEERR EELL SSIIGGNNIIFFIICCAADDOO””))

• GENERAL


⇒ ESPECÍFICAS

Capítulo IV

130

P. 7. 2 ¿Qué entiende Vd. por “… comprender el significado de lo que dicen otras

personas”?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A

LA PREGUNTA P.7 DEL CUESTIONARIO

P. 7. 3 Vd. ha contestado que su _________ (Nombrar por el

parentesco a la persona 1), tiene dificultad importante para

comprender lo que dicen otras personas, cuénteme con sus propias

palabras una situación en la que su ________ (la persona 1), tenga

una dificultad importante para comprender lo que dicen otras

personas.

PPRRUUEEBBAA PP..88 DDEE IINNDDAAGGAACCIIÓÓNN ((““UUTTIILLIIZZAARR EELL TTEELLÉÉFFOONNOO””))

• GENERAL


⇒ ESPECÍFICAS PARA TODOS

P. 8. 2 ¿Qué significan para Vd. las palabras “utilizar el teléfono”?

P. 8. 3 ¿… y “dispositivos o técnicas de comunicación”?




parentesco a la persona 1), tiene dificultad importante para utilizar

el teléfono u otros dispositivos o técnicas de comunicación,

cuénteme con sus propias palabras una situación en la que su

________ (la persona 1), tenga una dificultad importante para

utilizar el teléfono u otros dispositivos o técnicas de comunicación.

PPRRUUEEBBAA PP..99 DDEE IINNDDAAGGAACCIIÓÓNN ((““UUSSAARR LLOOSS SSEENNTTIIDDOOSS””))


131

• GENERAL


ESPECÍFICAS

P. 9. 2 Dígame con sus propias palabras ejemplos de “problemas de naturaleza

cognitiva o intelectual”.

P. 9. 3 Imagine que tiene que explicar a otra persona qué es “utilizar

intencionadamente lo sentidos”, ¿qué le diría?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.9 DEL

CUESTIONARIO


parentesco a la persona 1), tiene dificultad importante para utilizar

intencionadamente los sentidos, cuénteme con sus propias palabras

situaciones en la que su ________ (la persona 1), tenga dificultades

para utilizar intencionadamente los sentidos.

PPRRUUEEBBAA PP..1100 DDEE IINNDDAAGGAACCIIÓÓNN ((““AAPPRREENNDDEERR AA LLEEEERR……””))

• GENERAL


ESPECÍFICAS

P. 10. 2 ¿Qué entiende Vd. por “utensilios de uso cotidiano”?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.10 DEL

CUESTIONARIO


parentesco a la persona 1), tiene dificultad importante para

aprender a leer, a escribir, a contar, a copiar o a manejar utensilios

de uso cotidiano, cuénteme con sus propias palabras situaciones en

Capítulo IV

132

la que su ________ (la persona 1), tenga dificultades para

aprender.

PPRRUUEEBBAA PP..1111 DDEE IINNDDAAGGAACCIIÓÓNN ((““MMOOVVEERR EELL CCUUEERRPPOO””))

• GENERAL


⇒ ESPECÍFICAS

P. 11. 2 ¿Qué ha entendido por “mover el cuerpo de un sitio a otro sin cambiar de

posición”?

P. 11. 3 La pregunta era sobre si una persona de su hogar tenía una dificultad

importante para mover el cuerpo… sin ayudas y sin supervisión ¿Qué significan

para Vd. las palabras “sin supervisión”?




parentesco a la persona 1), tiene dificultad importante para mover

el cuerpo de un sitio a otro sin cambiar de posición, cuénteme con

sus propias palabras situaciones en las que su ________ (la

persona 1), tenga una dificultad importante para mover el cuerpo de

un sitio a otro sin cambiar de posición.

PPRRUUEEBBAA PP..1122 DDEE IINNDDAAGGAACCIIÓÓNN ((““CCAAMMBBIIAARR DDEE PPOOSSTTUURRAA””))

• GENERAL


⇒ ESPECÍFICAS


133

P. 12. 2 ¿Qué ha entendido por la expresión “transferir el propio cuerpo”?




parentesco a la persona 1), tiene dificultad importante para cambiar

de postura, cuénteme con sus propias palabras situaciones en la

que su ________ (la persona 1), tenga una dificultad importante

para cambiar de postura sin transferir el propio cuerpo.

PPRRUUEEBBAA PP..1133 DDEE IINNDDAAGGAACCIIÓÓNN ((““MMOOSSTTRRAARR AAFFEECCTTOO””))

• GENERAL



LA PREGUNTA P.13.1 DEL CUESTIONARIO


parentesco a la persona 1), tiene dificultad importante para mostrar

a otras personas afecto, respeto o sentimientos, cuénteme con sus

propias palabras situaciones en la que su ________ (la persona 1),

tenga una dificultad importante para mostrar a otras personas

afecto, respeto o sentimientos.

PPRRUUEEBBAA PP..1144 DDEE IINNDDAAGGAACCIIÓÓNN ((““RREELLAACCIIOONNEESS FFAAMMIILLIIAARREESS””))

• GENERAL


⇒ ESPECÍFICAS

Capítulo IV

134

P. 14. 2 ¿Qué ha entendido por la expresión “crear o mantener relaciones

familiares”?




parentesco a la persona 1), tiene dificultad importante para crear y

mantener relaciones familiares, cuénteme con sus propias palabras

situaciones en la que su ________ (la persona 1), tenga una

dificultad importante para crear y mantener relaciones familiares.

PPRRUUEEBBAA PP..1155 DDEE IINNDDAAGGAACCIIÓÓNN ((““RREELLAACCIIOONNEESS DDEE PPAARREEJJAA””))

• GENERAL





parentesco a la persona 1), tiene dificultad importante para crear y

mantener relaciones sentimentales, de pareja o sexuales, cuénteme

con sus propias palabras una situación en la que su ________ (la

persona 1), tenga una dificultad importante para crear y mantener

relaciones sentimentales y de pareja.

¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS

AYUDAN A MEJORAR EL CUESTIONARIO

136

CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA

PSICOLÓGICA

Errores de respuesta en una escala psicológica

137

1. Introducción

Las escalas psicológicas están siendo frecuentemente utilizadas en las encuestas, con

el fin de evaluar constructos psicológicos o de salud. Ejemplos de ello son, el Cuestionario

General de Salud en la Encuesta Nacional de Salud, las escalas SF-12 en la Encuesta Europea

de Salud, o el uso de grupos de ítems politómicos en diversas rondas de la Encuesta Social

Europea. Este creciente uso de las escalas psicológicas en las encuestas suscita, al menos, dos

cuestiones metodológicas importantes en cuanto al pretest de dichas escalas. En primer lugar,

la pertinencia a la hora de aplicar análisis psicométricos en el contexto de la investigación por

encuesta. En segundo lugar, la utilidad de los métodos de pretest, tales como la entrevista

cognitiva y la codificación del comportamiento, en la evaluación de estas escalas. La base de

estas dos discusiones metodológicas es la misma: la aportación y utilidad que pueden ofrecer

cada método de evaluación de instrumentos, en un contexto muy distinto de aquel para el que

fueron diseñados.

Con respecto a la aplicación de evaluaciones psicométricas a escalas insertadas en las

encuestas, se plantean una serie de problemas metodológicos evidentes. Por ejemplo, habría

que resolver cómo llevar a cabo una evaluación psicométrica de la escala, dentro de la

encuesta y junto al resto de cuestionarios que no miden atributos psicológicos. Imaginemos

que la evaluación psicométrica se realiza en el estudio piloto. En esta situación, podría habere

una confrontación de objetivos. Por una parte, los estudios pilotos suelen tener como objetivo

el análisis de las distribuciones de respuestas de los entrevistados y las cargas de los

entrevistadores; mientras que la evaluación psicométrica (basada en un paradigma estadístico

“clásico” o en la “teoría de respuesta al ítem”) tendría como objetivo la identificación de

ítems adecuados para la escala psicológica a través de sus características métricas. Una

práctica mucho más común, es realizar la evaluación psicométrica de la escala de forma

aislada o basándose en la información de evaluaciones psicométricas anteriores realizadas por

otros investigadores, para justificar la calidad de la escala psicológica. Posteriormente

insertarían la escala psicológica junto al resto de cuestionarios en la encuesta, asumiendo

erróneamente que dicha escala psicológica mantendría sus propiedades métricas en un

contexto muy diferente de aquel en el que fue evaluada.

Capítulo V

138

De cualquier forma, la Psicometría presenta varias desventajas que restringen su uso

en el contexto de la evaluación cuestionarios de encuestas. Por una parte, los análisis

psicométricos son tremendamente dependientes de los datos cuantitativos que se obtienen una

vez que se ha administrado la encuesta, por tanto, no es posible usar estos análisis

psicométricos en fases previas del desarrollo de las preguntas (Willis, 2005). Por otra parte, la

Psicometría esta más basada en las consecuencias de los errores de las encuestas que en las

causas (Tourangeau, 2003).

En relación a la segunda discusión metodológica, se ha demostrado ampliamente la

utilidad de los métodos cognitivos en la optimización de la información obtenida en las

encuestas (Willis, 2004; Conrad & Blair, 2004). Sin embargo, el problema es que los métodos

cognitivos fueron desarrollados para evaluar preguntas individuales de los cuestionarios de las

encuestas, preguntas individuales que cada una de ellas conforma una variable de medición,

pero no para evaluar instrumentos de medición de atributos psicológicos en los que la variable

está compuesta por todos los ítems del instrumento.

Esta es una problemática que parece no haber sido resuelta aún por la comunidad

científica, ya que a pesar del creciente interés en los aspectos cognitivos de los procesos de

respuesta, tal y como se demostró en el Capítulo III, hay poca evidencia de estudios que

hayan indagado en dichos aspectos cognitivos durante la evaluación de escalas psicológicas

incluidas en encuestas (van der Veer, Ommundsen, Hak & Larsen, 2003). Ante este

obstáculo, una posible solución es hipotetizar que los participantes desarrollan procesos de

respuesta equivalentes cuando están contestando las preguntas de una encuesta y cuando están

contestando los ítems de una escala psicológica. Equivalentes en el sentido de que estos

procesos de respuesta son accesibles para los métodos cognitivos y, por tanto, permiten la

identificación de los problemas con los ítems de las escalas psicológicas mediante ese acceso

a los procesos de respuesta de los participantes. Por ejemplo, la teoría subyacente a la

entrevista cognitiva parte del trabajo de Ericsson y Simon (1980). En este esquema teórico, el

componente clave es que las personas pueden informar de forma precisa de los procesos de

pensamientos a los que tienen acceso. Dichos procesos de pensamiento son aquellos que

tienen lugar en la memoria a corto plazo, utilizando información proveniente de la memoria a

largo plazo, de las memorias sensoriales o que ya se encontrara en la memoria a corto plazo

(ver Capítulo II).


139

Siguiendo a Conrad y Blair (2009) en la medida en que estos procesos de pensamiento

no sean automáticos, y requieran “realmente” de un procesamiento, los participantes podrán

ofrecer información verbal de los mismos y, por tanto, serán susceptibles de indagación a

través de los métodos cognitivos. En contraposición, en la medida en que sean automáticos,

los participantes tendrán poco o nada que decir sobre estos procesos de pensamiento. Si se

asumimos que los procesos de respuesta ante los ítems de las escalas psicológicas no son

automáticos, podemos hipotetizar que a través de la entrevista cognitiva, al igual que se puede

acceder a los procesos de pensamiento que desarrollan las personas mientras contestan las

preguntas de una encuesta, también se podría acceder a los procesos de pensamiento que

desarrollan mientras contestan a los ítems de una escala psicológica.

Miller en el 2007 afirmó que la entrevista cognitiva es el método más útil para

investigar cómo funcionan las preguntas de las encuestas en los entrevistados. El método de la

entrevista cognitiva proporciona información sobre la compresión de conceptos en las

preguntas, fallos en la recuperación de información, errores en el texto de las preguntas, etc.

Este tipo de información tan útil en la evaluación de las preguntas de los cuestionarios de las

encuestas, también puede ser tremendamente útil en la evaluación de los ítems de las escalas

psicológicas incluidas en las encuestas.

El método de la codificación del comportamiento, al contrario que la entrevista

cognitiva, se podría aplicar a la evaluación de las escalas psicológicas, a priori, sin ningún

problema. No habría que hipotetizar que los procesos de respuesta sean equivalentes a los

procesos de respuesta en los cuestionarios. Este método puede identificar desviaciones de las

secuencias “ideales” (paradigmáticas), con cierta independencia del tipo de pregunta que se

haya realizado. La categorización de cada tipo de secuencia, durante la interacción entre el

entrevistado y el entrevistador, se puede llevar a cabo tanto en la evaluación de las preguntas

de cuestionarios insertados en las encuestas, como en la evaluación de las preguntas de las

escalas psicológicas insertadas en las encuestas; obteniendo, de este modo, información sobre

cómo las desviaciones a la secuencia ideal de conductas puede afectar a la calidad de los datos

de la escala psicológica.

Por último, hay que mencionar que un método de pretest, como la entrevista cognitiva,

puede jugar un papel crucial en respuesta a la demanda actual sobre la realización de análisis

empíricos y teóricos de los procesos de respuesta, con el fin de obtener evidencias de validez

Capítulo V

140

sobre el ajuste entre el constructo que se supone mide el test o el cuestionario y las respuestas

dadas por los participantes. Esta demanda está claramente reflejada en los Standards for

Educational and Psychological Testing (APA, AERA, NCME, 1999). De acuerdo con los

Standards for Educational and Psychological Testing (APA et al., 1999): “la evaluación de

las estrategias de ejecución, o estrategias de respuesta de los encuestados a las preguntas,

puede ofrecer evidencia que enriquezca la definición del constructo, y estas evidencias de

validez basadas en los procesos de respuesta generalmente provienen del análisis de las

respuestas individuales” (p. 12). La entrevista cognitiva puede ser de gran utilidad a la hora de

obtener información de las estrategias de respuesta de los encuestados y, por tanto, ofrecer

información sobre el ajuste entre el constructo y las respuestas de los participantes.

En base a todo lo anteriormente escrito, el presente estudio tiene dos objetivos

principales. Por una parte, mostrar cómo la entrevista cognitiva y la codificación del

comportamiento también puede ser utilizados en el pretest de las escalas psicológicas

incluidas en los cuestionarios de las encuestas. Por otra parte, mostrar la utilidad de la

entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta de

estas escalas psicológicas. La consecución de sendos objetivos se va a implementar en el

marco del pretest de la escala psicológica de Percepción de la Función Familiar (APGAR)

insertada en una encuesta de salud.

2. Método

2.1. Participantes

En este estudio participaron 21 personas, 10 hombres y 11 mujeres con edades

comprendidas entre 20 y 67 años. Se seleccionarion potenciales participantes que podrían ser

entrevistados para la encuesta de salud, en la que fue insertada la escala psicológica APGAR.

Las variables de distribución que se tuvieron en cuenta en la selección de participantes fueron

las siguientes: a) equivalente distribución de genero; b) rango de edad entre 18-70 años; c)

equivalente distribución del estado civil; d) equivalente distribución del nivel de estudios y e)

tipo de vivienda, a saber, participantes en vivienda uni-personal (personas que viven solas) y


141

vivienda multi-personal. La Tabla V.1 ofrece la distribución de valores de las variables nivel

de estudios y tipo de vivienda.

Tabla V. 1. Características de los Participantes

Nivel de Estudios Tipo de

Vivienda Básico Medio Superior Total

Unipersonal 3 3 3 9

Multipersonal 6 3 3 12

Total 9 6 6 21

Es necesario resaltar que la razón de la utilización de la variable “tipo de vivienda” se

basó en la temática de la escala APGAR y en la validez de la información proporcionada por

participantes provenientes de ambos tipos de viviendas. La escala APGAR tiene como

objetivo medir el apoyo emocional que las personas reciben de su familia. De este modo, el

tipo de información que ofrecen las personas que vivan solas podría ser muy distinta de

aquellas personas que conviven con su familia; es decir, era indispensable tener en cuenta la

variable tipo de vivienda ya que podría constituir una diferencia en los procesos de respuesta

de los participantes.

La captación de los participantes fue realizada mediante el procedimiento de “bola de

nieve”, a través de los contactos de miembros del equipo de investigación de la Universidad

de Granada. Los participantes eran completamente informados sobre el objetivo del estudio,

el procedimiento de las entrevistas y su función. A todos ellos se les informó sobre el objetivo

del estudio y se les garantizó la confidencialidad de los datos. Se tuvo especial cuidado en que

las personas seleccionadas no hubiesen participado es estudios con estos métodos de pretest

de cuestionarios. Por último, en todos los casos era indispensable poseer un nivel funcional de

español para participar, y las personas seleccionadas recibieron una gratificación de 20€ como

compensación por gastos de transporte, tiempo empleado en la entrevista, etc.

Capítulo V

142

2.1. Materiales

Los dos instrumentos utilizados en el estudio fueron, por una parte, la escala

psicológica a ser evaluada y, por otra parte, la guía de la entrevista; es decir, la escala APGAR

y el Protocolo de Entrevista.

La escala APGAR

La escala APGAR fue diseñada por Smilkestein en 1978 para evaluar la percepción de

los miembros de la familia sobre el apoyo familiar, examinando su satisfacción con las

relaciones familiares. Esta escala psicológica ha sido incluida en las prácticas clínicas por

médicos de familia, como una herramienta útil para obtener información sobre la situación

familiar y su posible papel en el origen y solución de conflictos (Bellón, Delgado, Lunay y

Lardelli, 1996). La escala APGAR es una técnica rápida y sencilla que sirve para explorar la

función familiar evaluando 5 componentes: adaptabilidad (adaptability), cooperación

(partnertship), desarrollo (growth), afectividad (affection) y capacidad resolutiva (resolve)

(Smilkstein, 1978). Se compone de cinco ítems con tres alternativas de respuesta (p. ej. “¿Esta

satisfecho con la ayuda que recibe de su familia cuando tiene un problema? Casi Nunca, A

Veces o Casi Siempre”, ver Anexo). Su traducción al español se llevó a cabo mediante el

método de traducción inversa. El valor de Alpha de Cronbach de las respuestas de la escala

APGAR en los estudios que se ha utilizado se sitúa alrededor de .84, así como, los análisis

factoriales aplicados muestran una solución de un solo factor (Bellón et al., 1996).

Es importante resaltar que toda esta información de las propiedades métricas de la

escala se circunscribe a su uso en prácticas clínicas. Una vez que la escala APGAR ha sido

introducida junto a una serie de cuestionarios, para conformar una encuesta de salud, cambia

considerablemente su contexto de aplicación. Estas propiedades métricas dejan de tener

validez en la medida en que el nuevo contexto de medición es muy distinto de aquel en el que

se llevaron a cabo las evaluaciones de la calidad de los datos. De este modo, se hace aún más

necesaria una nueva evaluación de la escala.


143


El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluye

información y descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las

instrucciones que se le deben dar al participante al comenzar la entrevista cognitiva y las

pruebas de indagación. En la siguiente figura se muestra un ejemplo de dos preguntas target y

varias pruebas de indagación. En el Anexo se incluye el protocolo completo de la entrevista

cognitiva utilizado en este estudio.

2.2. Procedimiento

En este estudio se decidió seguir el paradigma probing based de aplicación de la

entrevista cognitiva, descartando la utilización del paradigma think-aloud en todo momento.

En el método think-aloud durante la administración de las preguntas se incita al entrevistado a

que verbalice los pensamientos que van sucediendo en su mente mientras responde a dichas

1. ¿Está satisfecho con la ayuda que recibe de su familia cuanto tiene un problema? …

5. ¿Siente que su familia le quiere?

Pregunta General: Por favor, cuénteme en qué ha pensado mientras respondía a

estas preguntas sobre apoyo afectivo y su percepción de la función de la familia

Preguntas Específicas: ¿Cuántas personas forman su familia más cercana? ¿Con qué personas de su familia tiene un contacto frecuente? ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se

tiene un problema”?


Figura V. 1. Ejemplo de Pregunta Target y Pruebas de Indagación

Capítulo V

144

preguntas. Esta situación, en la que el entrevistado está respondiendo y a la vez va hablando

sobre todo lo que se le va pasando por la cabeza, dificultaría enormemente la aplicación de la

codificación del comportamiento, ya que impediría por completo que sucedieran las

secuencias ideales (paradigmáticas) de comportamiento. La utilización de la codificación del

comportamiento hace necesario que la administración de todas las preguntas de la escala se

haga en las mismas condiciones que ocurrirían en la administración real de la encuesta,

evitando cualquier tipo de interrupción. Del mismo modo, y de nuevo con el fin de evitar

interrupciones en las secuencias de comportamiento entre el entrevistador y el entrevistado,

una vez decidido que se aplicaría el paradigma probing based también se decidió que sería de

acuerdo a un diseño retrospectivo. Es decir, en primer lugar se administró por completo la

escala APGAR y tras la última respuesta del participante al último ítem de la escala

comenzaron a aplicarse las diversas pruebas de indagación.

Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores

(una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas

cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los

participantes, y tuvieron lugar en un laboratorio cognitivo equipado de un sistema de

grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de

Granada.

2.3. Esquemas de Análisis

Codificación del Comportamiento

Existen diferentes esquemas de análisis de las secuencias de conductas que ocurren

durante la interacción entre el entrevistador y el entrevistado. En este estudio nos hemos

basado en el esquema de codificación establecido por Oksenberg, Cannell y Kalton (1991),

por dos razones fundamentales: (a) responde a los objetivos del presente estudio y (b) ha sido

el esquema de análisis más frecuentemente usado por los profesionales del área. La Tabla V. 2

especifica los tipos de secuencia, los códigos asignados y la conducta que corresponde a cada

código y a cada secuencia.


145

Tabla V. 2. Esquema de Análisis de la Codificación del Comportamiento

Secuencia Código Conducta

Paradigmática R. Adecuada La respuesta se ajusta al objetivo de la

pregunta (secuencia ideal)

R. No Ajustada La respuesta es adecuada pero no coincide

con ninguna de las alternativas ofrecidas

R. Inválida La respuesta no está relacionada con la

pregunta

R. No se El entrevistado no sabe la respuesta

Problemática

R. Limitada La respuesta indica duda o incertidumbre

Interrupción El entrevistado interrumpe la lectura de la

pregunta

No

Paradigmática

No

Problemática Aclaración El entrevistado solicita una aclaración

En este estudio se han considerado como secuencias “no paradigmáticas” y a su vez

“problemáticas” las respuestas no ajustadas, las respuestas inválidas, las respuestas no se y

las respuestas limitadas. Se decidió que tanto las interrupciones como las aclaraciones serían

codificadas como conductas “no problemáticas”.

El análisis de la codificación del comportamiento se llevó a cabo utilizando el

programa Sequence Viewer versión 4.4.a (Dijkstra, 2008). Este programa, usando las

transcripciones de las entrevistas, clasifica las conductas en base al esquema de análisis

especificado. Tras la clasificación, se obtiene un análisis de frecuencias de los códigos y, por

tanto, de la ocurrencia de cada tipo de secuencia (paradigmática, no-paradigmática

problemática y no-paradigmática no problemática).

Entrevista Cognitiva

Los autores de la encuesta de salud, en la que fue insertada la escala APGAR,

establecieron las interpretaciones previstas para las mediciones aportadas por dicha escala.

Estas son: a) los encuestados deberían mantener en mente un concepto constante de “familia”

Capítulo V

146

mientras responden a todos los ítems de la escala, y b) la interpretación prevista para el

concepto “familia” es aquella que incluye a las personas con las que se convive, es decir, las

respuestas de los entrevistados a los ítems del APGAR sólo debían tener en cuenta e incluir a

aquellas personas con las que conviven los entrevistados. De este modo el esquema de análisis

de las entrevistas cognitivas estaba totalmente enfocado a la obtención de evidencias de

validez de estas interpretaciones previstas y, por consiguiente, a la identificación de los

potenciales errores de respuesta de la escala APGAR.

Mediante una revisión de expertos se identificaron las fuentes potenciales de error de

la escala APGAR que podrían cuestionar las interpretaciones previstas. Así como, basándonos

en el paradigma probing based, se desarrollaron las pruebas de indagación necesarias para

obtener evidencias de validez del ajuste entre el constructo y las estrategias de respuesta de

los participantes.

La Tabla V. 3 muestra las fuentes potenciales de error, las interpretaciones previstas

de la escala APGAR y las pruebas designadas para indagar sobre la presencia de dichos

errores. Las potenciales fuentes de error identificadas por los expertos son: conceptos clave

como “familia”, “recibir ayuda de la familia” o “tomar decisiones juntos”; la capacidad de los

entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de

respuesta de la escala; la compresión del objetivo de medición de la escala y la aceptación del

rol como entrevistado.

El esquema de análisis de los datos de la entrevista cognitiva simplemente consistió en

comprobar, gracias a la aplicación de las distintas pruebas, si los entrevistados llevaban a cabo

en sus procesos de respuesta las interpretaciones previstas para cada una de las fuentes

potenciales de error y, en el caso de que no lo hicieran, cuáles eran sus interpretaciones.

El análisis de los datos de las entrevistas cognitivas se llevó a cabo utilizando el

programa AQUAD, versión 6.8 (Huber, 2008). Dicho programa facilita la identificación de

patrones de respuesta de los entrevistados mediante el uso de códigos y anotaciones tanto en

las transcripciones en texto como mediante los archivos de vídeo de las entrevistas. En este

estudio el programa AQUAD se utilizó para asignar códigos a los informes verbales de los

participantes ante las pruebas de indagación. Para cada una de las pruebas de indagación se

asignaba un código que reflejaba si se llevaba a cabo la interpretación prevista para la fuente


147

potencial de error y, si no era así, qué interpretación tenía lugar. Mediante esta asignación de

códigos a esas porciones de entrevistas en los que los participantes respondían a las pruebas

de indagación y, por tanto, ofrecían información sobre las fuentes potenciales de error, se

pudo extraer los patrones de respuesta de los participantes en el estudio.

Tabla V. 3. Esquema de Análisis de la Entrevista Cognitiva

Fuentes

Potenciales de

Error

Interpretación Prevista Pruebas de Indagación

Concepto de Familia Se refiere a las personas con las que

convive

¿Cuántas personas forman tu familia más

cercana?

Menciona problemas, situaciones o

eventos específicos

¿Qué has entendido por “recibir ayuda de la

familia cuando tiene un problema”? Recibir ayuda de la

familia Se refiere a las personas con las que

convive

¿De qué miembros de su familia recibe

ayuda cuando tiene un problema?

Menciona problemas, situaciones o

eventos específicos

Dime, con tus propias palabras, ejemplos

de decisiones que se tomen en conjunto en

la casa Tomar �olinómic

importantes juntos Se refiere a las personas con las que

convive aunque no sea a todos

¿Qué miembros de su familia toman en

conjunto esas decisiones?

Graduación de las

respuestas

Capaz de ajustar y graduar la

respuesta a un sistema politómico

En la pregunta, ‘¿siente que su familia le

quiere?’ ha contestado ‘…’. ¿En qué

situación contestaría ‘(alternativa superior o

inferior a la respuesta dada)’?

Función del objetivo

de la pregunta

Comprende el objetivo de medición

de las preguntas

¿Cuál cree que es el objetivo de estas

preguntas sobre su familia?

Perspectiva y rol del

entrevistado No expresa malestar

¿Cómo se ha sentido respondiendo a estas

preguntas sobre su familia?

3. Resultados

Los resultados del estudio se presentan divididos en función de las evidencias

aportadas por cada uno de los métodos de pretest utilizados.

Capítulo V

148

3.1. Codificación del Comportamiento

En primer lugar, el porcentaje de secuencias paradigmáticas durante la

administración de la escala APGAR es del 48.5% mientras que el de secuencias no

paradigmáticas es del 51.5%, componiéndose estas últimas de problemáticas en un 41.2% y

no problemáticas en un 10.3%. Es necesario apuntar que el porcentaje total de estas

secuencias no paradigmáticas se sitúa por debajo del 60%, un criterio frecuentemente usado

para designar problemas con el funcionamiento de las preguntas (van der Zouwen & Dijkstra,

2002). La Tabla V. 4 expone los resultados por cada ítem de la escala.

Tabla V. 4. Porcentaje de los códigos

Item de la Escala APGAR Tipo de

Código Item 1 Item 2 Item 3 Item 4 Item 5

R. Adecuada 66.67 80.95 47.62 76.47 76.47

R. No Ajustada 33.33 14.29 47.62 17.65 17.65

R. Inválida 9.52 0 4.76 11.76 5.88

R. No se 0 0 0 5.88 0

R. Limitada 0 4.76 4.76 0 0

Interrupción 9.52 0 9.52 0 0

Aclaración 14.29 9.52 0 0 0

Los datos de la Tabla V. 4 muestran tres principales resultados. En primer lugar, el

porcentaje de respuestas adecuadas es muy alto en los ítems 2, 4 y 5; lo que indica un buen

ajuste de la respuesta y el comportamiento del entrevistado a dichas preguntas. En segundo

lugar, los ítems 1 y 3 tienen el porcentaje más reducido de respuestas adecuadas; esta falta de

ajuste del comportamiento del entrevistado se corresponde con una ocurrencia mayor de

respuestas no ajustadas, sobre todo para el ítem 3, y en la aparición de interrupciones durante

la lectura de las preguntas. Es decir, para los ítems 1 y 3 existe un considerable número de

veces en los que el entrevistado está ofreciendo una respuesta adecuada al objetivo de la

pregunta pero que no coincide con ninguna de las respuestas previamente establecidas y, a su

vez, responde interrumpiendo la lectura de la pregunta o antes de que el entrevistador lea las

alternativas de respuesta. En tercer lugar, con respecto al resto de códigos, es destacable la

aparición de aclaraciones en los ítems 1 y 2, implicando que una vez resultas y aclaradas las

dudas en el comienzo de la escala no se volvieron a repetir.


149

Con el fin de ilustrar las causas del mayor porcentaje de respuestas no ajustadas en el

ítem 1 y 3, se inserta un ejemplo del tipo de interacciones que principalmente han ocurrido

durante la administración de dichos ítems.

Durante la administración de la escala APGAR, para todos los ítems de la misma,

existió un considerable porcentaje de respuestas no ajustadas, que consistieron en respuesta

“Sí” o “No”. Este porcentaje fue aún mayor para los ítems 1 y 3. Esto pudo deberse a que el

texto de los ítems de la escala se basa en oraciones interrogativas simples o totales, en las que

la respuesta común es “Sí” o “No” y, por ello, los sujetos tienden “naturalmente” a ofrecer

estas respuestas en lugar de elegir una de las alternativas previstas.

Por último, en relación a la variable tipo de vivienda (uni-personal vs. multi-personal)

la Tabla V. 5 expone los principales resultados de la codificación del comportamiento.

Tabla V. 5. Porcentaje de Secuencias por Tipo de Vivienda

Tipo de Vivienda Tipo de Secuencia

Uni-personal Multi-personal Total Secuencia

Paradigmática 51.35 46.67 48.45

Problemática 10.81 10.00 10.31 No

Paradigmática No Problemática 37.84 43.33 41.24

Total 100 100 100

El patrón de distribución de porcentajes de secuencias en los dos tipos de hogares es

idéntico. En los dos tipos de hogares, por una parte, existe un mayor número de secuencias

paradigmáticas que de no paradigmáticas; y por otra parte, dentro de las secuencias no

Entrevistador: “¿Las decisiones importantes se toman en conjunto en la casa? Casi Nunca, A Veces o Casi Siempre”

Entrevistado: “Sí”

Ejemplo V. 1. Respuesta No Ajustada

Capítulo V

150

paradigmáticas el porcentaje mayor corresponde a aquellas no problemáticas. Sólo existe una

ligera diferencia en la que los participantes que viven en hogares multi-personales ofrecen un

mayor número de secuencias no problemáticas.

3.2. Entrevista Cognitiva

Los resultados de la entrevista cognitiva se han dividido en tres secciones para facilitar

la comprensión de los datos de la entrevista cognitiva. En primer lugar, se expondrá las

interpretaciones generales que han sido extraídas de los informes verbales de los participantes.

En segundo lugar, se mostrarán los resultados obtenidos sobre la interpretación de conceptos

claves en el texto de los ítems, sobre la función y objetivo de la pregunta, y sobre la

perspectiva y rol del entrevistado. En tercer lugar, se ilustran las evidencias obtenidas acerca

de la capacidad de los participantes para graduar sus respuestas.

Interpretaciones Generales

El análisis de las respuestas de los entrevistados a las pruebas generales de indagación

mostró que dichos entrevistados habían pensado, durante la administración de la escala

APGAR, en diversas situaciones con su familia, en las relaciones dentro de la familia, en los

miembros de la misma, en problemas (accidentes, problemas laborales, etc.) en los que

recibieron ayuda de su familia, etc. En el Ejemplo V. 2 se muestran algunos extractos de

transcripciones.

Estos informes verbales evidencian dos resultados principales. En primer lugar, desde

un punto de vista metodológico, las transcripciones corroboran la hipótesis de que se puede

acceder a los procesos de respuesta de los participantes ante los ítems de la escala a través de

la entrevista cognitiva. Los participantes están ofreciendo información sobre sus procesos de

respuesta, de modo que, la entrevista cognitiva es útil para evaluar este tipo de ítems. En

segundo lugar, los informes verbales ilustran que los participantes, en términos generales, han

comprendido la temática del texto de los ítems e incluso comienzan a ofrecer información


151

sobre la interpretación de algunos conceptos clave en el texto de los ítems, como es el caso

del tercer entrevistado.

Informes verbales sobre conceptos claves, objetivo y rol del entrevistado

En primer lugar, con respecto a la interpretación prevista para el concepto de

“familia”, los análisis de los informes verbales han mostrado que los participantes mantienen

el concepto de familia constante a lo largo de las respuestas de la escala. Sin embargo, llevan

a cabo una interpretación del concepto distinta a la que previamente se había establecido. Es

decir, los participantes incluyen en su concepto de familia no sólo a las personas con las que

conviven sino que también incluyen a otros parientes e incluso amigos. Este efecto es mucho

mayor en los participantes provenientes de hogares uni-personales. Los siguientes extractos

de transcripciones son ejemplos de esta situación.

Ejemplo V. 2. Interpretaciones Generales

Entrevistador: “Por favor, dígame en que ha pensado mientras respondía a estas preguntas sobre apoyo afectivo”

Entrevistado: “Mayormente he pensado después de mi accidente. Antes del accidente teníamos una buena relación familiar pero después, fue mucho mejor. Para mi es como si me hubiera tocado la lotería con mi familia, ellos me dan una ayuda incondicional…”

Entrevistador: “Por favor, dígame en que ha pensado mientras

respondía a estas preguntas sobre apoyo afectivo” Entrevistado: “Bueno…pues no se, estaba pensando en mi situación

familiar…mi hijo mayor esta casado y nos visita todos los sábados, el menor se va a casar este viernes…somos una familia unida…intentamos mantenernos en contacto…”

Entrevistador: “Por favor, dígame en que ha pensado mientras

respondía a estas preguntas sobre apoyo afectivo” Entrevistado: “…para mi la familia es un valor muy importante,

tienes que ayudar a todos, tus hermanos, tus hermanas, padres, abuelos…la familia es algo importante…”

Capítulo V

152

En segundo lugar, con respecto a los conceptos “recibir ayuda de la familia” o “tomar

decisiones juntos”, el discurso de los participantes demostró que sus procesos de respuesta

coincidían con las interpretaciones previstas para cada uno de estos conceptos. Los

participantes mencionaron problemas en los que habían recibido apoyo familiar o situaciones

específicas en las que se tomaron decisiones en conjunto en la familia.

En tercer lugar, en relación a la compresión del objetivo de medición de la escala y la

aceptación del rol como entrevistado, los participantes comprendieron el objetivo de medición

de la escala y mostraron haberse sentido muy cómodos contestando a los ítems de la escala.

En el Ejemplo V. 4 se pueden apreciar algunos de estos informes verbales.

Aunque cada participante aportó su idiosincrasia al explicar cuál creía que era el

objetivo de los ítems de la escala APGAR, mantuvieron una interpretación común y que

coincidía con el objetivo real de la escala. Este es, conocer el apoyo afectivo recibido desde la

familia. A su vez, como muestran las transcripciones, los participantes asumieron sin ningún

problema el rol de entrevistado.

Ejemplo V. 3. Concepto de Familia en Participantes Uni-personales

Entrevistador: “¿Cuántas personas forman tu familia más cercana?”

Entrevistado: “Tres hermanos, tres nietos y tres abuelos” Entrevistador: “¿Cuántas personas forman tu familia más

cercana?” Entrevistado: “Somos siete, y 4 sobrinos…once, y contando los

maridos y mujeres, somos entonces catorce”

Entrevistador: “¿Cuántas personas forman tu familia más cercana?”

Entrevistado: “cuatro o cinco” Entrevistador: “¿y quienes son?” Entrevistado: “Mis amigos: Diego, Tomás, Jimena, Claudia y

Fernanda”


153

Informes verbales sobre la graduación de las respuestas

Por último, dado los resultados hallados en la codificación del comportamiento sobre

el desajuste entre las respuestas de los participantes y el sistema de respuesta establecido,

queremos resaltar las evidencias obtenidas desde la entrevista cognitiva sobre la capacidad de

los entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de

respuesta. El Ejemplo V. 5. ilustra los hallazgos con extractos de transcripciones.

Tal y como puede observarse, los participantes son perfectamente capaces de graduar

su respuesta en lo que se refiere al apoyo familiar y sentimientos recibidos desde su familia, y

ajustar dichas respuestas a un sistema politómico de respuestas. Este hallazgo, al contrario de

como se podría pensar, no se contradice con los resultados de la codificación del

comportamiento, sino que los complementa.

Ejemplo V. 4. Compresión del Objetivo y Rol del Entrevistado

Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas sobre su familia?”

Entrevistado: “Pues tal vez para ver hasta qué punto influye la familia en el estado de ánimo de un paciente que esté enfermo, o en el tratamiento que pueda llevar…”

Entrevistador: “¿Cómo se ha sentido respondiendo a estas preguntas sobre su familia?”

Entrevistado: “Bien” Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas

sobre su familia?” Entrevistado: “Pues para captar mi ámbito familiar, mis relaciones

con mis padres, si tengo algún problema, si se preocupan en general, y si me ayudan a mi con los problemas -aunque sean pequeños-, pero si me ayudan, es importante”

Entrevistador: “¿Cómo se ha sentido respondiendo a estas preguntas sobre su familia?”

Entrevistado: “Muy bien. Nos llevamos muy bien todos, no hay ningún problema”

Capítulo V

154

Desde la codificación del comportamiento, se identificó la dificultad para que los

participantes se ajustaran a un sistema politómico de respuestas. Se propuso que el problema

podría estar en haber asociado respuestas múltiples a oraciones interrogativas simples o

totales cuya respuesta “natural” es “Sí” o “No”. Por su parte, desde la entrevista cognitiva se

ha comprobado que los participantes pueden graduar el concepto de apoyo familiar y variar

sus respuestas de acuerdo a un mayor o menor apoyo familiar recibido, corroborando y

concluyendo que la problemática del desajuste encontrada en la codificación del

comportamiento no reside en la capacidad de los participantes sino en el texto de los ítems de

la escala.

4. Discusión

Los objetivos del presente estudio fueron, por una parte, mostrar cómo la entrevista

cognitiva y la codificación del comportamiento también puede ser utilizados en el pretest de

las escalas psicológicas incluidas en las encuestas contribuyendo a la optimización de la

calidad de la información obtenida por dichas escalas, y, por otra parte, mostrar la utilidad de

la entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta

Ejemplo V. 5. Capacidad de Graduación de las Respuestas

Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha contestado ‘casi siempre’, ¿en que situaciones contestaría ‘a veces’?”

Entrevistado: “Pues hubiese tenido que pasar, que pasen de mi, que no mostrasen interés en mi o que hubiera una ruptura muy fuerte. Algo así”

Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha

contestado ‘casi siempre’, ¿en que situaciones contestaría ‘casi nunca’?”

Entrevistado: “Pues pasar tres días fuera de casa sin avisar, y que ni te llamen ni se preocupen por ti, ni nada; eso seria un síntoma de que no les importas para nada, y no se preocupan por ti. Y si no se preocupan por ti, pues…no te quiere, supongo”.


155

de estas escalas psicológicas. Ambos objetivos se han alcanzado en el marco del pretest

cognitivo de la escala psicológica APGAR incluida en una encuesta de salud.

Desde la codificación del comportamiento se encontró una adecuada distribución de

secuencias de interacción entre el entrevistador y el entrevistado, siendo el número de

secuencias no paradigmáticas menor del 60%, un criterio frecuentemente usado para designar

problemas y revisión de las preguntas (van der Zouwen & Dijkstra, 2002). Por otra parte,

también se identificó un alto porcentaje de conductas problemáticas de los participantes, en

las que sus respuestas no coincidían con las opciones de respuesta previamente establecidas

en la escala APGAR. Desde el método de la entrevista cognitiva, principalmente, se han

obtenido evidencias de que la interpretación prevista para el concepto de “familia” no

coincide con la que llevan a cabo los entrevistados. Los entrevistados no sólo incluyen en su

concepto de familia a las personas con las que conviven sino que además incluyen a otros

parientes cercanos e incluso a amigos. Con respecto al resto de las potenciales fuentes de

error, los datos han mostrado que los participantes llevan a cabo las interpretaciones previstas,

tales como, mencionar problemas en los que habían recibido apoyo familiar o situaciones

específicas en las que se tomaron decisiones en conjunto en la familia, comprenden el

objetivo de medición de la escala y muestran haberse sentido muy cómodos contestando a las

preguntas de la escala. A su vez son capaces de graduar la percepción de apoyo familiar de

acuerdo a un sistema politómico de respuestas, corroborando con ello que las conductas

problemáticas halladas en la codificación del comportamiento se deben a la introducción de

un sistema múltiple de respuestas en oraciones interrogativas simples o totales.

Desde un punto de vista metodológico este estudio ha ilustrado cómo dos métodos de

pretest, tales como la codificación del comportamiento y la entrevista cognitiva, diseñados y

utilizados para la evaluación de los cuestionarios insertados en las encuestas también pueden

ser usados en el pretest de escalas psicológicas incluidas en encuestas. En relación a la

entrevista cognitiva, el estudio ha expuesto la utilidad de la entrevista cognitiva para obtener

evidencias de validez de los procesos de respuesta de los participantes, consiguiendo con ello

un mayor ajuste entre el constructo que se quiere medir y las estrategias de respuesta que

llevan a cabo los participantes durante la medición de dicho constructo. De forma paralela

este estudio ha corroborado la hipótesis previa sobre la posibilidad de acceder a los procesos

de respuesta implicados en los ítems de una escala psicológica mediante la entrevista

cognitiva. Los informes verbales de los participantes ante la pregunta general de indagación

Capítulo V

156

han puesto de manifiesto que los participantes son capaces de hablar sobre esos procesos de

pensamiento que han tenido lugar en sus memorias a corto plazo. Con ello, se ha solventado

una de las mayores problemáticas de la entrevista cognitiva que establecieron Conrad y Blair

(2009).

Este uso conjunto de ambos métodos de pretest muestra la riqueza y utilidad de la

información obtenida durante el pretest no sólo para detectar problemas con el

funcionamiento de los ítems sino también para comprender la naturaleza de dichos problemas

(Willis, DeMaio & Harris-Kojetin, 1999). De hecho, podemos establecer una propuesta sobre

la relación entre ambos métodos:

a) Las conductas problemáticas identificadas mediante la codificación del

comportamiento pueden estar apuntando a problemas con los procesos de

respuesta de los entrevistados, susceptibles de ser investigados mediante la

entrevista cognitiva.

b) La falta de resultados problemáticos durante el análisis de la interacción entre

el entrevistador y el entrevistado no garantiza que los entrevistados

comprendan las preguntas de acuerdo a la interpretación prevista para las

mismas y ofrezcan respuestas basadas en el objetivo de medición de dichas

preguntas.

A pesar de que es fácilmente asumible que los participantes desarrollen similares

procesos de respuesta mientras contestan a preguntas de cuestionarios y preguntas de escalas

psicológicas, los métodos de pretest son muy escasamente aplicados a la evaluación de dichas

escalas. Esta situación se debe a la errónea creencia de que las propiedades métricas son

inherentes a las escalas psicológicas, dando la validez de sus mediciones por sentado, y

asumiendo que dichas propiedades métricas no van a variar una vez que se ha cambiado por

completo el contexto de medición y, por tanto, de aplicación de dicha escala. Desde esta

perspectiva, los profesionales de la investigación por encuesta pueden hacer valiosas

contribuciones para cambiar esta errónea concepción establecida (Willis, 2005)

Este último capítulo ha demostrado una nueva aplicación de los métodos de pretest en

la evaluación de una escala psicológica insertada en una encuesta y de la entrevista cognitiva


157

como método para obtener evidencias de validez de los procesos de respuesta a los ítems de

dicha escala psicológica. Una vez más se expone cómo la aplicación de los métodos de pretest

permiten la identificación de errores de respuesta que los entrevistados pueden cometer y

cómo están interpretando las preguntas (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler &

Brown, 1999; Nápoles-Springer, Santoyo- Olsson, O´Brien & Stewart, 2006).

5. Referencias

American Psychological Association, American Educational Research Association &

National Council on Measurement in Education. (1999). Standards for Educational and

Psychological Testing. Washington, D.C.: American Psychological Association.

Bellón, J. A., Delgado, J., Luna, P. & Lardelli, P. (1996). Validez y fiabilidad del cuestionario

de función familiar Apgar-familiar. Atención Primaria, 18, 289-296.

Conrad, F.G. & Blair, J. (2004). Data Quality in Cognitive Interviews: The Case of Verbal

Reports. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E.



Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion


DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: in the lab and in

the field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for

Determining Cognitive and Communicative Processes in Survey Research. (pp. 177-196). San

Francsico: Jossey-Bass.

Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam,

Netherlands.

Capítulo V

158

Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215-

251.

Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to

develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans

Study. Medical Care, 37, 10–21.

Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1).

Universidad de Tübingen, Alemania: Ingeborg Huber Verlag.

Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing.

Paper presentado en el European Survey Research Association Conference, Junio, Praga.

Nápoles-Springer, A.M., Santoyo-Olsson, J., O´Brien, H. & Stewart, A.L. (2006). Using

cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30.

Oksenberg, L., Cannell, C. & Kalton, G. (1991). New Strategies for Pretesting Survey

Questions. Journal of Official Statistics, 7, 349-365.

Smilkstein, G. (1978). The Family APGAR: A proposal for family function test and its use by

physicians. Journal of Family Practice, 6, 1231-1239.

Tourangeau, R. (2003). Cognitive Aspects of Survey Measurement and Mismeasurement.

International Journal of Public Opinion Research, 15, 3-7.

Van der Veer, K., Ommundsen, R., Hak, T. & Larsen, K.S. (2003). Meaning Shift of Items in

Different Language Versions. A Cross-National Validation Study of the Illegal Aliens Scale.

Quality and Quantity, 37, 193-206.

Van der Zouwen, J. & Dijkstra, W. (2002). Testing Questionnaires Using Interaction Coding.

En D.W. Maynard, H. Houtkoop-Steenstra, N.C. Schaeffer & J. Van der Zouwen (Eds.),

Standardization and Tacit Knowledge: Interaction and Practice in the Survey Interview (pp.

427-447). Nueva York: John Wiley & Sons.


159

Van der Zouwen, J. & Smit, J. (2004). Evaluating Survey Questions by Analyzing Patterns of

Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser, J.

Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for

Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons.

Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S.



& Sons.

Willis, G. B. (2005). Cognitive interviewing. Thousand Oaks: Sage Publications.

Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the

methodological promised land? Evaluating the validity of cognitive interviewing techniques.

En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.),

Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons.

Capítulo V

160

6. Anexo

Ítems de la Escala APGAR*

Casi Nunca A Veces Casi Siempre

1. ¿Está satisfecho con la ayuda que recibe de

su familia cuando tiene un problema?

0 1 2

2. ¿Conversan entre ustedes los problemas

que tienen en casa?

0 1 2

3. ¿Las decisiones importantes se toman en

conjunto en la casa?

0 1 2

4. ¿Está satisfecho con el tiempo que usted y

su familia pasan juntos?

0 1 2

5. ¿Siente que su familia le quiere?

0

1

2 *Tomado de Bellón, Delgado, Luna y Lardelli (1996)

Protocolo Entrevista Cognitiva

Debe realizar la entrevista igual que se administra un cuestionario tradicional:

empiece por el principio, avance a través de cada página hasta el final del

protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta

exactamente como aparecen.

La información para dar al encuestado está escrita con un estilo de fuente en

cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de

fuente en negrita, las preguntas con las pruebas de indagación con un estilo

normal. También pueden aparecer instrucciones para Vd. que no debe leer al

entrevistado. Estas instrucciones aparecen (entre paréntesis).


161

A continuación, se describen los diferentes tipos de preguntas incluidas en el

protocolo junto con algunas indicaciones para el entrevistador:

Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se

pretenden examinar mediante la entrevista cognitiva. El resto de las

preguntas del protocolo están diseñadas para analizar como funcionan

estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas

de respuesta exactamente como aparecen escritas. Debe también registrar

la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS

PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA

RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas

cognitivas es conocer como los encuestados interpretan las preguntas.

También se pretende averiguar el grado de dificultad que conlleva

contestar a las preguntas, sin la ayuda de un entrevistador.

Pregunta general de indagación. Inmediatamente después de la

pregunta objeto de análisis, aparece una pregunta abierta diseñada para

obtener información sobre como el entrevistado ha interpretado la

pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta

pregunta en cuanto detecte que el entrevistado ha terminado de responder

a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO

QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.

Preguntas específicas de indagación. Tras la pregunta general debe

hacer una serie de preguntas diseñadas para obtener información

específica sobre el proceso de “pregunta-respuesta” seguido por el

entrevistado. Interesa conocer en detalle como el entrevistado ha

“construido” la respuesta. Estas preguntas son fáciles de responder. No

obstante, también puede recurrir a las habituales estrategias de indagación

para profundizar en las respuestas: “Puede repetirme lo último…”; “Me

parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o

repitiendo las últimas palabras o frases del encuestado.

Información previa al encuestado

Capítulo V

162

Tras la presentación inicial y después de que ocupen las posiciones adecuadas en

la sala2, proporcione la siguiente información:

• “La Universidad de Granada está probando unas preguntas de un cuestionario que

posteriormente se utilizarán en una encuesta. La información obtenida con la

encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida

de los ciudadanos".

• “El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario

que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS

PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO

VD. La información que Vd. proporcione es muy valiosa para mejorar el

funcionamiento del cuestionario”.

• “Primero responderá a un cuestionario y después le pediré que me diga COMO HA

CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que

información ha tenido en cuenta para responder, como ha recordado la

información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”

• “Toda la información que proporcione es muy importante para nosotros. Por tanto,

siéntase libre de decir todo lo que crea que puede ayudar a mejorar el

cuestionario haciendo bien las preguntas.” “Para no perder nada de sus

respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son

confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene

alguna duda?... Pues vamos a empezar.”

PPRRUUEEBBAASS DDEE IINNDDAAGGAACCIIÓÓNN ((““FFUUNNCCIIÓÓNN FFAAMMIILLIIAARR””))

• GENERAL

2 2 Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible las caras y el cuerpo de ambos.


163

P. 1. 1 Por favor, cuénteme en qué ha pensado mientras respondía a estas preguntas

sobre apoyo afectivo y su percepción de la función de la familia.

ESPECÍFICAS

P. 1. 2 ¿Cuántas personas forman su familia más cercana?

P. 1. 3 ¿Con qué personas de su familia tiene un contacto frecuente? (SI EXPRESA

DUDAS O PIDE ACLARACIÓN: “… es decir, habla, se ven habitualmente, etc.)?

P. 1. 4 ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se tiene un

problema”?

P. 1. 5 ¿De qué personas de su familia recibe ayuda cuando tiene un problema??

P. 1. 6 Habitualmente, ¿Cuánto tiempo pasan juntos Vd. y su familia?

P. 1. 7 En la pregunta ¿Siente que su familia le quiere?, ha contestado _______

(INDIQUE LA OPCIÓN ELEGIDA), ¿en qué situación contestaría _______(ELIJA LA

CATEGORÍA INTERMEDIA, SI HA CONTESTADO LA CATEGORÍA INTERMEDIA,

ELIJA CUALQUIERA DE LAS OPCIONES EXTREMAS).

P. 1. 8 Dígame con sus propias palabras ejemplos de decisiones que en una

familia se toman en conjunto en la casa.

P. 1. 9 ¿Qué personas de su familia toman en conjunto una de esas decisiones?

P. 1. 10 ¿Cuál cree que es la razón para hacerle estas preguntas sobre su familia?

P. 1. 11 ¿Cómo se ha sentido al tener que hablar de su familia?

¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS

AYUDAN A MEJORAR EL CUESTIONARIO

164

CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN

Conclusiones Generales

165

1. Conclusiones Generales

El objetivo general de la tesis fue mostrar la utilización de los métodos de pretest de

cuestionarios para identificar y reducir los errores de respuesta en las preguntas de los

cuestionarios utilizados en las encuestas. Para alcanzar este objetivo, en primer lugar, se

analizó la situación actual de los métodos de pretest de cuestionarios, a través de dos estudios

bibliométricos. Posteriormente, se expuso la aplicación de la entrevista cognitiva para

investigar el problema de la convergencia entre los informantes proxy y los informantes

directos. Finalmente, se mostró la utilidad de la entrevista cognitiva y la codificación del

comportamiento para optimizar y obtener evidencias sobre la validez de las mediciones

aportadas por una escala psicológica.

El objetivo general de los dos estudios bibliométricos fue conocer el tamaño,

crecimiento y distribución de los documentos científicos, en el campo de los métodos de

pretest de cuestionarios. En el primer estudio, se realizó una amplia búsqueda bibliográfica a

través de las bases de datos más usadas. Se obtuvieron 1119 publicaciones de las que sólo 75

correspondían a los métodos de pretest de cuestionarios. La mayoría de dichos documentos

(80%) estaban publicados en revistas. Un número tan reducido de documentos indexados

podría indicar que una gran parte de los estudios aplicados sobre los métodos de pretest no se

estén difundiendo a través de las revistas científicas indexadas en las bases bibliográficas

habituales. Por tanto, usando solamente documentos indexados como indicadores de la

productividad científica, podríamos haber cometido el error de obtener una representación

parcial de la productividad científica en el área.

Mediante este primer estudio no se consiguió representar el estado “real” de la

producción científica de los métodos de pretest. La causa de ello podría radicar en una

característica propia de la actividad profesional en esta área: la mayoría de los profesionales

trabajan en institutos oficiales de Estadística o centros privados de investigación

fundamentalmente orientados a la realización de estudios mediante encuestas, bien por

iniciativa propia o contratados por otros organismos.


166

Esta situación tiene dos consecuencias:

a) Los profesionales de estos organismos están más interesados en el uso de los métodos

de pretest para el desarrollo de encuestas de calidad, que en la divulgación de sus

hallazgos a través de los medios habituales de difusión del conocimiento científico.

b) Estos centros de investigación, al no estar en su mayoría ligados a universidades u

organismos de investigación, utilizan otros medios de difusión de su producción

distintos a los usados por el resto de las disciplinas científicas.

Por tanto, la búsqueda a través de las bases bibliográficas pudo no ser suficiente para

caracterizar de forma adecuada el estado actual de los métodos de pre-test. Para paliar esta

situación, se decidió realizar un segundo estudio en el que se completó la base de

publicaciones del primero. La localización de la producción fue totalmente dirigida hacia los

profesionales que trabajan en dichos centros de investigación y hacia unos medios de difusión

concretos. Con esta segunda búsqueda dirigida se consiguió completar la base de

publicaciones y, por consiguiente, analizar las características del estado actual de los métodos

de pretest de cuestionarios.

El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los

documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de

este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir

de la segunda mitad de los 90. Se identificaron nuevos tipos de documentos en el Estudio 2:

comunicaciones, papers no publicados, proceedings, memorandums, informes de resultados,

comunicaciones doctorales y libros de abstracts, y como resultado, decreció el porcentaje de

publicaciones en revistas desde un 80% (Estudio 1) a un 45.9% (Estudio 2). Con respecto a

los centros de producción, los resultados establecieron que centros públicos de investigación,

tales como, el National Cancer Institute, el National Centre for Health Statistics, etc., juegan

un papel importante en el área. En conclusión, los resultados de los estudios del Capítulo III

han sido muy interesantes para indagar en la estructura y dinámica de los grupos, que

producen y “consumen” los documentos relacionados con los métodos de pretest de

cuestionarios.


167

Una vez revelada la imagen actual del área de los métodos de pretest de cuestionarios,

se decidió ilustrar la potencialidad del procedimiento de entrevista cognitiva, abordando el

estudio de la convergencia de los datos entre los informantes directos y los informantes proxy.

El objetivo del estudio de Capítulo IV fue identificar, a través de la entrevista cognitiva, las

posibles diferencias en los procesos de respuesta que llevan a cabo informantes directos e

informantes proxy y, con ello, ofrecer una vía para conseguir la coincidencia entre las

respuestas de los informantes, reduciendo con ello los potenciales errores de respuesta. En la

medida en que ambos tipos de informantes no están ofreciendo las mismas respuestas sería

necesario indagar en las causas de esas diferencias. La entrevista cognitiva fue tremendamente

útil para conocer las causas de las diferencias en los procesos de respuesta. Se comprobó que

la mayoría de las causas de estas diferencias se encontraban en la fase de compresión y

recuperación de información del modelo del proceso de pregunta-respuesta. Es decir, ambos

informantes comprendían de forma distinta la pregunta y también recuperaban distinta

información para contestar. Por tanto, el primer paso, para conseguir esa convergencia, es

asegurar una interpretación de la pregunta común para todos los encuestados y, en segundo

lugar, facilitar que ambos tipos de informantes recuperen la misma información para

responder a la pregunta. Desde un punto de vista metodológico, el Capítulo IV ha mostrado

las dos características más importantes y diferenciadoras de la entrevista cognitiva: a) la

capacidad para indagar en los procesos de respuesta de los entrevistados y b) la capacidad

para conocer las causas de los errores de respuesta.

Por último, en el Capítulo V, se llevó a cabo un estudio en el que se usó la entrevista

cognitiva y la codificación del comportamiento para optimizar los datos y obtener evidencias

de validez de las mediciones aportadas por una escala psicológica incluida en una encuesta.

Este estudio demostró que los investigadores que asumen la creencia de que las propiedades

métricas son inherentes a las escalas psicológicas están totalmente equivocados. Por ejemplo,

pese a que anteriores estudios indicaron buenos índices de calidad de la escala, no se pudo

mantener el supuesto de que todos los participantes comprendieran el concepto de familia de

la misma forma.

Por una parte, a través de la entrevista cognitiva, se obtuvieron evidencias de validez

de los procesos de respuesta de los participantes. Consiguiendo con ello, un mayor ajuste

entre el atributo psicológico que se quería medir y las estrategias de respuesta que llevaron a

cabo los participantes durante la medición de dicho atributo. Por otra parte, la codificación del


168

comportamiento sirvió para identificar los ítems (o las características de los ítems) de la

escala psicológica que provocaban desviaciones de la secuencia ideal de conductas entre el

entrevistador y el entrevistado. Estas desviaciones de la secuencia ideal de conductas no son

errores en sí mismas, pero aumentan considerablemente la probabilidad de cometer un error.

De este modo, el estudio ilustró cómo estos dos métodos de pretest, diseñados y

utilizados para la evaluación de los cuestionarios insertados en las encuestas, también pueden

ser usados en el pretest de escalas psicológicas incluidas en encuestas. Además, el uso

conjunto de ambos métodos de pretest, mostró la riqueza y utilidad de la información obtenida

durante el pretest, no sólo para detectar problemas con el funcionamiento de los ítems sino

también para comprender la naturaleza de dichos problemas. De hecho, se estableció una

propuesta sobre la relación entre ambos métodos, en la que la codificación del

comportamiento se convierte en un indicador de problemas del funcionamiento de los ítems, y

posteriormente, a través de las herramientas de la entrevista cognitiva, se puede indagar en las

causas de dichos problemas.

Las investigaciones de esta tesis han demostrado la posibilidad de identificar las

fuentes de error en los procesos de respuesta a las preguntas de la encuesta, a través de los

métodos de pretest de cuestionarios. Mediante el conocimiento de los posibles errores de

respuesta que pueden actuar, y de las causas por las que se generan estos errores, se podrán

proponer modificaciones a las preguntas de la encuesta, avanzar en el desarrollo de

instrumentos de medición fiables, válidos, sensibles y carentes de sesgo, y, en consecuencia,

asegurar un nivel de calidad en las mediciones sociales.

2. Limitaciones

No sería lógico pensar que los tres capítulos empíricos de la tesis carecen de

restricciones que pueden condicionar el alcance de las conclusiones. A continuación se

presentarán las limitaciones más importantes en cada uno de los estudios.

Limitaciones

169

2.1. Estudios bibliométricos

Limitaciones Generales

Los indicadores bibliométricos proporcionan información sobre los resultados del

proceso investigador, su volumen, evolución, visibilidad y estructura. Así permiten valorar la

actividad científica, y la influencia (impacto) tanto del trabajo como de las fuentes. No

obstante, los indicadores bibliométricos son válidos en aquellas áreas en las que las

publicaciones son un resultado esencial de la investigación. Por esta razón, su validez es de

máxima relevancia en el estudio de las áreas básicas, donde predominan publicaciones

científicas, y menor en las áreas tecnológicas o aplicadas.

En general, estos estudios sólo aportan información sobre la cantidad de

publicaciones, pero no sobre su calidad, por lo que tendría mucho interés combinar estos

indicadores con los de impacto y/o juicio de expertos.

Otra limitación importante de los estudios bibliométricos está relacionada con el

idioma. En la mayoría de las bases de datos internacionales, el inglés es el idioma

predominante, quedando la producción de los países de habla no inglesa escasamente

representada. Es importante tener en cuenta que los indicadores bibliométricos, obtenidos a

partir de estas bases de datos, representan la vertiente más internacional de la ciencia y no la

producción total de un país o institución.

Limitaciones específicas del estudio

El problema principal, con el que nos hemos encontrado en el estudio, es que a través

de las herramientas bibliométricas no se puede acceder a la producción de las áreas aplicadas.

Los centros públicos de investigación o los institutos oficiales de estadística generan informes

de resultados internos que en la mayoría de las situaciones jamás son publicados. Estos

informes se entregan a las organizaciones que contrataron los servicios de los centros de

investigación y en raras ocasiones se comparten con la comunidad científica. Aún en el caso

de que sí se difundan los resultados, los profesionales del área suelen utilizar unos medios de

Limitaciones

170

difusión diferentes a los habituales, como son: revistas no indexadas (p. ej. Journal of Official

Statistics), redes de comunicación específicas (p. ej. QUEST workshops o congresos de la

European Survey Research Association), etc. Esta limitación de los indicadores

bibliométricos se intentó solventar con la búsqueda dirigida del Estudio 2. No obstante, haber

resuelto o no el problema depende del alcance de la búsqueda dirigida. En la medida en que la

búsqueda dirigida haya conseguido representar la actividad científica del área, el problema se

habrá resuelto. Habría que esperar a que se realizaran otros estudios sobre la productividad del

área de los métodos de pretest de cuestionarios; comparar los patrones de resultados y así

obtener una medida del alcance de nuestro estudio.

Por otra parte, a través de estos estudios se ha obtenido una imagen de la

productividad del área, su estructura, su visibilidad, número de documentos, evolución

temporal, autores, países, fuentes, etc. Es decir, se han analizado “quién lo ha hecho, dónde se

ha generado y dónde se ha publicado” pero, también, hubiera sido interesante saber “qué se ha

hecho”. En relación a qué tipo de método de pretest se ha utilizado en cada estudio, en qué

fase del desarrollo de cuestionarios, qué técnica se ha aplicado, qué resultados se han

obtenido, etc., información mucho más sustancial teóricamente hablando.

2.2. Procesos de respuesta informantes proxy vs. informantes directos

Limitaciones de la técnica empleada

La entrevista cognitiva como cualquier otro método de evaluación de cuestionarios

posee una serie de limitaciones. Las limitaciones más importantes son las siguientes:

a) La fiabilidad del método. No se comprueba empíricamente la fiabilidad del método.

Cuando se aplica la entrevista cognitiva a la evaluación de un cuestionario se da por

hecho que va a identificar una serie de problemas inherentes al cuestionario. No

obstante, la entrevista cognitiva, por una parte, puede estar cometiendo errores de

omisión al no identificar todos los problemas que realmente posee el cuestionario y,

por otra parte, puede cometer errores de comisión al identificar problemas que en la

aplicación real del cuestionario podrían no aparecer.

Limitaciones

171

b) Impacto de los errores. Cuando se acceden a ciertos errores de respuesta a través de la

entrevista cognitiva, tampoco se sabe el impacto que esos errores pueden tener en la

calidad de los datos del cuestionario. Está ampliamente demostrada la utilidad de la

entrevista cognitiva para identificar esos errores de respuesta pero apenas existe

información, si de hecho los errores suponen un gran impacto en la calidad de los

datos.

c) El contexto de la entrevista cognitiva. Las condiciones físicas y sociales de la

entrevista cognitiva son distintas de las condiciones de aplicación de la encuesta. Los

entrevistadores cognitivos no son los encuestadores, los participantes en la entrevista

cognitiva no son los encuestados y el lugar de realización de la entrevista cognitiva

también suele ser distinto al de la encuesta. El contexto de la entrevista cognitiva no es

una replicación “natural” del contexto de aplicación de la encuesta y, por tanto, la

validez ecológica de la entrevista cognitiva se reduce.

d) Dependencia del analista. Los resultados de la entrevista cognitiva se basan en el

análisis de los informes verbales de los participantes. Este análisis del discurso puede

ser muy distinto en función de la persona que realice el análisis. Es fundamental

obtener una medida de acuerdo entre diversos analistas para asegurar la imparcialidad

de los resultados de la entrevista cognitiva.


Desde nuestro punto de vista, la investigación del Capítulo IV tiene dos tipos de

limitaciones:

Limitaciones en función del material utilizado (las preguntas). En la literatura

revisada se anticipaba que la mayor diferencia, entre ambos tipos de informantes,

estaría en el tipo de información disponible. Los informantes directos poseen toda la

información necesaria para contestar a las preguntas mientras que los informantes

proxy sólo poseen un subconjunto de información observable y/o accesible. En el

estudio, se halló que una gran parte de las diferencias se debe a que ambos

Limitaciones

172

informantes están comprendiendo de forma distinta, y en muchas ocasiones

erróneamente las preguntas del cuestionario. Si esos errores de interpretación no

hubieran existido, se hubiera podido comprobar con mayor seguridad cuál es el tipo de

información que provoca las diferencias en las respuestas. Una alternativa posible,

habría sido mejorar la redacción de las preguntas para evitar esos errores de

interpretación y volver a repetir el estudio con las nuevas preguntas.

Limitaciones en función de los participantes. Los resultados de la entrevista cognitiva

poseen una cierta dependencia de las características de los participantes. De tal forma

que los resultados podrían estar circunscritos a las características de la muestra de

participantes utilizada. En nuestro caso, el grupo de participantes del estudio fue

bastante heterogéneo. Cada informante directo tenía una dificultad muy distinta para

realizar las actividades de la vida cotidiana (dificultades físicas, sensoriales,

hormonales, cardíacas, etc.), así que ofrecían mucha información en las preguntas

relacionadas con su dificultad pero poca información en las no relacionadas con su

dificultad. Además el número de participantes fue reducido dada la heterogeneidad de

la muestra, con lo que no se pudo comprobar si participantes con dificultades similares

ofrecerían los mismos patrones de respuestas. De modo que el siguiente paso lógico

sería aplicar las entrevistas cognitivas a otro grupo de personas y comparar los

patrones de resultados en ambos grupos. Esto llevaría a alcanzar el tercer nivel de

análisis propuesto por Miller (2007) y establecer con mayor seguridad las diferencias

en los procesos de respuesta entre los informantes directos y los informantes proxy. De

cualquier forma, el estudio del Capítulo IV tiene un carácter exploratorio, así que se

necesitarían realizar estudios posteriores que confirmaran los resultados hallados.

2.3. Errores de respuesta en una escala psicológica

Limitación de la técnica empleada

En el estudio de los errores de respuesta en una escala psicológica se aplicó tanto la

entrevista cognitiva como la codificación del comportamiento. En este apartado nos vamos a

ceñir a la técnica de la codificación del comportamiento ya que las limitaciones de la

Limitaciones

173

entrevista cognitiva ya han sido comentadas. Las restricciones más importantes son las

siguientes:

a) No acceso a las causas de los errores. El principal problema que posee la

codificación del comportamiento es que no accede a las causas de los errores

de respuesta. La técnica realiza una exhaustiva descripción de la interacción

entre el entrevistador y el entrevistado. Analiza la frecuencia de aparición de

códigos, secuencias, códigos en función de las características de los

participantes o en función del tipo de preguntas, etc. Incluso se puede saber si

las secuencias problemáticas son estadísticamente significativas con respecto al

número total de secuencias posibles. Sin embargo, la codificación del

comportamiento no es capaz de ofrecer información sobre las causas de esas

desviaciones de la secuencia ideal de conductas. A diferencia de la entrevista

cognitiva, informa del impacto de los errores inherentes a las preguntas del

cuestionario pero no informa sobre el por qué ocurren dichos errores.

b) Dependencia del esquema de codificación. El momento crítico en la aplicación

de la codificación del comportamiento sucede cuando se selecciona o

desarrolla un esquema de codificación, ya que ahí se va a decidir qué

conductas son adecuadas, cuáles son problemáticas y cuáles son no

problemáticas. La codificación del comportamiento depende tanto del esquema

diseñado que si hubiera que realizar alguna modificación o alteración al

esquema, todos los análisis se deben repetir desde el principio.

c) Fases finales del desarrollo del cuestionario. La codificación del

comportamiento se aplica en fases muy tardías del desarrollo del cuestionario.

Esto implica que si la codificación del comportamiento descubriera errores

graves en el cuestionario habría que repetir el proceso del desarrollo del mismo

casi por completo.

Limitaciones

174


La utilización de los dos métodos de pretest en la evaluación de la escala psicológica

implicó una serie de dificultades. Estas son:

Número de ítems de la escala psicológica. En nuestro caso, la escala APGAR

tiene un número reducido de ítems haciendo que las evidencias obtenidas por

ambos métodos de pretest solamente sean generalizables a escalas con

características similares. Sin embargo, suele ocurrir justo lo contrario, la

mayoría de las escalas psicológicas tienen un alto número de ítems, por

ejemplo, entre 20 y 40 ítems. Esto supone una gran restricción a la hora de

aplicar la entrevista cognitiva a la evaluación de las escalas psicológicas. Es

imposible evaluar los 20 o 40 ítems en una sola entrevista; en primer lugar, se

necesitaría realizar entrevistas de, al menos, dos horas de duración y, en

segundo lugar, la demanda cognitiva que se le exigiría al participante y la

interferencia que se produciría entre los ítems de la escala sería enorme.

Tipo de ítem. La utilidad de la entrevista cognitiva depende del tipo de

pregunta que se vaya a evaluar. Esta técnica sólo es útil para aquellas preguntas

que implican un proceso de respuesta no automático. Los ítems de la escala

APGAR mostraron este tipo de procesamiento y pudieron ser evaluados

mediante la entrevista cognitiva. Para la evaluación de otros ítems de otras

escalas es necesario mostrar que reúnen las condiciones necesarias para ser

evaluados.

Momento de aplicación. La codificación del comportamiento y la entrevista

cognitiva fueron diseñadas para ser aplicadas en fases distintas del desarrollo

de instrumentos de medición. La entrevista cognitiva se suele aplicar en fases

más iniciales del desarrollo, mientras que la codificación del comportamiento

se utiliza cuando, prácticamente, se posee la versión final del cuestionario. De

este modo, aplicar la entrevista cognitiva y la codificación del comportamiento

en el mismo momento, y durante la misma entrevista, dificulta la obtención de

resultados. Concretamente, en este estudio, se tenía una versión final de la

Limitaciones

175

escala psicológica y, por tanto, la contundencia de los resultados de la

entrevista cognitiva fue ligeramente diezmada.

Comparación de resultados. Existe una dificultad añadida a la hora de

comparar los datos aportados por ambos métodos. La codificación del

comportamiento genera datos de naturaleza cuantitativa mientras que la

entrevista cognitiva aporta datos de carácter cualitativo. La convergencia de

ambos tipos datos requiere un paso más en la abstracción de resultados en el

que se pueden cometer algunos errores. Por ejemplo, a la hora de concluir, si

los informes verbales de la entrevista cognitiva corroboran la distribución de

frecuencias de las secuencias de la codificación del comportamiento, o si estos

informes verbales no concuerdan con la distribución de frecuencias de las

secuencias, o si simplemente ambos tipos de datos no son, a ningún nivel,

comparables.

3. Futuras líneas de investigación

Contribuyendo al proceso de evolución del conocimiento científico, los estudios que

componen esta tesis son la base de las siguientes líneas de investigación:

1. Estudio bibliométrico: Está previsto realizar un nuevo estudio bibliométrico,

actualizando la base de datos de la investigación del Capítulo III y analizando los

documentos bajo una propuesta de codificación que ofrezca información sobre el

“qué se ha hecho”, qué método de pretest se aplicó, con qué procedimiento, en qué

tipo de estudio, etc.

2. Convergencia de los procesos de respuesta entre informantes proxy e informantes

directos con las preguntas “mejoradas”: La continuidad de la línea de

investigación sería replicar el estudio de los procesos de respuesta de ambos tipos

de informantes, tras una revisión de la redacción de las preguntas target y con una

muestra de participantes más amplia.

Futuras líneas de investigación

176

3. Modelo para identificar ítems “target”: Se ha planteado como un objetivo de

investigación desarrollar un modelo para seleccionar los ítems target de las escalas

psicológicas y con ello solucionar el problema del alto número de ítems a ser

evaluados.

4. Fiabilidad de la entrevista cognitiva: Otra investigación posible es el estudio de la

fiabilidad de la entrevista cognitiva, en relación a los errores de omisión y los

errores de comisión que se pueden cometer. Tras la evaluación de un cuestionario

mediante esta técnica se realizaría un estudio piloto en el que se comprobaría la

tasa de ambos tipos de errores.

5. Convergencia del análisis psicométrico clásico y los resultados de la entrevista

cognitiva: El siguiente paso, tras la aplicación de la entrevista cognitiva a la

evaluación de una escala psicológica, es comprobar cómo se corresponden los

errores de respuesta que identifica la entrevista cognitiva con las características

métricas de los ítems y las propiedades psicométricas de la escala. Para ello

bastaría con aplicarle a la misma versión de la escala psicológica una evaluación

psicométrica y una evaluación mediante la entrevista cognitiva.

6. Comparación entre grupos: Esta nueva línea de investigación implica comprobar

el nivel de dependencia de la entrevista cognitiva del grupo de participantes.

Comparando los patrones de resultados entre grupos de participantes con

características muy distintas se podría saber el nivel real de esta dependencia. Los

estudios trans-culturales serían el marco ideal para llevar a cabo esta investigación.

Las investigaciones de esta tesis han demostrado la posibilidad de identificar las

fuentes de error en los procesos de respuesta a las preguntas de los cuestionarios y las escalas

psicológicas. Mediante el conocimiento de los posibles errores de respuesta que pueden

actuar, y de las causas por las que se generan estos errores, se podrán proponer

modificaciones a las preguntas, avanzar en el desarrollo de instrumentos de medición fiables,

válidos, sensibles y carentes de sesgo, y, en consecuencia, asegurar un nivel de calidad en las

mediciones sociales.

Utilidad de los Métodos de Pretest para la Evaluación de los ...

Documents

Transcript of Utilidad de los Métodos de Pretest para la Evaluación de los ...