Sesgos comunes derivados del método en la investigación

conductual: Una revisión crítica de la literatura y

algunas recomendaciones de remedio

Podsakoff et al (2003)

Ps Jaime Ernesto Vargas- Mendoza

Asociación Oaxaqueña de Psicología A. C.

2014

La mayoría de los investigadores están de acuerdo en que la varianza común del método (la varianza que es debida al método de medición más que a los constructos que representa la medida) es un problema potencial para la investigación conductual.

Los sesgos debidos al método son un problema debido a que son una de las principales fuentes de error en la medida. El error en la medida pone en jaque la validez de las conclusiones respecto ala relación que pudiera haber entre las medidas y está ampliamente reconocido que este tiene componentes aleatorios así como sistemáticos.

Aunque ambos tipos de error son problemáticos, el error sistemático de medida es un problema particularmente serio debido a que proporciona una explicación alternativa para las relaciones observadas entre las medidas de diferentes constructos, que es independiente de lo hipotetizado.

La varianza del error sistemático puede tener una seria influencia y confundir los resultados empíricos, llevando a conclusiones equivocadas.

Cote & Buckley (1987) encuentran que, en promedio, la varianza debida al método es baja en el campo del mercadeo (15.8%) y es más alta en el campo de la educación (30.5%). También encuentran que las medidas típicas de ejecución en el trabajo contienen un promedio de 22.5% de varianza atribuible al método, mientras que las medidas de actitud contienen un promedio de 40.7%.

Un patrón de hallazgos semejante emerge del reporte de Williams et al (1989) que revisa la literatura de la psicología aplicada.

Es perturbador observar que muchos estudios ignoran completamente el error de medida y muchos de los que lo consideran tratan de tomar en cuenta el error de medida aleatorio ignorando el error de medida sistemático. Así, el error de medida puede inflar o desinflar la correlación observada entre medidas, dependiendo de la correlación entre los métodos.

Fuentes potenciales de los sesgos comunes del método

• Efectos del método producidos por una fuente común

• Efectos del método producidos por las características de los

reactivos

• Efectos del método producidos por el contexto de los reactivos

• Efectos del método producidos por el contexto de la medida

EFECTOS DEL MÉTODO PRODUCIDOS POR UNA FUENTE COMÚN

• Tendencia a la consistencia. Existe una cantidad sustancial de teoría (Heider, 1958; Osgood & Tannenbaum, 1955) e investigación (McGuire, 1966) que sugiere que las personas tienden a mantener consistencia entre sus cogniciones y entre sus actitudes. Esta tendencia en las personas que responden un cuestionario, con la que procuran mantenerse consistentes en sus respuestas ante preguntas similares o de organizar la información de forma consistente es a lo que se le denomina ‘consistency motif’ (Johns, 1994; Podsakoff & Organ, 1986; Schmitt, 1994) o ‘consistency effect’ (Salancik & Pfeffer, 1977) y es probable que resulte particularmente problemático en aquellas situaciones en donde se pregunten explicaciones retrospectivas sobre actitudes, percepciones y/o comportamientos.

• Teorías implícitas y correlaciones ilusorias. Las correlaciones ilusorias están relacionadas con el efecto de consistencia, como fuente potencial común de varianza del método (Berman & Kenny, 1976; Chapman & Chapman, 1967, 1969; Smither, Collins & Buda, 1989), así como las teorías implícitas (Lord, Binning, Rush & Thomas, 1978; Phillips & Lord, 1986; Staw, 1975). Ciertamente, existe una cantidad suficiente de evidencia de que las teorías implícitas tienen un efecto en quien responde a un cuestionario y en el puntaje que obtiene, en una diversidad de dominios que incluyen puntajes en la conducta de liderazgo (Eden & Leviatin, 1975; Lord et al, 1978; Phillips & Lord, 1986), la atribución de las causas de la ejecución grupal (Guzzo, Wagner, Maguire, Herr & Hawley, 1986; Staw, 1975), y las percepciones sobre la relación entre la satisfacción del trabajador y su ejecución (Smither et al, 1989). En su conjunto, estos hallazgos indican que los investigadores que evalúan la relación entre variables predictivas (independientes)y de criterio (dependientes) en un cuestionario, puede que estas reflejen no solo la covariación actual existente entre estos fenómenos, sino también sean el resultado de las teorías implícitas que quien responde tenga respecto a la relación entre estas variables.

• Deseo de ser aceptado socialmente. De acuerdo con Crowne & Marlowe (1964), el deseo de ser aceptado socialmente “se refiere a la necesidad de aprobación social y aceptación, así como la creencia de que esto se puede lograr mediante un comportamiento apropiado y aceptable” (p. 109). Ganster (1983) ha notado que la necesidad de ser socialmente aceptado puede producir relaciones espurias, sirve como variable supresora que esconde la verdadera relación entre las variables o funciona como variable moderadora que influye sobre la naturaleza de la relación entre las variables.

• Indulgencia. Guilford (1954, p. 278) definió la indulgencia como la tendencia de los que responden un cuestionario “a puntuar alto los reactivos que conocen bien o donde se sienten involucrados”. Quienes han investigado estas tendencias de respuesta (Schriesheim, Kinicki & Schriesheim, 1979) han mostrado que produce correlaciones espurias entre el comportamiento considerado típico del líder y la satisfacción del empleado, así como las percepciones sobre la productividad de un grupo, sus motivaciones y su cohesión.

• Complacencia (diciendo sí o diciendo no). Winkler, Kanouse, & Ware (1982, p. 555) definieron la complacencia como “la tendencia a estar de acuerdo con reactivos sobre actitudes sin importar su contenido” y también notaron que esta respuesta es problemática “debido a que aumenta la correlación entre reactivos que tienen palabras similares, aún cuando no se relacionen conceptualmente”. Por lo que, la complacencia puede ser una causa potencial de varianza artificial en la relación entre dos o más variables.

• Afectividad Positiva o Negativa. Waston y Clark (1984) definieron la afectividad negativa como una dimensión del modo emocional que refleja diferencias individuales sobresalientes en el auto concepto y la afectividad negativa, mientras que definen la afectividad positiva como diferencias individuales sobresalientes en emocionalidad positiva y auto concepto.

Burke, Brief &George (1993) afirman que el auto reporte de rasgos negativos en el ambiente de trabajo y las reacciones afectivas negativas, ambas pueden influir con afectividad negativa, mientras que el auto reporte de aspectos positivos en el ambiente de trabajo y las reacciones de afecto positivo, pueden ambas influir sobre el afecto positivo (Burke et al, 1993, p. 410).

• Modo emocional transitorio. La afectividad positiva o negativa (optimismo, pesimismo) en general se consideran como características fijas del individuo que pueden influir su respuesta a los cuestionarios. Sin embargo, también es posible que el estado emocional transitorio en quien responde a un cuestionario, producido por diversas experiencias (discutir con un cliente, recibir una felicitación de un compañero o de un jefe, alcanzar una promoción, la muerte de un amigo cercano o de un familiar, el tener un mal día en la oficina, etc.) también puede producir covarianzas artificiales.

• Modo emocional transitorio. La afectividad positiva o negativa (optimismo, pesimismo) en general se consideran como características fijas del individuo que pueden influir su respuesta a los cuestionarios. Sin embargo, también es posible que el estado emocional transitorio en quien responde a un cuestionario, producido por diversas experiencias (discutir con un cliente, recibir una felicitación de un compañero o de un jefe, alcanzar una promoción, la muerte de un amigo cercano o de un familiar, el tener un mal día en la oficina, etc.) también puede producir covarianzas artificiales.

EFECTOS DEL MÉTODO PRODUCIDOS POR LAS CARACTERÍSTICAS DE LOS REACTIVOS

• Reactivos socialmente deseables (o características demandadas por el reactivo). Thomas y Kilmann (1975) así como Nederhof (1985) han mencionado que la notoriedad social es una tendencia de quien resuelve un cuestionario que lo lleva a actuar de una manera apropiada o culturalmente aceptable.

• Complejidad o ambigüedad del reactivo. El problema con los reactivos ambiguos es que con frecuencia requieren que quien responde desarrolle sus propios significados idiosincráticos. Esto puede tanto aumentar las respuestas al azar o aumentar la probabilidad de que se responda en base a tendencias personales (teorías personales implícitas, afectividad, etc.).

• Formato de la escala. No es raro que los investigadores midan diferentes constructos con formatos similares en sus escalas (como son las escalas de Likert, los diferenciales semánticos, etc.), utilizando valores o marcadores semejantes (“muchos” vs. “pocos”; “siempre” vs. “nunca”; “completamente de acuerdo” vs. “completamente en desacuerdo”). Aunque podría argumentarse que usar el mismo tipo de escala o de marcadores facilita la respuesta, también aumenta la posibilidad de que se observe alguna covariación entre los constructos examinados, que sea resultado de la consistencia en las propiedades de la escala y no derive del contenido de los reactivos.

• Reactivos escritos de forma negativa (código revertido). Los investigadores han demostrado que los reactivos con el código revertido pueden producir respuestas artificiales (Harvey, Billings & Nilan, 1985) mismas que desaparecen cuando se re-escriben los reactivos en forma positiva.

EFECTOS DEL MÉTODO PRODUCIDOS POR EL CONTEXTO DE LOS REACTIVOS

• Efectos promovidos por el reactivo. Salancik & Pfeffer (1977) y Salancik (1984) notaron que el hacer preguntas sobre ciertos aspectos particulares del ambiente de trabajo, puede hacer que otros aspectos del trabajo sobresalgan para quien responde un cuestionario, cosa que no sucedería si no se hubiese hecho la primera pregunta.

• Reactivos incrustados. Harrison & McLaughlin (1993) predijeron y encontraron que reactivos evaluativamente neutrales colocados en bloques de reactivos evaluativamente positivos (o negativos), se califican de una manera similar a los reactivos entre los que quedan colocados.

• Modo inducido por el contexto. Es posible que el tipo de fraseo en el primer conjunto de reactivos en un cuestionario induzca en quien lo responde un modo que influya en la manera en que responde al resto de los reactivos. Es pues posible que estos modos inducidos por el contexto produzcan covariaciones artificiales entre los constructos teóricos que se valoran.

• Largo de la escala. Cuando las escalas son muy cortas (tienen pocos reactivos) tienen ciertas ventajas en la medida en que reducen algunas formas de tendencia en las respuestas, que son producidas por la fatiga y el descuido de quien responde (Hinkin, 1995).

• Mezcla de reactivos de diferentes constructos en el cuestionario. Si los constructos que evalúa un cuestionario son semejantes (como serían las características del trabajo y la satisfacción laboral), un posible resultado de esta práctica es que puede aumentar las correlaciones entre los constructos al mismo tiempo que disminuye la correlación intraconstructo. Esto nos parece sugerir que el entremezclar los reactivos en un cuestionario puede producir covariaciones artificiales entre los constructos evaluados.

EFECTOS DEL MÉTODO PRODUCIDOS POR EL CONTEXTO DE LA MEDIDA

• El momento y el lugar donde se mide. Cuando se miden las variables predictiva y de criterio al mismo tiempo y en el mismo lugar, pueden compartir covariaciones sistemáticas debido a que este contexto de medida común puede (a) aumentar la probabilidad de que las respuestas con que se miden las variables predictiva y de criterio puedan co-existir en la memoria de corto plazo, (b) proporcionar pistas contextuales para recordar la información de la memoria de largo plazo y (c) facilitar el uso de teorías implícitas, cuando las hay.

• Empleo de un medio común para obtener la medida. Por ejemplo, las características del entrevistador, las expectativas y ciertas idiosincrasias verbales son bien conocidas como fuentes potenciales de tendencias debidas al método. Algunas investigaciones han mostrado que las entrevistas cara a cara tienden a inducir más respuestas socialmente deseables y a reducir la precisión, en comparación con los cuestionarios administrados por computadora o de papal y lápiz.

Técnicas para controlar las tendencias comunes del método

En la sección previa identificamos como diferentes tendencias del método influyen en el proceso de respuesta. Este conocimiento puede ser utilizado para desarrollar procedimientos para controlar estos efectos.

Hablando en general, las dos principales maneras de controlar las tendencias del método se llevan a cabo mediante:

1. El diseño de los estudios 2. A través de controles estadísticos.

REMEDIOS PROCEDURALES

• Obtener las medidas de las variables predictivas y de criterio a partir de diferentes fuentes. Por ejemplo, aquellos investigadores interesados en los efectos de las conductas de liderazgo sobre la ejecución de los empleados, podrían obtener las medidas de las conductas de liderazgo de los subordinados y las medidas de la conducta de estos por parte del líder.

• Separación de las medidas temporal, proximal, psicológica o metodológica. Cuando no es posible obtener los datos de diferentes fuentes, otro posible remedio es el separar las medidas de las variables predictiva (independiente) y de criterio (dependiente), lo que se podría lograr creando una demora temporal entre la aplicación de cada cuestionario o utilizar una separación psicológica creando una historia de cubierta para aparentar que las medidas no están relacionadas, también se puede recurrir a una separación metodológica diseñando condiciones diferentes para medir una variable y para medir la otra.

• Proteger el anonimato de quien responde y reducir su ansiedad de evaluación. Existen otros procedimientos adicionales que pueden utilizarse para reducir las tendencias debidas al método, una sería el mantener anónima la participación del sujeto. Otra forma sería el asegurar a quien responde al cuestionario que no hay respuestas correctas o incorrectas y que solo debe contestar de manera honesta las preguntas. Esto debería disminuir la preocupación del sujeto experimental, lo que haría que tendiera a responder de manera socialmente deseable, etc.

• Contrabalancear el orden de las preguntas. Otro remedio que pueden usar los investigadores consiste en contrabalancear el orden de las preguntas que evalúan la variable criterio (dependiente) y la predictiva (independiente), aunque esto podría afectar la secuencia natural del instrumento de evaluación, que generalmente avanza de en orden lógico de lo general a lo específico (Peterson, 2000).

• Mejorar los reactivos de la escala. También es posible reducir las tendencias del método mediante una cuidadosa construcción de los mismos reactivos de un cuestionario. Por ejemplo, Tourangeau et al (2000) nota que uno de los problemas más comunes en la fase de comprensión del proceso de respuesta es la ambigüedad de los reactivos, previniendo a los investigadores para que (a) definan los términos ambiguos o poco familiares, (b) eviten usar conceptos vagos y proporcionen ejemplos cuando tengan que usar tales conceptos, (c) hacer preguntas simples específicas y concretas, (d) evitar reactivos que tengan dobles negaciones, (e) descomponer preguntas complejas en preguntas simples mejor enfocadas y (f) evite sintaxis complicadas.

REMEDIOS ESTADÍSTICOS

• Test de Harman de un solo factor. Una de las técnicas más ampliamente empleadas por los investigadores para enfrentar el tema de la varianza del método es lo que se llama la prueba de un solo factor de Harman.

A pesar de su aparente utilidad esta técnica no hace nada para controlar estadísticamente los efectos del método.

• Procedimientos de correlación parcial. En estas técnicas se emplea una medida explícita de la variable que se asume como responsable de la varianza del método y se emplea en la covarianza del análisis estadístico utilizado. Se comparan los resultados cuando está incluida esta variable y cuando no lo está. De esta manera se puede supervisar el papel que juega en la interacción de variables.

Esta técnica tiene limitaciones derivadas de la medida en que la variable responsable de la varianza pueda ser detectada y medida directamente.

• Control de los efectos de un factor latente del método medido directamente. Hasta este punto, ninguno de los métodos estadísticos discutidos puede tratar adecuadamente los errores de medida o distinguir entre los efectos de los factores del método y las mediciones de los constructos investigados. Por ello, los investigadores han tratado de usar modelos de variable latente.

Un enfoque que se ha usado involucra la medición directa de la presunta causa de la tendencia del método (ejemplo: la aceptación social, la afectividad negativa o la afectividad positiva), tratándola como un constructo latente.

Sin embargo este enfoque también tiene desventajas. Para usar este método, el investigador debe saber cuales son las principales fuentes de tendencias en su método y poder medirlas directamente.

• Control de los efectos de un solo factor latente del método no medido. Otra técnica de variable latente que se ha usado involucra el adicionar un factor de primer orden en todas las medidas. El significado de los parámetros estructurales es examinado tanto con como sin la varianza del factor común latente. Este procedimiento lo han usado investigadores como Podsakoff & McKenzie (1994) o Carlson & Kacmar (2000).

• Uso del método de factores múltiples. Una variante de la técnica anterior se ha usado con frecuencia (Bagozzi & Yi, 1990; Cote & Buckley, 1987; Williams et al, 1989). Es diferente en dos sentidos, Primero, se adicionan diversos factores del método como de primer orden. Segundo, cada uno de ellos se hipotetiza que influye en solo un subset de las medidas y no en todas ellas. El ejemplo más común es el modelo estadístico conocido como MTMM (multitrait-multimethod) desarrollado por Campbell & Fiske (1959).

• Modelo de unicidad correlativa. Una técnica que se ha recomendado para auxiliar en la estimación de los problemas encontrados con el uso del modelo MTMM , es el modelo de unicidad correlativa (Kenny, 1979; Marsh, 1989; Marsh & Bailey, 1991). En el modelo MTMM cada variable observada es modelada como si fuera causada por un factor de los rasgos, un factor del método y un término del error de medida. Sin embargo, en el modelo de unicidad correlativa cada variable observada es causada por solo un factor de los rasgos y un término del error de medida. No hay factores del método.

Esta técnica, como el MTMM, requiere que el investigador identifique la fuente de la varianza del método, para poder estimar el patrón apropiado en las correlaciones del error de medida.

• Modelo de producto directo. Una crítica común de todos los remedios estadísticos que involucran constructos latentes es que estos requieren de suponer que los factores del método no interactúan con los constructos de predicción y de criterio (factores del método). De acuerdo con Campbell & O’Connell (1967; 1982) esta es una suposición débil.

El modelo de producto directo (Bagozzi & Yi, 1990; Bechger, 1998; Browne, 1984; Wothke & Browne, 1990), fue desarrollado para tomar en cuenta las interacciones entre constructos y método, llevándolo a cabo al remplazar las rutas aditivas de MTMM por interacciones multiplicativas.

Situación 1

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioObtenga la medida de las variables de criterio y predictiva a parir de diferentes fuentes

Situación 2

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor específicoUsar el método estadístico de múltiples factores específicos

Situación 3

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor comúnUsar el método estadístico de factores comunes múltiples

Situación 4

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor común

Situación 5

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor específicoUsar el método estadístico de múltiples factores específicos

Situación 6

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor comúnUsar el método estadístico de factores comunes múltiples

Situación 7

Use todos los remedios de procedimiento relacionados con el diseño del cuestionarioSepare la medición de las variables predictiva y de criterio de manera temporal, psicológica o proximalUsar el método estadístico de un solo factor común

Recomendaciones para el control de la varianza debida al método en diferentes situaciones de investigación

¿Es posible medir las variables predictiva y de criterio, a partir de diferentes fuentes?

¿Pueden medirse las variables predictiva y de criterio en diferentes contextos?

¿Puede identificar la fuente de la tendencia?

¿Puede identificar la fuente de la tendencia?

¿Puede medirse válidamente la tendencia del método? ¿Puede medirse válidamente la

tendencia del método?

Si No

Si No

Si No Si No

Si No Si No

REFERENCIA

Common Method Biases in Behavior Research: A Critical Review of the Literature and Recommended Remedies

Podsakoff, MacKenzie, Lee & Podsakoff

Jopurnal of Applied Psychology, 2003, 88, 5, 879-903