Enrique Gavilán MoralEnrique Gavilán Moral

Córdoba, 4 de Abril de 2008Córdoba, 4 de Abril de 2008

Estudio de validación del cuestionario Estudio de validación del cuestionario CICAA para evaluar la comunicación CICAA para evaluar la comunicación

clínica en consultas de Medicina y clínica en consultas de Medicina y EnfermeríaEnfermería

IntroducciónIntroducción

Comunicación clínica: conceptoComunicación clínica: concepto

Intercambio

Relación

Personas: Profesional sanitario / pacientes

y familiares

Contexto clínico

Contexto social y cultural

Fases validaciónFases validación

1. Delimitación conceptual

2. Construcción y evaluación cualitativa

3. Refinamiento de la escala

4. Estudio de la dimensionalidad

5. Estimación de la fiabilidad

6. Obtención de la validez externa

7. Aplicabilidad, aceptabilidad, universalidad y sensibilidad al cambio

• Fundamentado en modelo bien definido• Categorías observables• Claridad en los conceptos medidos• Título acorde con el constructo medido• Validez y fiabilidad documentada y apropiada• Fácilmente aplicable y con costes asumibles• Credibilidad

Kraan et al., Pendleton et al., Kalamazoo II Report, Street, Epstein et al.

Criterios calidad cuestionarios Criterios calidad cuestionarios comunicación clínica (1)comunicación clínica (1)

• Impacto educacional• Que contenga tareas comunicativas básicas:

1. Construir la relación clínica2. Abrir la discusión3. Obtener información4. Entender la perspectiva del paciente5. Compartir información6. Alcanzar acuerdos sobre los problemas y los planes7. Cerrar la consulta

Kraan et al., Pendleton et al., Kalamazoo II Report, Street, Epstein et al.

Criterios calidad cuestionarios Criterios calidad cuestionarios comunicación clínica (2)comunicación clínica (2)

Multitud de cuestionarios

Pocos aportan datos de validez

Casi todos han demostrado ser fiables

Convergencia baja entre instrumentos distintos

Pocas miden las dimensiones principales de la comunicación centrada en el paciente

Déficit valoración aspectos contextuales y de lenguaje no verbal

Kraan et al., Boon y Stewart, Mead y Bower, Kalamazoo Consensus Statement

Limitaciones instrumentos Limitaciones instrumentos existentesexistentes

El cuestionario El cuestionario GATHAGATHA (1) (1)

Más ampliamente utilizado en nuestro país

Diversas versiones para distintos usos

Tipo checklist

Ventajas

Número de ítems relativamente pequeño

Fácil y rápido de usar

Proceso de entrenamiento observadores simple

Preciso y objetivo

El cuestionario El cuestionario GATHAGATHA (2) (2)

Limitaciones

Modelo poco preciso

Aporta escasa información

No incluye ítems esenciales (facilitadores y preguntas abiertas)

Dificultad para valorar los aspectos emocionales, proceso de información del paciente o participación paciente

Enfoque descriptivo, no evaluativo

El modelo teórico El modelo teórico CICAACICAA

Orientado a los objetivos de la consulta

Encuadrado en “comunicación centrada en paciente”

Tareas del modelo CICAA:

1.Conectar

2. Identificar y Comprender

3.Acordar

4.Actuar

El modelo operativo El modelo operativo CICAACICAA

TAREAS

HABILIDADES

TÉCNICAS

RESULTADOS

CONSIDERACIONES ÉTICAS

Sobre el paciente

Sobre el médico

Sobre la relación

Sobre el sistema

JustificaciónJustificación

JustificaciónJustificación

Relación clínica medible a través de cuestionarios

La mayoría no validados o procedentes de ámbitos culturales y sanitarios diferentes

Muchos de ellos no siguen las principales recomendaciones de expertos

En nuestro país, el cuestionario GATHA ha evidenciado limitaciones metodológicas

ObjetivosObjetivos

Objetivos (1)Objetivos (1)

1. Construir y comprobar validez cualitativa

(aparente, de consenso y de contenido)

2. Analizar las propiedades psicométricas y

atributos de la escala:

• Concordancia intraobservador e

interobservador

• Consistencia interna

Objetivos (2)Objetivos (2)

c) Dimensionalidad

d) Generalizabilidad

e) Factibilidad

f) Refinamiento de los contenidos

g) Validez convergente

h) Sensibilidad al cambio

Material Material y y

métodosmétodos

Tipo de estudio y ámbitoTipo de estudio y ámbito

Tipo de estudio

Observacional descriptivo

Ámbitos del estudio

Consultas clínicas de atención primaria y

especializada adscritos a ocho unidades

docentes del SNS

Fases del estudioFases del estudio

1.- Construcción de la escala

2.- Validación cualitativa

Análisis bibliográficoElaboración de los ítems

Validez aparente, de contenido y consenso

3.- Pilotaje

FiabilidadAnálisis factorialFactibilidadRefinamientoValidez convergenteSensibilidad al cambio

5.- Análisis propiedades psicométricas y atributos

4.- Trabajo de campo

Entrenamiento de los observadoresVisualización de las entrevistas

Comprobar la estructura Concordancia intraobservador expertoConsistencia interna preliminarSegunda versión

Tercera versión

Cuarta versión

Primera versión

Validación cualitativaValidación cualitativa

ParticipantesGrupo de 19 expertos en comunicación

clínica (médicos, psicólogos, enfermeros)

SelecciónVoluntaria

ProcedimientosTécnica tipo Delphi con dos rondas de

trabajo

Propiedades psicométricas (1)Propiedades psicométricas (1)

Sujetos

Procedentes de 5 estudios previos

Profesionales: Médicos Residentes de MFyC,

Médicos de Familia, Médicos de Atención

Especializada, Enfermería de Atención Primaria

Pacientes: Consultas de AE y de AP

Tipos de pacientes: Reales y estandarizados

Motivos de consulta: Crónicos e incidentes

Propiedades psicométricas (2)Propiedades psicométricas (2)

Muestreo

Diferentes técnicas de muestreo según propiedad analizada y submuestra empleada

Siempre que fue posible, muestreo aleatorio (sistemático); el resto, de conveniencia o universal

Tamaño

Unidad de muestreo: Videograbación entrevista

Validación: 200-300 o 5-10 por ítem = 145-290 casos

Fiabilidad: 2 x (nº ítems)2 = 18 entrevistas

Análisis estadístico (1)Análisis estadístico (1)

Validación cualitativa

Media, límites de la distribución y varianza

Concordancia

Índice Kappa (κ) de Cohen ponderado

Coeficiente de Correlación Intraclase (CCI)

Método de Bland y Altman

Consistencia interna

Coeficiente alfa (α) de Cronbach

Análisis estadístico (2)Análisis estadístico (2)

Análisis factorial exploratorioAnálisis componentes principales con rotación

varimax

Índice de adecuación de la muestra de Kaiser-Mayer-Olkin y test de esfericidad de Barlett

Solución factorial y matriz de correlaciones (coeficiente rho –r- de Pearson)

GeneralizabilidadCálculo de CCI en una serie de mediciones

Análisis estadístico (3)Análisis estadístico (3)

Refinamiento de la escalaTasa de endose

Correlación ítem-total (r)

Coeficiente α de Cronbach

Validez convergenteCon el cuestionario GATHA

Cálculo de r

Sensibilidad al cambioPrueba T de Student para datos apareados

Resultados Resultados y y

discusióndiscusión

Construcción y validación Construcción y validación cualitativacualitativa

Construcción

35 ítems

4 tareas

Validación cualitativa

Supresión 6 ítems, modificación 19 ítems

n = 20

Concordancia intraobservador Concordancia intraobservador (ítems)(ítems)

-0,1

0,1

0,3

0,5

0,7

0,9

Kap

pa

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

Nº ítem

Experto Observador nº 1 Observador nº 2

Concordancia intraobservador Concordancia intraobservador (tareas, factores y global)(tareas, factores y global)

-0,1

0,1

0,3

0,5

0,7

0,9

CC

I

Tarea 1 Tarea 2 Tareas 3y 4

Factor 1 Factor 2 Factor 3 Factor 4 Factor 5 Factor 6 GLOBAL

Experto Observador nº 1 Observador nº 2

Concordancia intraobservadorConcordancia intraobservador

Observador nº 1

Muestra homogénea

n = 37

Experto

Muestra heterogénea

n = 31

Observador nº 2

Muestra heterogénea

n = 30

Concordancia interobservador Concordancia interobservador (ítems)(ítems)

0

0,2

0,4

0,6

0,8

Kap

pa

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

Nº ítem

Experto - Obs. nº 1 Experto - Obs. nº 2 Obs. nº 1 - Obs. nº 2

Concordancia interobservador Concordancia interobservador (tareas, factores y global)(tareas, factores y global)

0

0,2

0,4

0,6

0,8

1

CC

I

Tarea 1 Tarea 2 Tareas 3y 4

Factor 1 Factor 2 Factor 3 Factor 4 Factor 5 Factor 6 GLOBAL

Experto - Obs. nº 1 Experto - Obs. nº 2 Obs. nº 1 - Obs. nº 2

Concordancia interobservadorConcordancia interobservador

Experto - Obs. nº 2

Muestra heterogénea

n = 24

Experto – Obs. nº 1

Muestra heterogénea

n = 24

Obs. nº 1 - Obs. nº 2

Muestra heterogénea

n = 61

ConcordanciaConcordancia

Mayor fiabilidad intra que interobservador

Puntuaciones valoración experto más altas

Test-retest: Evaluaciones segunda ronda mayores

Mayor concordancia en poblaciones homogéneas

Reproducibilidad globalmente alta

Limitaciones de los indicadores empleados (κ)

Dificultad evaluación de determinados ítems

Concordancia otras escalasConcordancia otras escalas

Concordancia inferior a CICAA

Eurocommunication scale: CCI = 0,58

Patient Centred Method: CCI = 0,58

RIAS (Roter): CCI = 0,71

Concordancia similar a CICAA

GATHA-Res: CCI = 0,94 - 0,99 y κ = 0,62 - 1,0 (intra)

GATHA-Real: CCI = 0,86 y κ = 0,48 - 1,0 (intra); CCI = 0,44 y κ = 0,28 - 1,0 (inter)

Consistencia internaConsistencia interna

0,86Factor 1

0,94Factor 2

0,86Factor 3

0,92Observador nº 2

0,62Factor 4

0,91Global (versión 29 ítems)

0,91Muestra homogénea

0,95Muestra heterogénea

0,93Global (versión 26 ítems)

0,94Observador nº 1

0,95Experto

Valor α

n = 115

Consistencia interna otras Consistencia interna otras escalasescalas

• Interpersonal Communication Assessment Scale: α = 0,98

• Eurocommunication scale: α = 0,90

• Arizona Clinical Interview Rating Scale: α = 0,80

• Four Habits Coding Scheme: α = 0,51 - 0,81

• GATHA-Res-CP: α = 0,64 - 0,71 (0,76)

Análisis factorial (1)Análisis factorial (1)

4,1%1Recibimiento6

4,4%1Manejo desacuerdo

5

4,5%3Toma decisiones4

7,7%6

Escucha activa3

16,7%5Información2

28,6%10Exploración de la

esfera psicosocial

1

% VarianzaNº de ítemsNombreFactor

n = 196

Análisis factorial (2)Análisis factorial (2)

Correspondencia factores CICAA con dimensiones de “modelos centrados en el paciente”

333 y 436 y 7Discusión toma

decisiones y compromisos finales

14123Escucha activa

---45Información

2 y 51, 2 y 41 y 21 y 21 y 4Exploración esfera

psicosocial

StewartMeadEpsteinPOE

MFyCKalamazoo

Tareas o dimensiones de otros modelosFactor de la escala

CICAA

Generalizabilidad concordancia Generalizabilidad concordancia intraobservadorintraobservador

00,20,40,60,8

11,2

0 3 6 9 12 15 18 21 24 27 30

Nº de entrevistas

CC

I

Observador nº 1 Observador nº 2 Experto

Generalizabilidad concordancia Generalizabilidad concordancia interobservadorinterobservador

0

0,2

0,4

0,6

0,8

1

1,2

0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60

Nº de entrevistas

CC

I

Obs. nº 1 - Obs. nº 2 Experto - Obs. nº 1 Experto - Obs. nº 2

Tasa endoseTasa endose

0%

20%

40%

60%

80%

100%

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

Número del ítem

Tas

a d

e en

do

se

No procede

Casi totalmente

Aceptablemente

Muy escasamente

n = 146

Correlación ítem - totalCorrelación ítem - total

n = 146

Convergencia Convergencia CICAA-GATHACICAA-GATHA

r = 0,67

p < 0,001

n = 138

403020100

Total puntuación escala CICAA

25

20

15

10

5

Tot

al p

untu

ación

cues

tion

ario G

ATH

A

403020100

Total puntuación escala CICAA

25

20

15

10

5

To

tal p

un

tuac

ión

cu

esti

on

ario

GA

TH

A

Sensibilidad al cambioSensibilidad al cambio

Dm: Diferencia de las medias

n = 100

13,06Pre-intervención0,082,84

15,90Post-intervención

pDmMediaSituación

LimitacionesLimitaciones

Limitaciones (1)Limitaciones (1)

Tamaño muestral

Compleja, variable

Adecuada para fiabilidad y validez (menos sensibilidad al cambio y convergencia)

Sesgos de selección

Muestreo “estudios fuente”: Conveniencia

Muestreo estudio validación: Probabilístico en casi todos

Garantía de muestras heterogéneas (Jenicek)

Limitaciones (2)Limitaciones (2)

Sesgos de información

Fuentes de sesgos información: Instrumento no

adecuado e imprecisiones o errores de clasificación

Validez externa

Propósito

Características evaluadores

Características profesionales evaluados

Ámbito de evaluación

ConclusionesConclusiones