Metrica de los PROs V3 AM - Fundación Gaspar Casal · 2019-05-20 · 1-Test del modelo de medida...

VIII Congreso de Gestión Clínica

Métrica de los Métrica de los Métrica de los Métrica de los PROsPROsPROsPROsDra. Montse Dra. Montse Dra. Montse Dra. Montse FerrerFerrerFerrerFerrer

Grupo de Investigación en Servicios SanitariosGrupo de Investigación en Servicios SanitariosGrupo de Investigación en Servicios SanitariosGrupo de Investigación en Servicios SanitariosIMIM (IMIM (IMIM (IMIM (Institut Hospital del Mar d’Investigacions MèdiquesInstitut Hospital del Mar d’Investigacions MèdiquesInstitut Hospital del Mar d’Investigacions MèdiquesInstitut Hospital del Mar d’Investigacions Mèdiques) ) ) )

Las Palmas de Gran Canaria, 20 de mayo de 2020.


• Médico, especialista en Medicina Preventiva y Salud Pública y doctora en Medicina, investigadora senior en el Grupo de Investigación en Servicios Sanitarios del IMIM (Instituto Hospital del Mar de Investigaciones Médicas) desde 1999.

• Profesora asociada de la UAB, coordinadora de la Unidad Docente del PSMAR-UPF-ASPB para Médicos Residentes en Medicina Preventiva y Salud Pública, y ha dirigido 11 tesis doctorales.

• Investigación centrada en el desarrollo, evaluación y adaptación de instrumentos de Calidad de Vida Relacionada con la Salud y otros resultados percibidos por los pacientes (Patient-Reported Outcomes, PRO), y en su aplicación en la monitorización de la salud de las poblaciones y la evaluación de intervenciones terapéuticas.

• Coordinadora del Comité Científico de BiblioPRO, la biblioteca virtual de cuestionarios PRO en castellano, desde su creación en 2005. Esta biblioteca de acceso libre y gratuito cuyo objetivo es promocionar el uso adecuado de los PROs en la investigación y la gestión sanitaria.

• Más de 150 artículos originales (50% Q1), recibiendo más de 9.200 citaciones y un h-index de 47.

• 30 proyectos de investigación competitivos (seis de ellos europeosInvestigadora Principal en doce proyectos nacionales y tres internacionales.

• Participación en el Consorcio de Investigación Biomédica en Red de Epidemiología y Salud Pública (CIBERESP) desde su inicio, en noviembre de 2006.

Biosketch Biosketch Biosketch Biosketch –––– Montse FerrerMontse FerrerMontse FerrerMontse Ferrer


Guion del TallerGuion del TallerGuion del TallerGuion del Taller• 15:45- 15:55 Marco conceptual y Definiciones

• 15:55-16:05 Tipos de instrumentos

• 16:05-16:35 Propiedades de medida

• 16:35-16:40 Estándares

• 16:40-16:45 Bases de datos

VIII Congreso de Gestión ClínicaAntecedentesAntecedentesAntecedentesAntecedentes

• Los indicadores tradicionales de salud basados en la mortalidad ya no son suficientes en los países económicamente desarrollados:

• Envejecimiento poblacional

• Evolución hacia las enfermedades crónicas

• Necesidad de información sobre la salud percibida y la calidad de vida.

• Desarrollo exponencial de los instrumentos de calidad de vida en los últimos 30 años (1275 en lengua inglesa).

Garratt A. et al. BMJ 2002;324:1417.


Familia deFamilia deFamilia deFamilia declasificacionesclasificacionesclasificacionesclasificacionesinternacionalesinternacionalesinternacionalesinternacionalesde la OMSde la OMSde la OMSde la OMS


Clasificación Internacional de Clasificación Internacional de Clasificación Internacional de Clasificación Internacional de Funcionamiento, Discapacidad y Salud Funcionamiento, Discapacidad y Salud Funcionamiento, Discapacidad y Salud Funcionamiento, Discapacidad y Salud

(CIF)(CIF)(CIF)(CIF)

Función yEstructuras corporales

Condición de Salud(trastorno/enfermedad)

Actividades

Rev Esp Salud Pública 2002, Vol 76, nº 4

Participación

Factores ambientales Factores personales


“Un PRO es cualquier informe del estado

de salud de un paciente, que proviene

directamente del paciente, sin

interpretación de la respuesta del

paciente por parte de un médico o

cualquier otra persona”.

McKenna SP, BMC Med 2011.

Patient Reported Outcomes Measures

Definición de Definición de Definición de Definición de Resultados Reportados Resultados Reportados Resultados Reportados Resultados Reportados por por por por los Pacienteslos Pacienteslos Pacienteslos Pacientes (Patient Reported Outcomes –PRO)

FDA. Guidance for Industry. Patient-Reported

Outcome Measures: Use in Medical Product

Development to Support Labeling Claims. Food and

Drug Administration (FDA), 2009

VIII Congreso de Gestión ClínicaCalidad de Vida Relacionada con la SaludCalidad de Vida Relacionada con la SaludCalidad de Vida Relacionada con la SaludCalidad de Vida Relacionada con la Salud

“El valor asignado por individuos, grupos de individuos y la sociedad a la duración de la vida modificada por las deficiencias, los estados funcionales, las percepciones y las oportunidades sociales, que están influidas por les enfermedades, las lesiones, el tratamiento médico o la política sanitaria.”

D. Patrick y P. Erickson (1993).


Khanna D, Tsevat J. Health-related quality of life--an introduction. Am J Manag Care 2007; 13 Suppl 9:S218-S223.

Taxonomía Taxonomía Taxonomía Taxonomía de los de los de los de los PROsPROsPROsPROs

PERFILES PSICOMÉTRICOS

ÍNDICES ECONOMÉTRICOS

Generic Disease-specific

VIII Congreso de Gestión ClínicaTipos de Tipos de Tipos de Tipos de PROsPROsPROsPROs

• Cuestionarios genéricos

• Cuestionarios específicos

• Cuestionarios psicométricos

• Cuestionarios econométricos

VIII Congreso de Gestión ClínicaPrincipales ventajasPrincipales ventajasPrincipales ventajasPrincipales ventajas

GenéricosPermiten comparar enfermedades diferentes

Detección efectos inesperados

EspecíficosMás sensibles al cambio

Mejor aceptados

VIII Congreso de Gestión ClínicaPsicométricos vs EconométricosPsicométricos vs EconométricosPsicométricos vs EconométricosPsicométricos vs Econométricos

Psicométricos: perfiles de salud• Basados en la teoría de la psicometría o medida de variables no observables

directamente (dimensiones).

• En evaluación económica permiten el análisis coste-efectividad.

• La mayoría de cuestionarios de CVRS (SF-36, NHP, específicos)

Econométricos: índices de salud• Obtienen valores basados en las preferencias de los pacientes por diferentes estados

de salud, utilizando teorías de toma de decisiones o de la utilidad esperada: 1 (salud

perfecta) – 0 (muerte)

• En evaluación económica permiten el análisis coste-utilidad.

• EuroQol 5-D (EQ-5), Health Utility Index (HUI) y Short Form-6D (SF-6D)

VIII Congreso de Gestión ClínicaCuestionario SFCuestionario SFCuestionario SFCuestionario SF----36 vs 36 vs 36 vs 36 vs EuroQolEuroQolEuroQolEuroQol 5D5D5D5D

DIMENSIÓN

Nº.

ÍTEMS

Nº.

NIVELES

Función física (PF) 10 21 Rol físico (RP) 4 5 Dolor corporal (BP) 2 11 Salud general (GH) 5 21 Vitalidad (VT) 4 21 Función social (SF) 2 9 Rol emocional (RE) 3 4 Salud mental (MH) 5 26

Ítem de Transición de salud 1 5

PCS 35 567MCS 35 493


DIMENSIÓN

Nº.

ÍTEMS

Nº.

NIVELES

Función física (PF) 10 21 Rol físico (RP) 4 5 Dolor corporal (BP) 2 11 Salud general (GH) 5 21 Vitalidad (VT) 4 21 Función social (SF) 2 9 Rol emocional (RE) 3 4 Salud mental (MH) 5 26

Ítem de Transición de salud 1 5

PCS 35 567MCS 35 493

Incorpora preferencias sociales

Años de Vida Ajustados por Calidad (AVAC)Quality Adjusted Life Years (QALYs)

Cuestionario SFCuestionario SFCuestionario SFCuestionario SF----36 vs 36 vs 36 vs 36 vs EuroQolEuroQolEuroQolEuroQol 5D5D5D5D


Scientific Advisory Committee of the MOT.

Quality of Life Research 2002; 11: 193-205.

Valderas et al. Value Health 2008, 11(4):700-8.

Evaluating Measures of PROs (EMPROEvaluating Measures of PROs (EMPROEvaluating Measures of PROs (EMPROEvaluating Measures of PROs (EMPRO))))

VIII Congreso de Gestión ClínicaAtributos evaluados por EMPROAtributos evaluados por EMPROAtributos evaluados por EMPROAtributos evaluados por EMPRO

I. MODELO CONCEPTUAL Y DE MEDIDA (CRITERIOS 1-7) Cómo se han obtenido los conceptos a medir y hasta que punto se involucró a la población a la que se dirige el instrumento II. FIABILIDAD (CRITERIOS 8-15) Grado en el que instrumento está libre de error aleatorio, (consistencia interna o reproducibilidad test-retest)

III. VALIDEZ (CRITERIOS 16-21) Grado en que instrumento mide aquello que pretende medir, (contenido, constructo, y criterio)

IV. SENSIBILIDAD AL CAMBIO (CRITERIOS 22-24)Capacidad para detectar cambios en el tiempo

V. INTERPRETABILIDAD (CRITERIOS 25-27)Evalúa las estrategias propuestas para asignar sentido a las puntuaciones del instrumento

VI. FACILIDAD DE USO (CRITERIOS 28-34)Tiempo, esfuerzo y otras demandas requeridas para la administración y respuesta del instrumento

VII. FORMAS ALTERNATIVAS DE ADMINISTRACIÓN (CRITERIOS 35-36)Otros modos de administración del instrumento (auto-administrado, por entrevista cara a cara, telefónica o por ordenador

VIII. ADAPTACIÓN CULTURAL (CRITERIOS 37-39)Equivalencia entre las versiones en distintos idiomas/culturas.


El concepto y modelo de medida es la justificación y la descripción del

concepto a medir y la población a la que se dirige un instrumento .

• Bases conceptuales y empíricas del contenido de los ítems y sus Bases conceptuales y empíricas del contenido de los ítems y sus Bases conceptuales y empíricas del contenido de los ítems y sus Bases conceptuales y empíricas del contenido de los ítems y sus

combinacionescombinacionescombinacionescombinaciones.

• Participación de la población a la que se dirige el instrumento en la

obtención de contenidos.

• Información sobre las dimensiones y las relaciones entre ellasInformación sobre las dimensiones y las relaciones entre ellasInformación sobre las dimensiones y las relaciones entre ellasInformación sobre las dimensiones y las relaciones entre ellas.

• Justificación de las puntuaciones por dimensiones y globales.

I. CONCEPTO Y MODELO DE MEDIDAI. CONCEPTO Y MODELO DE MEDIDAI. CONCEPTO Y MODELO DE MEDIDAI. CONCEPTO Y MODELO DE MEDIDA

Scientific Advisory Committee of the MOT. Quality of Life Research 2002; 11: 193-205.


Lasch KE et al. Qual Life Res (2010) 19: 1087-96.

• No preguntas que pongan las palabras en

la boca del sujeto

• Pedir descripción en profundidad de

conceptos aportados espontáneamente

• Saturación hasta capturar la experiencia de

la enfermedad y el impacto del

tratamiento

• Triangulación


Jones JE et al. PLoS ONE (2017) 12 (3): E0172937.


La validez es el grado en que un instrumento

mide lo que se propone medir.

III. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ


• de Contenidode Contenidode Contenidode Contenido: evidencia de que los ítems y dimensiones son apropiados para lo que se pretende utilizar.

• de Constructode Constructode Constructode Constructo: pruebas de implicaciones teóricas de la asociación del constructo con otras medidas

(clínicas, calidad de vida relacionada con la salud, capacidad funcional…).

1- Test del modelo de medida con análisis factorial confirmatoria, IRT…

2- Correlación con otras medidas

3- Patrón de puntuaciones en grupos conocidos

• de Criteriode Criteriode Criteriode Criterio: evidencia de asociación de las puntuaciones con una medida de referencia o ‘gold standard’.


• Incluye desde criterios de diseño del estudio hasta de los instrumentos PRO aplicados (especial énfasis en validez de contenido)

• Criterios de VALIDEZ DE CONTENIDO:

1) Evidencia de que los ítems y los dominios o dimensiones miden el concepto que se pretende medir, tal y como se explicitó en el marco conceptual

2) Evidencia de que los ítems, los dominios o dimensiones, y los conceptos se desarrollaron a partir de la información aportada por los sujetos de la población diana, y son apropiados comprensibles e interpretables por ellos

3) La muestra de estudio es representativa de la población diana

FDA. Guidance for Industry. Patient-Reported Outcome Measures: Use in Medical Product

Development to Support Labeling Claims. Food and Drug Administration (FDA), 2009

III. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ: Validez de : Validez de : Validez de : Validez de ContenidoContenidoContenidoContenido


KIDSCREENKIDSCREENKIDSCREENKIDSCREEN----52525252• Los ítems de las 10 dimensiones

asumen el modelo rasch en la muestra de todos los países y para cada país individualmente

• Análisis factorial confirmatorio (LISREL) con resultados aceptables que apoyan la bondad del modelo

Ravens-Sieberer U, et al. Value Health 2008

III. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ: : : : Validez Validez Validez Validez de de de de Constructo (1)Constructo (1)Constructo (1)Constructo (1)


33

• KIDSCREEN-52:

10 dimensiones

Orientado a la investigación

• KIDSCREEN-27:

5 dimensiones Monitorización e

investigación clínica

• KIDSCREEN-10:

Estudios epidemiológicos

KIDSCREENKIDSCREENKIDSCREENKIDSCREEN

III. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ: : : : Validez Validez Validez Validez de de de de Constructo (1)Constructo (1)Constructo (1)Constructo (1)

VIII Congreso de Gestión ClínicaIII. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ: Validez de : Validez de : Validez de : Validez de Constructo (2)Constructo (2)Constructo (2)Constructo (2)

Ferr

er

et

al.

Liv

er

Tra

nsp

lan

t(2

00

6)

12

:95

-10

4..


Spertus et al. Qual Life Res (2008) 17:291-298.


Fig.1 KCCQ overall summary score by NYHA

class in anemic and nonanemic patients

III. VALIDEZIII. VALIDEZIII. VALIDEZIII. VALIDEZ: Validez de : Validez de : Validez de : Validez de Constructo (2)Constructo (2)Constructo (2)Constructo (2)



Grado en que un instrumento está

libre de error aleatorio

• Consistencia interna: Coeficiente Alfa de CronbachEstimación de la fiabilidad de una escala multi-item basada en la correlación entre los itemsen el mismo momento en el tiempo.

• Reproducibilidad: Coeficiente de Correlación Intraclase (CCI)Estabilidad de un instrumento en el tiempo (test–retest) o acuerdo entre evaluadores en un punto en el tiempo.

VALORES RECOMENDADOS: 0.7 para grupos y 0.9 para individuos

II. FIABILIDADII. FIABILIDADII. FIABILIDADII. FIABILIDAD

VIII Congreso de Gestión ClínicaFIABILIDAD: FIABILIDAD: FIABILIDAD: FIABILIDAD: ReproducibilidadReproducibilidadReproducibilidadReproducibilidad

REPRODUCIBILIDADREPRODUCIBILIDADREPRODUCIBILIDADREPRODUCIBILIDAD



0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

Whole sample With Anemia Without Anemia

ICC KCCQ Overall Summary Score


FIABILIDAD: FIABILIDAD: FIABILIDAD: FIABILIDAD: ReproducibilidadReproducibilidadReproducibilidadReproducibilidad


Grado en que una medida puede detectar cambiosen el constructo que se mide a lo largo del tiempo

IV. SENSIBILIDAD AL CAMBIOIV. SENSIBILIDAD AL CAMBIOIV. SENSIBILIDAD AL CAMBIOIV. SENSIBILIDAD AL CAMBIO

0 – 0.2 Sin Cambio

0.2 – 0.5 Cambio Pequeño

0.5 – 0.8 Cambio moderado

> 0.8 Cambio Grande

Media del Cambio

Estandarizada

Diseño longitudinal: con cambios esperados (mejoría o empeoramiento)

Tamaño del Efecto (TE): Medidas relativas de la magnitud de la diferencia antes-después (TE de Cohen, Media

del Cambio Estandarizada,…)

VIII Congreso de Gestión ClínicaIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIO

SENSIBILIDAD SENSIBILIDAD SENSIBILIDAD SENSIBILIDAD

AL CAMBIOAL CAMBIOAL CAMBIOAL CAMBIO


VIII Congreso de Gestión ClínicaIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIOIV: SENSIBILIDAD AL CAMBIO

X

VIII Congreso de Gestión ClínicaAtributos evaluados por EMPROAtributos evaluados por EMPROAtributos evaluados por EMPROAtributos evaluados por EMPRO

I. MODELO CONCEPTUAL Y DE MEDIDA (CRITERIOS 1-7) Cómo se han obtenido los conceptos a medir y hasta que punto se involucró a la población a la que se dirige el instrumento II. FIABILIDAD (CRITERIOS 8-15) Grado en el que instrumento está libre de error aleatorio, (consistencia interna o reproducibilidad test-retest)

III. VALIDEZ (CRITERIOS 16-21) Grado en que instrumento mide aquello que pretende medir, (contenido, constructo, y criterio)

IV. SENSIBILIDAD AL CAMBIO (CRITERIOS 22-24)Capacidad para detectar cambios en el tiempo

V. INTERPRETABILIDAD (CRITERIOS 25-27)Evalúa las estrategias propuestas para asignar sentido a las puntuaciones del instrumento

VI. FACILIDAD DE USO (CRITERIOS 28-34)Tiempo, esfuerzo y otras demandas requeridas para la administración y respuesta del instrumento

VII. FORMAS ALTERNATIVAS DE ADMINISTRACIÓN (CRITERIOS 35-36)Otros modos de administración del instrumento (auto-administrado, por entrevista cara a cara, telefónica o por ordenador

VIII. ADAPTACIÓN CULTURAL (CRITERIOS 37-39)Equivalencia entre las versiones en distintos idiomas/culturas.


Schmidt S et al. Qual Life Res 2014;23:2169-2181.

Evaluación EMPRO en instrumentos Evaluación EMPRO en instrumentos Evaluación EMPRO en instrumentos Evaluación EMPRO en instrumentos específicos para cáncer de próstata localizadoespecíficos para cáncer de próstata localizadoespecíficos para cáncer de próstata localizadoespecíficos para cáncer de próstata localizado


COnsensusCOnsensusCOnsensusCOnsensus----based Standards for the selectionbased Standards for the selectionbased Standards for the selectionbased Standards for the selection

oooof health Measurement Instruments (COSMIN)f health Measurement Instruments (COSMIN)f health Measurement Instruments (COSMIN)f health Measurement Instruments (COSMIN)

CB Terwee (www.cosmin.nl)


[email protected]

Metrica de los PROs V3 AM - Fundación Gaspar Casal · 2019-05-20 · 1-Test del modelo de medida...

Documents

Transcript of Metrica de los PROs V3 AM - Fundación Gaspar Casal · 2019-05-20 · 1-Test del modelo de medida...