Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio...

Revisiones Sistemáticas¿Previa a una Investigación?¿Un trabajo de Investigación?

Servicio Clínica MédicaCentro Adherente a la Red Cochrane Ibero Americana

Análisis de la Bibliografía aplicada a la

Metodología de la Investigación

21

5

101

1 2

8

7

8

12

4

3

1

1

2

8

7

2

1

1

1

2

8

1

5

15

6

Not

Men

tion

ed

Rou

tin

e

Exp

eri

men

tal

Rare

/Never

Sp

ecifi

c

M

M

M

M

M

M

Textbook/ReviewRecommendations

Odds Ratio (Log Scale)

0.5 1.0 2.0

Favours Treatment Favours Control

RCTs Pts

1 23

2 65

3 149

4 316

7 1793

10 254411 265115 331117 392922 5452

P<.01

23 5767

27 612530 634633 657143 21 05954 22 051

67 47 53165 47 185

70 48 154

P<.001

P<.00001

CumulativeYear

1960

1965

1970

1980

1985

1990

Thrombolytic Therapy

Situación Clínica

Discuten en su hospital si los probióticos tendrán

efectividad en la prevención de la diarrea, luego de

medicación antibiótica, por Clostridium difficile…Decidimos que vamos a discutir con la mejor evidencia disponible

Nos planteamos la pregunta, emprendemos la búsqueda sobre probióticos y Clostridium difficile….


¿Una Pregunta de?¡

P:I:C:O:T:

probióticos

??????

???

Prevención diarrea por Clostridium


TIPO TIEMPO INVESTIGACIÓN UTILIDAD

CORTE TRANSVERSAL

MOMENTO OBSERVACIONAL PREVALENCIA

COHORTES LONGITUDINALPROSPECTIVO

OBSERVACIONAL PRONOSTICOHISTORIA ETIOLOGÍA

CASO CONTROL LONGITUDINALRETROSPECTIVO

OBSERVACIONAL ETIOLOGÍA

EXPERIMENTOCONTROLADO

LONGITUDINALPROSPECTIVO

EXPERIMENTAL EVALUAR TRATAMIENTOSLABORATORIO

¿Qué diseño buscamos?



P:I:C:O:T:

probióticos

??????

???




P:I:C:O:T:T:

probióticos

Episodios diarreatratamiento

placebo


aleatorizado

¿Y si buscamos una Revisión?

Algunas definiciones básicas

Revisión: resumen de un tema que incluye etiología, pronóstico y algunos tratamientos y puede responder a preguntas de conocimiento básico.

No hay una sistemática al realizarlo y ofrece el punto de vista del autor


Revisión sistemática: resumen que intenta responder a una pregunta específica con una metodología particular para reducir los sesgos.

Puede ser de Tratamiento, Pronóstico, Diagnóstico.

Análisis Cualitativo.

Overview = systematic review


Meta-análisis

Métodos cuantitativos para resumir los resultados



P:I:C:O:T:T:

probióticos


placebo


aleatorizado

Riesgo de Sesgo - Diseño

Consistencia

Precisión

Evidencia Directa ó Indirecta

Sesgo de Publicación

El mejor diseño para generar Resultados que signifiquen Evidencia de Alta Calidad

Calidad Definición

Alta Mucha confianza en el Resultado encontrado

Moderada Confiamos, pero el Resultado puede ser diferente

Baja Limitada confianza en el Resultado

Muy Baja Muy poca confianza, el Resultado puede ser diferente

¿Qué queremos decir con Evidencia de Alta Calidad?

http://www.ims.cochrane.org/revman/gradepro

¿Qué queremos decir con Evidencia de Alta Calidad?

http://www.ims.cochrane.org/revman/gradepro

¿Tiene esta Revisión Sistemática un Diseño

Adecuado?

La quimioterapia ¿reduce la mortalidad en todos los tipos de cáncer?Los antibióticos ¿reducen la mortalidad en todas las infecciones?¿qué le parece mal en estas preguntas?

Primer criterio de validez

Primer criterio de validez

Hay algunas preguntas que son demasiado amplias y sus respuestas, demasiado ambiguas por lo que no nos podrán ayudar en nuestra práctica clínica.Algunos tipos de quimioterapia para determinados cánceres reducen la mortalidad mientras que en otros no.“Todas las infecciones” no pueden ser tratadas con antibióticos por lo que en algunas de ellas no podrá reducir la mortalidad.Estas dos preguntas son demasiado amplias para tener una sola respuesta

¿Cómo sabemos si la pregunta es adecuada?

Hay que preguntarse si en los diferentes tipos de pacientes, intervenciones, comparaciones y los desenlaces, las intervenciones tendrán el mismo resultado y esperar a ver los resultados para saber si fue adecuado agruparlos.

Debe haber criterios específicos definidos acerca de cada componente de la pregunta.

Pregunta adecuada

La pregunta adecuada es sinónimo de una buena hipótesis de trabajo.

Una pregunta adecuada es el punto de partida de una RS que buscará luego evitar sesgos (desvíos sistemáticos y procurará exactitud en sus resultados).

Pregunta adecuada

¿Qué pueden provocar los SESGOS ?

Pueden llevar a que SÍ se encuentren diferencias en dónde NO las hay. Pueden llevar a que NO se encuentren diferencias en dónde SÍ las hay.

En nuestro artículo ¿Cuáles son las Variables a comparar?

Curación Clínica, Bacteriológica, Efectos Adversos.

VERDAD

Existe diferencia

No existe diferencia

RESULTADO DE LA

INVESTIGACIÓN

Existe diferencia

Significativa No hay error

Hay error

(Error tipo I

Error α)


Significativa

Hay Error

(Error tipo II

Error β)

No hay error


VERDAD

Existe diferencia


RESULTADO DE LA

INVESTIGACIÓN

Existe diferencia

Significativa No hay error

Error α aceptado 5 %

(p < 0.05)


Significativa

Hay Error

(Error tipo II

Error β)

No hay error


Buscamos la VERDAD.

Desafortunadamente NUNCA la conoceremos.

El verdadero efecto en una investigación tiene dos amenazas: error sistemático (sesgos) y error por azar.

Hasta aquí intentamos controlar SESGOS: por lo tanto el error sistemático.

¿Qué hacemos con el ERROR por azar?


¿Qué hacemos con el ERROR por azar?

Calcular la p

Estimar el efecto (Magnitud)

Máximo y mínimo (Precisión)


Magnitud del efecto:

Riesgo de un Evento

Reducción ó Aumento de Riesgo Absoluto (RRA, ARA)

Riesgo Relativo (RR)

Odds Ratio (OR)

Hazard Ratio (HR)

Reducción ó Aumento de Riesgo Relativo (RRR, ARR)

Número Necesario para Tratar (NNT)

Número Necesario para Dañar (NND)

Precisión del efecto:

Intervalos de Confianza

Medidas que evalúan Resultados


La Revisión Sistemática

¿Pregunta adecuada?

P:I:C:O:T:T:

probióticos


placebo


aleatorizado


Consistencia

Precisión





La evidencia directa o indirecta indica hasta qué punto los sujetos, las intervenciones y las medidas de

resultado de los estudios son similares a aquellos de nuestro

interés.

Clasificación de la calidad de la evidencia y fuerzade las recomendacionesGRADE Working Group

M. Marzo-Castillejo y P. Alonso-Coello

Por ejemplo, puede haber incertidumbre sobre si la evidencia es directa cuando la población de interés es mayor, está más enferma o presenta más comorbilidad que la población de los estudios.

Para determinar si la incertidumbre es importante, nos podemos preguntar sobre posibles motivos que justifiquen que encontremos diferencias importantes en la magnitud del efecto.




No es necesario aplicar criterios excesivamente estrictos para decidir si la evidencia es directa, ya que muchas intervenciones tienen efectos similares en la mayoría de los grupos de pacientes.




Evidencia Directa ó Indirecta¿Cómo lo calificamos?

GRADE

Alta

⊕⊕⊕⊕

Moderada

⊕⊕⊕

Baja

⊕⊕

Muy Baja

⊕

Alguna (–1) o máxima (–2) incertidumbre sobre si la evidencia es directa o indirecta



¿Les parece que este artículo cumple el primer

criterio de validez?

¿Pregunta adecuada?


Consistencia

Precisión




Existe una pregunta clínica explícita y sensata

¿Se realizó una búsqueda exhaustiva y detallada?

¿Eran los estudios primarios de alta calidad metodológica?

¿Existió consenso en la evaluación de los estudios?


Segundo criterio de validez

En un meta-análisis se intenta conocer la respuesta del Bacilo de Koch a los antibióticos.

Para contestar esta pregunta se seleccionan artículos en Inglés.

¿le parece adecuada esta estrategia?

¿por qué?

Búsqueda exhaustiva y detallada

Debe hacerse una búsqueda detallada para evitar el sesgo de publicación.Sesgo publicación: sólo se analizan artículos publicados.La mayoría de los artículos que se publican son aquellos con resultados positivos, o sea que cumplen la hipótesis planteada.La búsqueda debe ser lo más amplia posible: todas las bases de datos, manual, mirar las referencias, contactar autores en búsqueda de material no publicado, no limitarse por idioma.

Funnel Plot

Analicemos el segundo criterio de validez

¿Dónde se realizó la búsqueda?

¿Búsqueda exhaustiva y detallada?

Funnel Plot


Las pruebas derivan de un pequeño número de estudios.

La mayor parte de los cuáles han sido comercialmente sustentados.

Revisiones con pocos estudios tiene un riesgo de discrepancia del 20 % respecto a

grandes revisiones.


Consistencia

Precisión



Sesgo de Publicación¿Cómo lo calificamos?

GRADE

Alta

⊕⊕⊕⊕

Moderada

⊕⊕⊕

Baja

⊕⊕

Muy Baja

⊕

Alta probabilidad de

sesgo de información (–1)



Muy difícil de evaluar: “no detectado” ó “fuertemente

sospechado”.

¿Les parece que este artículo cumple este segundo criterio de

validez?

¿Búsqueda exhaustiva y detallada?


Se realizó una búsqueda exhaustiva y detallada





Consistencia

Precisión



Calidad de las pruebas que soportan los resultados

Tercer criterioEstudios Primarios de Alta calidad

metodológica

• ¿Cómo podemos saber que un estudio es de alta calidad metodológica?

• Hagamos un pequeño paréntesis y repasemos cuáles son las posibilidades de sesgos y de error por azar que puede haber en los distintos tipos de estudios y los criterios de validez de un estudio de terapéutica...

Error Aleatorio y Sesgos

Randomización

Enmascaramiento

CIEGOS (Pacientes,

médicos, recolectorde datos, adjudicador,

estadistas)

Seguimiento completo

Finalización del estudio. Análisis de eventos

Intención de tratar

No detener tempranamente por Beneficio

Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Tratamiento

Muestra representativa.

Pacientes homogéneos en cuanto a factores pronósticos (o ajuste de los mismos).

Seguimiento completo (todos los pacientes y por tiempo suficiente).

Desenlace o evento objetivo no sesgado.

Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Pronóstico

Duda diagnóstica en la población ( pacientes/muestras) del estudio.

Aplicación de una Prueba de Oro adecuada en forma ciega e independiente.

Aplicación de la Prueba de Oro en todos los pacientes/muestras sin importar los resultados de la prueba en estudio.

Estudios Primarios de Alta calidad MetodológicaRevisión Sistemática de Diagnóstico

Tercer criterio

Estudios Primarios de Alta calidad

metodológica

¿Les parece que este artículo cumple este

Tercer criterio de validez?

¿Estudios Primarios de Alta calidadmetodológica?



Los estudios primarios eran de alta calidad metodológica




Consistencia

Precisión




Cuarto criterio de validez

Así como , a veces, no podemos con certeza decidir si estamos de acuerdo en la lectura de un estudio, si un paciente tuvo o no una convulsión, también podemos no estar de acuerdo si los estudios son válidos o no, si tenemos que incluirlos o no, etc..Idealmente las revisiones sistemáticas deberían tener dos o más personas evaluando los estudios y debería obtenerse alguna medida objetiva de acuerdo

Consenso en la evaluación de los estudios.

Métodos para determinar el acuerdo más allá del azar. Una de los usados es el Coeficiente Kappa:

0 no acuerdo0 a 0,2 acuerdo mínimo0,2 a 0,4 acuerdo medio

0,4 a 0,6 acuerdo moderado0,6 a 0,8 acuerdo sustancial0,8 a 1 acuerdo casi perfecto

Nuestro artículo

¿Les parece que este artículo cumple este

Cuarto criterio de validez?

Consenso en la evaluación de los estudios.



Los estudios primarios eran de alta calidad metodológica

Existió consenso en la evaluación de los estudios


¿Existe una pregunta clínica explícita y sensata?

¿Se realizó una búsqueda exhaustiva y detallada?





Consistencia

Precisión




Resultados

Los resultados de los estudios pueden ser distintos porque los estudios son diferentes entre sí. (HETEROGÉNEOS)

¿Qué hace a la diferencia entre estudios?

Diferentes pacientes, diferente patología de base, diferencias en la intervención, cointervenciones farmacológicas , tipos de procedimientos.

¿En cuál de las siguientes revisiones sistemáticas haría un meta-análisis?Resultados

¿Cómo distinguir la heterogeneidad de un vistazo?

Mirar los intervalos de confianza Mirar la estimación del efecto IC no se superponen Estimación del efecto a ambos lados de la línea de no efecto

Resultados

Resultados

Pruebas que estiman Heterogeneidad

Análisis estadísticos que evalúan la diferencia entre las muestras.

Cuando el valor de la P asociado al test es <0.05 la diferencia observada es real y no se debe al

Es decir, una P< 0,05 nos dice que los trabajos son muy distintos entre sí.

Hay que buscar la explicación de las diferencias por parte de los autores: pacientes, intervenciones, medición de desenlaces o metodología.

Pruebas que estiman Heterogeneidad

¿Se plantearon a priori

Hipótesis

De

Heterogeneidad?

Resultados

Resultados


Consistencia

Precisión




Riesgo de Sesgo – Diseño¿Cómo lo calificamos?

Ensayo aleatorizados: alta

Estudio observacional: baja

Cualquier otra evidencia: muy baja



Limitación importante (–1) o muy importante (–2) en la calidad del

estudio

GRADE

Alta

⊕⊕⊕⊕

Moderada

⊕⊕⊕

Baja

⊕⊕

Muy Baja

⊕

Consistencia

La consistencia se refiere a la similitud en las

estimacionesdel efecto entre los

estudios.




Consistencia

Precisión



10.8 102 50.50.3

DIRECCIÓN DIFERENTE PERO CONSISTENTE

10.8 102 50.50.3

INCONSISTENCIA DE DUDOSA IMPORTANCIA CLÍNICA

10.8 102 50.50.3

INCONSISTENCIA OBVIA DE IMPORTANCIA CLÍNICA

Consistencia¿Cómo lo calificamos?

Inconsistencia importante (–1)

GRADE

Alta

⊕⊕⊕⊕

Moderada

⊕⊕⊕

Baja

⊕⊕

Muy Baja

⊕




Consistencia

Precisión




Precisión

No se dispone de una base empírica para definir los datos como

imprecisos o escasos

Los datos son escasos si los resultados incluyen únicamente unos pocos eventos u

observaciones.

Los datos son imprecisos si los intervalos de confianza son suficientemente amplios como para poder estimar tanto los riesgos como los

beneficios.Clasificación de la calidad de la evidencia y fuerza

de las recomendacionesGRADE Working Group



Consistencia

Precisión



Precisión¿Cómo lo calificamos?

GRADE

Alta

⊕⊕⊕⊕

Moderada

⊕⊕⊕

Baja

⊕⊕

Muy Baja

⊕

Información imprecisa o escasa (–1)

Cumulating Evidence from RandomizedTrials: Utilizing Sequential Monitoring

Boundaries for Cumulative Meta-AnalysisJanice M. Pogue ,Salim Yusuf. Controlled Clin Trials 1997;18:580-593

Más de 400 eventosMás de 4000 pacientes

“Tamaño Información Óptima”


Consistencia

Precisión




¿Qué recomendación surgirá de nuestra investigación?

Calidad de la evidencia

Efectos adversos y costos

Preferencias del paciente

RECOMENDACIÓN:

-DÉBIL o FUERTE

- A FAVOR o EN CONTRA

RECOMENDACIÓN FUERTE A FAVOR

RECOMENDACIÓN FUERTE EN CONTRA

RECOMENDACIÓN DÉBIL A FAVOR

RECOMENDACIÓN DÉBIL EN CONTRA





RECOMENDACIÓN:

-DÉBIL o FUERTE


Calidad Definición

Alta Mucha confianza en el Resultado encontrado

Moderada Confiamos, pero el Resultado puede ser diferente

Baja Limitada confianza en el Resultado

Muy Baja Muy poca confianza, el Resultado puede ser diferente

Conclusiones





RECOMENDACIÓN:

-DÉBIL o FUERTE


Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio...

Documents

Transcript of Revisiones Sistemáticas ¿Previa a una Investigación? ¿Un trabajo de Investigación? Servicio...