Cirugía Basada en la Evidencia

Detéctives de Sesgo 101

Objetivos• ¿Por qué vale la pena?• La Investigación Quirúrgica: Retos• ¿Existe una Solución?

“Re-emplazo de Articulación ”

Entonces, ¿Por qué vale la pena?24,000 informes

publicados en la literatura médica

“Fractura de Cadera”

Entonces, ¿Por qué vale la pena?

22,000 informes publicados en la literatura

médica

“Re-emplazo de Articulación”

2,000,000 Entradas en Google

¿Por qué vale la pena?

“ Fractura de cadera”

1,000,000 Entradas en Google

¿Por qué vale la pena?

Fracturas Caderas

Costo en miles de millones $ en Norteamérica

¿Por qué vale la pena?

MBE

Nuestros Pacientes Dependen de Nosotros Para Recibir las

Mejores Terapias Disponibles

¿Por qué vale la pena?

MBE

¿Deseamos en realidad que la Industria del Mercado tome

nuestras decisiones ?

¿Por qué vale la pena?

Comercialización de Terapias de Artrítis

Qué Bueno, Pero.. ¿Donde está La

Evidencia?Funciona!..Mírenos,

No le mentiriamos.

Pregúntese

•¿Qué es lo que quieren mis pacientes?

“Sentirme Bien” Palabras en el 2009

• Costo-Efectividad• Importancia- para -Paciente• Basado-en- Evidencia

¿Pero donde encaja el Experto Cirujano?

“Donde son pocos los hechos, son muchos los

expertos ”

Donald R. Gannon

“Cuando la Evidencia es buena……los datos hablan por si

mismos”

Jerarquía de la Evidencia

Ensayos Aleatorizados

Estudios de Cohorte Prospectivos

Series de Casos RetrospectivaEstudios de Caso-Control

Opinión

Nivel 1

Nivel 2

Nivel 3

Nivel 4

Nivel 5

Meta-análisis

Menos Sesgo

Más Sesgo

El Problema!

Jerarquía de la Evidencia

Ensayos Aleatorizados

Estudios de Cohorte Prospectivos

Series de Casos Retrospectivas

Estudios Caso-Control

Opinión

Nivel 1

Nivel 2

Nivel 3

Nivel 4

Nivel 5

14%

20%

10%

56%

0%

Dispositivos ≠ Medicamentos• Fase 1 Estudios de seguridad

• Fase 2 Estudios clínicos tempranamente controlados condujeron a la obtención de algunos datos preliminares sobre la efectividad del medicamento para una indicación particular o para indicaciones en pacientes con la enfermedad o la afección.

• Fase 3 Eficacia de los EAC; Generalizable y posee autorización

Desarrollo de Dispositivo

• “Si se estima que el nuevo dispositivo es sustancialmente equivalente al dispositivo pre-existente, puede ser comercializado inmediatamente y es regulado en la misma clase normativa que la del dispositivo pre-existente, delcual es equivalente”

• Denominado “dispositivo 510K ”

Jerarquía de Evidencia

Ensayos Aleatorizados

Estudios de Cohorte Prospectivos

Series de Casos Retrospectivas

Estudios de Caso-Control

Experimental/Biomécanica

Meta-análisis

Ciclo Comercialización del Producto

Pregunte

Adquiera

EvalúeAplique

Actúe

A menudo el “Ciclo de MBE ” se halla al Revés!

¿Cuán “Cuestionada” está la Literatura Ortopédica?

¿Cuán Comunes son los Ensayos?

• 2468 informes de investigación publicados entre 1988- diciembre 2000

• 72 (2.9%) estudios cumplieron con el criterio de inclusión para un ensayo aleatorizado

Puntuación de Calidad

• Puntuación media transformada para el estudio de calidad fue de

68.1% ± 1.6

• Seis estudios (8.3%) marcaron < 50%, • 37 estudios (51.4%) marcaron 50-75%

¿Estás listo para Esto…?

1 de c/ 3 ensayosDenominados EAC NO lo eran en realidad

613 Trabajos

87 EAC

113 EAC

¿Debemos Creer en Los Informes?

• 34% JBJS American• 29% JBJS British

¿Debemos Cree en Los Informes?

“Sin Informar”• Ocultamiento 84%

• Capacidad del Proveedor 80%

• Cegamiento de desenlaces 46%

• Pérdida de Seguimiento 30%

Lo Que Realmente Hicieron Los Autores

• Ocultamiento de Designación

• Capacidad del Proveedor

• Cegamiento de desenlaces

• Pérdida de seguimiento

41%(95%CI:25-58)

74%(95%CI:56-87)

35%(95%CI:15-59)

31%(95%CI:11-59)

Detéctive-de-Sesgo¿Dónde Fallamos?

Detéctive-de-Sesgo

• Cuestiónelo Todo!• “Cuidado con los Tigres ocultos”

El Enfoque

¿Cómo podemos limitar el “Sesgo”en la investigación clínica?

• Pacientes Aleatorizados• Asegúrese de que la aleatorización se

“oculte”• Ciegue a cualquiera que pueda ser

cegado en un estudio de investigación• Logre un seguimiento completo

¿Por qué Aleatorizamos?

Aleatorización

• Aleatorizando a pacientes podemos obtener EQUILIBRIO tanto en los CONOCIDOS como en los aun más importantes DESCONOCIDOS

• Factores pronósticos entre el grupo de tratamiento y el de control

Tabla 1

Basal Group A Group BEdad (media) 35 38 NS%Masculino 25 26 NS%Caida 85 90 NS% Fuman 46 41 NS% Comorbidez 45 49 NS

¿Pero, y los que el investigador no tomó en cuenta ?

Debe “Ocultarse” la Aleatorización

• Los investigadores no deben poder determinar la asignación del tratamiento del próximo paciente, en un ensayo.

¿Cuáles Métodos Se Ocultan?

Coloque en Sobres la Asignación del Tratamiento a Pacientes

Utilice los Números de Hojas Clínicas del Hospital para Aleatorizar a Pacientes

Utilice un Sistema de Aleatorización de Teléfono

¿Se Ocultó la Aleatorización?

La Reducción Abierta y la Fijación Interna vs Reducción Cerrada-PP Fracturas Distales de Radio

¿Es Posible Cegar a los Cirujanos?

Cegando

• Por lo menos dos tercios de los ensayos quirúrgicos pudieron haber logrado un ciego doble, cegando a los evaluadores de desenlaces, pacientes, o a los analistas de datos

Bhandari M, Richards RR, Sprague S, Schemitsch EH, J Bone Joint Surg 84:2002

0 25 50 75 100 Relative Risk Reduction %

N=1677 patients

N=1213 patients

P<0.01Blinded/ Independent

Unblinded

La Falta de Cegamiento tiende a inflar a los “estimados de beneficio”

Y del Tamaño de la Muestra ¿Qué?

No obstante, aunque los investigadores conduzcan ensayos aleatorizados de alta calidad, para evaluar a las terapias novedosas, los ensayos pudieran ser mucho mas pequeños que lo normal para ejercer un impacto importante en la práctica clínica

DIFFERENCE NO DIFFERENCE

DIFFERENCE CORRECTCONCLUSION (1-β)

FALSEPOSITIVE( α error orType I error)

RESULTSOF THESTUDY

NO DIFFERENCE FALSE NEGATIVE( β error orType II error)

CORRECTCONCLUSION( 1-α)

Verdadero

Falso Negativo

ß error o Error Tipo II

Falso Positivo

α error o Error Tipo I

Verdadero Positivo 1- ß (Potencia del Estudio)

Tasas de Error Tipo II (Error Beta) de Ensayos Aleatorizados en Trauma Ortopédico

Lochner H, Bhandari M, Tornetta III PJ Bone Joint Surg 83:2001

97%2%-99%21%20%Secundario

91%2%-99%27%25%Primary

TotalRangeSDAverageOutcome Type

Tasa de Error (β) Tipo II Potencia (1-β)

Tasas de error Tipo II y Potencia del Estudio

en los 117 Ensayos

9 de 10 Ensayos Aleatorizados Estaban Sub-Potenciados

DIFFERENCE NO DIFFERENCE

DIFFERENCE CORRECTCONCLUSION (1-β)

FALSEPOSITIVE( α error orType I error)

RESULTSOF THESTUDY

NO DIFFERENCE FALSE NEGATIVE( β error orType II error)

CORRECTCONCLUSION( 1-α)

Verdadero

Falso Positivo

α error o Error Tipo I

16 desenlaces probados

Number of Outcomes

0 10 20 30 40

Ris

k of

Alp

ha E

rror

(%)

0

20

40

60

80

100

5% risk (alpha=0.05) with 1 outcome

Riesgo de Error Alfa

55%

Pruebas de Importancia Múltiple

Establecer p=0.05 (nivel alfa ) Asume la única comparación de medida principal de desenlace!

16 comparaciones tienen un 55% de riesgo de error alfa

Correción Bonferroni = 0.05/16=0.003

Nuevo nivel de importancia estadística!

The Misuse of Subgroup Analyses in Surgical Randomized Controlled Trials

M. Bhandari,P.J. Devereaux MD, P. Li , D. Mah, K, Lim, H. Schünemann, P.Tornetta III

Interprete Con Cautela

SUB-GRUPO ALTA DÓSIS

Fracturas Calcáneas

Mujeres

Hombres

% Buena Función Function

P=0.02

Sin Cirugía Cirugía

Sin Diferencia

Las mujeres obtuvieron mejor función que los hombres con tratamiento quirúrgico

N=424

N=381

N=43

Fracturas Calcáneas

Mujeres

Hombres

% Buena Función Function

P>0.05

Sin Cirugía Cirugía

Sin Diferencia

No existe diferencia en el “subgrupo Género”

Fracturas Calcáneas• 32 análisis de subgrupo

• Informó que las mujeres pacientes que no estaban recibiendo Seguro Médico/Laboral, los hombres jóvenes, los pacientes con un ángulo Böhler mayor, los con menos carga de trabajo, y los que tenían una fractura calcánea sencilla, con desplazamiento intra-articular, obtuvieron mejores desenlaces después de recibir tratamiento quirúrgico en comparación con los que no lo recibieron

Evidencia Actual “BESST”

JBJS 2002

Desenlacesde Infecciones BESTT

Reducción Significativa del Riesgo de Infección

en Fracturas Tipo III

45% Reducción, P=0.047

Análisis de Infección en Subgrupo

Tipo III

Tipo I/II

Riesgo Relativo Risk

P=0.048

Favorece BMP Favorece Calidad

N=158

N=122

1.45 [0.74-2.84]

0.54 [0.32-0.92]

El riesgo de infección es menor en el Tipo III

Análisis Infección en Subgroup

Tipo III

Tipo I/II

Riesgo Relativo

P=0.048

Favorece BMP Favorece Calidad

N=158

N=122

P=0.23

No hay diferencia en los “Tipo I/II vs el subgrupo III”

Poniendo el Sego al Descubierto..

• ¿Realmente era aleatorizado? • ¿Realmente era una aleatorización oculta?• ¿ Cegaron a todas las personas posibles?• ¿Fue el tamaño de la muestra suficiente para

limitar un desenlace falso negativo (error-beta)

• ¿Ajustaron sus valores p para comparaciones múltiples (error alfa)

• Cuídese de los análisis de Subgrupos

¿Hay Solución?

• ¿Qué Deben hacer las Revistas?– Mejorar la Calidad de los Trabajos

• ¿Qué Podemos hacer Nosotros?– Mejorar el Conocimiento de la

Evaluacíon Crítica

Muchas Gracias