Interpretación crítica de las Oncología -...
110
Transcript of Interpretación crítica de las Oncología -...
Interpretación crítica de las publicaciones médicas en
Oncología
Córdoba, Junio 2013
En recuerdo de Gilbert H Fletcher
disclaimer
información en oncología: ¿por qué?
Un correcto proceso de toma de decisiones para el paciente con cáncer, lleva a un manejo exitoso.
la diferencia entre vida o muerte: alivio o sufrimiento, depende de tu conocimiento de los hechos o conceptos actuales.
acr
Interpretación de estudios clínicos
los estudios clínicos son fundamentales para generar evidencia que permita tomar decisiones adecuadas en la práctica clínica……
Los estudios clínicos son muchosy el problema va en aumento
6ª ley de Parkinson
El progreso de la ciencia varíainversamente respecto al número de revistas publicadas
Interpretación de estudios clínicos
…pero... la selección de nuestros pacientes para determinado tipo de tratamiento no siempre calza con los requisitos de inclusión de los estudios clínicos (ej, edad en cáncer de mama, PS en cáncer de pulmón)….
Representatividad en estudios clínicos
....en Estados Unidos el 63% de los pacientes con cáncer
tienen 65 años o más..........en los estudios clínicos del SWOG, el
25% de lospacientes tienen 65 años o más.....
P<0.001
LF Hutchins et al, N Eng J Med 341:2061, 1999
Auperin, A. et al. J Clin Oncol; 28:2181-2190 2010
(A) Survival curves and (B) progression-free survival curves
PS 0 50%PS 1 49%
El método Sherlock Holmes para
detectar diferencias en resultados
Detectar diferenciasno es fácil…..
El método Sherlock Holmes para
detectar diferencias en resultados
Interpretación de estudios clínicos
muchos oncólogos y oncósofos y fundamentalmente oncófilos, siguen con gran entusiasmo las recomendaciones de la NCCN, denominada también “la Biblia de la oncología”.
Interpretación de estudios clínicos
….en una reciente revisión se observó que menos del 10% y más bien solo el 8% de las recomendaciones de la NCCN tenían evidencia clase I que las respaldara…
Thejaswi , P. Et al, JCO 29 :186-191, 2011
Interpretación de estudios clínicos
….es decir el nombre de Biblia estaría correcto, ya que al igual que la Biblia, su texto se basa en revelación y no en evidencia…..
La información que trae la Biblia puede ser perturbadora si se cuantifica
Información en oncología
....una opción es basarse en la
experiencia
experiencia
“Experiencia es el nombre que cada uno le dá a sus errores”
Oscar Wilde
experiencia clínica:
"cometer los mismos errores con cada vez mayor confianza a lo largo de un gran número de años"
Michael O'Donnell, A Sceptic's Medical Dictionary.London: BMJ Publishing Group, 1997
Por lo tanto hay que leer...
Pero.....
¿qué leer?
información en oncología
....cada 3 años se duplica la información mundial.... Science, 21-5-1999
....la información biomédica genera cada año: - 20.000 revistas -17.000 libros -2.000.000 artículos K Abrams et al, J Mat Ap Med Biol12:297, 1995
Ley de Murphy: La cantidad total de inteligencia que hay en el mundo es constante, lo que varía es la población
Calidad de las publicaciones
“sólo el 5% de los artículos publicados alcanzan los niveles mínimos de
calidad científica y relevancia clínica, y en muchas revistas este número es
inferior al 1%”
S Boseley, editor del BMJ, 1998
¿escribir para ser citado o para ser leído?
En 1976 JB Healy propuso el siguiente experimento:
Suprimir por un año, en cada trabajo publicado, elnombre de los autores y la identificación del Hospital o Institución de origen.....y luego comparar el número de trabajos enviados a publicación con los del año anterior....
....el estudio aún no se realiza......
Interpretación de estudios clínicos
gran parte de la información publicada se origina en estudios financiados y/o escritos por la industria
Karnofsky lecture, MartinePiccart
Inicialmente todos los estudios fueron originados en “academia”, luego fue un enfoque combinado con la industria, después fundamentalmente por la industria y en la actualidad debiera ser de predominio académico
Best of ASCO 2013
Will This Experiment Work?, TIME, Jul 7, 2003
Source: The Lancet Oncology 2010; 11:805 (DOI:10.1016/S1470-2045(10)70212-6)
© 2010 David Mack/Science Photo Library Terms and Conditions
¿tendremos lasmismas
prioridades?
“ghostwriting” conocido también como “editorial assistance”
Medical ghostwriting is a particularly troubling form of manipulation.
ghostwriters are paid for by drug companies……suggests that it is likely that they will write about a company’s products in a biased way….
Some medical schools explicitly prohibit ghostwriting in their policies
Detection of ghostwriting by medical schools is limited
“ghostwriting” conocido también como “editorial assistance”
Strengthening journal authorship policies appears to have limited effect on ghostwriting and disclosure of industry financing of medical articles
JAMA reported that the prevalence of ghost authors was highest in NEJM (11 percent)….
Interpretación crítica de publicaciones
¿Deberíamos entonces recurrir a consensos o recomendaciones de expertos?
consensus
“Though consensus provides the securityand comfort most people require, itfrequently may not reflect the truth. Fortunately, most scientific debates are not subject to final resolution by popular vote”
E James Dixon: Quest for the origins of the first americans, 1993
Toma de decisiones en Mamografía:Opinión de los expertos
Oído en ASCO la semana pasada (sesión abstractsorales, cáncer de mama)
comentario de A Buzdar
“ nosotros no buscamos evidencia que apoye aquello en lo cual no creemos”
Best of ASCO 2013
¿ver para creer? o... impacto de los estudios randomizados
“....si lo que el ojo ve en las disecciones no corresponde con lo que Galeno reportó, la falla no es de Galeno sino que del cadáver.”
Silvio
Jim Shepard: Tedford and the Megalodon
“…one of the marvels of Nature was the resistance that the average human brain offered to the introduction of knowledge”
disonancia cognitiva
no dejar que los hechos nos cambien las ideas
Toma de decisiones
“el clínico, no importa cuan venerable este sea, debe aceptar que la experiencia, por voluminosa que sea, no puede ser aceptada como un indicador sensitivo de validez científica en terapéutica”
Bernard Fisher, 1981
¿Creencias o evidencias?
Creer sin evidencia es superstición
Carl Sagan,
The varieties of Scientific experience, 2006
(creencia sin evidencia no es ciencia, es superstición)
Verdad en medicina
En Medicina se necesitan 50 años para eliminar una idea equivocada, y 100 años para introducir una idea correcta
Hughlins Jackson
Vida media de la verdad en la literatura quirúrgica
JC Hall, C Platell, Lancet 350:1752, 1997
Evidence Randomised
controlled trial
Meta-analysis Odds ratio
Eminence Radiance of white
hair
Luminometer Optical density
Vehemence Level of stridency Audiometer Decibels
Eloquence (or
elegance)
Smoothness of
tongue or nap of
suit
Teflometer Adhesion score
Providence Level of religious
fervor
Sextant to measure
angle of
genuflection
International units
of piety
Diffidence Level of gloom Nihilometer Sighs
Nervousness Litigation phobia
level
Every conceivable
test
Bank balance
Confidence* bravado Sweat level No sweat
* Surgeons only
D Isaacs, D Fitzgerald, BMJ 319:1618, 1999
Evidence based medicine rating scale 18 December 1999, e BMJClass 0: things I believeClass 0a: things I believe despite the available data Class 1: randomized, controlled clinical trials (RCCTs)
that agree with what I believeClass 2: other prospectively collected data Class 3: expert opinionClass 4: RCCTs that don't agree with what I believeClass 5: what you believe that I don't
Thomas P. Bleck MD, Professor of Neurology, Neurological Surgery, and Internal Medicine University of Virginia, USA
Interpretación de estudios clínicos
No perdamos la fe
Información en medicina
Tenemos una nueva religión:
MBE
Medicina Basada en Evidencia: MBE. Niveles de Evidencia
I.- Evidencia obtenida de meta-análisis de múltiples estudios controlados bien diseñados; estudios randomizados con un bajo error falso-positivo y falso-negativo (alto poder)
II.- Evidencia obtenida de al menos un estudio experimental bien diseñado; estudios randomizados con alto error falso-positivo y/o falso negativo (bajo poder)
ASCO: Recommended breast cancer surveillance guidelines.J Clin Oncol 15:2149-2156, 1997.
Medicina Basada en Evidencia: MBE. Niveles de Evidencia
III.- Evidencia obtenida de estudios cuasi-experimentales bien diseñados tales como estudios no randomizados controlados pre-post, cohorte, tiempo o series casos control ajustadas.
IV.- Evidencia obtenida de estudios no experimentales, bien diseñados, tales como estudios comparativos, correlacionados descriptivos
ASCO: Recommended breast cancer surveillance guidelines.J Clin Oncol 15.2149-2156, 1997.
Medicina Basada en Evidencia: MBE. Niveles de Evidencia
V.- Evidencia de reporte de casos y ejemplos clínicos
ASCO: Recommended breast cancer surveillance guidelines.J Clin Oncol 15.2149-2156, 1997.
Análisis de literatura
Por lo tanto….hay que buscar la verdad
evidencia
La verdad, toda la verdad y nada más que la verdad¿está solamente en los estudios randomizados?
Nuevos estudios
estudios randomizados controlados siguen siendo el “gold standard” para evaluar la eficacia y seguridad de un nuevo tratamiento
JL Malin, JCO 30:4283, 2012
Critical approach to journal articles and presentations: Why you shouldn´t believe
everything you read
Michael Glantz
Estudios randomizados son el “gold standard”, pero eso no significa que el oro sea de 24 kilates
Best of ASCO 2013
.....y ahora.... ¿qué hacemos?...
Chavo del 8, circa 1980
¿....y si hacemos un meta-análisis...?
(Cuándo no sepa que hacer, haga un meta-análisis)Jens Overgaard, Pucón, 1998
información en oncología: meta-análisis
Revisión tradicional por “experto”: le da más peso a algunos datos, bota otros y llega a conclusiones en una monarquía sin leyes, a veces iluminada, comúnmente una tiranía
meta-análisis: democracia en la cual todos los datos son tratados igualmente con precisión
JA Ioannidis, J Lau, Lancet 352:590, 1998
Steven N GoodmanAssociate Director
Annals of Internal Medicine114:2444, 1991
The oft-repeatednotion that meta-
analysis can resolve“conflicting” trials
results is not reallytrue
información en oncología. Meta-análisis: importancia de la calidad de
los estudiosSelección al azar de 11 meta-análisis....
....que incluyen 127 estudios randomizados
.....que incluyen 10492 pacientes
.....publicados entre 1988 y 1995 o incluidos en la base de datos Cochrane
....los estudios originales fueron publicados entre 1960 y 1995 en 57 revistas y tres libros
D Moher et al, Lancet 352:609, 1998
información en oncología. Meta-análisis: importancia de la calidad
de los estudiosSe hizo análisis de calidad basado en: - randomización adecuada - “doble ciego” adecuado - abandonos y retiros especificados y claros - adecuada generación de números random- ocultamiento de la asignación
D Moher et al, Lancet 352:609, 1998
De un máximo posible de 5, el promedio fue 2,55 (51%)
información en oncología. Meta-análisis: importancia de la calidad
de los estudiosel efecto promedio de los tratamientos analizados fue del 39%
...al incorporar estimaciones de calidad basados en los componentes individuales, aquellos estudios de calidad baja (score <2) reportaron efecto de tratamiento del 52% y en aquellos con calidad alta (score >2), el efecto del tratamiento fue sólo 29%
D Moher et al, Lancet 352:609, 1998
información en oncología: meta-análisis
¿.....pero debiera existir democracia en un meta-análisis?
¿....o quizás debiera ser una aristocracia metodológica en la cual la calidad de los datos llevara tanto o más peso que los datos numéricos?
JA Ioannidis, J Lau, Lancet 352:590, 1998
(poor reporting is associated with exaggeratedtreatment effects)
información en oncología: ¿meta-análisis de la literatura o de datos individuales?
Comparación de MAL con MAP muestra que MAL obtiene un efecto absoluto 3 veces mayor que MAP
Bias de publicación, exclusión de pacientes, largo del seguimiento y método de análisis contribuyeron a la diferencia
LA Stewart, MKB Parmar, Lancet 341:418, 1993
información en oncología: meta-análisis
“garbage-in, garbage-out”
“cuantificar es conocer”
Algunos aforismos al respecto:
JA Ioannidis, J Lau, Lancet 352:590, 1998
Meta-análisis según Eli Glatstein, IJROBP 49:619, 2001
“meta-análisis representa la visión de la medicina del estadístico, y aporta escasa realidad al clínico”
“el estadístico cree que es correcto simplemente sumar ramas similares (pero no idénticas) de una variedad de estudios siempre que sean randomizados, incluso si no hay estratificación por variables importantes”
(en: ”meta análisis o metafísica”)
O sea...hay que leer el artículo
¿pero… cuál?
Veamos losestudios
randomizados
ESTUDIO SIGNIFICATIVO
“ Hay que recordar que la significancia estadística determina la confiabilidad de la
observación, no la magnitud”
DF Hayes et al, Breast Can Res Treat 52:305, 1998
“una diferencia es unadiferencia cuando haceuna diferencia”
Soeren BentzenValdivia, 2004
información en oncología: estudios randomizados
¿los resultados son aplicables a mis pacientes?
41 estudios listados en NIH, todos con un mínimo proyectado de 250 pacientes:- 66% no alcanzaron el mínimo proyectado - Sólo 7% de los pacientes evaluados para inclusión
en estudios fueron incluidos (en base a 29 estudioscon datos para calcularlo)
ME Charlson, RI Horwitz, BMJ 289:1281, 1984
Buscando resultados significativos
Análisis de sub-set
“exploratoryanalysis”
“fishing expedition”
análisis por sub set, estudio ISIS
libra o gemini
150 vs 146 NS
otros signos 654 vs 869 <0.000001
cualquier signo
804 vs 1016 <0.000001
signo astrológico muertes (aspirina vs placebo)
R Peto et al, J Clin Epidemiol 48.23, 1995
Análisis de sub grupo: impacto deldía de nacimiento (del paciente) en elresultado de la endoarterectomía
P M Rothwell, Lancet 365:176, 2005
Determinantes de éxito en investigación: Premio Nobel de
Medicina y Zodíaco
Se analizan 171 ganadores del Nobel en Medicina y se comparan con 375 miembros de un Instituto de Investigación Médica.
Las posibilidades de ganar un Nobel fueron estadísticamente mayores para aquellos con signo Geminis (p=0.017).
R Pollex et al, CMAJ 165:1584
Múltiples análisis, sub-set análisis, etc
“If you torture the data enough, it will confess”
Análisis de sub-grupo
“ la respuesta a estudios randomizados que no confirman lo que uno cree, no es el hacer sub-análisis hasta que uno encuentre lo que uno cree. Más bien la respuesta es revisar sus propias creencias”
S Oai et al, BMJ 318:1008, 1999
¿...y si mejor leemos los avisos...?
Accuracy of pharmaceutical advertisements in medical journals
P Villanueva et al, Lancet 361:27, 2003
¿...y si mejor leemos los avisos?
Accuracy of pharmaceutical advertisements in medical journals P Villanueva et al, Lancet 361:27, 2003
Análisis de 6 revistas publicadas en 1997, 13.601 páginas en total, de las cuales 3.861 (28,4%) eran avisos. Estudio limitado a antihipertensivos o reductores de lípidos
287 drogas identificadas
¿...y si mejor leemos los avisos?
Accuracy of pharmaceutical advertisements in medical journals P Villanueva et al, Lancet 361:27, 2003
en 18% de los casos no se pudo encontrar las referencias mencionadas en los avisos
63% de las referencias eran de revistas de alto impacto (NEJM, Lancet etc)
En 44,1% de los casos las referencias no apoyaban lo expuesto en el aviso.....
Nuevas tecnologías
las nuevastecnologías son maravillosas…¿y el control de calidad?
Time to locoregional failure by deviation status.
Peters L J et al. JCO 2010;28:2996-3001Peters L J et al. JCO 2010;28:2996-3001
©2010 by American Society of Clinical Oncology
Estudios publicados
Probablemente se ha avanzado mucho en la selección, diseño, recolección de datos, publicación etc de los estudios randomizados….
Pero… ¿y la calidad?
RA Abrams et al, IJROBP 82:8090, 2012
Control de calidad
Análisis de 15 estudios RTOG en torno a cáncer Gastro-Intestinal entre 1994 y 2006
2312 pacientes en total, 2309 revisados
En solo el 65% de los casos el tratamiento se dio exactamente de acuerdo al protocolo
CG Willet et al, R&0 105_9-13, 2012
Nuevos estudios
Menos de 1/3 de los estudios fase III de nuevos tratamiento sistémicos son exitosos
Más de la mitad de las innovaciones en radioterapia evaluadas por el RTOG, no han sido mejores que la RT estándar
JL Malin, JCO 30:4283, 2012
Nuevos estudios
“La falta de QA en estudios cooperativos nacionales e internacionales ha llevado al escepticismo acerca del resultado de los estudios”
KA Goodman, JNCI 105:376, 2013
Nuevos estudios
Los resultados son:
¿Estadística y clínicamente significativos?
¿aplicables a mis pacientes?
¿de calidad confiable?
¿mejores que el tratamiento convencional, tanto en eficacia como en seguridad?
La frecuencia de desviaciones del protocolo de RT fluctuó entre 8% y
71% (mediana 32%)
N Ohri et al, JNCI 105:387, 2013
Forest plot of hazard ratios (HRs) describing the association between radiotherapy protocol deviations and overall survival.
Ohri N et al. JNCI J Natl Cancer Inst2013;105:387-393
Desviaciones y resultados
“aunque la aplicabilidad de nuestros hallazgos a nuevas técnicas de RT no es claro, creemos que una rigurosa QA es incluso más crítica a medida que la complejidad de los tratamientos aumenta”
N Ohri et al, JNCI 105:387, 2013
¿Podemos contar/medir todo?
Impacto del cirujano en el resultado finalC Mc Ardle, BMJ 321:1121, 2000
Cáncer de recto:Luego de resecciónaparentemente“curativa”, a 10 años la sobrevida fue diferente por
un factor de 3según el cirujano.
No todo lo que se puede contar cuenta, ni todo lo que cuenta puede contarse
Albert Einstein
Estudios clínicos
Parafraseando a SoerenBentzen….
¿Neuronas o músculos?
cáncer de ano: Norman D Nigro
"It appears to us that surgical excision is not likely to be adequate treatment for many patients with cancer of theanal canal."
...tumores epidermoides son sensibles a radioterapia...
...quimioterapia dada simultáneamente con radiación
potencia su efecto......parecería lógico usar estos métodos en combinación
con resección....
ND Nigro et al, Dis Col & Rect. 17:354, 1974
cáncer de ano: Norman D Nigro
"It appears to us that surgical excision is not likely to be adequate treatment for many patients with cancer of theanal canal."
...tumores epidermoides son sensibles a radioterapia...
...quimioterapia dada simultáneamente con radiación
potencia su efecto......parecería lógico usar estos métodos en combinación
con resección....
ND Nigro et al, Dis Col & Rect. 17:354, 1974
¿necesitaremos un estudio randomizado para decidir el
tratamiento en cáncer de ano?
Estudios clínicos
Recordemos entonces a aquellos que aportaron cerebro…
- Claude Reagaud
- Henry Coutard
- Gilbert H Fletcher- Y muchísimos otros más….
RT en CyCprincipios básicos de RT y radiobiología
¡Todo esto ya en 1930!
RT en CyCprincipios básicos de RT y radiobiología
H Coutard
medicina basada en evidencia:
"perpetuar los errores de otros en vez de los propios"
Michael O'Donell: A Sceptic's Medical Dictionary.
BMJ Publishing Group, London 1997
información en oncología
revisiones sistemáticas (ej. meta análisis) aportan evidencia de peso cuando la calidad de los estudios primarios es alta y el tamaño de las muestras es grande, y de menos peso cuando los diseños (de los estudios) son débiles y las muestras pequeñas.
GH Guyatt et al, JAMA 281:1837, 1999
las revisiones sistemáticas no son inmunes aSESGOS O PREJUICIOS
información en oncología. desconfiar de:
....estudios con más autores que pacientes
....estudios en que se obtiene “p” con menos de 20 pacientes
....análisis de sub-sets
....resultados espectaculares
....% con dos decimales y menos de 10 pacientes
Los resultados deben ser lógicos y con base científica sólida
También hay “guías”
para el lector
información en oncología: guías para el lector
Guías primarias: - randomización en la asignación de tratamiento - ¿están todos los pacientes que entraron al estudio? - ¿seguimiento completo? - ¿pacientes analizados según el grupo asignado?
Guías secundarias: - ¿ pacientes, médicos e investigadores “ciegos” al tratamiento? - ¿grupos similares?, ¿similar tratamiento? (fuera de la intervención en estudio)
GH Guyatt et al, JAMA 271:59, 1994
1
información en oncología: guías para el lector
Resultados: - magnitud del efecto del tratamiento - ¿cuan precisa fue la medición del efecto?
¿Los resultados serán útiles para mis pacientes? - ¿se aplican a mis pacientes? - ¿fueron considerados todos los efectos clínicamente importantes? - ¿balance costo/beneficio aceptable?
GH Guyatt et al, JAMA 271:59, 1994
2
Investigación clínica
la información, aunque tarde, llega
