GUÍA PARA LA ELABORACIÓN DE INFORMES DE …

GUÍA PARA LA ELABORACIÓNDE INFORMESDE EVALUACIÓNDE TECNOLOGÍAS SANITARIAS

I n fo rme de Evaluación deTecnologías Sanitarias Nº 19Madrid, Junio de 1999

1.ª edición, Junio 19992.ª edición, Noviembre 1999

Edita: AGENCIA DE EVALUACIÓN DE TECNOLOGÍAS SANITARIASInstituto de Salud Carlos III - Ministerio de Sanidad y Consumo

N.I.P.O.: 354-99-006-XI.S.B.N.: 84-930379-2-3Depósito Legal: M-45380-1999

Imprime: Rumagraf, S.A. Avda. Pedro Díez, 25. 28019 Madrid

0.T.23417

Agencia de Evaluación de Tecnologías Sanitarias (AETS)Instituto de Salud Carlos IIIMinisterio de Sanidad y Consumo

Sinesio Delgado, 6 - Pabellón 328029 MADRID (SPAIN)Tels.: 91 387 78 40 - 91 387 78 00Fax: 91 387 78 41

Este documento es un Informe Técnico de laAgencia de Evaluación de Tecnologías Sanitarias(AETS) del Instituto de Salud Carlos III del Minis-terio de Sanidad y Consumo.

Dirección y coordinación: José L. Conde Olasagasti

Elaboración y redacción:Iñaki Imaz Iglesia

Jesús González EnríquezJuan Fco. Alcaide Jiménez

Edición y diseminación:Antonio Hernández Torres

Para citar este informe:

Agencia de Evaluación de Tecnologías Sanitarias (AETS)Instituto de Salud Carlos III - Ministerio de Sanidad y Consumo«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias»Madrid: AETS - Instituto de Salud Carlos III, Junio de 1999

Este texto puede ser reproducido siempre que se cite su procedencia.

El propósito de este trabajo es servir de orien-tación para la elaboración de informes de Eva-luación de Tecnologías Sanitarias (ETS), t ra-tando de clarificar y hacer explícitas las dis-tintas etapas de su elaboración y los criteriosutilizados para la va l o ración y selección de lainformación válida. A su ve z , p retende descri-bir las herramientas metodológicas más em-pleadas en la síntesis de resultados y ofre c e runa recopilación de los recursos más eficien-tes para realizar un trabajo de evaluación sa-n i t a r i a . El documento adopta una ap rox i m a-ción genera l , sintética y eminentemente prác-t i c a , haciendo énfasis en lo esencial y priorita-rio de cada una de las etapas de elabora c i ó n ,en el contexto local y la adaptación de la re s-puesta a la necesidad del solicitante.

Se abordan primero los conceptos genera l e sque definen la ETS. A continuación se refierenlos tipos, métodos y proceso de elabora c i ó nde los informes, teniendo en cuenta que éstosno están completamente establecidos y suscontenidos, estructura y formato de presenta-ción no han sido consensuados. El propósitoes estimular la discusión acerca de cuáles sonlos elementos que deben conformar un infor-me de ETS y la posible unificación de un es-quema de re f e rencia para este tipo de pro-ducto. El último apartado presenta en formade anexos una serie de herramientas útilespara la realización de informes: una propues-ta de estructura o formato; una selección defuentes de información útiles para la ETS, yvarios esquemas para la valoración y grada-ción de la evidencia científica.

La realización de revisiones sistemáticas quep ro mu eve la Colaboración Coch ra n e, a s ícomo el fenómeno de la Medicina Basada enla Evidencia, buscan la mejora de la asisten-cia sanitaria a través del aumento de la can-tidad y calidad de las evidencias científicas,basándose siempre en la búsqueda exhausti-va de la mejor información. La ETS se sitúaen ese mismo escenario y se nu t re del tra b a-jo de esas líneas de inve s t i g a c i ó n , además deo t ras como la investigación en re s u l t a d o s,la investigación en servicios sanitarios, l aevaluación económica o la epidemiología clí-n i c a .

Todos estos campos han producido en los úl-timos años un gran volumen de publicacionessobre metodología aplicable a la ETS, pero nosobre la elaboración de informes o el procesode realización de un trabajo eva l u a t ivo. E lp resente trabajo pretende aportar ese ele-mento diferencial. No es una revisión exhaus-t iva de los procedimientos y métodos de laE T S, sino que, como el término guía i n d i c a ,pretende ser un documento sencillo, que faci-lite el empleo de la metodología y re c u r s o spropios de la ETS.

Su preparación, edición y difusión se enmar-can en el conjunto de actividades de promo-ción de la ETS que desarrollan el Instituto deSalud «Carlos III» del Ministerio de Sanidad yConsumo de España y la Organización Pa n-americana de la Salud (OPS) a través de unConvenio Marco de colaboración firmado en-tre ambas instituciones.

5«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999 5

Presentación

Índice

Pág.

INAHTA STRUCTURED ABSTRACT ...................................................................................... 9

INTRODUCCIÓN ...................................................................................................................... 11

PROCESO DE ELABORACIÓN DE INFORMES DE ETS ........................................................... 15

1. Tipos de documentos de ETS ......................................................................................... 16

1.1. Informes de ETS .................................................................................................... 161.2. Guías de Práctica Clínica ..................................................................................... 161.3. Dictámenes técnicos ............................................................................................ 16

2. Solicitud del informe ...................................................................................................... 16

2.1. Priorización en la elaboración de informes de ETS ........................................... 17

3. Diseño de la evaluación ................................................................................................. 17

3.1. Definición de las preguntas de evaluación ........................................................ 173.2. Estudio de la factibilidad ..................................................................................... 203.3. La elaboración del proyecto de evaluación ........................................................ 20

4. Búsqueda de la información ......................................................................................... 22

5. Evaluación crítica y selección de los estudios identificados ..................................... 24

5.1. La evaluación crítica de los estudios identificados .......................................... 245.2. Selección de los estudios ..................................................................................... 265.3. Extracción de datos de los estudios seleccionados ........................................... 27

6. Estudio del contexto local .............................................................................................. 28

7. Técnicas de síntesis de la información y otros métodos utilizados en ETS ............. 29

7.1. Síntesis cualitativa y narrativa ........................................................................... 297.2. Meta-análisis ......................................................................................................... 307.3. Análisis de decisión .............................................................................................. 347.4. Estudios de evaluación económica ..................................................................... 377.5. El juicio de expertos ............................................................................................. 40

8. Valoración de los efectos sociales, organizativos, psicológicos y éticos ................... 41

9. Elaboración de las conclusiones y recomendaciones ................................................. 42

10. Revisión del documento provisional ............................................................................ 44

11. Difusión y aplicación de los resultados del informe ................................................... 44

ANEXOS .................................................................................................................................... 47

Anexo I. Formato y estructura de un informe de ETS ........................................... 47

Anexo II. Recopilación de fuentes de información útiles en ETS .......................... 50

Anexo III. Esquemas para la interpretación de la evidencia científica ................. 55

Anexo IV. Clasificaciones del grado de evidencia científica ................................... 59

REFERENCIAS .......................................................................................................................... 63

7«Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999

GUIDE FOR PERFORMING HEALTH TECHNO-LOGIES ASSESSMENT REPORTS (GUÍA PARALA ELABORACIÓN DE INFORMES DE EVA-L UACIÓN DE TECNOLOGÍAS SANITA R I A S ) .Authors: Imaz-Iglesia I, González-Enríquez J,Alcaide-Jiménez JF, C o n d e - O l a s agasti JL. O r-g a n i z ation: AETS (Agencia de Evaluación deTecnologías Sanitarias) (Spanish Health Tech-nology Assessment Agency). CorrespondenceAddress: Imaz-Iglesia, Iñaki. Agencia de Eva-luación de Tecnologías Sanitarias, Instituto deSalud “Carlos III”, c/ Sinesio Delgado, 6 Pab. 3,28029 Madrid, Spain. Date: June of 1999. Lan-g u age: S p a n i s h . Summary: No P u b l i c at i o ntype: M e t h o d o l o gical guidelines. Pages: 7 1References: 232. ISBN: 84-930379-2-3. Subjectindex terms: Health Technology Assessment-methods-guidelines.

Objectives: To describe the process of perfor-ming Health Technologies Assessment (HTA)reports. To offer a selection of useful sourcesof information, checklist for critical appraisalof medical literature and other tools for eva-luating technologies in health care. To propo-se a standardized structure for HTA rep o r t s.This guide intends to offer tools and pro p o-sals for improving the quality and impact ofHTA reports, as well as enhancing discussionsamong the organizations invo l ved in HTA inorder to obtain agreements about the structu-re and practice of elaborating HTA reports.

Results/Content of the report: The guide be-gins with an introduction of the justificationsand concepts of HTA. The description of thesteps involved in the creation of HTA reportsf o l l ow s. This section sets forth the methodsused in HTA with practical ap p raisal andemphasizes the essential aspects of eachmethod and components of HTA. The processof elaborating a HTA report starts with the

formal request or with the identification ofpriorities.

The design of the evaluation project includesthe study of feasibility, and the formulation ofthe scientific question. The next step is a sys-tematic and exhaustive bibliographic searchand critical reading of the identified articles.The study of the local context and the appli-cability of the results are essential contentsin all HTA rep o r t s. The guide explains themethods for synthesis and analysis of infor-mation and other methods useful for HTA .Qualitative synthesis, Meta-analysis, DecisionAnalysis, Economic Analysis and the Consen-sus Methodology are the main eva l u a t ivemethods discussed. Moreover, the HTA mustassess the social, p s y ch o l o gi c a l , e t h i c a l , a n dorganizational effects.

This guide offers tools to make HTA reports,including a selection of useful sources of in-f o r m a t i o n , ch e cklist for critical ap p raisal ofmedical literature, several scales of quality ofmedical ev i d e n c e, a format of the HTA re-ports, a description of the types of HTA docu-ments and other tools for evaluating techno-logies in health care.

In the last few years many papers concerningmethodology applied to HTA have been pu-blished, but few or none have been publishedre g a rding the elaboration of reports or theprocess of HTA work. This document tries tocover this subject. It is not an exhaustive, norin depth description of the HTA pro c e d u re sand methods, but rather, it seeks to be a guideto aid in the use of HTA methodology and re-s o u rc e s. On the other hand, taking into ac-count that HTA reports are not well definedpublications, this could contribute to discusstheir contents, methodology and format.


INAHTA Structured Abstract

Los prove e d o res y financiadores de serviciossanitarios, en la búsqueda de mayor efectivi-dad y eficiencia de dichos servicios, e s t á ncada vez más interesados en disponer de evi-dencias explícitas sobre la efectividad y cos-t e - e f e c t ividad de las tecnologías y pro c e d i-mientos que proveen o financian. Por otraparte, los ciudadanos de los países desarrolla-dos se ven sometidos en la actualidad a doselementos en conflicto: la oferta de un núme-ro creciente de nuevos procedimientos médi-cos cada vez más sofisticados y pro m e t e d o-res, y el aviso continuado de las autoridadeseconómicas acerca del crecimiento del gastosanitario y las dificultades para afro n t a r l o.Esta situación ha sido analizada por profesio-nales sanitarios y políticos, llegando a consta-tar tres fenómenos que configuran un pano-rama de incertidumbre s, que en última ins-tancia pueden ser considerados genera d o re sde la ETS o del movimiento llamado “Medici-na Basada en la Evidencia”1.

El primero de estos fenómenos es la ausenciade una buena correlación entre el nivel de gasto sa -nitario de un país y la salud colectiva de sus ciu -dadanos. Así, por ejemplo, Grecia, con el gastosanitario per capita más bajo de la Unión Euro-p e a , l o g ra una mayor esperanza de vida enhombres que Alemania o Francia2. Los resul-tados agregados de salud y bienestar de unapoblación son poco sensibles a los cambios enel gasto sanitario a partir de unos niveles mí-nimos de cobertura de riesgos, a l c a n z a d o spor la mayoría de los países desarrollados. Elsistema sanitario y la inversión en tecnologíasanitaria constituyen sólo uno de los determi-nantes de la salud y el bienestar (junto a fac-tores de la biología humana, medio ambien-t a l e s, p rotección social o educación, e n t reotros).

El segundo es la variabilidad observada en lapráctica clínica. Fenómeno descrito en los añostreinta3, y estudiado con detalle a partir de ladécada de los setenta4. Se han realizado mul-titud de estudios. Unos han descrito diferen-cias importantes en las tasas de intervencio-nes realizadas a pacientes según el lugar deresidencia. Por ejemplo, Mark Chassin descri-bió variaciones en las tasas de implantaciónde prótesis de cadera de hasta 6 veces entre13 Estados de los EE.UU. La diferencia aumen-

taba a 26 veces para el caso de las esclerosish e m o r ro i d a l e s5. O t ros han descrito difere n-cias en las tasas de intervención entre hospi-tales de la misma zona geográfica. Por ejem-plo, en 1984 se realizó un estudio que medíala probabilidad de que a un niño residente enVermont (EE.UU.) le fuera practicada unaamigdalectomía durante su infancia, y obser-vó que ésta difería hasta en 9 veces en depen-dencia del hospital en el que le correspondie-ra la atención sanitaria, s i e m p re dentro delmismo Estado6.

A pesar de los estudios realizados, los deter-minantes analizados (razones médicas, socia-les, de necesidad) no llegan a explicar toda lavariabilidad observada en la práctica clínica.O t ra de las posibles explicaciones es el usoinadecuado de recursos. Se han detectado di-f e rencias entre países atribuidas no tanto alos criterios de indicación de la técnica, sino ala conducta del profesional en caso de incerti-dumbre, al estilo de práctica clínica y a cues-tiones org a n i z a t iva s7 , 8. En nu m e rosas áre a sasistenciales se detecta una infra u t i l i z a c i ó nde procedimientos altamente eficaces y apro-piados y distintos tipos de barreras que limi-tan el acceso a dichos procedimientos.

Por otra parte, los cambios en la práctica clí-nica no obedecen simplemente a la disponibi-lidad de información válida sobre efectividady eficiencia de las técnicas utilizadas. L a sfuentes de variación en la práctica clínica su-peran en mucho a la mera incertidumbre pro-fesional sobre la efectividad de la prácticamédica, si bien el juicio de los médicos puedeser el principal factor de variabilidad. Sin em-b a rg o, es probable que las re c o m e n d a c i o n e sbasadas en evidencias de alta calidad puedanmodificar dicha práctica más que las re c o-mendaciones basadas en otros procedimien-t o s. Todo ello hace necesarios los estudiosevaluativos que, basados en la mejor eviden-cia disponible, contribuyan a disminuir la va-riabilidad inexplicable e inaceptable en lapráctica clínica9.

El tercer y último fenómeno es la incertidumbrea c e rca del impacto real que sobre la salud de losciudadanos tiene el uso de muchas prácticas médi -cas. Algunas estimaciones sitúan el gasto sa-nitario dedicado a procedimientos ineficaces


Introducción

o perjudiciales en un 20% del gasto total.También se ha señalado que un 20-25% de losp rocedimientos médicos realizados en losEE.UU. están basados en indicaciones inapro-piadas o dudosas10. La constatación de la fal-ta de eficacia y efectividad de muchas inter-venciones médicas consideradas clásicas yampliamente extendidas en la mayoría de lospaíses desarrollados ha generado un impor-tante debate, q u e, p a ra algunos autore s, h aproducido una auténtica revolución en la in-vestigación biomédica11.

En conclusión, el rápido incremento del gastosanitario no acompañado de mejoras propor-cionales en el nivel de salud, el alto grado devariabilidad no explicable en la práctica mé-dica y la incertidumbre acerca del impactoreal de mu chos procedimientos médicos so-bre la salud, conducen a admitir la existenciade importantes lagunas en el conocimientoque dificultan la adopción de decisiones jui-ciosas sobre asignación de recursos y uso ya c eptación de prácticas médicas. Esta re a l i-dad es la que ha llevado al nacimiento y desa-rrollo del concepto de ETS1.

Concepto de TecnologíaSanitaria

El término Tecnología Sanitaria (TS) se identi-fica en mu chos casos con equipamientos otécnicas complejas, pesadas y sofisticadas.Sin embargo, el Diccionario de la Real Acade-mia Española define tecnología como el “con-junto de conocimientos propios de un oficiomecánico o industrial”. Definición que, si sehace extensiva a la práctica de la medicina,l l eva a considerar las TS como algo mu ch omás amplio que los equipamientos pesados.

En general, hoy se acepta la definición que ensu día propuso el Institute of Medicine de losEE.UU.: “conjunto de medicamentos, disposi-tivos y procedimientos médicos o quirúrgicosusados en la atención sanitaria, así como lossistemas organizativos y de soporte dentro delos cuales se proporciona dicha atención”12.

Concepto de Evaluaciónde Tecnologías Sanitarias

El concepto de ETS fue definido inicialmentepor la Office of Technology Assessment de losEE.UU. (OTA) como aquella “forma de investi-

gación que examina las consecuencias clíni-cas, económicas y sociales derivadas del usode la tecnología, incluyendo el corto y medioplazo, así como los efectos directos e indirec-tos, deseados e indeseados”12. Esta definiciónutiliza el término investigación como cuasi si-nónimo de evaluación, lo cual ha sido revisadopor algunos autores que consideran más con-veniente utilizar términos amplios como “es-trategia o proceso de análisis”13. Por otro lado,según la Real Academia Española, evaluar es“ e s t i m a r, ap re c i a r, calcular el valor de unacosa”. Así, se propone la siguiente definiciónde ETS: proceso de análisis e investigación, dirigi -do a estimar el valor y contribución relativos decada tecnología sanitaria a la mejora de la saludindividual y colectiva, teniendo además en cuentasu impacto económico y social.

Requisitos y atributosde los informes de ETSLa propia naturaleza y funciones de los orga-nismos dedicados a la Evaluación de Tecnolo-gías Sanitarias obliga a que sus pro d u c t o sreúnan ciertas características que los hag a nacordes y coherentes con su misión. Los atri-butos básicos deben ser la fundamentaciónen la evidencia científica, la utilidad para latoma de decisiones, la claridad en la re d a c-ción, la facilidad de comprensión de los docu-m e n t o s, y la oportunidad y adaptación altiempo y ámbito de decisión.

1. Fundamentación en la evidencia científica. Lasafirmaciones y contenidos de un informe deETS han de apoyarse siempre y esencialmen-te en la evidencia científica, incorporando, endeterminados casos, la aportación del juiciode expertos. Sólo la revisión exhaustiva y elanálisis crítico de la evidencia disponible pro-porcionan la base sobre la que se pueden sus-tentar las conclusiones y re c o m e n d a c i o n e sde un informe de ETS. Dicho de otro modo, uninforme de ETS ha de ser incuestionable ensu rigor científico. Se podrán compartir o nosus conclusiones pero no re chazar las basesen que se apoya14.

2 . Utilidad para la toma de decisiones. Tal ve zsea éste el atributo principal y más claramen-te diferenciado de las publicaciones de ETSf rente a otro tipo de textos científicos. En elcaso de la comunicación científica, los autore sestán obligados a exponer la metodología uti-lizada y los resultados alcanzados en deter-minado experimento u observación clínica,transmitiendo un conocimiento que puede o

12 «Guía para la Elaboración de Informes de Evaluación de Tecnologías Sanitarias» - AETS Junio / 1999

no servir para la toma de decisiones. Sin em-b a rg o, los informes de ETS siempre se re a l i-zan con la intención de que el resultado sirvaa alguien (político, g e s t o r, a d m i n i s t ra d o r, c l í-n i c o, usuario) para tomar decisiones. No sepretende sustituir a quien tiene la responsa-bilidad de la decisión, sino facilitar el procesop ro p o rcionando elementos de informaciónrelevantes14,15.

3. Redacción clara y fácil de comprender. Este re-quisito, importante en cualquier texto escrito,a d q u i e re una particular re l evancia en esteámbito si se tiene en cuenta el variado perfilde los posibles destinatarios al que se dirigenlos informes. Los destinatarios de un informes o b re una TS no son única ni fundamen-talmente los especialistas médicos que la uti-lizan. Otros profesionales sanitarios o no sa-nitarios pueden ser lectores de un informe deETS y, por tanto, el lenguaje que se utilicedebe adaptarse a las características de losusuarios, que en muchos casos van a ser múl-tiples y muy variados, lo cual obliga a un es-fuerzo de redacción importante. La adecuadadefinición y precisión en los términos, el or-den y la estructuración, la claridad expositi-va, el rechazo de lo accesorio y la huida de loss o b re e n t e n d i d o s, deben caracterizar el estilode redacción de cualquier documento de ETS.

4. Oportunidad y adaptación al tiempo y ámbitode decisión. La capacidad de influencia e im-pacto de la información presentada en un in-forme de evaluación de TS dependerá del gra-do en que esta información se adapte al con-texto en el que se generó la demanda. E l

modo y grado de profundización en la re s-puesta deben estar también adaptados almarco temporal del proceso de toma de deci-siones. Este marco debe estar siempre presen-te, de forma que exista cierta flexibilidad enla elaboración y formato de la respuesta, conel objetivo de maximizar el grado de oportu-nidad. El sacrificio de la exhaustividad puedevenir justificado por un marco temporal limi-tado. La búsqueda rápida de información váli-da y relevante para una toma de decisión in-mediata puede constituir el objetivo de un in-forme de ETS y, por tanto, esto tiene que que-dar claro en los primeros momentos tras lasolicitud.

Fases de introducciónde una TSEl principal de los atributos mencionadosanteriormente, utilidad para la toma de deci-siones, tiene un componente importante quese relaciona con la evolución en el tiempo deluso de una tecnología. El proceso de ETS debec o n s i d e rar el momento y la oportunidad deelaborar un informe, valorando la utilizacióny el grado de implantación de esa TS. En esesentido es importante conocer las fases de laintroducción de las tecnologías sanitarias enlos servicios sanitarios, que se pueden con-ceptualizar a partir de un esquema aceptadode forma bastante genera l i z a d a , como es elde la figura 1.


Figura 1Fases de la evolución de una tecnología sanitaria (tomado de Banta16)

Las fases de introducción de una TS suelenser cinco:

• Experimental. Es la fase en la que se suelerealizar la innovación, investigación inicialy conceptualización de la TS.

• I n t ro d u c c i ó n . Se inicia la implantación yuso de la TS.

• E x p a n s i ó n . Coincide con la parte más as-cendente de la curva.

• Utilización generalizada. La curva comien-za a aplanarse y si la TS es aceptada pasa aser una meseta.

• Declive o sustitución.

Las primeras fases (experimental e intro-ducción) son las más oportunas para la eva-luación de la viabilidad técnica, eficacia ys e g u r i d a d . En estas fases no suelen interve-nir los organismos o agencias dedicados a

la ETS. G e n e ra l m e n t e, c o r responde al inve s-tigador o a la industria pro p o rcionar los pri-m e ros datos sobre la T S. Sin embarg o, d u-rante las fases de introducción y expansión,cuando ya es posible conocer la efectiv i d a d ,utilidad clínica o impacto económico deuna T S, un informe de ETS puede pro d u c i run impacto muy importante que logre mo-dificar la curva de introducción de la tecno-l o g í a . Éste es, por tanto, el momento máseficiente para realizar un trabajo de eva l u a-c i ó n .

Por último, durante la fase de utilización ge-n e ralizada es todavía más útil el estudio delos efectos, al poder medir los resultados eimpacto de la tecnología a medio y largo pla-z o. Las evaluaciones realizadas en esta faseproporcionan datos muy fidedignos y consis-tentes sobre los efectos reales de la técnica ointervención.


A continuación se estructuran y describen loselementos a considerar en un informe de ETS,estableciendo la secuencia temporal de ela-boración, los tipos de informes y los aspectosm e t o d o l ó gicos más destacados, a la vez quese ofrecen recursos y bibliografía relacionada.No se pretende realizar una descripción por-menorizada de las técnicas utilizadas en ETS,sino ofrecer una guía de apoyo para la elabo-ración de informes; por ello, algunos temassólo son mencionados, aunque se pre s e n t a nfuentes bibliográficas y otros recursos quepermiten profundizar en ellos.

Algunas de las cuestiones planteadas se en-cuentran actualmente sometidas a debate. Enprimer lugar, la necesidad de nuevas publica-ciones que atiendan a sintetizar la gran canti-dad de información disponible, o la influenciacreciente del movimiento de Medicina Basadaen la Evidencia, línea de colaboración inter-nacional que pro mu eve la mejor utilizaciónde los conocimientos médicos17,18. Existen di-versos tipos de trabajos que se pueden situaren ese marco común: los informes de ETS, lasrevisiones sistemáticas o los meta-análisis, entreo t ro s. La descripción somera de las difere n-cias entre ellos puede servir para caracterizarlos informes de ETS y comprender su pap e lparticular.

Las revisiones sistemáticas son trabajos que pre-tenden resumir toda la evidencia que existe so-b re un tema concre t o, g e n e ralmente sobre losefectos de una intervención sanitaria. D e b e nrealizarse con una metodología explícita, o rd e-nada y rep ro d u c i b l e, permitiendo establecer lasbases científicas sobre las que se sustenta eluso de determinadas técnicas o pro c e d i m i e n-t o s. La utilización de métodos explícitos y siste-máticos limita los sesgos o erro res sistemáticosy reduce los erro res aleatorios o simples1 9.

El meta-análisis es una técnica de síntesiscuantitativa de resultados de investigacionesprimarias, cuyo objetivo es proporcionar esti-maciones más precisas sobre los efectos de laatención sanitaria que las derivadas de estu-dios aislados incluidos en una revisión20. Lasrevisiones sistemáticas pueden incorporar unmeta-análisis o no hacerlo.

Los informes de ETS, sin embargo, son publica-ciones que utilizan habitualmente revisiones

sistemáticas (con o sin meta-análisis), e n t reo t ros re c u r s o s, p a ra determinar la posiblecontribución de una TS a la mejora de la sa-lud en una población concreta. Su objetivo esresponder a solicitudes de terceros (Adminis-tración, proveedores de servicios, asegurado-res) que precisan información fiable sobre losresultados o impacto de una TS y su posibleaplicación en un contexto determinado. E nconsecuencia, su metodología debe ajustarseal tipo de pregunta planteada y al tiempo re-querido para su respuesta. La formulación deconclusiones y recomendaciones aplicables aun ámbito local determinado es otro de losaspectos que diferencia los informes de ETSde las revisiones sistemáticas o los meta-aná-lisis. En los informes de ETS casi siempre esnecesario realizar un estudio del contexto lo-cal que permita que el solicitante del informepueda tomar una decisión sobre la incorpora-ción o no de esa TS.

Los responsables de tomar decisiones en lossistemas sanitarios (autoridades, a d m i n i s t ra-d o re s, p rofesionales) están interesados en dis-poner de información válida, re l eva n t e, a ve c e sen un corto espacio de tiempo y aplicable alcontexto en el que actúa. La ETS pretende cu-brir esas necesidades, por lo que los informesde evaluación pueden ir consolidándose comopublicaciones de gran impacto y utilidad. E s t ag u í a , que describe la metodología, p roceso dee l a b o ración y tipos de informes, p retende di-fundir la práctica de la ETS, así como provo c a rdebate e investigación para el establecimientode los beneficios y limitaciones de la metodo-logía eva l u a t iva en ciencias de la salud.

El informe de Evaluación de Tecnologías Sa -nitarias se puede definir como un documentoestructurado, comprensible, basado en la mejorevidencia disponible, elaborado con metodologíaexplícita y reproducible y que responda a cues -tiones relativas a la seguridad, eficacia, efectivi -dad, utilidad, eficiencia o impacto de una tecno -l ogía en un contexto previamente definido. S umisión finalista es la ayuda en la toma de deci -siones. Su elaboración requiere una metodologíaacorde con el carácter de la pregunta y el tiempoen el que ésta debe ser contestada.


Proceso de elaboración de informesde ETS

1. Tipos de documentosde ETS

1.1. Informes de ETS

• Informes a demanda o internos. Se realizan enrespuesta a solicitudes de parte intere s a d a .Su objeto, e x t e n s i ó n , metodología y circ u-lación se ajustan a los términos que prev i a-mente se convengan entre las dos partes. Laagencia actúa de segunda parte, es decir, ela-bora el informe para asesorar al solicitante ensus decisiones unilatera l e s. El producto deesa colaboración, el “informe a demanda”, seorienta a satisfacer las cuestiones planteadas,por lo que suele ser un informe interno o decirculación supeditada al solicitante. En gene-ral, y debido a la necesidad urgente del solici-t a n t e, son informes de ejecución rápida ycontenido breve, aunque no se debe asimilarlos informes a demanda o internos con docu-mentos breves, ya que en muchos casos no esasí.

Algunas organizaciones como la Agencia parala ETS de A l b e r t a , en Canadá, denominan aeste tipo de productos consultas técnicas,Health tech notes, y las definen como respues-tas breves a peticiones de asesoría urg e n t e sq u e, por su limitación de tiempo, p re s e n t a nun análisis más limitado y no están necesa-riamente sujetas a un proceso de revisión ex-terna21. Esta organización ha evaluado la cali-dad de la información que proporcionan y suimpacto en la toma de decisiones a través dee n t revistas con solicitantes y lectores de losinformes. Seis de los once informes conside-rados tuvieron un impacto elevado en latoma de decisiones, cuatro un impacto mode-rado pero fueron considerados útiles para lagestión, y únicamente un informe fue valora-do como de bajo impacto. La calidad se consi-deró aceptable en todos ellos. El mismo estu-dio previene de las limitaciones de este tipode informes, en el sentido de que la urgenciaimpuesta por los solicitantes puede perturbarel proceso de búsqueda de información y elanálisis ulterior22.

• Informes públicos. Son los productos más co-nocidos de las agencias de ETS. En este caso,la agencia actúa de tercera parte, ofreciendouna va l o ración técnica útil para cualquierade las partes presentes en el sistema sanita-rio. Dado que deben ser útiles a cualquiera delos operadores que interactúan en un Serviciode Salud,son públicos y de libre acceso a todoaquel que lo solicite. Su origen y motivación

pueden ser diversos, pero en todo caso la tras-cendencia de la cuestión que tratan ha acon-sejado su difusión pública. Estos informesvan a formar parte de la base de datos de in-formes de ETS de la red internacional INAH-TA y generalmente se elaboran por iniciativade la Autoridad Sanitaria o de la propia agen-cia.

1.2. Guías de Práctica Clínica

Pretenden ayudar a profesionales sanitarios yusuarios a decidir sobre la atención sanitariamás apropiada en circunstancias clínicas es-p e c í f i c a s, mediante la formulación de unasrecomendaciones desarrolladas sistemática-mente y presentadas de manera estructura-da, frecuentemente con algoritmos o árbolesde decisión2 3. C o n s t i t u yen un instrumentop a ra la difusión de los resultados de la eva-luación de tecnologías sanitarias.

La elaboración de una Guía de Práctica Clíni-ca debe perseguir la obtención de un textobasado en la evidencia científica y consen-suado. Sus características básicas deben ser:validez, fiabilidad, aplicabilidad clínica, flexi-bilidad clínica, mu l t i d i s c i p l i n a r i e d a d , p rev i-sión de revisión y documentación adecuada.La calidad de una Guía de Práctica Clínica sebasa en la exhaustividad y valoración críticade la literatura científica y en la adecuada va-loración de la evidencia, que debe acompañara cada recomendación incluida. Su descrip-ción, proceso de elaboración, implantación yevaluación no han sido abordados en estaguía y merecen un tratamiento específico,aunque se pueden recomendar una serie dereferencias que permiten conocer sus funda-mentos23,24,25,26,27.

1.3. Dictámenes técnicos

Otra parte de la actividad de las agencias deETS es la asesoría acerca de lo apropiado de laadopción de una tecnología en un contextodeterminado (peritaje, a u d i t ) . La respuesta aeste tipo de consulta se materializa en infor-mes breves o dictámenes sobre aspectos con-c retos de determinadas técnicas o pro c e d i-mientos.

2. Solicitud del informeEl origen del proceso de elaboración de un in-forme de ETS suele ser la solicitud de evalua-


ción por parte de la administración sanitaria,instituciones u organismos usualmente pro-veedores o financiadores de TS. Algunos cen-tros han elaborado hojas de solicitud de infor-me en las que se pide la identificación del so-licitante, la formulación de preguntas concre-t a s, información sobre el contexto local deaplicación de la TS, y además se establece elmarco temporal y el formato de la respuesta.Este procedimiento puede facilitar y clarificarinicialmente el tipo de trabajo requerido y laprevisión de recursos necesarios para su de-sarrollo.

2.1. Priorización en la elaboraciónde informes de ETS

Con independencia de la respuesta a deman-das concre t a s, es importante que la re a l i z a-ción de informes de ETS y su consiguienteplanificación de recursos se haga a través deun proceso explícito y meditado. La ETS pue-de abordar una enorme cantidad de temas,siendo su prioridad, relevancia y oportunidadvariables. Establecer prioridades, o sea, esco-ger los temas o aspectos específicos a estu-diar, puede ser el primer paso en el ciclo de laETS, que se continúa con la realización de laevaluación, la difusión y aplicación de los re-sultados y la medición de su impacto. U n ametodología ideal para este paso de estableci-miento de prioridades debería definir el al-cance de los temas a priorizar desarrollandouna lista de posibles temas a evaluar, los cri-terios explícitos para establecer prioridades,los métodos de aplicación de esos criterios yla inclusión de un amplio rango de perspecti-vas en el proceso, desde gestores, financiado-re s, i nve s t i g a d o re s, p rofesionales o pacien-tes28.

Algunas agencias han desarrollado métodosde priorización, que facilitan la planificaciónde su trabajo y a la vez posibilitan el análisisglobal de la situación de las TS en su contextolocal. Las agencias de ETS españolas han rea-lizado un estudio de priorización de las tecno-logías susceptibles de evaluación o de investi-gación para el Consejo Interterritorial del Sis-tema Nacional de Salud español29. El propósi-to del estudio era ordenar un amplio grupo deTS en función de la necesidad de elaboraciónde un informe de ETS o de realización de in-vestigación dirigida a cubrir las lagunas deconocimiento detectadas sobre los efectos deesa técnica o procedimiento.

El listado inicial incluía seiscientos tipos detécnicas o intervenciones sanitarias seleccio-

nadas en función de su re l eva n c i a , n ivel deconcreción y razonable disponibilidad de evi-dencias acerca de su efectividad y utilidad.Las fuentes de obtención de las TS inicialesfueron la red INAHTA (International Networkof Agencies of Health Te chnology A s s e s s-ment), las cuatro agencias de evaluación es-pañolas, las propuestas presentadas por Con-sejerías de Sanidad de las Comunidades Au-tónomas españolas, el Instituto Nacional dela Salud y el Ministerio de Sanidad y Consu-mo españoles, y un estudio sobre priorizaciónen TS realizado recientemente en el ReinoUnido30.

Los criterios que se utilizaron para la prioriza-ción realizada por las agencias de ETS espa-ñolas fueron29:

• Prevalencia de la condición o situación clí-nica a la que se dirige la tecnología.

• Carga de la enfermedad. Grado de deteriorode la salud que ocasiona la condición clíni-ca implicada. Los datos que pueden definireste concepto son los referentes a mortali-d a d , d i s c ap a c i d a d , años de vida perd i d o s,jornadas laborales perdidas o calidad devida, entre otros.

• Grado de incertidumbre. Se refiere a la exis-tencia de información contradictoria, esca-sa y/o de baja calidad.

• Posible impacto sobre la salud. Efectos de laTS sobre el manejo y resultados clínicospara los pacientes, teniendo en cuenta lasalternativas concurrentes.

• Posible impacto económico. Se valora si eluso de la tecnología eleva o reduce el costeagregado.

• Posible impacto organizativo. Se valora si eluso de la TS provoca cambios en las condi-ciones y organización del trabajo.

• Posible impacto ético, social y/o legal.

3. Diseñode la evaluación

3.1. Definición de las preguntasde evaluación

La elaboración de un informe de ETS requieredeterminar desde el inicio el enfoque de laeva l u a c i ó n , estableciendo las preguntas conconcreción. En muchas ocasiones, la formula-ción adecuada de la pregunta no resulta unatarea simple. La petición inicial o solicitud de


evaluación no suele estar planteada en térmi-nos suficientemente precisos y específicos;por ello se debe abrir un proceso de discusióncon la institución o persona solicitante paradelimitar preguntas, objetivos o hipótesis cla-ramente definidos y opera t ivo s, que puedanser objeto de inve s t i g a c i ó n . En esta fase ini-cial, es útil la realización de una primera reu-nión con los solicitantes que clarifique los ob-jetivos del informe.

La pregunta de evaluación se compone de unobjetivo general o pregunta política y de obje-tivos específicos o preguntas científicas. El ob -jetivo general o pregunta política c o n s t i t u ye elmotivo inicial que fundamenta la solicitud deun informe de ETS. Su naturaleza puede irdesde un problema o preocupación poco defi-nidos de una autoridad o gestor sanitarios,hasta una pregunta muy concreta sobre suámbito de gestión. R a ra vez se formula ini-cialmente una cuestión que pueda re s p o n-derse científicamente15.

Objetivos específicos, preguntas científicas o pre -guntas de eva l u a c i ó n . El objetivo general op regunta política debe descomponerse encuestiones más delimitadas y que puedanresponderse con metodología científica. L aformulación de los objetivos específicos va adeterminar todo el proceso de eva l u a c i ó n ,desde el diseño hasta su posible impacto enla práctica clínica. D u rante el proceso deconstrucción de las preguntas es necesarioplantearse cuál es la forma de presentar losresultados más útil y comprensible para lospotenciales receptores del informe.

Éste es el momento de realizar una búsqueday re c u p e ración bibliográfica inicial sobre eltema a evaluar (el anexo II ofrece un listadode fuentes de información para la búsquedap re l i m i n a r ) , con el objeto de identificar losdatos o elementos de información más rele-vantes en relación con las preguntas de inves-tigación. Una posible caracterización y clasifi-cación de los tipos de elementos a consideraren la formulación de la pregunta es31: a) da-tos referidos a las características de los parti-cipantes; b) a la tecnología; c) a la metodolo-gía, y d) a los resultados.

a) Datos sobre las características de los partici -pantes. Las características que tengan influen-cia sobre el efecto o resultado clínico, o sobresu interpretación, son las que más interesan,y van a determinar en gran parte la validez delas inferencias. Por ejemplo, una característi-ca de los participantes con gran influencia enla efectividad de las intervenciones es el gru-po socioeconómico al que pertenecen. Sería el

caso de un informe que evaluara la efectivi-dad de determinadas intervenciones contra laobesidad en Atención Primaria en España. Siestas intervenciones incluyen modificacionesde hábitos alimenticios que conlleven un in-cremento del gasto habitual en alimentación,los estudios que incorp o ren una pro p o rc i ó nde personas de bajo nivel económico, más nu-m e rosa que la media española, o b t e n d r á nmenor efectividad que aquellos en los que elnivel socioeconómico sea semejante a la me-dia. En ese caso, la evaluación de esas inter-venciones sobre hábitos alimenticios pre c i s aque se recojan datos sobre el grupo socioeco-nómico al que pertenecen los participantes.

Otras características de los participantes coninfluencia en el efecto o resultado clínico sonla naturaleza o determinados aspectos de laenfermedad implicada (por ejemplo, si el in-forme evalúa un tratamiento antihipertensi-vo, los niveles iniciales de presión arterial delos participantes antes de la intervención de-terminarán los resultados del estudio), el ám-bito en el que se realiza el estudio (por ejem-plo, un hospital de crónicos o un servicio deu rg e n c i a s ) , la re gión geográfica, la edad, e lsexo, el nivel de educación o la existencia deco-morbilidad.

b) Los datos acerca de las características de la TSo intervención a evaluar también condicionanla validez de los re s u l t a d o s. Por ejemplo, e nlos ensayos con tratamientos farmacológicosdebe considerarse la vía de administra c i ó n ,las dosis y la duración del tratamiento. En losestudios que no comparan con placebo es im-p o r t a n t e, por ejemplo, re gi s t rar la informa-ción re f e rente al tratamiento que recibió elgrupo contro l , ya que si los tratamientos delos diferentes estudios son excesivamente he-t e rogéneos no será razonable combinar susresultados en un meta-análisis. Son múltipleslas características de la TS o intervención quepodrían enu m e ra r s e. Cada técnica tieneaspectos diferenciales que pueden influir enlas variables a considerar cuando se redactauna pregunta de inve s t i g a c i ó n . Un estudioexhaustivo de las características de la TS per-mitirá conocer todos los factores que puedeninfluir y modificar los resultados, costes y be-neficios de la intervención sanitaria que seevalúa.

c ) Los datos sobre la metodología de los estu-dios que se suelen incluir en las preguntas deevaluación son:

— Las características de las medidas de re-sultado que han utilizado los estudios re-visados.


— La precisión de los resultados de los estu-dios.

— La técnica de asignación de pacientes a losgrupos.

— La duración del estudio.

— El tipo de diseño, por ejemplo, ensayo alea-torio controlado o estudio observa c i o n a lde cohortes.

— La existencia de enmascaramiento y enqué gra d o, ciego simple, doble o tripleciego.

— Las pérdidas de pacientes durante la reali-zación del estudio.

— Las co-intervenciones.

d) Las medidas de resultado requeridas por lap regunta de investigación van a determinartotalmente la posibilidad de encontrar unarespuesta válida.La elección del tipo de medi-da más idónea para responder a la preguntacientífica es una tarea a la que hay que dedi-

car mucho tiempo y estudio cuando se diseñala evaluación. En la actualidad, el estudio delas medidas de resultado en medicina es unaimportante línea de investigación conocidatambién como investigación sobre la efectivi-dad y la utilidad (outcomes research)32,33,34.

Un informe de ETS basado en medidas de re-sultado que describan efectos sobre la salud outilidades permitirá establecer conclusioness ó l i d a s, c u ya validez difícilmente pueda sercuestionada.Sin embargo, si se utilizan medi-das que describan los resultados clínicos deforma indirecta o intermedia, tales como loscambios producidos en un parámetro bioquí-m i c o, pueden surgir dudas sobre la efectiv i-dad real de la tecnología evaluada35,36. Es im-portante llamar la atención acerca de la fre-cuente utilización de evidencias indirectas os u r r ogate end-points, que son, g e n e ra l m e n t e,p a r á m e t ros fisiológicos o bioquímicos queforman parte de una cadena causal o de aso-ciación con resultados o efectos clínicos (verejemplo en tabla 1).


Tabla 1Ejemplo de utilización de una evidencia indirecta o surrogate end-point

Las conclusiones del ensayo clínico llevado a cabo para evaluar la influencia que la reducción de lasarritmias tiene sobre la mortalidad postinfarto (CAST, Cardiac Arrhythmia Suppression Trial)35 son úti-les para explicar el concepto de evidencia indirecta o surrogate end-point. La relación encontrada pre-viamente entre las arritmias postinfarto y la muerte súbita37 y los efectos de la encainida, flecainida ymoricizina disminuyendo las arritmias cardíacas durante el año siguiente a un infarto agudo de mio-cardio38 conforman una línea tratamiento, resultado intermedio - resultado final, que se inicia con eluso de antiarrítmicos, continúa con la reducción de las arritmias y debería finalizar en la disminuciónde la mortalidad postinfarto. En este caso, los efectos positivos observados en el paso intermedio o evi-dencia indirecta, la arritmia cardíaca, estaban justificando la utilización generalizada de antiarrítmi-cos en los pacientes con infarto de miocardio por una supuesta disminución de la mortalidad post-infarto no demostrada.

El citado ensayo clínico pretendía obtener evidencias que demostraran ese efecto sobre la mortalidad.Sin embargo, diez meses después de iniciarlo, el análisis de los resultados preliminares conllevó su in-terrupción inmediata. El motivo fue que se observó mayor mortalidad en los grupos que tomaban en-cainida y flecainida que en los grupos que tomaban placebo. Las curvas de supervivencia que compa-raron el grupo con tratamiento y el grupo placebo mostraron una mortalidad y una incidencia de in-farto mucho mayor en el grupo que tomaba antiarrítmicos, tanto debido a arritmia (p=0,0004) como acualquier causa (p=0,001). El ensayo CAST demostró los resultados negativos de una práctica profilác-tica extendida, al medir sus efectos con una medida de resultado final (la mortalidad) y no una medi-da de resultado indirecta, como la disminución de arritmias.

La asunción de que las medidas intermediaspredicen el resultado final es aventurada, pordos razones fundamentales. En primer lugar,porque la biología es extremadamente sensi-ble a multitud de factores que difícilmente sepueden conocer en su totalidad y, por tanto,

las asociaciones biológicas demostradas encasos concretos no pueden ser utilizadas demanera general para predecir comportamien-tos clínicos complejos. Las teorías actualessobre causalidad la definen, en la mayoría delos casos, como multifactorial. Se han descri-

to muchos factores causales necesarios, perono muchos factores causales suficientes. Ade-m á s, mu chas veces se ha observado que laexistencia de asociación, e n t re un re s u l t a d oA, resultado intermedio, y uno B, resultado fi-n a l , en condiciones de laboratorio o ideales,se diluye o desaparece completamente en lascondiciones de la práctica habitual39.

3.2. Estudio de la factibilidad

Antes de iniciar el trabajo de evaluación esnecesario valorar la viabilidad del proyecto yla posibilidad de responder a la solicitud. E s

posible que la evaluación esté ya total o par-cialmente re a l i z a d a , que exista informaciónsuficiente de fácil acceso para cubrir los obje-t ivos pro p u e s t o s, o, por el contra r i o, que losrecursos de personal o de tiempo necesariospara la elaboración del informe sean muy su-periores a los inicialmente previstos.

A continuación se presenta una propuesta delos aspectos que pueden determinar la facti-bilidad y oportunidad de realizar un informede ETS. La Agencia de ETS de Alberta, en Ca-nadá, tiene en cuenta varios criterios para de-cidir el tipo y grado de la respuesta a las soli-citudes de evaluación que, parcialmente mo-dificados, se exponen en la tabla 2.


Tabla 2Aspectos que determinan la factibilidad de realizar un informe de ETS

(modificado de Alberta Heritage Foundation21)

• El propósito de la solicitud.

• El impacto de la tecnología. Prevalencia de la condición clínica implicada, gravedad de ésta e impactoeconómico, social y organizativo.

• La pertinencia de realizar la evaluación. Considerando el momento en el que se presentará el informe.Este criterio depende de aspectos como la sobre o infrautilización percibida o la fase de introducciónen que se encuentra la TS.

• La variabilidad en el uso de esa tecnología o en el manejo de la enfermedad entre diferentes zonas geo-gráficas o medios clínicos.

• La disponibilidad de la información necesaria para realizar la evaluación.

• Calidad y grado de homogeneidad de la información que se utilizará para la evaluación.

• Los recursos necesarios para realizar la evaluación y la capacidad para obtenerlos. Tiempo, recursoshumanos, urgencia u oportunidad política de la solicitud.

• La idoneidad de que se responda aportando informes ya elaborados o fuentes de información rela-cionadas, o la posibilidad de que otros organismos lleven a cabo el proyecto.

En algunas ocasiones el estudio de factibili-dad puede concluir con la conveniencia deelaborar un informe preliminar de forma rá-pida o un informe completo de ETS. Un infor-me preliminar puede constituir una ap rox i-mación inicial al conocimiento científico dis-ponible sobre esa TS, siendo útil para la esti-mación de los recursos necesarios paraculminar el proceso de ETS, o para re a l i z a rp o s t e r i o r m e n t e, si así se decide, un informede evaluación completo.

3.3. La elaboración del proyectode evaluación

En los pasos anteriores se han definido lasp reguntas de eva l u a c i ó n , se ha estudiado

la factibilidad de realizar el informe y seha realizado una búsqueda de informaciónp re l i m i n a r. En este momento ya se tieneinformación suficiente como para conocerel volumen de litera t u ra que se va a mane-j a r, diseñar la estra t e gia de revisión de lal i t e ra t u ra y considerar la utilización deo t ros métodos. Se está en disposición deplanificar la evaluación presentando unp royecto para la discusión con los solici-t a n t e s.

Los contenidos que debe incluir un pro t o-colo o proyecto de evaluación pueden es-t r u c t u rarse tal y como se propone en la ta-bla 3.

No siempre es posible definir con pre c i s i ó ntodos los puntos especificados en la tabla 3,

ya que son los estadios iniciales del proyectoy no se dispone de información suficiente. Poro t ra parte, existen otras posibles pro p u e s t a sde esquema para el proyecto de eva l u a c i ó n .Por ejemplo, el Fondo de Investigación Sanita-ria de la Seguridad Social en España exigeuna serie de requisitos para la financiación dep royectos de investigación que conformantoda una propuesta de pro t o c o l o4 0; además,se han publicado muchos trabajos con esque-mas sobre cómo planear y conducir una in-vestigación científica que son aplicables a laETS41,42,43,44.

La elección de la metodología a emplear

Éste es el aspecto del proyecto de eva l u a c i ó nque más va a condicionar el resultado final ylas posibles limitaciones del informe. Un in-forme de ETS puede utilizar un amplio ra n g ode técnicas y métodos de análisis, algunos delos cuales se describen posteriormente enesta guía. Cada uno de esos métodos ha sidoampliamente estudiado y analizado, con susfortalezas y debilidades. Algunos están enc o n t i nuo debate y son muy controve r-t i d o s.

En muchos casos, los informes de ETS inclui-rán la utilización de varios métodos comple-mentarios para la obtención de informaciónque permita responder a las preguntas deevaluación. Por ejemplo, si el objetivo es com-parar la eficiencia en un Servicio de Salud deuna técnica diagnóstica nueva, A, con respec-to a la antigua, o B, se puede realizar una revi -

sión sistemática a c e rca de su eficacia que in-cluya meta-análisis. Las medidas resumen ob-tenidas se pueden incluir en un análisis de de -cisión que cuantifique el valor de las dos es-trategias diagnósticas. Además, con los datossobre los costes que ocasionan las dos técni-cas se puede realizar un estudio de coste-efecti -vidad que permita comparar su eficiencia.Todo ello puede ser completado con un estu-dio del contexto local en el que se van a apli-car esas tecnologías mediante una encuestaque valore la práctica habitual y disposiciónal cambio por parte de los profesionales.

El estudio y consideración de la metodologíamás adecuada para responder a la pregunta yelaborar unas conclusiones basadas en infor-mación de alta calidad re q u i e re n , g e n e ra l-m e n t e, la mayor parte del esfuerzo que seemplea en elaborar el proyecto de evaluación.

Por otra parte, uno de los aspectos clave de laplanificación de los recursos necesarios paraelaborar el informe es el grado de exhaustivi-dad de la búsqueda bibliográfica. Ésta es unat a rea que siempre parece inacabada y, a d e-más, tiene rendimientos decrecientes. A partirde una determinada cantidad de tra b a j o,cada nueva unidad de resultado obtenida re-quiere recursos crecientes. La decisión sobreel tiempo y recursos a emplear en la elabora-ción del informe debe ser valorada en funcióndel tipo de pregunta, los objetivos del trabajo,la exhaustividad necesaria para responder ala pregunta o los recursos disponibles.

Tras la presentación del proyecto de eva l u a-ción se debe convocar una reunión entre lossolicitantes y los evaluadores para discutir y


Tabla 3Estructura de un proyecto de evaluación

+ Definición precisa de las preguntas u objetivos generales y específicos de la evaluación.

+ Metodología que se utilizará para elaborar el informe: revisión sistemática, evaluación económica,métodos de consenso, encuesta sobre el uso actual de una TS, investigación con datos primarios uotros métodos.

+ Fuentes y estrategia de la búsqueda de información.

+ Criterios de inclusión y exclusión de los estudios, y criterios que se van a utilizar para la lectura crí-tica de los estudios.

+ Datos a extraer de los estudios y métodos que se emplearán para ello.

+ Estudio de los sesgos y limitaciones del proyecto.

+ Equipo de trabajo y, en su caso, métodos de selección de los expertos que van a participar.

+ Necesidades de personal, de tiempo y de presupuesto, para llevar a cabo la evaluación.

+ Estrategia de difusión del informe una vez elaborado.

+ Recopilación bibliográfica preliminar.

aprobar el proyecto. En cualquier caso, la rea-lización del proyecto debe ser un proceso fle-xible y abierto a la modificación y valoracióncontinuas45.

4. Búsquedade la información

La búsqueda exhaustiva y sistemática de lainformación requerida por las preguntas deevaluación constituye la base de todo informede ETS. En los últimos tiempos, a la vez quehan progresado los sistemas de identificaciónbibliográfica, acercándose a la exhaustividada través de las búsquedas sistemáticas, h aaumentado exponencialmente la cantidad deinformación médica, de tal manera que estaractualizado cada vez cuesta más esfuerzo; eslo que se ha denominado sobrecarga de infor-mación, information overload46. Hace trece añosya se estimaba que la cantidad de artículosmédicos que se publicaban al año ro n d a b alos 2 millones en unas 2.000 revistas médi-cas47.

La búsqueda a través de bases de datos bi-bliográficas es actualmente impre s c i n d i b l epara realizar una buena revisión de la litera-tura médica. Las bases de datos electrónicasde amplia cobertura más utilizadas son MED-LINE y EMBASE, si bien el uso exclusivo de es-tas bases presenta limitaciones. Se ha estima-do que MEDLINE sólo identifica el 30% de losensayos clínicos randomizados y controladosen algunos temas científicos4 8. O t ra limita-ción de las bases de datos proviene, paradóji-c a m e n t e, de su principal ve n t a j a , ya que elsistema de palabras clave posibilita la identi-ficación rápida de algunos artículos de untema determinado pero no ofrece pre c i s i ó n .Existen múltiples interpretaciones sobre quépalabras clave definen mejor un tema de in-vestigación y puede haber errores o inexacti-tudes en el proceso de elección de las pala-bras clave de un artículo por parte de los edi-tores o autores. Además, hay que considerarla posibilidad de que la búsqueda esté afecta-da por el sesgo de publicación o por el sesgodebido al idioma del artículo.

La búsqueda a través de bases de datos bi-bliográficas es el mejor sistema para encon-t rar rápidamente unos pocos trabajos sobreun tema determinado, pero no permite reali-zar una búsqueda exhaustiva si es utilizadoen solitario. Algunos estudios han estimado lac apacidad de las bases de datos MEDLINE yEMBASE, concluyendo que su utilización con-

junta mejora mucho la capacidad de identifi-cación de literatura y la precisión de la bús-queda. La base de datos americana,MEDLINE,es más accesible y menos costosa, pero se haestimado que el solap a m i e n t o, o sea, los re-sultados comunes entre los dos sistemas debúsqueda, es de un 34%, con lo que la mayo-ría de los artículos sólo están en una de lasdos bases de datos49.

La estrategia de búsqueda es un paso clave, ya la vez complejo, que merece un tiempo im-portante que asegure que la revisión biblio-gráfica realizada para el informe sea sistemá-t i c a , e x h a u s t iva y pre c i s a . La utilización debases de datos electrónicas permite diseñaruna estrategia de búsqueda sistemática y fá-cilmente reproducible, disminuyendo los ses-gos. La exhaustividad y la precisión dependenen gran parte de la selección de las palabrasclave.

Estas dos cualidades, asimilables a la sensibi-lidad y especificidad, generalmente son inver-samente pro p o rcionales; es decir, a medidaque aumentamos la exhaustividad de unabúsqueda, reducimos su precisión. El intentode obtener un número elevado de trabajos so-b re un tema puede producir el denominadoruido de información, o aumento del vo l u m e nde publicaciones no relevantes para el usua-rio. Por el contrario, una búsqueda que tiendaa la precisión producirá el efecto contrario, si -lencio de información, los resultados de la bús-queda pueden omitir documentos relevantesque no se ajustan a la estrategia de búsque-da, que resulta excesivamente selectiva50. Portanto, una buena búsqueda bibliográfica debecombinar estrategias que consigan un resul-tado equilibrado en exhaustividad y pre c i-sión.

Asimismo, el período de tiempo cubierto porla búsqueda y la fecha en que se realiza influ-yen considerablemente en el resultado final y,por tanto, deben describirse en la metodolo-gía del informe. Un sesgo habitual es el de se-lección de re f e rencias o reference bias, q u econsiste en que habitualmente se presta ma-yor atención a las re f e rencias re c u p e ra d a sque apoyan las tesis de la persona que realizala búsqueda. Pa ra evitarlo se debe utilizaruna estra t e gia de selección y análisis de losartículos lo más explícita posible51.

En el anexo II se presenta una relación de lasprincipales fuentes de información útiles enETS con su dirección o modo de acceso. Po ro t ra parte, a continuación se clasifican lasformas de búsqueda de información que de-ben considerarse en el proceso de elaboraciónde un informe de ETS31,52.


• Bases de datos electrónicas. Existen mu l t i t u dde bases de datos de investigaciones origi-nales, además de MEDLINE y EMBASE, quefacilitan la identificación de trabajos sobretecnologías sanitarias. Por otra parte, en losúltimos años han pro l i f e rado las publica-ciones secundarias o las bases de datos so-b re rev i s i o n e s, e n t re las que destacan lasque ofrece la Coch rane Libra r y, que en elproceso de elaboración de informes de ETSson de consulta obligada, y a veces previa, alas bases de datos de investigaciones origi-nales.

• Informes de otras agencias de ETS. M u ch a sagencias se encuentran agrupadas en la redINAHTA, que promueve una base de datoscon los informes de ETS realizados por susmiembros.

• Fuentes de información estadística y/o admi -n i s t ra t i va . La aplicabilidad de los re s u l t a-dos del proceso de ETS va a depender eng ran parte de los contenidos del estudiodel contexto local que todo informe debei n c l u i r. Este estudio se nu t re de este tipode fuentes de información. La disponibili-dad de re gi s t ros con los que poder re a l i z a run ajuste al medio local, permitirá dotarde mayor validez a las conclusiones del in-f o r m e.

• Consulta de libros o revisiones sobre el tema. Enmuchas ocasiones, la mejor manera de ini-ciar un trabajo de investigación y localizarla información más relevante y aceptada esla lectura de uno o varios libros de texto ge-nerales, continuando por un buen artículode revisión.

• Consulta en revistas especializadas. C u a n d osea posible, la revisión manual de los índi-ces de revistas relacionadas con el tema es-tudiado durante un período de tiempo de-t e r m i n a d o, suele contribuir a la localiza-ción de origi n a l e s. Este método permite larecuperación de artículos no identificados através de una búsqueda con palabras clave.La inevitable subjetividad o posibles erroresd u rante el proceso de asignación de pala-bras clave a los artículos hacen que las bús-quedas manuales sean una valiosa herra-mienta. Este método, además, permite loca-lizar las publicaciones más recientes queaún no hayan sido incluidas en las bases dedatos.

• Búsqueda a través de las referencias de los ar -tículos encontrados. Es un método que sueleresultar fructífero, aunque también laborio-so. Una buena fuente para realizar este tra-

bajo son las revisiones, ya que suelen pre-sentar un gran número de citas.

• Búsqueda de artículos publicados por un autorrelevante. Se puede realizar fácilmente me-diante el empleo de bases de datos electró-n i c a s. Es útil cuando se trata de autore smuy significativos en determinadas áreas od i s c i p l i n a s, o también cuando se estudiantécnicas muy novedosas que aún no se handifundido ampliamente entre la comunidadcientífica.

• Búsqueda en actas de congresos. Pueden seruna fuente de información muy tempranay útil sobre investigaciones recién termina-das o aún en progreso, cuya localización seve facilitada por el desarrollo actual de ba-ses de datos electrónicas que las incluyen.Si bien los resúmenes de las actas de con-g resos generalmente son una fuente pocofiable de información, al carecer casi siem-p re de datos importantes, son una buenafuente de localización de autores y tra b a-jos.

• Búsqueda de litera t u ra gris. El concepto de li-t e ra t u ra gris es aún algo impre c i s o, a pesarde que su uso está cada vez más extendi-d o. En genera l , se entiende por tal un con-junto de documentos de tirada limitada yc i rculación re s t r i n gi d a , que no pueden ob-tenerse por los canales habituales de dis-t r i b u c i ó n . Son materiales que puedenaportar resultados de un considerable va-l o r, tales como libro s, f o l l e t o s, i n f o r m e stécnicos de administraciones y empre s a spublicas o priva d a s, actas de congre s o s, t e-sis doctorales y otro s5 3 , 5 4. Aunque su loca-lización exhaustiva es difícil, a c t u a l m e n t eexisten bases de datos que facilitan su lo-c a l i z a c i ó n . Las sociedades profesionales ylos organismos de investigación puedenser otra interesante fuente de “ i n f o r m a-ción gris”.

• Consulta a personas clave. La consulta a in-vestigadores o profesionales destacados esun método de obtención de informaciónmuy útil para conseguir estudios recientesque todavía no han sido publicados o estu-dios antiguos que nunca llegaron a publi-carse. Además, los documentos de literatu-ra gris son conocidos por muchos profesio-nales que trabajan en ese campo, pero sonmuy difíciles de identificar mediante lossistemas de búsqueda clásicos. La consultaa personas clave es una manera muy eficazde disminuir el sesgo de publicación. D i r i-giéndose por carta a los autores de algunosde los estudios relevantes recuperados o a


un grupo de expertos, enviándoles una listade los estudios identificados y pre g u n t á n-doles si conocen otros artículos o tra b a j o sdiferentes a ésos.

• Solicitud de información a las casas comerc i a l e srelacionadas con la tecnolog í a . G e n e ra l m e n t e,los primeros datos y estudios sobre una T Slos realiza y conoce la industria o empre s ai n t e resada en su utilización. Las casas co-m e rciales disponen de información que, e nmu chos casos, no se hará pública o es de di-fícil acceso y que determina la forma en laque la tecnología se introduce en el sistema.

• Internet. Recientemente, el espectacular de-s a r rollo de Internet ha posibilitado un có-modo y rápido acceso a mu chas de lasfuentes de información citadas. Los busca-dores de Internet facilitan la posibilidad dee n c o n t rar rápidamente información decualquier tema, aunque en ocasiones losresultados de la búsqueda no ofrecen la ca-lidad suficiente.

El proceso de búsqueda de información eng e n e ral se compone de tres elementos o fa-ses sucesiva s, útiles para su análisis. Son lanecesidad de información, la petición de in-formación y la estra t e gia de búsqueda quefinalmente se diseña. Muy a menu d o, la in-formación que en ve rdad se necesita nocoincide exactamente con la que se pide enuna biblioteca o a través de otro medio. E l l ose debe a que el solicitante no conoce conp recisión sus necesidades, o tiene dificulta-des para expresarlas de una manera eficaz.La ayuda de un especialista en documenta-ción puede ser muy útil, tanto en la defini-ción de la pregunta como en la selección delas palabras clave y de las bases de datos ofuentes de información que se deben consul-t a r. Existen abundantes experiencias que de-mu e s t ran las difere n c i a s, a veces muy acu-s a d a s, e n t re una solicitud de información se-gún se presenta originariamente y tal comoqueda después de una discusión a fondo conun especialista en documentación5 5.

Para la selección de las palabras clave es útilla consulta de artículos re l evantes sobre eltema56 o la utilización de estrategias predise-ñadas, filtros, para la búsqueda bibliográfica( ver anexo II). Se han publicado nu m e ro s o st rabajos sobre cómo manejar MEDLINE yotras fuentes bibliográficas en la búsqueda deevidencias médicas5 7 , 5 8 , 5 9 , 6 0 , 6 1 , 6 2 , 6 3 , 6 4. A d e m á s,existen programas informáticos que facilitanla gestión de las re f e rencias bibliográficas,como REFERENCE MANAG E R6 5, P RO - C I T E6 6,ENDNOTE67, SHAPIRE68.

5. Evaluación críticay selección de losestudios identificados

5.1. La evaluación crítica de los estudiosidentificados

Es un paso fundamental en la elaboración deun informe de ETS, que contribuye a la identi-ficación de sesgos y sirve de guía en la inter-p retación de los hallazgos. Los criterios querequieren evaluación crítica se pueden dividiren aquellos relacionados con: la validez, la pre -cisión y las medidas de resultado de los estudios.

• La validez

Un estudio es válido cuando su diseño y reali-zación garantizan la detección y eliminaciónde errores sistemáticos y sesgos. Existen dostipos de validez, interna y externa. La validezi n t e r n a está relacionada con el diseño y losp rocedimientos de medición de variables ylos métodos de análisis. Un estudio tiene vali-dez interna cuando representa o mide aquellopara lo que ha sido diseñado. En ese caso, losresultados serán atribuibles a los factores queel estudio ha tenido en cuenta, además de ale r ror aleatorio6 9. El significado del términovalidez interna se relaciona con los conceptosde exactitud, fiabilidad y reproducibilidad.

La validez externa de un estudio es la potencia-lidad de generalización de sus resultados apersonas o poblaciones distintas a los sujetosdel estudio. D epende de aspectos re l a c i o n a-dos con el diseño del estudio, como el mues-treo o las características de la población estu-diada, los cuales presentan mayor dificultadde control que los condicionantes de la vali-dez interna69.

Los puntos a considerar en el análisis de lavalidez de un estudio son diversos. Por ejem-plo, puede analizarse la asignación aleatoria,por si se detecta el empleo de métodos de seu -d o a l e a t o r i z a c i ó n. Éstos se dan cuando el inve sti-gador conoce previamente la probabilidad deasignación de un tratamiento u otro, y dismi-nuye de forma considerable la calidad del es-tudio. Entre estos métodos se encuentran, pore j e m p l o, la asignación alterna, la asignaciónsegún el día de nacimiento o según el ordennumérico que supone cada paciente. Tambiénpueden analizarse las características de losgrupos de comparación. La comparación en-tre grupos separados en el tiempo, por ejem-


plo con controles históricos, tiene menor vali-dez que la comparación entre grupos simul-táneos. También, los estudios retrospectivos ylos no controlados, en general, tienen menosvalidez que los prospectivos y los controlados.En re s u m e n , son variados los aspectos re l a-cionados con la validez que deben analizarse,y se pueden clasificar en aquellos relativos ala metodología del estudio, a los participantesy a la tecnología45.

El análisis de la validez es el aspecto que me-jor valora la calidad de los estudios y, por tan-t o, de las evidencias científicas. Éstas debenfundamentar las recomendaciones de todoinforme de ETS, relacionando la fuerza de larecomendación con el grado de calidad de laevidencia científica. No es posible estableceruna recomendación muy re l evante y/o tra s-cendente a partir de evidencias de baja cali-dad. Por ello, es importante que después de lava l o ración crítica de los estudios se clasifi-quen las evidencias proporcionadas por éstossegún el grado de su calidad científica (ve ranexo IV).

• La precisión

Un concepto importante que no debe ser con-fundido con la validez es la precisión. Ésta esuna medida del error aleatorio que puedeafectar al resultado de un estudio, y que ge-n e ralmente se rep resenta a través del inter-valo de confianza de la estimación del efecto.En algunos casos se incluye entre los criteriosque ponderan los estudios sintetizados en unmeta-análisis, dando más peso a los estudiosmás precisos70.

• Las medidas de resultado

El último de los tres criterios, aunque no elmenos importante, a b o rdado anteriormenteen la sección “Definición de las preguntas deevaluación”, se convierte, muchas veces, en elcriterio más determinante para la selecciónde los artículos identificados.

• Los cuestionarios o esquemas de análisiscrítico

Estos esquemas, o ch e ck l i s t s, son útiles parao rdenar los aspectos a incluir en la eva l u a-ción crítica de los estudios identificados. Pro-porcionan un método más objetivo de análi-sis que la simple lectura crítica, aunque nun-ca evitan ésta. Presentan los problemas típi-

cos de cualquier cuestionario, la variabilidadinter e intra o b s e r vador y otras limitacionesque pueden disminuir su fiabilidad y rep ro-d u c i b i l i d a d , aspectos que deben ser eva l u a-dos si se utilizan7 1 , 7 2. En ese caso, es impor-tante que se describan claramente en el in-forme final; esto mejora la fiabilidad y re-p roducibilidad de las conclusiones. E x i s t e nmultitud de cuestionarios o tablas de análisispara la evaluación crítica de estudios, algunosde los cuales se han recopilado y resumido enel anexo III.

• Limitaciones

Una de las limitaciones más relevantes y dedifícil manejo en todo proceso de revisión dela literatura científica es el sesgo de publica-ción. Consiste en la tendencia a publicar máslos estudios con datos positivos, estudios con-siderados relevantes por el autor o por el edi-tor de la revista. En este último caso el sesgose denomina sesgo del arch iva d o r. En otro scasos, se observa que el tipo de revista deter-mina la publicación o no de determinados ar-tículos con datos negativos, o sea, datos quedemuestran la ausencia de efectividad de unat e c n o l o g í a . Este tipo de artículos son exclui-dos de algunas revistas muy especializadasque pre f i e ren divulgar sobre todo inve s t i g a-ciones sobre los avances en determinadastécnicas.

Se han realizado varios trabajos que explo-ran la repercusión potencial de los diferentessesgos de publicación que existen, y conclu-yen que este sesgo puede limitar grave m e n -te la validez de las revisiones bibliográfi-cas73,74,75,76,77. El registro prospectivo de ensa-yos clínicos es, por el momento, la única es-trategia difundida que puede ser consideradaefectiva en la lucha contra este sesgo78,79,80.

Otra de las dificultades que surgen en la eva-luación crítica de los estudios es la presenta-ción inadecuada de los métodos y resultados.A veces, se observa la ausencia de datos im-p rescindibles para la lectura crítica del ar-tículo; por ejemplo, cuando sólo se describe elnúmero de pacientes intervenidos pero no elnúmero de intervenciones totales que se hanrealizado. Se podría suponer que si no se ofre-cen datos adicionales es porque los datos deln ú m e ro de pacientes coinciden con los deln ú m e ro de interve n c i o n e s, p e ro no siemprees así.

Existen métodos para estimar esos datos in-existentes, aunque es necesario realizar algu-nas asunciones cuyo impacto en los resulta-


dos debería ser estudiado mediante un análi-sis de sensibilidad (ver el capítulo “Meta-aná-lisis”)81. En resumen, no existe ninguna solu-ción sencilla para el problema de los datosausentes, pero se aconseja adoptar una seriede precauciones: siempre se deben describirlas asunciones que se realicen, debe realizar-se un análisis de sensibilidad que va l o re loscambios que distintas asunciones pro d u c e nen los resultados, y, siempre que sea posible,se debe intentar obtener datos adicionales alos ofrecidos en los artículos, contactando di-rectamente con el autor del trabajo82,83,84.

5.2. Selección de los estudios

Las decisiones sobre cuáles son los estudiosque se incluirán en el informe de ETS son difí-ciles y muy relevantes. No es fácil discriminartodos los artículos con la misma objetividad;además, la exigencia de una descripción claraen el informe de los criterios utilizados paraesa selección,aunque mejora la reproducibili-dad y rigor de las conclusiones, en algunoscasos produce una valoración demasiado rígi-da e incluso ilógica. Se han propuesto diver-sas formas para llevar a cabo el proceso deselección de estudios31:

• Estableciendo unos criterios umbrales parala inclusión o exclusión de estudios, q u epuede seguirse de un análisis de sensibili-dad de los criterios considerados.

• Asignando pesos a cada estudio en funciónde criterios explícitos, para posteriormenteincluir esos pesos en el análisis cuantitati-vo de agregación de estudios.

• Analizando y valorando los estudios de ma-nera cualitativa, considerando la calidad elprincipal criterio de evaluación.

Al igual que para los parámetros de eva l u a-ción crítica de los estudios, los criterios deinclusión y exclusión pueden atender a: va-l o ración de la validez (metodología, c a ra c t e-rísticas de los participantes y de la tecnolo-g í a ) , la precisión y las medidas de re s u l t a-d o8 5.

Es conveniente que los criterios de selecciónde los estudios estén especificados ya en elp royecto inicial. De esta manera se ev i t a r á nsesgos de selección como el de “selección dereferencias”51. Es aconsejable que la selecciónde estudios, al igual que la utilización decuestionarios de va l o ración crítica, se hag apor varias personas y que los desacuerd o ssean discutidos y re s u e l t o s. El grado dec o n c o rdancia entre los rev i s o res puede ser

valorado mediante el índice Kappa u otros ín-dices de concordancia72,86,87.

Si son varias las personas que realizan el es-tudio o selección de la información, es útilque alguno de ellos sea experto en el tema otecnología evaluada. La presencia de especia-listas en la materia aporta conocimiento ycriterios valiosos y consistentes, p e ro pue-de introducir a su vez sesgos, dado que losexpertos generalmente tienen una opiniónpreestablecida.

Otro aspecto a decidir es si el proceso de se-lección de artículos se realiza con un métodociego para los revisores; este enmascaramien-to puede ser para los nombres de los autores,instituciones y publicaciones, y para los re-sultados de los estudios. Algunos estudiosempíricos indican que la evaluación a ciegaspuede producir puntuaciones inferiores ymás uniformes que las evaluaciones abier-tas88. No obstante, tales evaluaciones requie-ren un tiempo considerable, por lo que se de-ben sopesar los beneficios potenciales de lasevaluaciones con enmascaramiento frente alos costes ocasionados.

El proceso de decisión acerca del punto decorte entre la inclusión y exclusión de estu-dios puede rep resentarse como una líneacontinua que va desde “libre de sesgo” a “sinduda sesgado”. Existen diversos mecanismosp a ra incluir los resultados de la eva l u a c i ó ncrítica en esa decisión8 9. Se pueden utilizargráficos visuales de los resultados ordenadossegún su grado de validez. Una segunda apro-ximación es el análisis de subgrupos, q u econsiste en realizar un análisis de sensibili-dad en el que se observa si cambian los resul-tados al incluir determinados grupos de estu-dios en un lado u otro del punto de corte90,91.Un tercer enfoque consiste en ordenar los es-tudios según su calidad y combinar secuen-cialmente los resultados de cada estudio; esun tipo de meta-análisis “ a c u mu l a t ivo ” , m e-diante el cual es posible examinar el impactoen los resultados globales a medida que sevan incluyendo ensayos de menor calidad. Uncuarto enfoque consiste en utilizar métodosestadísticos para ponderar los estudios segúnsu calidad o utilizar una meta-regresión paraexplorar la relación entre calidad y magnituddel efecto entre estudios.

El manejo de los criterios de calidad en la se-lección de estudios presenta otras dificulta-d e s, ya que se sabe la elevada influencia delos criterios de calidad en los resultados delos estudios, pero no se ha medido ni se hanestablecido relaciones que permitan ponde-rar y ajustar con seguridad esos criterios.


Aunque hay estudios que han demostra d oque, en general, tanto la ocultación inadecua-da de las asignaciones como la ausencia dedoble ciego producen sobreestimaciones delos efectos del tratamiento, en general, no esrecomendable el uso amplio de las “puntua-ciones de calidad” y la excesiva confianza enlas evaluaciones detalladas de calidad de losestudios. Su uso no está sustentado por la evi-dencia empírica, puede ser lento y es poten-cialmente engañoso31.

Un problema frecuente que se plantea a lahora de seleccionar los estudios es la duplica-ción total o parcial de trabajos. Para evitarloes necesario ser cuidadoso en la revisión delos artículos, ya que es frecuente que algunost rabajos se publiquen de nu evo un tiempodespués con pequeños cambios o un incre-mento en el número de pacientes incluidos, yque el autor no indique qué parte de ese tra-bajo ya ha sido publicada prev i a m e n t e. Po rúltimo, es recomendable que el informe finalp resente tablas con los estudios selecciona-dos y otras con los excluidos, con el objeto deque los lectores conozcan con claridad cuálesson los estudios que se han quedado fuera delanálisis y por qué45.

5.3. Extracción de datos de los estudiosseleccionados

La ayuda de un formulario de recogida de da-tos, que contenga los criterios utilizados en laevaluación crítica de los estudios y los datos oresultados seleccionados cuando se definió lap re g u n t a , suele ser beneficiosa. Los datos aextraer de los estudios se clasifican en: relati-vos a los re s u l t a d o s, a su metodología, a losparticipantes y a la tecnología. La definiciónde las unidades y medidas de resultado parael formulario de recogida de datos es una delas tareas más claves. No sólo es importantela decisión de incluir una variable de resulta-do, sino su tipo, y cómo se mide y trata esta-dísticamente.

El tipo de variable va a condicionar la técnicade síntesis de resultados a utilizar. En el casode variables dicotómicas, los datos que se de-ben incluir en el formulario serán los núme-ros de personas que experimentaron el suce-so en cada grupo de comparación y los núme-ros totales de personas en cada grupo. En elcaso de variables continuas, los datos que de-ben incluirse son el número de personas encada grupo y la media y desviación estándarde la medida de resultado en cada grupo.A veces, los resultados de una variable conti-nua en algunos estudios se presentan como

cambios (media de las diferencias entre medi-ciones pre y postintervención), y en otros es-tudios como resultados postintervención31.

En ocasiones, los datos de una misma medidade resultado se presentan en forma dicotómi-ca en algunos estudios y continua en otro s.Por ejemplo, los resultados en las escalas dedepresión pueden presentarse como una me-dia o como el porcentaje de pacientes que es-taban deprimidos en cierto período despuésde una intervención (una puntuación supe-rior a un punto de corte determinado). A me-nudo, la información de este tipo es más fácilde comprender, y más útil para los que tomandecisiones, si se expresa en forma dicotómica.Sin embarg o, la decisión de establecer unpunto de corte es arbitraria y siempre se pier-de información cuando las variables conti-nuas se transforman en dicotómicas.

Hay varias opciones para tratar de combinardatos dicotómicos y continuos. En general, esútil resumir los resultados de todos los estu-dios válidos y re l evantes de manera similar,pero esto no siempre es posible. En ese casoes recomendable resumir los datos en tre sgrupos: continuos, dicotómicos y otros datos.Otra opción es presentar para todos los datosla media de las diferencias entre los gruposque se comparan o el log-odds-ratio31. Además,es aconsejable que las unidades se estandari-cen para que la comparación entre los estu-dios sea fácil y que se presenten en unidadesnaturales que son de comprensión más intui-tiva.

Un formulario de recogida de datos debe sercompleto pero manejable. Es fácil caer en unexceso por asegurar que la información quese recoge es suficiente. La elaboración deunas instrucciones para la utilización delcuestionario, el entrenamiento de los recopi-l a d o res de información y la realización deuna prueba piloto que aseguren la validez yp recisión de los datos obtenidos son conve-nientes. La prueba piloto se realizará en unamuestra representativa de los estudios identi-ficados y sus resultados pueden aconsejar lamodificación de alguna parte del cuestiona-rio.

En todo proceso de obtención de datos se de-ben tomar una serie de medidas encamina-das a asegurar la fiabilidad y pre c i s i ó n , a s ícomo estudiar la concordancia entre las in-t e rp retaciones de los diversos re c o p i l a d o re sde datos, asegurar una codificación discrimi-nante pero a la vez manejable o realizar uncontrol de calidad de los posibles errores encualquiera de las fases del proceso de extrac-ción de datos. La extracción de datos puede


ser aconsejable que se realice por varias per-s o n a s, estableciendo previamente el sistemade consenso que se utilizará y analizandoposteriormente la concordancia entre obser-vadores.

El grado en que diferentes personas coincidenen los datos extraídos de un estudio se co-r responde con la fiabilidad del cuestionario.No hay un estándar fijo sobre el nivel de fiabi-lidad adecuado o sobre cómo evaluar la fiabi-lidad. Sin embargo, es importante que se ana-lice en todo el proceso de recogida de datos.Por ejemplo, si después de alcanzar el con-senso en los primeros estudios los observado-res detectan o mu e s t ran frecuentes discre-pancias en datos específicos, p ro b a b l e m e n t esea necesario modificar las instrucciones decodificación. Si aparecen cambios frecuentesen la forma de codificar por parte del mismoo b s e r va d o r, denominado coder drift o cambiotemporal en la forma de codificar la informa-ción, posiblemente sea necesario volver a co-dificar o incrementar el entrenamiento31.

6. Estudio del contextolocal

E n t re la información fundamental que debeincluir un informe de evaluación está la re f e r i-da a la situación del medio en el que se ap l i c ao se va a aplicar la tecnología. La utilidad deun informe de ETS se maximiza si se ofre c euna va l o ración adaptada a las condiciones lo-cales en las que se encuentra el usuario de latecnología o re c eptor del informe. Si los datosy conclusiones ofrecidos por el informe sonaplicables al medio del que forma parte el lec-t o r, el informe ofrecerá confianza e interés aéste y será más fácil conseguir el efecto finalque busca la ETS: influir en la toma de decisionesrelacionadas con la T S. El estudio del contextolocal es especialmente necesario si el carácterde la pregunta va orientado a conocer el usoap ropiado de una tecnología o su impacto enuna determinada organización o ámbito.

Evaluar el impacto local de una TS u ofrecerinformación que sitúe la evaluación en uncontexto determinado es un elemento especí-fico de las organizaciones que hacen ETS, ad i f e re n c i a , por ejemplo, de aquellas dedica-das a la realización de revisiones sistemáti-cas. La valoración de la validez externa o ge-neralizabilidad de las conclusiones de los in-formes de ETS está íntimamente relacionadacon el análisis del contexto local que incluyael informe.

El marco de desarrollo de los estudios (aten-ción primaria, especializada, población gene-ra l ) , los criterios de inclusión y exclusión desujetos en los estudios, las características dela interve n c i ó n , pueden orientarnos sobre elgrupo de población y condiciones locales deaplicación de la tecnología. Las cara c t e r í s-ticas de la población, la prevalencia y distri-bución de la enfermedad, el nivel de recursosy tipo de sistema sanitario, la perc epción ypreferencia de los pacientes y de los profesio-nales, condicionan la aplicabilidad y efectivi-dad de una determinada tecnología que hademostrado ser eficaz en determinadas con-diciones ideales. Por ello, resulta fundamentalañadir a la revisión y búsqueda de evidenciasun análisis contextualizado que facilite latoma de decisiones sobre la adquisición o de-sarrollo de la TS.

El estudio del contexto local puede enfocarsede dos formas, descriptiva o analítica. El enfo-que descriptivo consiste en ofrecer informa-ción re l evante sobre la utilización actual of u t u ra de la tecnología o sobre las posiblesconsecuencias de la implantación de esa tec-nología basada en datos de otros estudios oregistros sanitarios diseñados para otro fin. Elenfoque analítico consiste en realizar un es-tudio con datos primarios que evalúe la utili-zación o implantación de la tecnología en elmedio elegido. Este enfoque ofrece mayor ca-lidad que el descriptivo, ya que la informa-ción se recoge in situ en el mismo ámbito localde la evaluación, y representa una metodolo-gía eva l u a t iva muy potente, dada la enormevalidez y aplicabilidad de sus conclusiones.

Otros aspectos a considerar cuando se estu-dia el contexto son los aspectos legales y or-g a n i z a t ivo s. Conocer la normativa legal queafecta al uso de la TS es esencial para valorarla introducción de ésta en el sistema sanitarioo para la elaboración de recomendaciones so-bre su uso apropiado o su regulación. En otroscasos resulta muy útil realizar un estudio dela normativa legal o de la situación organiza-tiva comparando diversos países, con el obje-to de evaluar la conveniencia de que el infor-me realice propuestas que afecten a la legis-lación u organización del sistema sanitario.

Por otra parte, el proceso de difusión y aplica-ción en la práctica de las conclusiones y reco-mendaciones del informe incluye la re a l i z a-ción de actividades que produzcan efectos om o t iven cambios en un medio o ámbito de-terminado. El éxito de esta fase de la ETS de-penderá en parte del estudio del contexto lo-cal que se haya re a l i z a d o. La tabla 4 ofre c euna de las posibles clasificaciones de la infor-


mación que se puede utilizar en un estudiodel contexto local. Además, en el anexo II sep ro p o rciona una selección de las fuentes deinformación estadísticas y administra t iva s,útiles para la valoración del impacto local deuna TS.

7. Técnicas de síntesisde la informacióny otros métodosutilizados en ETS

7.1. Síntesis cualitativa y narrativa

El empleo apropiado de la metodología cuan-t i t a t iva es un instrumento muy potente quecontribuye a evitar muchos errores y a ajus-tar las interpretaciones, pero muchas veces seo b s e r van importantes limitaciones para elempleo de técnicas de integración cuantitati-va de resultados. En contraste, las valoracio-nes cualitativas deben estar incluidas siem-pre en los informes de ETS. Es más, muchosde los informes sólo van a incluir una valora-ción cualitativa o narrativa que, situada en elcontexto de la ETS, tiene que ser sistemática,exhaustiva y explícita19.

A veces los resultados del empleo de una téc-nica estadística, por ejemplo un meta-análi-sis, no son discutidos con la amplitud y pro-fundidad necesarias y no se va l o ran sufi-cientemente las consideraciones referentes ala calidad de los estudios, las limitaciones dela técnica estadística o la re l evancia clínicade los resultados89,92. La proliferación de estu-dios que incluyen un meta-análisis está au-mentando, lo que ha llevado a que se anali-cen los problemas y ventajas de su utilizaciónen medicina,advirtiendo de la peligrosidad de

una excesiva confianza en ellos9 3 , 9 4 , 9 5. A l g u-nos autores han mostrado que, en mu ch o sc a s o s, los resultados de un meta-análisis noson consistentes con los de ensayos aleatori-zados, controlados y de gran tamaño realiza-dos con posterioridad96. Los riesgos, compleji-dad, así como las limitaciones e incertidum-b res acerca de las consecuencias de su usop a ra la obtención de evidencias científicas,han llevado a algunos autores a recomendarrestricciones en su empleo92,95,96.

Las razones para no emplear técnicas estadís-ticas de síntesis cuantitativa de resultados enmedicina pueden resumirse en las siguien-tes45:

• La excesiva heterogeneidad de los estudiosy/o sus resultados.

• La falta de datos válidos y/o relevantes.

• La escasa precisión de los datos disponi-bles.

• La baja calidad metodológica de los estu-dios.

• La inseguridad de que la agregación cuanti-t a t iva de resultados pueda contribuir aaclarar las dudas que ya existen.

Si los datos seleccionados no tienen la calidadsuficiente como para ser considerados váli-d o s, su ag regación puede dar lugar a erro r,c u yo efecto se incrementa por la confianzaque pueda tener el lector en un documentoque le ofrece la mejor evidencia disponible. Ladifusión de información sesgada tiene peoresconsecuencias en mu chas ocasiones que elhecho de no difundir ninguna información. Elh e cho de conocer que no existen ev i d e n c i a scientíficas sobre la contribución de una tec-nología a la mejora de la salud puede ayudaren la toma de decisiones.

Todo informe de ETS debe contener, al menos,una síntesis cualitativa o narrativa que inclu-


Tabla 4Tipos de fuentes de información útil para el estudio del contexto local

• Datos epidemiológicos de la enfermedad o condición clínica implicada, referidos fundamentalmen-te a la magnitud y distribución de ésta.

• Datos que describan la utilización actual de la tecnología y la práctica clínica habitual,a través de lainformación contenida en registros sanitarios, encuestas o estudios ad hoc.

• Datos sobre los costes que conllevará la utilización de la tecnología.

• Datos económicos y/o sociales de la población afectada.

• Otros datos que ayuden a responder a las preguntas de investigación en el contexto local.

ya una revisión bibliográfica exhaustiva y sis-temática con una buena valoración crítica delos estudios identificados, un examen y des-cripción minuciosos de los datos de los ar-tículos, la elaboración de tablas que resumany comparen los trabajos, y un estudio del im-pacto de la tecnología en el contexto local delsolicitante.

Una evaluación desarrollada únicamente me-diante una síntesis cualitativa debe evitar for-mas de síntesis p s e u d o c u a n t i t a t i vas que nopresentan las suficientes garantías de calidadmetodológica. Por ejemplo, se pueden come-ter errores como comparar el número de es-tudios positivos y negativos, enfoque del “re-cuento de votos”, o excluir estudios con efec-tos pequeños pero clínicamente relevantes oestudios que presentan efectos sin significa-ción estadística94; a veces, se ponderan los es-tudios inadecuadamente. La valoración de laimportancia de los estudios no puede hacerses u b j e t iva m e n t e, es necesario explicitar unaserie de criterios ra z o n a d o s. El recuento devotos concede igual peso a los estudios, igno-rando las diferencias en su tamaño y calidad.Todas estas formas de síntesis son metodoló-gicamente deficientes y pueden intro d u c i rimportantes sesgos, agravados por la confian-za que suele producir la utilización de meto-dología cuantitativa.

A continuación se abordan los enfoques ana-líticos cuantitativos más útiles para la sínte-sis de resultados en ETS. El meta-análisis, elanálisis de decisión y la evaluación económi-ca son instrumentos metodológicos de gra nvalor en ETS que pueden usarse de formac o m b i n a d a , c o n s t i t u yendo una herra m i e n t ade gran potencia97. Algunos estudios han in-tegrado estas técnicas en la búsqueda de me-didas resumen que obtuvieran el máximoc o n s e n s o9 8. Los métodos citados, junto conlas técnicas de consenso a través fundamen-talmente del juicio de expertos, deben cono-cerse con profundidad para la práctica de laETS; en algunos casos se emplearán para laelaboración del informe; en otros, su uso se li-mitará a la lectura crítica e integración de susresultados en la evaluación.

7.2. Meta-análisis

Es un método cuantitativo para la agregaciónde resultados de diferentes estudios basadoen la utilización de técnicas estadísticas queposibilitan la combinación y síntesis de losdatos de las diversas investigaciones, y en lasque las unidades primarias de análisis son los

d i f e rentes estudios. El objetivo del meta-análi-sis no es únicamente la obtención de una me-dida que sintetice el efecto de una interve n-c i ó n , sino también el análisis y la va l o ra c i ó nde las diferencias entre los resultados de losd i f e rentes estudios. Ya en 1904 ap a recen estu-dios que emplean este tipo de técnica9 9, p e rono fue hasta la década de los setenta en que elmeta-análisis se comenzó a usar en medicina.El término meta-análisis fue acuñado porG l a s s1 0 0 y posteriormente redefinido por la Bi-blioteca Nacional de Medicina de Estados Uni-dos como sigue: “método cuantitativo de com-binación y síntesis de resultados de estudiosi n d ependientes (obtenidos generalmente det rabajos publicados) con el objeto de conse-guir unas conclusiones o un resumen quepueda ser utilizado para la va l o ración de lae f e c t ividad de un tratamiento o la planifica-ción de nu evos estudios, e n t re otros usos”2 0.

Un meta-análisis estaría indicado en aquellasocasiones en las que se desee realizar una re-visión crítica con el rigor de un pro t o c o l ocientífico; cuando los resultados de los estu-dios existentes son conflictivos o no conclu-ye n t e s, por ejemplo, si incluyen un númeroreducido de pacientes; e incluso cuando sedesea detectar la evidencia existente y la cali-dad de la misma, identificando las lagunas enel conocimiento del área investigada.El meta-análisis se considera útil si los estudios sonde alta calidad, existe una heterogeneidad ex-plicable y de pequeño tamaño o la obtenciónde una medida estimadora de un efecto clíni-co resulta de alta relevancia. Sin embargo, to-davía no puede decirse que los beneficios desu utilización compensen los riesgos y limita-ciones que presenta92,94,95,96.

Los pasos de un meta-análisis son los siguien-tes97:

1) Formulación de los objetivos o preguntasde investigación y establecimiento de unprotocolo o proyecto que planifique el es-tudio.

2) Búsqueda y re c u p e ración de estudios,análisis de su calidad y selección, d ea c u e rdo con los criterios de inclusión yexclusión especificados previamente.

3) Selección y extracción de los datos delos estudios (fundamentalmente ca-racterísticas metodológicas y re s u l t a-d o s ) .

4) Test de homogeneidad, que determina sies adecuado el cálculo de una medida re-sumen a partir de los resultados de los di-ferentes estudios.


5 ) Análisis estadístico mediante el cual seobtiene un resultado que sintetice los estu-dios seleccionados.

6 ) Análisis de sensibilidad para conocer lasolidez de la medida final obtenida.

Antes de realizar un meta-análisis se debenestablecer con precisión las medidas de resul -tados y el estadístico que se utilizarán para re-p resentar los efectos y ag re g a r l o s. Las medi-das de resultados deben ser coherentes conlos criterios de inclusión y exclusión de lose s t u d i o s. Los estadísticos descriptores de losefectos que más se utilizan son las difere n-cias de tasas (mediante o d d s - ra t i o, riesgos re-l a t ivo s, d i f e rencias de riesgo, reducción deriesgo y el número necesario de pacientesi n t e r venidos para prevenir un caso, N u m b e rNeeded to Tr e a t)1 0 1 , 1 0 2 , 1 0 3 o las diferencias envariables continuas (mediante compara c i o-nes de medias o comparaciones de mediase s t a n d a r i z a d a s ) .

La representación gráfica de los resultados delos estudios incluidos en el meta-análisis esde gran utilidad. Se han usado varios métodosgráficos, el clásico suele tener forma de pirá-mide o embudo. En él se representa la medida

de efecto en el eje de abscisas (eje x) y a lo lar-go del eje de ordenadas (eje y) se sitúan los di-f e rentes estudios ordenados por el peso quese les haya dado. Generalmente se ponderanpor el inverso de la varianza de la medida deefecto elegida o por el tamaño de la mu e s-t ra1 0 4. El siguiente ejemplo (figura 2) formaparte de un meta-análisis que pretende inte-grar los ensayos clínicos aleatorios que com-paran los efectos de la angioplastia coronariay de la cirugía con bypass en pacientes conangina severa105.

La figura 2 rep resenta los logaritmos de losriesgos re l a t ivos (log RR) del grupo tra t a d ocon ACTP frente al grupo tratado con CB, d etal manera que si un RR es mayor de 1 indicaun riesgo mayor en el grupo tratado conAC T P. El meta-análisis de los ocho ensayo sclínicos (cuatro forman un único grupo deanálisis) fue realizado con el método de efec-tos fijos, obteniendo una medida sumaria dela media ponderada de los log RR. La ponde-ra c i ó n , y por tanto el orden de los estudiosen el “eje y”, se realizó por el inverso de lavarianza del RR. Los estudios con mayor va-rianza ap a recen en la parte inferior del grá-f i c o.


Figura 2Prevalencia de angina (de grado >1) tras un año de seguimiento en el grupo tratado

con Angioplastia Coronaria Transluminal Percutánea (ACTP) frente al tratado con Cirugíade Bypass (CB) (tomado de Pocock105)

CB ACTP

Ensayo 1 52/474 77/493

Ensayo 2 51/481 102/496

Ensayo 3 17/188 34/184

Ensayo 4 35/139 44/155

Otros 4 ensayos 13/268 21/254

Medida resumen

Se han utilizado otros métodos gráficos,como el llamado odd man out, en el cual las u p e rposición de los intervalos de confian-za facilita la obtención de una re gión queresuma los interva l o s1 0 6. También se utili-zan la rep resentación de la “tendencia cro-n o l ó gica del efecto”1 0 4, los gráficos de cajas(box plot)1 0 7 o gráficos biva r i a d o s, radiales oc i rc u l a re s1 0 8.

Antes de realizar un meta-análisis debemosc o m p robar que la heterogeneidad entre losdiferentes estudios que vamos a combinar sedebe al azar, en vez de a factores no aleato-rios, mediante la realización de un test de ho -mogeneidad (ver tabla 5).

El siguiente paso es la realización de la técnicaestadística de combinación de estudios, con loque se obtiene una medida resumen, que ge-n e ralmente se presenta acompañada de sui n t e r valo de confianza1 1 1. Los estudios sonp o n d e rados generalmente por su va r i a n z a ,aunque también se aplican otros criterios: ca-lidad del estudio, diseño y validez de los da-tos70,89,97.

La heterogeneidad entre los estudios puedeincorporarse en el análisis, a través de los mé-todos de efectos aleatorios, o no ser incluida,si se utiliza un método de efectos fijos20. Losmodelos de efectos fijos asumen que existe unúnico efecto en la población y no tienen encuenta la heterogeneidad (varianza) entre losdistintos estudios. Así, el tamaño del estudioy su propia varianza son los únicos determi-

nantes de su peso ponderado en el meta-a n á l i s i s. El modelo de “efectos fijos” es válidop a ra comprobar la “hipótesis nula global”, l acual defiende que ningún estudio tiene efec-t o. Un resultado que permita re chazar esta-dísticamente la hipótesis nula global indicaque existe efecto en al menos uno de los es-t u d i o s.

Los modelos de efectos aleatorios, por el contra-rio, tienen en cuenta la heterogeneidad entrelos estudios al considerar que los efectos de lai n t e r vención en la población son diversos yque los estudios incluidos en la revisión sonsólo una muestra aleatoria de todos los posi-bles efectos. La ponderación de los estudiosse realiza, además de por la varianza o tama-ño de éstos, por la varianza entre los estudios.Los resultados de este método tienden a sermás conserva d o re s, con mayo res interva l o sde confianza, y generalizables al posible uni-verso de estudios. Deben utilizarse siempreque se determine tras un test de homogenei-dad que los estudios son heterogéneos y nopuedan identificarse claramente las causas,lo cual es muy habitual. Se puede decir queexiste consenso general sobre la utilizaciónprioritaria del modelo de «efectos aleatorios».

Los métodos estadísticos utilizados en el meta-análisis son múltiples y no están totalmen-te establecidos. Pa ra una visión genera lpueden ser útiles las siguientes re f e re n-cias82,97,104,112,113,114. La elección de la técnicadepende fundamentalmente del tipo de datosanalizados (ver tabla 6).


Tabla 5Análisis de homogeneidad

El propósito es comprobar si los factores que motivan la heterogeneidad entre los estudios no sonaleatorios o, por el contrario, se deben al azar. Una manera de hacerlo es a través del estudio de la re-presentación gráfica conjunta de los resultados de los estudios. Por ejemplo, con la utilización de losgráficos odd man out106, pero la metodología más utilizada es el Análisis de Homogeneidad82,109,110.

Si el resultado de la prueba es que las diferencias observadas no pueden ser explicadas por el azar, seconcluye que hay heterogeneidad.En ese caso es importante explorar y explicar en la medida de lo po-sible los motivos de hetero g e n e i d a d . Las características diferenciales que se utilizan más habitual-mente para definir la heterogeneidad entre los estudios son las características de los pacientes, de laintervención sanitaria (por ejemplo, la dosis administrada) y de las medidas de resultado utilizadas45.

Hay que ser muy cautos a la hora de buscar explicaciones a esa heterogeneidad. Se pueden adoptarvarias opciones, de las cuales la más rigurosa metodológicamente es no resumir los estudios en unamedida sumaria. En cualquier caso, si se realiza es necesario presentar los resultados con claras ad-vertencias a sus limitaciones analíticas y utilizar el modelo de “efectos aleatorios”. En caso de que seencuentren motivos convincentes que expliquen la heterogeneidad entre los estudios, la opción másrecomendable es realizar un Análisis de Subgrupos (ver tabla 7).

Un meta-análisis basado en la agregación dedatos de pacientes individuales, mega-análisis,es más válido y fiable que el basado en la sín-tesis de los resultados ofrecidos por cada es-tudio. El aumento del poder estadístico, la po-sibilidad de comprobar la calidad de los datosoriginales y de corregir ciertos errores, la posi-bilidad de adaptar el análisis a la pre g u n t aque nos interesa, y de realizar análisis de sub-grupos (ver tabla 7), son algunas de las venta-

jas de este método. Sin embargo, en la mayo-ría de los casos es muy difícil obtener los da-tos individualizados originales de cada estu-dio, debido a la pérdida de datos, acceso limi-tado o a la ausencia de colaboración de los in-vestigadores.

La combinación de estudios de validez mu ydiferente en un meta-análisis debe realizarsecon una metodología específica que evite ses-g o s. Se han utilizado hasta el momento tre s


Tabla 6Métodos estadísticos para meta-análisis disponibles en el programa informático

REVMAN 3.0 (tomado de Mulrow31)

Tipo de datos Estadístico descriptor Modelo Método

Dicotómicos Odds-ratio Efectos fijos Peto115,116

Mantel-Haenszel117,118

Efectos aleatorios Dersimonian-Laird110

Riesgo relativo Efectos fijos Mantel-Haenzsel

Efectos aleatorios Dersimonian-Laird

Diferencia de riesgos Efectos fijos Mantel-Haenszel


Continuos119,120,121 Diferencia de medias Efectos fijos Inverso de la varianza oponderada método de Woolf109,122


Diferencia estandarizada Efectos fijos Inverso de la varianzade medias


Datos de pacientes Odds-ratio Efectos fijos Petoindividuales

Tabla 7Análisis de subgrupos

El estudio de los resultados de una serie de trabajos puede enfocarse hacia la búsqueda de explicacio-nes en las diferencias entre los grupos de participantes. Este tipo de metodología pretende contrastarla significación de una diferencia aparentemente importante en un subgrupo, por ejemplo en mujeres,o en una determinada franja de edad.

La utilización o interp retación de un análisis de subgrupos debe hacerse con mu cha cautela, ya que pue-de haber mu chos factores que pueden explicar las diferencias entre los estudios. Podemos estar intro d u-ciendo fácilmente erro res sistemáticos o heterogeneidad y las conclusiones o recomendaciones en esecaso provocan equivocaciones que afectan a la asignación de recursos a todo un grupo de población.

Los factores que influyen en la fuerza de las conclusiones que un análisis de subgrupos puede propo-ner son la magnitud y la significación estadística de las diferencias, si la hipótesis fue anterior o poste-rior al análisis, si el análisis de subgrupos fue una entre las varias hipótesis que se estudiaron, si la di-ferencia surgió por las comparaciones intra o interestudios, si la hipótesis es consistente y si existenevidencias indirectas que la apoyan.90,91

métodos diferentes para ese objetivo. El pri-m e ro consiste en realizar un meta-análisispara cada grupo de estudios, clasificando és-tos por su calidad, y posteriormente compa-rar los resultados. El segundo consiste en rea-lizar algo parecido a un análisis de sensibili-d a d , i n c l u yendo en el meta-análisis paso apaso estudios de menor validez que van mo-dificando los resultados; es lo que se llamameta-análisis acumulativo1 2 3. El tercer métodointroduce la calidad de los estudios como unavariable más en un análisis multivariante; esla técnica denominada meta-regresión124,125,126.

El último paso de un meta-análisis es el análi -sis de sensibilidad. Es una prueba de estabili-dad de los resultados de una técnica de sínte-sis cuantitativa, sea meta-análisis, evaluacióneconómica o análisis de decisión. Se utilizacuando hay incertidumbre en aspectos im-portantes que condicionen la validez de losestudios. Sirve, por tanto, para valorar la con-sistencia de la medida resumen obtenida trasel proceso de combinación cuantitativa de re-sultados. Con el análisis de sensibilidad se in-tenta responder a la pregunta ¿serían diferen-tes los resultados finales de la técnica esta-dística si se modifican los datos dudosos quese han utilizado en el análisis? Por tanto, seestá comprobando la robustez de los resulta-dos con relación a las asunciones y supuestosque han surgido en el proceso de realizacióndel análisis.

En general, los tipos de asunciones o aspectoscondicionantes de la validez que se examinanen los análisis de sensibilidad incluyen31:

— Cambio de los criterios de inclusión.

— Inclusión o exclusión de estudios en losque persiste ambigüedad sobre si reúnen ono los requisitos de inclusión.

— Exclusión de estudios no publicados.

— Exclusión de los estudios de poca calidadmetodológica.

— Cambio en el intervalo de resultados paralos estudios que plantean incertidumbres.Por ejemplo, debido a incongruencias en lamanera de describir los datos o a diferen-cias en la definición o medida de los resul-tados.

— Imputar un intervalo de valores razonablea los datos inexistentes.

— Cambio en el enfoque analítico. Por ejem-plo, usando un modelo de efectos aleato-rios.

El análisis de sensibilidad se realiza repitien-do la técnica estadística realizada con dife-

rentes va l o res para determinados datos, i n-c l u ye n d o, por ejemplo, un estudio excluidop rev i a m e n t e, o b s e r vando posteriormente sila modificación cambia sustancialmente elefecto final. Si ocurre así, los resultados notienen la solidez suficiente y, por tanto, es ne-cesario ser muy cauto en la valoración de losdatos y en la elaboración de las conclusio-nes97. El análisis de sensibilidad es una de lasmejores maneras de depurar o detectar erro-res y de realizar una evaluación pre l i m i n a rdel resultado final de una síntesis cuantita-tiva127.

Existen diversos programas informáticos úti-les para la realización de un meta-análisis ouna revisión sistemática como: REVMAN1 2 8,FA S T * P RO1 2 9 , 1 3 0, S TATA1 2 9, T RUE EPISTAT1 2 9,D S TAT1 2 9, D E S CA RT E S1 2 9, EASY MA1 2 9 yMETA-ANALYST129.

7.3. Análisis de decisión

Es una herramienta cuantitativa que eva l ú ael valor relativo de cada una de las opcionesexistentes en una decisión9 7. D ivide los pro-blemas complejos en partes más sencillas, losanaliza en detalle y los combina de nuevo demanera que se pueda identificar la mejor es-trategia. Trata de evitar los errores sistemáti-cos producidos al establecer juicios clínicosbasados fundamentalmente en la intuiciónclínica o en la experiencia personal. El análi-sis de decisión es un procedimiento de apoyoa la toma de decisiones, basado en la utilidadesperada de cada opción desde una determi-nada perspectiva. A la vez, constituye un mé-todo sistemático de identificación de opcio-nes, cuantificación de expectativas o probabi-lidades, asignación de valores a resultados ycomparación entre opciones.

En medicina se utiliza tanto para facilitar latoma de decisiones en la práctica clínica,antepacientes concretos, como para diseñar estra-tegias globales aplicables a un amplio grupode pacientes o a la política sanitaria97. Su ori-gen proviene de la “Teoría de la Estrategia deJuegos”, descrita en los años veinte y aplicadaen economía y política a partir de la décadade los cuarenta131. Existen varios textos rele-vantes que desarrollan con amplitud el análi-sis de decisión97,132,133.

¿Cuándo está indicado el abordaje de un pro-blema mediante el análisis de decisión? Sehan propuesto las siguientes situaciones127:

1) Existe un conjunto de alternativas realesbien definidas entre las que escoger.


2) Se detecta incertidumbre sobre las conse-cuencias de las alternativas.

3) La persona o personas que deciden tie-nen pre f e rencias acerca de los posiblesresultados.

4) Existen una o más restricciones que limi-tan el conjunto de alternativas. Por ejem-plo, el coste de oportunidad de vacunar atoda la población escolar de hepatitis B estan grande que nos impide realizar otrasactuaciones sanitarias con una mejor re-lación coste-efectividad.

5) El problema precisa que se tome una de-cisión.

En algunos estudios que abordan una situa-ción clínica complicada, el análisis de deci-sión no proporciona más información que lanecesidad de datos adicionales impre s c i n d i-bles y de nu evos estudios en ese campo. E notros casos puede indicar que las diferenciase n t re los resultados de las distintas estra t e-

gias son muy pequeñas, lo que suele debersea errores del método. Incluso cuando resultapotencialmente útil, puede no ser factiblecompletar los cálculos o el análisis de sensibi-lidad precisos por limitaciones de tiempo o dere c u r s o s. No obstante, el valor del enfoqueanalítico del proceso de decisión radica enque integra los datos disponibles, obliga a unrazonamiento riguroso y expone las áreas deincertidumbre o ignorancia134.

Los árboles de decisión son las técnicas másusadas entre la amplia gama de análisis dedecisión existentes. Son útiles para explicitarla secuencia temporal y lógica de las diferen-tes alternativas de un problema, de tal mane-ra que sea fácil comprender todas sus posi-bles decisiones y consecuencias. La figura 3muestra un ejemplo de árbol de decisión paradecidir si tratar con un determinado fármacot rombolítico intravenoso a los pacientes enlos que se sospecha infarto agudo de miocar-dio.


Figura 3Árbol de decisión sobre la trombolisis en pacientes con sospecha de infarto agudo

de miocardio (tomado de Goldman134)

El cuadrado o “núcleo” marcado con la letra Aindica la decisión que el médico debe tomar.Los círc u l o s, m a rcados de B a O, indican losdiferentes resultados. Cada uno de ellos pro-viene de una rama en la que se debe escribirla probabilidad conocida que tiene de produ-cirse ese resultado. Cada una de las evolucio-nes finales posibles recibirá una utilidad o pre-ferencia,o sea, una valoración cuantitativa delo apreciado que resulta ese resultado en re-lación con los demás. El valor de cada resulta-do final se obtiene multiplicando todas lasprobabilidades de cada una de las ramas porla utilidad asignada a ese final de rama. Porúltimo, para obtener el valor final de decidirt ratar con trombolisis frente al valor de nohacerlo, se suman los valores relativos de to-das las puntas de rama resultado de esas dosdecisiones, y posteriormente se elegirá la op-ción que mu e s t re el mayor va l o r. La tabla 8describe los pasos del análisis basado en ár-boles de decisión.

Respecto al diseño de árboles de decisión sehan realizado recomendaciones genera l e sp a ra evitar erro res e incorrecciones en suc o n s t r u c c i ó n1 2 7. E n t re las re c o m e n d a c i o n e s

se incluyen las siguientes: procurar el balancee n t re riesgos y beneficios de la interve n c i ó nen las distintas ramas; situar preferentemen-te dos ramas en cada nodo de decisión; ramasligadas a través de los cálculos de probabili-dades de resultados o de las utilidades; ase-gurar la simetría, o incluir todas las condicio-nes determinantes que pueden afectar a losresultados.

Las utilidades pueden ser estimadas por di-versos procedimientos: juicio de expertos;opinión de las personas que realizan el estu-dio; búsqueda en la literatura científica o es-tudio ad hoc. Existen varias publicaciones quedescriben las utilidades de un amplio ra n g ode estados de salud1 3 5 , 1 3 6 , 1 3 7. Existen va r i a spublicaciones útiles para profundizar en losmétodos de elaboración y medición de utili-dades en salud135,138,139,140,141,142.

El árbol de decisión es la técnica principal ymás empleada en los análisis de decisión.Otras técnicas son el análisis de umbrales dedecisión y el proceso de Markov, que se des-criben a continuación; los modelos de simula-ción de Monte-Carlo1 4 3 , 1 4 4, y los métodos de


Tabla 8Fases del diseño de un análisis basado en un árbol de decisión (modificado de Petitti97)

1. IDENTIFICAR Y LIMITAR EL PROBLEMA, de tal manera que se establezcan todas las alternativas dedecisión y los resultados a que pueden dar lugar. Se deben incluir los aspectos más relevantes quepuedan determinar los resultados y la utilidad de los cursos de acción, definir claramente la pers-pectiva del análisis, identificar todas las alternativas y el horizonte temporal de análisis.

2. CONSTRUIR UN ÁRBOL DE DECISIÓN QUE ESTRUCTURE EL PROBLEMA. Selección de las opciones,nodos de decisión y nodos finales. Debe mantenerse el equilibrio entre complejidad y simplicidad,logrando que los elementos esenciales, tanto en lo que se refiere a opciones de acción como a va-lores, estén incluidos en el modelo.

3. ESTIMACIÓN DE PROBABILIDADES Y ASIGNACIÓN A LOS CURSOS DE ACCIÓN. Recopilar informa-ción mediante una revisión sistemática de la literatura, consulta a expertos o búsqueda de datosprimarios, para estimar las probabilidades que van a ser asignadas a cada uno de los componen-tes del árbol. La probabilidad final de que ocurra el suceso definido por una rama se halla multi-plicando todas las probabilidades de todos los trayectos de rama necesarios para llegar a ese re-sultado clínico final.

4. ASIGNACIÓN DE VALORES Y UTILIDADES A LAS CONSECUENCIAS O RESULTADOS FINALES . Losresultados clínicos finales pueden expresarse de diversas formas: años de vida, años de vida ajus-tados por calidad,esperanza de vida ajustada por calidad,casos de enfermedad evitados o compli-caciones evitadas, o utilidades. La utilidad es una medida de la preferencia relativa, perspectiva,que tiene alguien respecto de un determinado resultado. Se expresa en una escala entre 0 y 1, detal manera que al resultado de menor utilidad (la muerte sería el caso extremo) se le asigna el va-lor 0; y al de mayor utilidad (la salud plena sería el otro extremo), el valor 1.

5. INTERPRETACIÓN DE LOS RESULTADOS Y VALORACIÓN DE LA INCERTIDUMBRE. Conociendo laprobabilidad de que ocurra cada suceso, o rama del árbol,y su utilidad se dispone de todos los da-tos para interpretar los resultados y poder elegir el curso de acción más favorable. Por último, esaconsejable realizar un análisis de sensibilidad que nos confirme la estabilidad de nuestros resul-tados en diferentes circunstancias.

medición de preferencias entre estados de sa-lud standard gamble140,145,146, time trade-off y ca -tegory scaling142,146,147.

El análisis de umbrales de decisión es un tipo deanálisis de decisión que utiliza la teoría de Ba-yes para va l o ra r, por ejemplo, la conve n i e n c i ade realizar una prueba diagnóstica a un pa-c i e n t e. Parte del concepto de que realizar untest a un paciente es inútil si no sirve para mo-dificar la estra t e gia terapéutica o el manejoclínico global de ese paciente. El umbral es eln ivel de probabilidad en el que el beneficiop revisible de tomar una decisión iguala al deno tomarla o al de tomar una alternativa1 3 3 , 1 4 8.

Las cadenas de Markov, o el proceso de Markov,son un método cuantitativo dinámico quetoma en consideración la probabilidad de queun paciente cambie de un estado de salud aotro en un determinado período de tiempo, esd e c i r, la probabilidad de transición para esedeterminado estado. En este modelo es nece-sario definir por adelantado cuáles son los es-tados de salud de interés y especificar todaslas posibles transiciones o caminos entre es-tados127,149,150.

Existe una variada oferta de programas infor-máticos útiles para los análisis de decisióndisponibles en el merc a d o. Destacan DATA3.5151, SMLTREE 2.9152, DECISION MAKER153 yFA S T * P RO1 5 4. Estos pro g ramas facilitan laconstrucción y análisis de árboles de deci-sión, cadenas de Markov, modelos de simula-ción de Monte-Carlo, análisis de sensibilidady aplicaciones para análisis de coste-efectivi-dad. Anne Haddix, en su libro Prevention Effec -tiveness, ofrece un anexo con la descripción deestos y otros pro g ramas informáticosútiles130.

7.4. Estudios de evaluación económica

La pertinencia de realizar un estudio de eva-luación económica para la elaboración de uninforme de ETS depende fundamentalmentede la formulación de la pregunta planteadaen la solicitud de evaluación. Cuando los ob-j e t ivos del informe vayan encaminados a lap o n d e ración de costes y consecuencias, ypueda conseguirse información de la sufi-ciente calidad y va l i d e z , se pueden usar lastécnicas que a continuación se describen.

El diseño de un estudio de evaluación econó-mica debe partir de la identificación del tipode información económica que será más útilp a ra el destinatario del estudio o informe ydefinir de forma precisa las preguntas o pro-blemas de inve s t i g a c i ó n . Estos primeros pa-

sos ofrecen las claves para orientar sobre eltipo de costes y resultados que van a ser ana-lizados y sobre el diseño más apropiado pararesponder a las preguntas formuladas130.

Una vez aclarados estos aspectos iniciales,deben ser identificadas de forma precisa lasposibles alternativas razonables de interven-ción y bases de referencia o comparación, in-cluida la ausencia de interve n c i ó n . La pers-pectiva de análisis debe ser definida a conti-nuación. El tipo de perspectiva adoptada de-penderá del problema planteado, del interésdel solicitante del estudio y del contexto de lademanda. En general, la preferencia de los es-tudios de evaluación económica es la adop-ción de la perspectiva social o general, en laque se incluyen costes indirectos y de oportu-nidad si bien; otra perspectiva puede ser igualo más relevante para un estudio concreto: lap e r s p e c t iva indiv i d u a l , la del proveedor o ladel financiador.

El marco temporal de cada estudio, es decir, e lperíodo en el que se desarrolla la interve n c i ó nque se eva l ú a , tiene que adaptarse al tipo dei n t e r venciones estudiadas y quedar perfecta-mente establecido en el diseño. El horizontet e m p o ral de análisis, o período en el que sevan a medir costes y resultados re l a c i o n a d o scon la interve n c i ó n , debe ser de suficiente du-ración como para incluir los costes y re s u l t a-dos re l evantes producidos durante la ap l i c a-ción de la interve n c i ó n , aun cuando se pro-duzcan en el futuro, una vez finalizada ésta.

Tipos de estudios. Las dos características defini-torias del análisis económico en sanidadson155:

— Los costes y beneficios de una actividad sanita -ria son los dos pasos de una cadena de produc -ción. Michael Drummond establece que aligual que se acepta la relación entre factorp ro d u c t ivo y producto en la industria, d eforma similar se puede enunciar una rela-ción similar en el ámbito sanitario.

— El análisis económico está íntimamente ligadoa la elección. P retende identificar criteriosútiles para decidir cómo asignar recursosestableciendo comparaciones entre alter-n a t ivas que ofrezcan información discri-minatoria.

Las dos características anteriores formuladasen forma de preguntas sirven para clasificarlos estudios de evaluación económica sanita-ria en una matriz de seis celdas, tal y como semuestra en la tabla 9. ¿Se examinan tanto loscostes como los beneficios de las alternati-vas? ¿Hay comparación entre dos o más alter-nativas?


La celdilla inferior izquierda corresponde alos estudios que evalúan la eficacia/efectiv i-dad, como los ensayos clínicos, que comparanlos resultados o consecuencias de las alterna-t ivas pero no comparan los costes o efectossecundarios. La celdilla inferior central se re-fiere a los estudios llamados análisis de cos-tes. Éstos comparan tecnologías cuya efectivi-dad se considera semejante, sólo pre t e n d e nestimar el coste de las alternativas. La únicade las seis celdillas que cumple las dos carac-terísticas de los estudios de evaluación eco-nómica es la inferior derecha. Al resto de losestudios se les denominan evaluaciones econó -micas parc i a l e s. Lo que no implica que estosestudios sean inútiles, ya que pueden repre-sentar estadios intermedios vitales para lacompresión de los costes y resultados de losservicios y programas sanitarios.

A continuación se describen cada uno de loscuatro tipos de estudios económicos completos:

M I N I M I Z ACIÓN DE COSTES: Los re s u l t a d o sno se miden en ninguna unidad porque separte de la asunción de que las intervencio-nes que se comparan producen aproximada-mente los mismos resultados. Se usa cuando,una vez identificado un beneficio común, lasdistintas opciones permiten alcanzar el mis-mo objetivo en el mismo grado, aunque previ-siblemente con costes diferentes, que son losque se trata de minimizar. El interés tambiénpuede estar en el estudio de la distribución delos costes155.

ANÁLISIS DE COSTE-EFECTIVIDAD: Ha sido,desde los años setenta,el método más utiliza-do de evaluación económica en el campo dela salud. Las unidades en que se miden los re-sultados son unidades naturales, unidades deefecto sanitario como las unidades de presiónarterial, la incidencia de enfermedad, los ca-

sos evitados, la mortalidad o los años de vidag a n a d o s. El propósito de este tipo de análisises comparar el coste de dos o más alternati-vas de intervención sanitaria que persiguenel mismo objetivo. Permite identificar el pro-cedimiento que presenta una relación coste-e f e c t ividad más beneficiosa para el logro deun objetivo específico en una determinadapoblación o contexto de análisis, o identificaraquel cuya relación coste-efectividad es re l a-t ivamente alta o baja en comparación cono t ras alternativas de interve n c i ó n . Los costesse miden en unidades monetarias y los bene-ficios en unidades de efectiv i d a d1 5 6. La utili-dad de los análisis de coste-efectividad parala toma de decisiones sobre asignación de re-cursos y priorización ha generado un impor-tante debate y propuestas de estandariza-ción de los métodos de análisis, de forma quese disminu ya la heterogeneidad observa -da entre los estudios publicados y permitaavanzar en la comparabilidad entre los estu-d i o s1 5 7 , 1 5 8 , 1 5 9 ,1 6 0 , 1 6 1.

ANÁLISIS COSTE-UTILIDAD: Es una variedaddel análisis de coste-efectividad en la que uncomponente importante de los re s u l t a d o smedidos es la calidad de vida. Los resultadosse miden generalmente en Años de Vida Ajus-tados por Calidad (AVAC o, en inglés, Q A LY,Quality Adjusted Life Year), lo que exige dis-poner de instrumentos específicos de mediday de ajuste de medidas cuantitativas de saludpor calidad de vida, a menudo complejos y dedifícil interp re t a c i ó n . Al proveer un métodoestandarizado de medida y valoración de re-sultados permite comparar la utilidad relati-va de nu m e rosas intervenciones que compi-ten por los recursos disponibles. Es un tipo deestudio económico más amplio que el análisisc o s t e - e f e c t iv i d a d , ap ropiado cuando la cali-dad de vida es re l evante como resultado de


Tabla 9Clasificación de los estudios de evaluación económica (tomado de Drummond155)

¿Se examinan costes y consecuencias simultáneamente?

¿Se comparan dos NOSÍo más alternativas?

Sólo consecuencias Sólo costes

NO Descripción de Descripción de costes Descripción de costes y consecuencias consecuencias

SÍ Evaluación de eficacia/ Análisis de costes Minimización de costesefectividad Análisis coste-efectividad

Análisis coste-utilidadAnálisis coste-beneficio

las intervenciones comparadas, existen efec-tos de morbilidad o incapacidad relevantes oefectos múltiples que afectan de forma com-pleja a la calidad de vida. Introduce las pre-ferencias y valoraciones de estados de saludrealizadas por indiv i d u o s, p rofesionales o lasociedad135,162.

ANÁLISIS COSTE-BENEFICIO: Es el único tipode evaluación económica en el que tanto loscostes como los resultados se miden en uni-dades monetarias, de esta manera se facilitala comparación entre costes y beneficios. Estetipo de estudio viene a ser el método másc o m p re n s ivo de análisis económico y másc o n c l u yente para la decisión de hacer o nouna interve n c i ó n , ya que va l o ra todos losefectos en términos económicos, aunque lavaloración monetaria de los efectos sanitariospresenta importantes limitaciones. El objetivoes determinar si los beneficios exceden a losc o s t e s, utilizando el “ valor actualizado neto”( VAN) como expresión de la diferencia entrebeneficios y costes. Para la valoración mone-taria de la salud y de la vida humana se utili-zan el enfoque de capital humano y el de dis-ponibilidad a pagar. El primero se basa en lava l o ración económica de prevenir la mu e r t ede un sujeto de una determinada edad; el se-gundo valora la salud y la vida basándose enel dinero que los sujetos estarían dispuestos apagar por una mejora de la salud. Es, quizás,la modalidad de análisis económico menosutilizada dadas las implicaciones éticas y ladificultad de atribuir valor económico a lavida humana157,158,163.

La medición de los costes y resultados. I n i c i a l-mente, en todo análisis económico se debenestudiar cuáles van a ser los costes a conside-rar, fijos o variables, directos o indirectos, tan-gibles o intangi b l e s, p agados por los pacien-tes, la administración sanitaria o la industria.La adecuada identificación de los costes y re-sultados es el aspecto más importante que sedebe considerar cuando se diseña un estudiode evaluación económica en sanidad15.

La identificación, definición y recogida de da-tos re f e rentes a cada uno de los costes queformarán parte del análisis es una de las ta-reas más complejas y difíciles de realizar. Losfactores que influyen en la inclusión de unoscostes u otros son: la perspectiva adoptadapara el análisis, proveedor, financiador, socie-dad; la adecuada definición del período detiempo en el que los costes han de ser cuanti-ficados (marco temporal y horizonte de análi-sis); las unidades de intervención (coste porpersona interve n i d a , costes medios, n e t o s,m a rginales); las diferencias en la estructura

de costes de las alternativas comparadas, y ladisponibilidad de información.

Posteriormente hay que introducir otros fac-tores en la evaluación como164:

• La actualización de los valores económicosen el tiempo (tasa de descuento o conver-sión de costes y beneficios a su valor actualsegún la pre f e rencia tempora l , ajustes se-gún la inflación, amortización de costes ini-ciales).

• La va l o ración de la validez y robustez delestudio económico y de las asunciones rea-lizadas mediante un análisis de sensibilidad.

• Las externalidades (son efectos sobre unida-des no relacionadas directamente con la in-tervención o actividad; por ejemplo, el efec-to positivo que produce una inmunizaciónsobre las personas no vacunadas).

• Los posibles efectos distributivos diferencialesde costes y beneficios en distintas poblacio-nes o contextos.

• Las limitaciones presupuestarias.

• Los costes intangibles.

Después de medir los costes y los resultadosen salud de cada tecnología se construyen in-d i c a d o res que permitan comparar entre lasa l t e r n a t ivas evaluadas (valor actualizadon e t o, razón entre beneficios y costes, ra z ó nc o s t e / e f e c t iv i d a d ) . Se pueden utilizar medi-das sumarizadas como la razón coste/efectivi -dad, pero es más aconsejable presentar los re-sultados como razones incrementales o margina -l e s, c o m p a rando distintas TS alternativas odistintos niveles de intervención de una mis-ma T S1 6 4. El enfoque marginal expresa elcambio en la relación coste/efectividad quese produce al aumentar una unidad de resul-tado en cada TS. Por ejemplo, un día más det ra b a j o, o una unidad más de una dro g a , ouna unidad monetaria más de gasto en unprograma de prevención. En contraste, el en-foque incremental analiza el cambio en la re-lación coste/efectividad pero siempre de unaTS en comparación con otra . G e n e ra l m e n t e,se calcula la razón que divide el incrementode coste por el incremento de efectividad devarias TS frente a la considerada más efec-tiva165.

La utilización de estos estudios en el áre asanitaria es relativamente reciente y está al-canzando un gran desarrollo y difusión. L a stécnicas de análisis económico están mu yconsolidadas, pero no tanto su aplicación ensanidad, ya que es un área donde resulta es-pecialmente difícil la va l o ración económica


de costes y beneficios. Además existen varia-dos problemas metodológicos sin re s o l ve r,como por ejemplo, la utilización de las tasasde descuento o la va l o ración económica delos años de vida ajustados por calidad130. Conrespecto a su utilización para la elaboraciónde un informe de ETS es preciso indicar que elestudio del contexto local, que todo informede ETS debe contener, conlleva siempre la re-alización de una valoración económica. Ésta,aunque no consista en un estudio de evalua-ción económica estándar, debe incluir un es-tudio de los costes y el impacto económicodel procedimiento estudiado para lo que esnecesario considerar la metodología descritaanteriormente.

7.5. El juicio de expertos

La necesidad de adopción de decisiones sobreuna TS pese a la ausencia de evidencias cien-tíficas de alta calidad justifica en ocasiones eluso de métodos de consenso basados en eljuicio de expertos. En otros casos, el problemaanalizado o las preguntas más re l evantes alas que se pretende dar respuesta presentannumerosos componentes subjetivos, como lavaloración de la calidad de vida, el interés so-c i a l , determinados aspectos éticos o posicio-nes políticas. En estos y otros casos puede serrelevante añadir a la síntesis de la evidenciala valoración subjetiva y la opinión de espe-cialistas experimentados o de representantesde las personas implicadas e intereses afecta-dos por el uso de la TS. Es deseable tambiénobtener un cierto grado de consenso y acepta-ción entre los que van a ofrecer o utilizar esaTS, de forma que se facilite su diseminación eimplantación15.

Los procedimientos de juicio de expertos uti-lizan técnicas con grados diferentes de for-malización y estructura c i ó n , y emplean mé-todos cualitativos de investigación y de deci-s i ó n . Existe una enorme variedad de ap rox i-maciones metodológicas para la elabora c i ó nde productos de acuerdo y consenso. E s t o smétodos varían en el grado en el que los pa-neles de expertos adoptan normas formalesestrictas y explícitas de interacción y comuni-cación para llegar al consenso; en el grado enel que cada recomendación se sustenta en laevidencia científica; en la diversidad o hetero-geneidad de los expertos representados en elpanel, y en el nivel de estructuración explícitae integración en el informe de factores comola evaluación económica, la aceptabilidad, elvalor de utilidad y las preferencias de los pa-cientes166.

La búsqueda de respuestas a determinadasp reguntas planteadas ha sido abordada condistintos métodos que generan también dis-tintas líneas de productos: Conferencias deConsenso167; Método de Uso Apropiado, dise-ñado por la RAND Corp o ra t i o n1 0 , 1 6 8; MétodoD E L P H I1 6 9; Grupos Nominales, y otro s. E s t o sp rocedimientos suelen implicar la partici-pación de expertos en un proceso de valora-ción de problemas o situaciones clínicas conel apoyo de la literatura biomédica disponibley la elaboración de un documento consen-suado en el que se propone una pauta de de-cisión frente al problema planteado. A s í , e nlos procesos de elaboración de Guías de Prác-tica Clínica se llega a un acuerdo sobre unconjunto de re c o m e n d a c i o n e s, d i s e ñ a d a spara ayudar a los profesionales y a los usua-rios en la selección de las mejores opcionesdiagnósticas y/o terapéuticas para el manejode una condición clínica específica en cir-cunstancias concretas.

El método RAND de uso apropiado constituyeun medio de detección de acuerdos sobre lasindicaciones de una TS determinada median-te el uso de paneles de expertos. El procedi-miento estándar consiste en la valoración delos riesgos y beneficios de cada una de las po-sibles indicaciones identificadas para unatécnica médica o quirúrgica, por parte de ungrupo de expertos de distintas especialidadesrelacionadas con la tecnología analizada. Losmiembros del grupo revisan la literatura cien-tífica que se les proporciona y valoran indivi-dualmente, en función de ésta y de su propioj u i c i o, cada indicación, o t o rgando una pun-tuación. El grupo discute después las puntua-ciones alcanzadas por cada indicación y sev u e l ven a otorgar puntuaciones indiv i d u a l-mente. En el análisis final de los resultados seestablece el grado de acuerdo o desacuerd opara la indicación en cada situación clínica yse clasifican las indicaciones como ap ro p i a-das, inciertas o inapropiadas28.

En las Conferencias de Consenso se alcanzaun acuerdo escrito en un proceso formalizadosemejante a un juicio, en el que participanexpertos y representantes de grupos implica-dos en la decisión clínica objeto de la pregun-ta. El modelo más difundido es el establecidopor los Institutos Nacionales de la Salud delos EE.UU. a través de la Office for Medical Ap -plications of Research167,170. Al final de un largoproceso de preparación, un tribunal revisa ladocumentación elaborada para la confere n-cia y escucha a testigos y expertos, para des-pués deliberar y redactar un acuerdo basadoen las pruebas y testimonios pre s e n t a d o s.Esta metodología es relativamente compleja y


consume considerables esfuerzos, tiempo yrecursos. Se ha utilizado preferentemente enlos EE.UU. y se ha difundido en algunos paísese u ro p e o s, Canadá y Au s t ra l i a . Pe r m a n e c e nnumerosas incertidumbres sobre aspectos deorganización y contenidos que determinan lavalidez y utilidad del procedimiento; como losp ro m o t o re s, los patro c i n a d o re s, la rep re s e n-tatividad, el proceso de valoración de las evi-dencias o los criterios y requisitos para surealización.

La principal debilidad de los pro c e d i m i e n t o sbasados en el juicio de expertos es la incerti-d u m b re sobre su validez y rep ro d u c i b i l i d a d .Por otro lado, estos procedimientos hacen unuso desigual y no protocolizado de la ev i d e n-cia científica disponible. Son procesos en mu-chos casos de larga duración que consumene l evados recursos y sus productos re q u i e re nuna actualización continu a . Existen escasost rabajos originales que hayan abordado las li-mitaciones de estos pro c e d i m i e n t o s. Q u e d a npor re s o l ver otros interrogantes sobre la ade-cuación de los sistemas de selección de par-t i c i p a n t e s, la composición de los paneles, l aidoneidad de los pro m o t o re s, f i n a n c i a d o res yo rg a n i z a d o re s, así como la perspectiva de eva-luación de estos procedimientos y sus pro d u c-t o s. En contrap a r t i d a , permiten obtener re c o-mendaciones consensuadas sobre pro b l e m a simportantes objeto de decisiones clínicas, o deo t ro tipo, que se han de tomar cuando no hayevidencias científicas disponibles1 7 1.

Estos métodos permiten, a su vez, la implica-ción de profesionales sanitarios de prestigio yde representantes de otros estamentos invo-lucrados o afectados por el proceso de tomade decisiones (usuarios, p a c i e n t e s, A d m i n i s-tración, financiadores), lo que facilita la acep-tación del proceso de elaboración, la colabo-ración en la estrategia de difusión y la acepta-ción de las re c o m e n d a c i o n e s. Los re s u l t a d o sfinales de estos métodos de consenso de-penderán en gran medida del rigor metodoló-gico, el grado de preparación,la transparenciade todo el procedimiento y el prestigio de laorganización promotora.

8. Valoraciónde los efectos sociales,o r g a n i z a t i v os,psicológicos y éticos

La cantidad de factores que pueden influir yla diversidad de parámetros que se pueden

utilizar para medir este tipo de efectos son al-gunas de las múltiples dificultades que pre-senta su valoración e inclusión en un estudiode eva l u a c i ó n . Las expectativas acerca de lacalidad de vida o la salud percibida, por ejem-p l o, pueden matizarse enormemente de talm a n e ra que cada individuo considere va r i a-bles o factores diferentes a los demás. Sin em-bargo, muchas TS ocasionan efectos psicoló-gicos importantes en los pacientes, tienen unelevado impacto social o plantean problemaséticos relevantes. También su impacto organi-zativo puede influir en el uso y resultados fi-nales de la intervención sanitaria. Por ello, suinclusión en un informe de ETS es impor-tante y merece un apartado específico.

Se ha avanzado algo en la identificación deeste tipo de efectos y en el establecimiento deescalas de medida para valorarlos172,173,174,175,

176,177. Así, la realización de pruebas diagnós-ticas produce efectos psicológicos como el“etiquetado” (clasificar a una persona de en-ferma tiene consecuencias psicológi c a s ) , e lmiedo a la enfermedad, la ansiedad por elcontacto con los servicios sanitarios, la satis-facción con la atención recibida. Los anterio-res son aspectos que va l o ran los re s u l t a d o s.Algunas variables que miden el proceso tam-bién pueden ser relevantes psicológicamente,como las creencias y perc epciones sobre lasalud o la sensación de control de la enferme-dad que tiene el paciente durante un tra t a-miento continu a d o. Se ha observa d o, p o rejemplo, la influencia determinante del men-saje emitido por el médico en la acep t a c i ó nde un tratamiento y, por tanto, en la efectivi-dad de la práctica clínica176.

La va l o ración de los efectos sociales i n c l u-ye aspectos como la equidad en el accesoa la T S2 8, los condicionantes de la toma dedecisiones colectiva sobre inclusión dep restaciones o realización de interve n c i o-n e s, la asignación de va l o res económicosa los resultados clínicos, las necesidadese x p resadas o percibidas en la comu n i d a dy otro s1 7 8.

A continuación se describen algunas delas variables que pueden medir los e f e c -tos de la introducción de una tecnología enuna organización sanitaria1 5:

• G rado de flexibil idad/vulnera b i l i d a dde la organización a los efectos de lai n t roducción de la TS sobre las limita-ciones pre s u p u e s t a r i a s, el manteni-miento genera l , los momentos críticos,la falta de personal entrenado en la nuevatecnología o la carga de trabajo.


• G rado de centra l i z a c i ó n / d e s c e n t ra l i z a c i ó nde la información, del desarrollo de los pro-cedimientos técnicos, de las decisiones clí-nicas y de las decisiones económicas o so-bre los recursos de la tecnología.

• Nivel de diferenciación que ocasiona la tec-nología en la estructura de la organización(creación de un nuevo departamento) y enlos niveles del personal (nuevos expertos).

• Requerimientos de personal, de formacióno de incentivos.

• Satisfacción en el trabajo (medida median-te diversos aspectos como la seguridad,adaptación al medioambiente, buenas rela-ciones personales, efectividad y motivacióncon el trabajo).

• Grado de efectividad de los canales de co-municación, destacando los canales de da-tos clínicos y administrativos.

La dimensión ética en la ETS se relaciona conla evaluación socioeconómica, en el marco deun contexto de recursos limitados. El accesoe q u i t a t ivo a la provisión de servicios sanita-rios es un derecho de los ciudadanos. A la vez,el objetivo de los servicios de salud es maxi-mizar el impacto sobre la salud con los recur-sos que la sociedad establece para ello. Así, labúsqueda de la eficiencia se puede definircomo un objetivo ético28.

O t ro posible enfoque es la identificación delas implicaciones éticas de la utilización deuna TS a través de la detección de los puntosde encuentro y acuerdo entre los difere n t e sgrupos de personas implicadas, o e va l u a c i ó ninteractiva, pero requiere habilidades específi-cas alejadas de las actividades fundamenta-les relacionadas con la ETS y más relaciona-das con las técnicas de márketing o la investi-gación cualitativa. Existen más enfoques querelacionan la ética con la ETS: la búsqueda dela ética en la buena práctica clínica; los in-c e n t ivos a los profesionales sanitarios comoanálisis de la ética y valor social de una orga-nización; las connotaciones éticas de los re-sultados de las intervenciones sanitarias; lafalta de justificación ética de un consumo ex-cesivo de recursos, o el uso apropiado de lasTS como planteamiento ético28.

9. Elaboraciónde las conclusionesy recomendaciones

Las conclusiones y recomendaciones son losapartados más leídos de los informes, j u n t o

con el re s u m e n . En las conclusiones debendestacarse aquellos contenidos del informeque tengan mayor relevancia y capacidad deinfluir en la toma de decisiones. La re a l i z a-ción de recomendaciones debe ser adecuada-mente va l o ra d a , en función de los objetivo s,contenidos y las necesidades del solicitante.Este apartado debe ser breve, p reciso y con-sistente con los datos y evidencias aportados.Se deben evitar las conclusiones o recomen-daciones obvias o poco relevantes, y las quese basen en asunciones o decisiones arbitra-rias realizadas durante el proceso de análisisy síntesis de la información. Los aspectos quedeben ser reseñados habitualmente son15,45:

• Valoración de la calidad de la informacióno b t e n i d a , así como de las incertidumbre sdetectadas.

• Valoración de los costes (tanto económicoscomo relativos a riesgos, complicaciones yefectos adversos) y beneficios del uso de latecnología. En algunos casos, concluir si laaplicación de la TS es factible en el medioestudiado.

• Valoración de las posibles implicaciones delinforme para el Servicio Sanitario en el quese aplica la tecnología.

• G rado en que se han logrado cumplir losobjetivos propuestos.

• Formulación de la respuesta o respuestas alas preguntas de evaluación u objetivos es-pecíficos.

• Incertidumbres o lagunas de conocimientoque no han podido ser cubiertas con la in-formación obtenida.

• Líneas de investigación que deberían desa-r rollarse para avanzar en el conocimientodel tema que se ha evaluado.

• Implicaciones para el desarrollo o modifi-cación de regulaciones referidas a la tecno-logía evaluada.

Para la elaboración de conclusiones sobre laconsistencia de una relación causa-efecto en-tre una intervención y un resultado clínico seutilizan frecuentemente pruebas indirectas:unidades de resultado intermedias o surrogateend-points, relaciones establecidas a partir detecnologías o intervenciones análogas u obte-nidas en poblaciones similare s. Aunque mu-chas veces las pruebas indirectas aportan co-nocimientos útiles, es necesario advertir y va-l o rar pormenorizadamente las limitacionesde su utilización.

La calidad de las evidencias y de las recomen-daciones que surgen de ellas es un aspecto


que debe ser mencionado siempre en las con-clusiones y recomendaciones. Un informe deETS debe informar del grado de evidencia queapoya cualquier conclusión o recomendación,estableciendo claramente el orden de pre-ferencia que se da a los diferentes resultados.En cualquier caso, un informe de ETS no sólodebe valorar en sus conclusiones los efectosestablecidos a partir de datos válidos, s i n oque debe considerar todos los estudios con al-guna aportación importante sobre la tecnolo-gía a evaluar. En un gran número de casos, losestudios sobre las tecnologías sanitarias im-plantadas, no sólo sobre las que están intro-d u c i é n d o s e, no van a tener la validez sufi-ciente como para establecer conclusiones,por lo que el informe de ETS deberá basarseen los datos disponibles, aunque no sean dela calidad deseada.

La clasificación y jerarquía de las evidenciascientíficas es un tema ampliamente abordadoen la litera t u ra re c i e n t e. Se han pro p u e s t omu chos criterios y métodos de clasificación,algunos de los cuales se han seleccionado enel anexo IV.

Un aspecto que debe analizarse en las con-clusiones es la aplicabilidad de los resultadosfinales del informe. Se debe ofrecer una ayu-da a los lectores para identificar si las conclu-siones son aplicables a una población concre-t a , de tal manera que se describan las posi-bles variaciones de la validez o efectos si va-

rían a su vez determinadas circ u n s t a n c i a s,tales como las características biológicas delos participantes o del factor de exposición,por ejemplo; las diferentes cepas de una bac-teria; determinados componentes cultura l e sque afecten a los resultados de la interve n-ción sanitaria; la adherencia al tratamiento, oel riesgo basal previo a la intervención31. Losf a c t o res enu m e rados pueden producir enor-mes variaciones, por lo que no se puede exigirque un informe de evaluación aborde todosesos posibles escenarios, p e ro sí se debenanalizar las diferencias más importantes e in-cluir estas variaciones dentro de las posibleslimitaciones de la evaluación realizada.

Finalmente, es interesante que las conclusio-nes establezcan el grado de apoyo o confianzaque merece la TS a juicio de los autores delinforme. Una clasificación que puede ser útilpara ese propósito es la elaborada por el Gru-po de Embarazo y Parto de la Colabora c i ó nC o ch rane (ver tabla 10), que clasifica las in-tervenciones sanitarias en dos grupos: aque-llas para las que hay información disponiblecomo para extraer conclusiones firmes yaquellas para las que se necesita inve s t i g a-ción adicional.

E n t re los erro res comunes en el pro c e s ode elaboración de conclusiones y recomenda-ciones está la confusión entre la calificación“No hay evidencia de efecto” y “Evidencia deningún efecto”. El primer caso se re f i e re al


Tabla 10Clasificación de las intervenciones sanitarias según el grado de recomendación

que se puede establecer para su uso basado en evidencias científicas(modificado de Enkin179, Mulrow31)

1. Intervenciones sanitarias (IS) sobre las que hay evidencia suficiente para establecer recomenda-ciones sólidas y aplicables a la práctica:

1.1. IS cuyos beneficios compensan a los efectos adversos o costes (por ejemplo, la continuidaddel personal sanitario durante el parto).

1.2. IS que deben ser abandonadas según la evidencia disponible (por ejemplo, cesárea electivaante una diabetes gestacional).

1.3. IS en las que hay equilibrio entre beneficios y efectos adversos conocidos (por ejemplo, anal-gesia epidural durante el parto frente a otras formas de alivio farmacológico).

2. IS para las cuales las evidencias disponibles son insuficientes si se desea proporcionar recomen-daciones sólidas y aplicables a la práctica, pero que deberían incluirse entre las prioridades de lainvestigación sanitaria:

2.1. IS que parecen pro m e t e d o ra s, p e ro que re q u i e ren una evaluación adicional (por ejemplo,apoyo al personal sanitario durante un embarazo de riesgo).

2.2. IS en las que no se han demostrado los efectos esperados, pero que merecen atención adi-cional (por ejemplo, suplemento férrico continuado durante el embarazo).

2.3. IS con evidencia razonable de que no son eficaces para la finalidad perseguida (por ejemplo,regulación dietética ante una diabetes gestacional).

punto 2 de la clasificación anterior, y la pro-posición “Evidencia de ningún efecto” se refie-re al punto 1.2. Otra equivocación habitual espresentar conclusiones o establecer recomen-daciones que van más allá de los datos quecontiene el informe. También deben evitarseafirmaciones del tipo de “Se necesita más in-ve s t i g a c i ó n ” . El informe de evaluación debemanifestar exactamente qué investigación senecesita y por qué, y cómo se puede mejorarla evaluación con datos o recursos adicio-nales.

Las conclusiones y las recomendaciones de-ben responder a los objetivos y preguntas es-pecíficos planteados en el informe, sobre todode la pregunta política, y a las funciones quetenga asignada la agencia en la regulación le-gal o normativa de la tecnología a eva l u a r.A su vez, deben ser útiles a los solicitantes yaplicables en el sistema sanitario implicado.

10. Revisión deldocumentoprovisional

Se debe re s e r var un período de tiempo sufi-ciente para realizar una revisión externa ycompleta del texto antes de su publicación.La revisión por pares o peer review es unapráctica asumida en la actualidad por toda lac o munidad científica y considerada actual-mente uno de los elementos clave que asegu-ran la calidad de una publicación1 8 0 , 1 8 1. L o sinformes de ETS, aunque en ocasiones no uti-lizan de forma estricta ese control de calidad,deben incluir un proceso de revisión externa.

El proyecto de evaluación debe prever quié-nes van a ser los revisores, además de los re-cursos materiales y del tiempo necesariosp a ra ello. Es interesante que en el grupo derevisores se encuentren tanto expertos en eltema y en la metodología de evaluación comoposibles receptores del informe para que es-tos últimos puedan valorar la utilidad, clari-dad y relevancia del documento. Muy proba-blemente serán necesarias varias rev i s i o n e scon sus correspondientes correcciones e in-clusión de nuevos puntos en el informe, aun-que será necesario establecer un calendariof i r m e, que fije sobre todo la fecha final, yaque en caso contrario el proceso de rev i s i ó npuede prolongarse mucho en el tiempo.

La última reunión entre los revisores y redac-t o res debe decidir los aspectos re l a c i o n a d o scon la edición y la estrategia de difusión. Esta

ú l t i m a , debido a su re l eva n c i a , se discute acontinuación en una sección específica. Ade-más, la edición va a requerir un tiempo adi-cional para que a través de una o varias prue-bas de imprenta se asegure la publicación sinerrores y con la presentación deseada.

11. Difusión y aplicaciónde los resultadosdel informe

Esta fase es fundamental para asegurar queun informe de ETS sea efectivo, consiga cam-biar la práctica clínica o influir en las decisio-nes de las autoridades relacionadas con lasT S. No basta con elaborar informes basadosen la mejor evidencia disponible, también esimportante diseñar una estrategia que consi-ga la difusión y aplicación de sus conclusio-nes en la práctica diaria. Los informes de ETSdeben basarse en la información científicamás actualizada y de mayor calidad, pero esainformación debe tener el impacto suficientecomo para influir en los comportamientos yactitudes de los profesionales o los gestore ssanitarios.

En esta fase del proceso de elaboración de in-formes de ETS los conceptos dissemination eimplementation, que se podrían traducir comodiseminación e implementación, pueden con-siderarse objetivos importantes en la búsque-da del mayor impacto posible del informe deETS. El concepto dissemination se refiere a unconjunto de actividades muy amplias: la difu-sión del documento, la estrategia de búsque-da de los lectores clave, el diseño de activida-des encaminadas a la discusión e interpreta-ción correcta de las conclusiones del informe,e incluso la participación en procesos de for-mación y entrenamiento de los profesionalessanitarios que utilicen la TS que se evalúe. Esun concepto que pretende añadir un nu evovalor o componente a los términos difusión odivulgación. La diseminación se correspondecon una difusión más activa, en la que a tra-vés de intervenciones o actividades se pro-mueve, no sólo se difunde, una información ouna recomendación.

El concepto implementation se refiere a activi-dades que van más allá de la extensión o di-fusión de un documento, como la aplicación yevaluación en la práctica de las conclusionesy/o recomendaciones. Incluye intervencionesque reduzcan las barre ras al cambio, a c t iv i-dades para conseguir la asimilación y poste-rior aplicación de los resultados del informe,


el seguimiento y evaluación del uso de la tec-nología, la medición del impacto del informey la va l o ración a largo plazo de los efectosque produce la TS sobre la organización sani-taria o la población182.

La evaluación del impacto de los informes deETS es una actividad que todavía está pocodesarrollada. La mayoría de los estudios dise-ñados con ese objetivo analizan la difusión,comprensión y asimilación de la informaciónresultante de la evaluación, pero no llegan amedir los cambios y el impacto que ésta pro-duce en la práctica clínica. Las limitacionesmetodológicas de los ensayos de intervencióncomunitaria para atribuir cambios a una de-terminada intervención influyen en la faltade desarrollo de esta línea de eva l u a c i ó n . E ldiseño de estudios de evaluación antes-des-pués es el diseño más apropiado dentro de losensayos de intervención comunitaria182.

La forma tradicional de comunicación entrelos inve s t i g a d o res y los médicos clínicos es larevista científica, p e ro en mu chos casos noha demostrado efectividad para influir en lapráctica diaria de la medicina1 8 3. El análisis

de los factores que influyen y cambian lapráctica clínica, la política sanitaria o la acti-tud de los pacientes forma parte de las mate-rias de las ciencias del comportamiento,como la sociología y la psicología. D ive r s o sestudios han intentado diseñar modelos ex-p l i c a t ivos del proceso y los factores que in-f l u yen en la atención sanitaria, p e ro todosellos han llegando a la conclusión común atodos ellos: la complejidad del tema de análi-s i s4 5 , 1 8 4.

El éxito del proceso de transferencia de cono-cimientos de la evaluación e investigación ala práctica clínica precisa el desarrollo de unaestrategia de difusión y aplicación de los re-sultados apoyada en actividades e incentivoso rg a n i z a t ivo s, que estimulen el cambio. E s t aestrategia debe ir dirigida no sólo a los profe-sionales sanitarios, sino también a los investi-g a d o re s, d i re c t ivos sanitarios, p ro f e s i o n a l e sde los medios de comunicación y ciudadanos.Además, es importante que se planifique y sehaga explícita en las primeras fases de la ela-boración del informe de ETS, cuando se dise-ña el proyecto de evaluación.


Anexo I. Formatoy estructurade un informede ETS

El formato y estructura de los informes no hasido consensuado entre las agencias u organi-zaciones que se dedican a la ETS. Lo que sepretende, en suma, es trasladar toda la infor-mación científica identificada a un textocomprensible y útil, de tal manera que cadatipo de usuario pueda apoyarse en la rigurosi-dad y fiabilidad del informe para tomar deci-siones. A continuación se propone un formatobásico aplicable a los informes públicos; en elcaso de los informes a demanda o internos noes posible proponer un formato homogéneo,dado que sus características básicas son laadaptabilidad y flexibilidad.

— T Í T U L O. Debe ser preciso y describir conclaridad los objetivos del informe.

— RESUMEN. Un primer resumen en el idio-ma original y un segundo en inglés, que de-ben ser breve s. Es lo que se identifica comoSummary o Executive Summary. Es aconsejableque se divida en secciones, relacionadas conla estructura del informe final, como: Objeti-vo s, Fuentes de información, Selección de lainformación, Métodos de análisis y síntesis dela información, R e s u l t a d o s, Conclusiones yRecomendaciones.

— RESUMEN O ABSTRACT ESTRUCTURADOEN INGLÉS. Además del resumen descrito enel punto anterior, es necesario escribir tam-bién un resumen estructurado para su inclu-sión en el re gi s t ro de informes de la re dINAHTA, cuya dirección aparece en el anexoI I . En la tabla 11 se propone un abstract es-t r u c t u ra d o, que modifica el que utilizabaanteriormente la citada red y se asemeja a lapropuesta que realizó un grupo de trabajo deINAHTA en 1997185,186. Esta asociación no tie-ne actualmente un formato establecido paraesta sección.

— I N T R O D U C C I Ó N . En esta sección se pre-senta el documento, indicando las ra z o n e sque motivaron el inicio del trabajo, profundi-

zando en la información requerida, las lagu-nas de información que pretende cubrir y losposibles beneficios que puede suponer. I n d i-car también la entidad solicitante o financia-dora del informe, los posibles destinatarios deéste, algunos datos sobre la situación actual yevolución de la tecnología que describan éstaen su contexto internacional y local, y otro santecedentes que sitúen al lector permitién-dole profundizar a través de las re f e re n c i a sofrecidas.

Algunos informes en lengua inglesa distin-guen entre introduction y background. En el pri-mer apartado incluyen los contenidos de unap re s e n t a c i ó n , y en el segundo describen losantecedentes y el marco de referencia. En al-gunos informes puede ser útil incluir algúnotro apartado de entrada como prólogo, pre-sentación o prefacio.

— OBJETIVOS O PREGUNTAS. Pueden situar-se tanto en la introducción como en un apar-tado específico. Dos cualidades esenciales sonprecisión y brevedad. Cada objetivo debe ini-ciarse con un verbo que describa la acción arealizar; por ejemplo, “Comparar la eficacia delas tecnologías A y B”. G e n e ralmente existeuna cuestión de ámbito político o relacionadacon la gestión sanitaria que motiva la realiza-ción del informe; es el objetivo general, que asu vez se desarrolla mediante uno o varios ob -jetivos específicos o preguntas científicas.

— METODOLOGÍA. Se debe incluir una des-cripción de los métodos empleados en la rea-lización del informe, con la claridad y los de-talles suficientes como para que puedan re-producirse todos los pasos. Las fuentes de in-f o r m a c i ó n , la estra t e gia de búsqueda, l o scriterios de inclusión y exclusión de los estu-dios y la metodología utilizada para analizary sintetizar la información son los aspectosmás importantes que deben especificarse enesta sección del informe.

— DESARROLLO DE LOS CONTENIDOS DELA EVA L UAC I Ó N . Este apartado mu e s t ra elanálisis realizado (juicio de expertos, técnicac u a n t i t a t iva) y sus re s u l t a d o s, así como lasíntesis de los estudios considera d o s. Ta m-bién se incluye aquí la descripción de la tec-nología y enfermedad (ver tabla 12), el estu-dio de la validez y calidad de los datos de los


ANEXOS

estudios seleccionados, la descripción de losestudios incluidos y excluidos, el estudio delcontexto local, la valoración del impacto so-cial, organizativo, psicológico y ético de la TS,y finalmente, una discusión donde se anali-cen las limitaciones de la metodología emple-ada en la evaluación y se va l o re de maneraintegral el conjunto de los contenidos defini-dos en esta sección.

— TABLAS Y/O GRÁFICOS. En la mayor partede los informes son un elemento fundamen-tal de la síntesis de información. G e n e ra l-mente van a servir para describir los estudiosincluidos y excluidos del análisis. A modo deesquema, los datos que se incluirán van a serfundamentalmente: características de los pa-

cientes re c ep t o res de la tecnología, tipo detecnología, diseño del estudio, calidad de lasevidencias y resultados de los estudios45.

— C O N C L U S I O N E S . Los hallazgos del estu-dio evaluativo tienen una serie de implicacio-nes o pueden plantear nuevas preguntas. Éstees el apartado adecuado para explicitar estascuestiones realizando un compendio de losresultados más importantes, i n c l u yendo laslimitaciones y lagunas de conocimiento de-tectadas. Cada conclusión debe ser breve, pre-c i s a , re l evante y consistente con las ev i d e n-cias que el informe aporta.

— R E C O M E N DAC I O N E S . No todos los infor-mes incluyen re c o m e n d a c i o n e s, aunque sonimportantes. De la misma forma que para las


Tabla 11Datos que se deben incluir en los abstracts estructurados en inglés

1. Title. Primero el título en inglés y luego el título en el idioma original entre paréntesis.

2. Author/s. Debe usarse el estándar de Vancouver187.

3. Organization. Por ejemplo, Agencia de Evaluación de Tecnologías Sanitarias.

4. Contact person. Dirección y nombre de la persona que la organización seleccione.

5. Date. Mes y año de publicación.

6. Language. Idioma o idiomas de publicación.

7. Abstract: Especificar si incluye otro resumen además del abstract estructurado INAHTA y el idio-ma o idiomas en que están escritos.

8. Publication type. Por ejemplo: informe, guía de práctica clínica.

9. Pages. Número de páginas total del informe.

10. References. Número de referencias que cita el documento.

11. ISBN. International Standard Book Number.

12. Te chnology type. Categoría de la técnica o intervención sanitaria que se evalúa: scre e n i n g ,preventive, diagnostic, therapeutical, palliative, rehabilitating.

13. Subject index terms. Deben utilizarse las palabras clave que proporciona el Index Medicus en suthesaurus. Indicar primero los Major Descriptors marcándolos con asterisco y después los MinorDescriptors. Si la palabra no está incluida en el thesaurus del Index Medicus, poner “(Non MeSH)”después de esa palabra. Es interesante poner descriptores secundarios que maticen, separadoscon un guión. Ejemplo: *Aortic Aneurysm – epidemiology; *Stents; Blood Vessel Prothesis; Khar-kov Stent (Non MeSH).

14. Objectives. Objetivos generales y específicos.

15. Methods: Data sources: Datos utilizados y su origen. Criteria for study inclusion: Pautas utiliza-das para la inclusión y exclusión de estudios. Primary data collection: Especificar si se realizó unestudio con datos primarios ad hoc. Secondary data analysis: Especificar si se realizó un estudiobasado en datos secundarios como los obtenidos en registros o historias clínicas. Literature re-view and integration of evidence: Bases de datos bibliográficas, expertos u otras fuentes de in-formación consultadas. Método de revisión o técnica de síntesis utilizada (revisión sistemática,meta-análisis, evaluación económica, análisis de decisión).

16. Results. Contenido del informe y resumen de los hallazgos más importantes.

17. Recommendations.

18. Peer review process: Especificar: Yes / No / Internal / External / Both.

conclusiones, las recomendaciones deben ob-tenerse a partir de evidencias científicas y ba-sarse exclusivamente en los contenidos o re-sultados del informe15.

— BIBLIOGRAFÍA. Lo ideal es que se transcri-ban cumpliendo las normas de Vancouver187.Las re f e rencias de la metodología utilizadapara la elaboración del informe son también

relevantes. Es importante que no se olvide in-c l u i r l a s. A s i m i s m o, la bibliografía puedep resentarse en tres apartados: los estudiosincluidos en el análisis final, los excluidos yaquellos estudios que se han utilizado en lametodología o en el estudio general del temaa evaluar pero que no son objeto de análi-s i s1 8 8.


Tabla 12Descripción de la tecnología y de la enfermedad

Es evidente que un informe de ETS debe describir el objeto de su evaluación,aunque esta informaciónno siempre es necesaria en el mismo grado. Su extensión debe ser apropiada, de manera que aporteelementos esenciales para la comprensión del documento pero que no se extienda en aspectos dema-siado técnicos que no añadan valor a la información relacionada con la pregunta de evaluación.

El tipo de información sobre la enfermedad o condición clínica que puede ser útil incluye los siguien-tes conceptos: fisiopatología, historia natural, datos epidemiológicos sobre morbilidad y mortalidad,incluyendo incidencia y prevalencia, estimaciones del impacto de la enfermedad en la población y ca-racterísticas demográficas de ésta.

La información técnica sobre la TS se puede clasificar de la siguiente manera:

• Características relevantes del mecanismo de funcionamiento de la TS, tanto físicas como biológicaso funcionales. Por ejemplo, en el caso de un fármaco se debe aportar información básica sobre suscaracterísticas farmacocinéticas y su interacción con otros fármacos. En una TS diagnóstica se pre-cisa conocer datos sobre su validez, precisión, reproducibilidad y valores predictivos.

• Cumplimiento de estándares o criterios de calidad establecidos.

• Uso en la práctica diaria.Pueden incluirse aspectos como el tiempo necesario para realizar el proce-dimiento, riesgo que asumen los trabajadores y usuarios y nivel de entrenamiento necesario.

• Estrategias de control de calidad y mantenimiento.

Anexo II. Recopilación de fuentes de informaciónútiles en ETS

El presente anexo se configura como una ayuda para la localización de diversos tipos de infor-mación. En su elaboración no se ha pretendido alcanzar una gran exhaustividad, que podríadificultar su manejo y concreción, sino ofrecer un listado de las fuentes de información de ma-yor relevancia que sea de manejo fácil. Por otro lado, hay que reconocer la existencia de un cla-ro sesgo hacia la presencia de fuentes de origen español, especialmente en el apartado de lasfuentes de información administrativa. Sin embargo, consideramos importante su inclusión yaque, en cualquier caso, permite orientar sobre el tipo de fuentes que pueden ser de utilidad enotros contextos.

Al final del anexo se ha incluido un listado que recoge una selección de fuentes, excluyendo lasguías de práctica clínica, que pueden ser exploradas como paso preliminar de la búsqueda deinformación y para localizar rápidamente revisiones ya existentes.

Índice del anexo:

1. Selección de fuentes de informaciónpara la búsqueda preliminar ....................

2. Fuentes bibliográficas y documentales ...

2.1. Bases de datos de publicaciones einvestigaciones originales ...............

— Bases de datos generales ...........

— Bases de datos específicas o te-máticas.........................................

2.2. Fuentes de información secunda-ria ......................................................

— Bases de datos .............................

— Publicaciones secundarias ........

— Guías de práctica clínica ...........

— Literatura gris .............................

2.3. Productores o distribuidores de ba-ses de datos ......................................

3. Fuentes estadístico-administrativas ........

3.1. En España .........................................

4. Buscadores de información sanitaria enInternet .......................................................

5. E s t ra t e gias prediseñadas de búsquedabibliográfica ................................................

1. SELECCIÓN DE FUENTESDE INFORMACIÓN PARALA BÚSQUEDA PRELIMINAR

Listado de fuentes de información útiles para labúsqueda de información inicial. Ésta se re a l i z afundamentalmente cuando se diseña la eva l u a-ción.

• Red INAHTA (http://www.inahta.org).

• Base de datos de revisiones sistemáticas de laC o l ab o ración Coch rane ( h t t p : / / w w w. u p d a t e -software.com/ccweb/cochrane/cdsr.htm).

• HSTAT (Health Services/Technology AssessmentText) (http://text.nlm.nih.gov/).

• TRIP dat abase ( h t t p : / / w w w. g we n t . n h s. g ov. u k /trip/test-search.html).

• S c H A R R - L o ck ’s Guide to the Evidence( h t t p : / / w w w. s h e f. a c . u k / u n i / a c a d e m i c / R -Z/scharr/ir/scebm.htm).

• IDEA Topics List ( h t t p : / / w w w. o h s u . e d u / b i c c -informatics/ebm/ebm_topics.htm).

• M E D L I N E: Buscar fundamentalmente artículosde revisión o de síntesis.

PubMed: (http://www. n c b i . n l m . n i h . g ov / P u b M e d / )

GratefulMed: (http://igm.nlm.nih.gov/)

2. FUENTES BIBLIOGRÁFICASY DOCUMENTALES

2.1. Bases de datos de publicacionese investigaciones originales

Bases de datos generales

Medline: Es la principal base de datos de la Natio-nal Library of Medicine (NLM) de EE.UU., y abarcalos campos de medicina, e n f e r m e r í a , o d o n t o l o g í a


50

50

50

50

51

51

51

52

52

52

53

53

53

54

54


y veterinaria. Contiene citas bibliográficas de másde 3.900 revistas biomédicas y más de 9 millonesde registros desde 1966.LA NLM ofrece actualmen-te dos sistemas de acceso gratuito a Medline víaInternet:

• PubMed. Internet (http://www.ncbi.nlm.nih.gov/PubMed/).

• GratefulMed. Internet (http://igm.nlm.nih.gov/).

Accesible también en CD-ROM.

Embase: Es la base de datos electrónica de Excerp-ta Médica. Comprende información farmacológicay biomédica. Producida por Elsevier Science, Ams-terdam.

Accesible vía Internet (http://www. e l s ev i e r.nl/) yen CD-ROM.

Uncover: Base de datos que recoge más de 17.000revistas en inglés de contenido multidisciplinar, noe x c l u s ivamente biomédico. P roducido por CA R LCorporation (Colorado Alliance of Research Libra-ries).

Accesible vía Internet (http://uncweb.carl.org).

HSRProj: Base de datos de la NLM. Contiene citasde proyectos de investigación en curso acerca deServicios Sanitarios, incluyendo Evaluación de Tec-nologías Sanitarias, así como el desarrollo y uso deguías de práctica clínica.

Accesible en Internet vía GratefulMed (http://igm.nlm.nih.gov/).

L I L ACS ( L i t e rat u ra Latinoamericana y del Caribeen Ciencias de la Salud): R e f e rencias bibliográfi-cas desde 1982. Producida por BIREME. Se encuen-tra accesible en CD-ROM,el cual contiene, además,otras bases de datos bibliográficas con contenidossociosanitarios y legislativos de Latinoamérica.

Accesible vía Internet (http://www. b i re m e. b r /iahlil/homepage.htm).

National Research Register (NRR): Registro electró-nico de proyectos de investigación y desarrollo, encurso o recién terminados, financiados por el Ser-vicio Nacional de Salud del Reino Unido (NHS).Contiene proyectos de investigación, ensayos clíni-cos y revisiones sistemáticas. Publicado por Upda-te Software Ltd.

Accesible vía Internet (http://www.update-softwa-re.com/default.htm) o en CD-ROM.

IME (Índice médico español): Contiene la produc-ción científica española en el área de biomedicina.CD-ROM distribuido por el Centro de Informacióny Documentación Científica (CINDOC).

Accesible vía Internet (http://www. c i n d o c . c s i c . e s /principal.html) y en CD-ROM.

Bases de datos específicas o temáticas

Bases de datos de la NLM (National Library of Medi-cine): La NLM ofrece acceso a muchas bases de da-tos de contenidos más específicos, muchas de ellas

son también accesibles a través de Gra t e f u l M e d .Brevemente, pueden destacarse las siguientes:

• AIDSLINE: Citas bibliográficas sobre SIDA y ma-terias relacionadas.

• AIDSTRIALS: Ensayos clínicos relacionados conSIDA.

• CA N C E R L I T: Citas bibliográficas cuyo principaltema es el cáncer.

• DIRLINE: D i rectorio de fuentes de informacións o b re temas sanitarios, principalmente deEE.UU., pero también de algunas organizacionesinternacionales.

• H e a l t h S TAR: Citas bibliográficas sobre temasclínicos y de administración sanitaria. I n c i d eprincipalmente en la evaluación de resultados yla efectividad de los procedimientos. Actualmen-te está siendo incorporada a PubMed.

• PDQ: Información actualizada mensualmentede tratamientos y ensayos clínicos sobre cáncer.

• POPLINE: Citas bibliográficas acerca de políticasp o b l a c i o n a l e s, planificación familiar, a t e n c i ó nprimaria y problemas específicos de los paísesen vías de desarrollo.

Internet (http://www. n l m . n i h . g ov / p u b s / f a c t s h e-ets/online_databases.html).

PsycINFO ( P s y ch o l o gical A b s t racts): Recoge la li-t e ra t u ra internacional en psicología y disciplinasrelacionadas tales como medicina, p s i q u i a t r í a ,e d u c a c i ó n , t rabajo social o ciencias sociales. P ro-ducida por la Asociación Americana de Psicología.

Accesible vía Internet (http://www.apa.org/psycin-fo/contact.html) y en CD-ROM.

ASSIA (Applied Social Sciences Index and A b s-t racts): Contiene resúmenes y re f e rencias biblio-gráficas de ciencias sociales aplicadas a dive r s o stemas como geriatría, abusos infantiles, d e s e m-pleo o reformas sanitarias. Un 40% de sus conteni-dos son del Reino Unido. Distribuida por Bow ke r-Saür Ltd.

Accesible vía Internet (http://www.bowker-saur.co.u k / p roducts/catalog/a_and_i/assia_plus_c.htm) yen CD-ROM.

C I NAHL ( C u mu l a t ive Index to Nursing and A l l i e dHealth Literature): Recoge literatura e informaciónsobre enfermería y otras profesiones sanitarias re-l a c i o n a d a s, como fisioterapia o terapia ocupacio-nal, desde 1982.

Accesible vía Internet (http://www.CINAHL.com) yen CD-ROM.

2.2. Fuentes de información secundaria

Bases de datos

The Cochrane Library:

Contiene las siguientes bases de datos:


• Base de datos de revisiones sistemáticas (CSRD).

• Base de datos de resúmenes de revisiones deefectividad (DARE) (Accesible también vía CRD).

• R e gi s t ro Coch rane de ensayos contro l a d o s(CCTR).

• Base de datos sobre metodología de las revisio-nes (CRMD).

Accesible vía Internet (http://www.update-softwa-re.com/ccweb/cochrane/cdsr.htm) y en CD-ROM.

Red INAHTA (International Network of Agencies forHealth Technology Assessment): Referencias de losinformes de evaluación de tecnologías sanitarias,realizados por las agencias pertenecientes a la redI NA H TA . Pueden localizarse a través de Internet(http://www.inahta.org).

ISTAHC Database (International Society of Techno-logy Assessment in Health Care): Recopilación delt rabajo de los miembros de ISTAHC desde 1992.Contiene resúmenes de congresos y de publicacio-nes periódicas.

Accesible vía Internet (http://www. i s t a h c . o rg / l ive /viewdata).

HSTAT (Health Services / Technology AssessmentText): Producida por la NLM. Proporciona acceso adocumentos completos de diversos tipos, t a l e scomo guías de práctica clínica y publicaciones dela AHCPR (Agency for Health Care Policy and Rese-arch), de los NIH (National Institutes of Health) yde los CDC (Centers for Disease Control and Pre-vention).

Accesible vía Internet (http://text.nlm.nih.gov/).

CRD (Centre for Reviews and Dissemination): De-pendiente del Servicio Nacional de Salud (NHS)británico. Produce las siguientes bases de datos:

• DARE (Base de datos de resúmenes de revisionesde efectividad). Incluida también en The Cochra-ne Library.

• NEED (NHS Economic Evaluation Database).Base de datos de resúmenes de estudios de eva-luación económica de las intervenciones sanita-rias.

• H TA (Health Te chnology A s s e s s m e n t ) . Base dedatos de informes de Evaluación de TecnologíasSanitarias de la Red INAHTA.

Accesible vía Internet (http://nhscrd . yo r k . a c . u k /welcome.html).

TRIP database: Base de datos producida por T R I P( Turning Research Into Pra c t i c e ) , grupo formadopor profesionales sanitarios del Reino Unido. Per-mite explorar 18 bases de datos de materias rela-cionadas con la Medicina basada en la evidencia yacceder a los documentos contenidos en muchasde ellas.

Accesible vía Internet (http://www. g we n t . n h s. g ov. u k /trip/test-search.html).

P ro grama británico de Evaluación de Tecnologías Sani -tarias: Permite acceder a informes de ETS y proye c-

tos de investigación financiados por el NHS y a lasbases de datos de las divisiones re gionales del NHS.

Accesible vía Internet (http://www. s o t o n . a c . u k /~hta/).

ScHARR-Lock’s Guide to the Evidence: Producida porla Sección de Fuentes de Información de la Escue-la de Salud e Investigación Sanitaria (School ofHealth and Related Research, ScHARR) de la Uni-versidad de Sheffield (UK). Es una guía de fuentesde evidencia impre s a s, o rdenada por descriptore sMeSH (Medical Subject Heading). Contiene princi-palmente litera t u ra gris académica u oficial delReino Unido.

Accesible vía Internet (http://www.shef.ac.uk/uni/academic/R-Z/scharr/ir/scebm.html).

IDEA Topic List (Internet Database of Evidence-Ba-sed Abstracts and Articles): Base de datos que re-coge estudios seleccionados. Sus contenidos estánordenados por términos MeSH.

Accesible vía Internet (http://www. o h s u . e d u / b i c c -informatics/ebm/ebm_topics.htm).

Publicaciones secundarias

Son revistas que publican estudios basados en re-visiones de otros ya publicados. Recogen trabajosque han demostrado una adecuada calidad conarreglo a los criterios de la medicina basada en laevidencia.Entre las muchas existentes en la actua-lidad, pueden destacarse:

• Evidence-based medicine journal ( h t t p : / /w w w. a c p o n l i n e. o rg / j o u r n a l s / e b m / e b m m e nu . h t m ) .

• ACP journal club (http://www.acponline.org/).

• Bandolier (http://www.jr2.ox.ac.uk/Bandolier).

Guías de práctica clínica

NGC (National Guideline Clearinghouse): Base dedatos de guías de práctica clínica y documentos re-l a c i o n a d o s. P roducida por la A g e n cy for HealthCare Policy and Research (AHCPR).

Accesible vía Internet (http://www. g u i d e l i n e s. g ov /body_home_nf.asp?view=home).

CPG Infobase: Base de datos de guías de prácticaclínica producidas por la Asociación Médica de Ca-nadá (Canadian Medical Association).

Accesible vía Internet (http://www.cma.ca/cpgs/).

SIGN (Scottish Intercollegiate Guidelines Network):Guías de práctica clínica producidas por los cole-gios médicos de Escocia.

Accesible vía Internet (http://pc47.cee. h w. a c . u k /sign/home.htm).

Literatura gris

SIGLE (System for Information on Grey Litera t u-re): Recoge litera t u ra gris producida en Euro p a . E s


una base de datos de contenido mu l t i d i s c i p l i n a r,no exclusivamente biomédico, con 364.000 re gi s-t ros ap rox i m a d a m e n t e. P roducida por EAGLE (Eu-ropean Association for Grey Litera t u re Exploita-t i o n ) .

Accesible vía Internet (http://www. ko n b i b. n l /infolev/sigle/ea/home.htm) y en CD-ROM a travésde SilverPlatter (http://www.silverplatter.com/).

C o n fe rence Pa p e rs Index: Información de los pro-g ramas finales, l i b ros de resúmenes y actas pu-blicadas en las principales reuniones científicasde todo el mu n d o. Desde 1995 predominan loscontenidos re l a t ivos a ciencias de la vida y delmedio ambiente. P roducido por Cambridge Scien-tific A b s t ra c t s.

Accesible vía Internet (http://www. c s a 1 . c o.uk/) yen CD-ROM.

NTIS (National Te chnical Information Service):Base de datos producida por el Ministerio de Co-m e rcio de EE.UU. Es una importante fuente paralocalizar inve s t i g a c i o n e s, estudios e informes demúltiples campos científicos, p a t rocinados por elgobierno federal y desarrollados dentro o fuera deEE.UU.

Accesible vía Internet (http://www. n t i s. g ov /index.html).

TESEO: Contiene información sobre tesis doctora-les leídas en las Universidades españolas desde1976.

Accesible vía Internet (http://www. m e c . e s /teseo/).

2.3. Productores o distribuidores de basesde datos

Se recogen aquí una serie de compañías que pro-ducen o distribuyen,entre otras, las bases de datosmencionadas en este anexo. Suelen ofrecer accesoa las bases de datos tanto on-line como a través deCD-ROM.

The Dialog Corporation. Ofrece acceso a más de 700bases de datos. (http://www.dialog.com).

STN International. Ofrece acceso a más de 200 ba-ses de datos (http://www. f i z - k a r l s r u h e. d e /stn.html).

SilverPlatter. Ofrece acceso a más de 250 bases dedatos (http://www.silverplatter.com/).

Ovid Technologies. Ofrece acceso a más de 80 basesde datos (http://www.ovid.com).

3. FUENTES ESTADÍSTICO-ADMINISTRATIVAS

OMS/WHO ( O rganización Mundial de la Salud):O f rece acceso a múltiples estadísticas a nive lmundial y permite buscar en sus bases de datos

de informes técnicos y otras publicaciones(http://www.who.org ).

O P S / PAHO ( O rganización Panamericana de la Sa-lud): Organismo internacional de salud pública de-dicado a mejorar la salud y las condiciones de vidaen A m é r i c a . O f rece acceso a interesantes docu-mentos, programas sanitarios e importante infor-mación técnica (http://www.paho.org/).

FDA ( Food and Drug A d m i n i s t ration): Org a n i s m oque re gi s t ra y autoriza todos los productos ali-menticios y medicamentos en los EE.UU.( h t t p : / / w w w. f d a . g ov / h o m e t e x t . h t m ) .

OCDE ( O rganización para la Cooperación y el De-s a r rollo Económico): Ofrece información va l i o s as o b re estadísticas y publicaciones clasificadaspor temas, e n t re las que destaca por su utilidadp a ra el estudio del contexto la importante basede datos “OECD Health Data”, que presenta esta-dísticas que permiten comparar la situación sani-taria de 29 países (http://www. o e c d . o rg ) .

CORDIS ( C o m munity Research and Deve l o p m e n tInformation Service): Dependiente de la ComisiónE u ro p e a . P ro p o rciona información sobre activ i d a-des de investigación y desarrollo realizadas en laUnión Europea (http://www.cordis.lu/).

E U R O S TAT (Oficina de Estadística de la Unión Euro-pea): Dedicada a proporcionar un servicio de infor-mación estadística de alta calidad a la Unión Euro-p e a . Recoge datos de los Institutos Nacionalesde Estadística de los Estados miembros (http://europa.eu.int/en/comm/eurostat/eurostat.html).

Health Atlases on the Internet: Colección de atlas ycensos sobre información sanitaria. I n c l u ye unaselección de mapas, tablas, gráficos e informes d ela página web de la OMS (http://members. x o o m .c o m /mgdigest/medgpy_atlases.html).

3.1. En España

CNE ( C e n t ro Nacional de Epidemiología): Ofrece da-tos relacionados con enfermedades sometidas a vi-gilancia ep i d e m i o l ó gi c a , estadísticas sobre el cán-cer e indicadores de mortalidad y otros re c u r s o s( h t t p : / / w w w. i s c i i i . e s / u n i d a d / s g e / c n e / c c n e. h t m l ) .

MSC (Ministerio de Sanidad y Consumo): Ofre c eacceso a bases de datos como el Conjunto MínimoBásico de Datos (CMBD) y a la información ofrecidamediante el uso de los Grupos Relacionados con elDiagnóstico (GRD),además de otra información va-liosa (http://www.msc.es).

INE (Instituto Nacional de Estadística): Ofrece laposibilidad de consultar el banco de datos de se-ries estadísticas TEMPUS, además de poder cono-cer la información estadística nacional actualiza-da (http://www.ine.es).

CIS (Centro de Investigaciones Sociológicas): Ofre-ce acceso a más de 1.200 encuestas y estudios deopinión pública y situación de la sociedad españo-la (http://www.cis.es/).


I n formación legislativa del BOE: Este servicio delBoletín Oficial del Estado de España ofrece accesoa la información de carácter jurídico-administra-t ivo en el ámbito nacional, a u t o n ó m i c o, de laUnión Euro p e a , Latinoamérica y otros países( h t t p : / / w w w. b o e. e s / t a b l o n / o t ra s d i r. h t m ) .

DOCUMED: Base de datos que contiene re s ú m e-nes seleccionados de trabajos publicados desde1994 en más de 200 rev i s t a s. E l a b o rada por el Ins-tituto de Estudios Documentales e Históricos so-b re la Ciencia de la Universidad de Va l e n c i a( h t t p : / / w w w. u v. e s / ~ d o c m e d / d o c u m e d / d o c u-m e d . h t m l )

4. BUSCADORES DE INFORMACIÓNSANITARIA EN INTERNET

Se incluyen una serie de buscadores de informa-ción sanitaria en Internet. También este listado po-dría haber sido de gran extensión pues el númerode buscadores de información en Internet cre c ec o n t i nu a m e n t e. Se recogen aquí sólo algunos delos más conocidos y que se consideran de buenacalidad.

Medical Matrix. Permite acceso a recursos clínicosdisponibles en Internet clasificados y comentados.Dirigido principalmente a médicos y trabajadoressanitarios de Estados Unidos (http://www.medma-trix.org/).

Altavista. Uno de los grandes buscadores de Inter-n e t . Aunque no es específico de temas re l a c i o n a-dos con la salud, recoge un gran número de recur-sos sanitarios (http://www.altavista.digital.com/).

Yahoo Health. Recursos sanitarios del que, proba-blemente, sea el buscador de Internet más popular(http://www.yahoo.com/health).

OMNI ( O rganising Medical Netwo r ked Informa-tion). Recurso británico de fuentes biomédicas dealta calidad en Internet (http://www.omni.ac.uk).

5. ESTRATEGIAS PREDISEÑADASDE BÚSQUEDA BIBLIOGRÁFICA

Se denominan también filtros y se utilizan paraoptimizar los resultados de las búsquedas en basesde datos bibliográficas. E n t re las diversas institu-ciones que ofrecen estos filtros, pueden citarse lassiguientes:

IHS (Institute of Health Sciences). D ep e n d i e n t ede la Universidad de Oxford , Reino Unido(http://www.ihs.ox.ac.uk/library/filters.html).

E B M . C e n t ro para la Medicina Basada en la Evi-dencia del NHS británico. Ubicado en Oxford( h t t p : / / c e b m . j r 2 . ox . a c . u k / d o c s / s e a rch i n g . h t m l ) .

CRD (Centre for Reviews and Dissemination). Ubi-cado en la Universidad de York (Reino Unido)(http://www.york.ac.uk/inst/crd/search.htm).

Existen múltiples cuestionarios o tablas parael análisis crítico de publicaciones científi-c a s. Se han incluido en este documento losq u e, a nu e s t ro juicio, son más útiles y estánmás difundidos. El conjunto de cuestionariosmás completo y coherente publicado hastaa h o ra ha sido la serie que la revista JAMA hao f recido desde 19931 7 , 1 8 9 , 1 9 0. A d e m á s, se hanincluido otras tablas de análisis con el pro p ó-sito de incrementar el rango de tipos de estu-dios que pro p o rciona la serie citada y una lis-ta de re f e rencias que permitan ampliar la lis-ta ofre c i d a .

Las tablas 13 a 22 fueron publicadas comouna serie en la revista JAMA y se componende tres secciones: la primera analiza la vali-dez interna, la segunda los resultados y la ter-cera la validez externa. Sólo en caso de que sec o n c l u ya que los resultados del estudio tie-nen una validez interna suficiente tiene sen-tido responder al resto de las pre g u n t a s. E ncualquier caso, la decisión última sobre la va-lidez del estudio la tiene el lector, que no pue-de decidir la inclusión o no del estudio única-mente por las preguntas enunciadas en losesquemas, sino que debe adaptar esa decisióna las características de la investigación que seestá re a l i z a n d o. El valor de un artículo va adepender del valor otorgado al resto de los ar-tículos identificados, o sea, que la decisiónacerca de la inclusión de un artículo o no serealizará mediante una va l o ración de la im-portancia re l a t iva de éste en relación con lainformación disponible.

Los esquemas presentados a continuación nopueden usarse como una lista de criteriosexhaustiva para la valoración de artículos. Lam ayoría de estos esquemas son listados decriterios mínimos que deben cumplir todoslos artículos del mismo tipo, pero que en nin-gún caso pueden ser considerados una guíacon la que se evita la lectura de cada artículo

en su totalidad y el estudio metodológico ri-guroso que cada trabajo precise.

Cada artículo es diferente y no es posible re-dactar un esquema rígido que sirva para laevaluación de todos los artículos de un deter-minado tipo; por ejemplo, p a ra los artículossobre pruebas diagnósticas. El mayor benefi-cio de la utilización de cuestionarios es que seexplicitan los criterios que se han utilizadopara el análisis crítico de los artículos y que,por tanto, es posible que un lector reproduzcaíntegramente y reinterprete la evaluación re-alizada va l o rando la importancia re l a t iva decada artículo en relación con la informaciónexistente.

Además de las tablas que se incluyen a conti-nuación, existen muchas propuestas de cues-tionarios para el análisis crítico de la literatu-ra científica, entre los que destacan:

— O t ros cuestionarios para ensayos clíni-cos83,191,192,193,194,195.

— Otros cuestionarios para estudios de eva-luación económica161,164.

— R evisiones sistemáticas de ensayos clíni-cos controlados y aleatorizados196.

— Meta-análisis197,198,199,200,201.

— Estudios observacionales202,203,204,205,206.

— Análisis de decisión que incorp o ran utili-dades138.

— Análisis de subgrupos90.

— Artículos que analizan la probabilidad deenfermar y el diagnóstico diferencial207.

— Auditorías clínicas o estudios que valoranla calidad de la práctica clínica208.

— L i b ros que ofrecen un compendio de es-quemas para la lectura crítica209,210,211.


Anexo III. Esquemaspara la interpretaciónde la evidencia científica


Tabla 13Artículos sobre intervenciones terapéuticas

y/o preventivas*

¿Son válidos los resultados del estudio?Criterios primarios:— ¿Se ha realizado de forma aleatoria la asignación

de los tratamientos a los pacientes?— Inclusión de todos los pacientes que entraron en el

estudio en el análisis: ¿Se ha realizado un segui-miento completo de los pacientes? ¿Se ha mante-nido la asignación inicial de pacientes dura n t etodo el estudio?

Criterios secundarios:— ¿Hubo enmascaramiento respecto al tratamiento,

a los pacientes, los clínicos y los investigadores?— ¿Eran similares los grupos al inicio del estudio?— Aparte de la intervención experimental,¿se ha tra-

tado de forma idéntica a los grupos de pacientes?¿Cuáles han sido los resultados del estudio?— ¿Cuál ha sido la magnitud del efecto del tra t a-

miento?— ¿Con qué precisión se ha estimado el efecto del

mismo?¿Son útiles los resultados en la práctica clínica?— ¿Son aplicables los resultados a nuestros pacien-

tes?— ¿Se han considerado todos los posibles resultados

clínicamente importantes?— ¿Compensan los beneficios del tra t a m i e n t o, l o s

costes y riesgos del mismo?

* Tomado de Guyatt212 y Guyatt213.

Tabla 14Artículos sobre pruebas diagnósticas*

¿Son válidos los resultados del estudio?Criterios primarios:— ¿Se ha comparado de forma independiente, ciega,

con un patrón de referencia?— ¿La muestra de pacientes estudiados ha recogido

todo el espectro de pacientes a los que se aplicaráel test en la práctica clínica?

Criterios secundarios:— ¿ H ay sesgo de verificación? Existe cuando el test

estándar se realiza más en los casos que resulta-ron dudosos o positivos en el test a evaluar.

— ¿Se ha descrito la técnica con el detalle suficientecomo para permitir su reproducción?

¿Cuáles han sido los resultados del estudio?— ¿Se han presentado los cocientes de probabilidad,

likelyhood ratios, o los datos sobre sensibilidad y es-pecificidad del test o los datos para su cálculo?

¿Son útiles los resultados en la práctica clínica?— ¿Es rep roducible el test, tanto en la re a l i z a c i ó n

como en la interp re t a c i ó n , p a ra unos determina-dos pacientes?

— ¿Son aplicables los resultados a nuestros pacien-tes?

— ¿Modificará el test el manejo de los pacientes?— ¿ M e j o rarán los pacientes por la utilización del

test?

* Tomado de Jaeschke214 y Jaeschke215.

Tabla 15Artículos sobre efectos de intervenciones

y/o exposiciones*

¿Son válidos los resultados del estudio?Criterios primarios:— ¿Se han utilizado grupos de comparación similares

en cuanto a otros factores determinantes del efec-to diferentes a la exposición?

— ¿Se han valorado de la misma forma en todos losgrupos de comparación las exposiciones y los efec-tos?

— ¿El seguimiento ha sido suficientemente largo ycompleto?

Criterios secundarios:— ¿Precede la exposición al efecto?— ¿Existe gradiente dosis-respuesta?— Aparte de la intervención experimental, ¿se ha tra-

tado de forma idéntica a los grupos de pacientes?¿Cuáles han sido los resultados del estudio?— ¿Cuál es la fuerza de la asociación exposición-re-

sultado?— ¿Qué precisión tiene la estimación del riesgo?¿Son útiles los resultados en la práctica clínica?— ¿Son aplicables los resultados a nuestros pacien-

tes?— ¿Cuál es la magnitud del riesgo?— ¿Se debe evitar la exposición?

* Tomado de Levine203.

Tabla 16Artículos sobre pronósticos*

¿Son válidos los resultados del estudio?Criterios primarios:

— ¿La mu e s t ra de pacientes está bien definida y es

representativa de pacientes en un momento simi-

lar del curso de la enfermedad?

— ¿El seguimiento ha sido suficientemente largo y

completo?

Criterios secundarios:

— ¿Los parámetros utilizados para medir los resulta-

dos han sido objetivos y no sesgados?

— ¿Se ha ajustado por todos los factores pronósticos

importantes?

¿Cuáles han sido los resultados del estudio?— ¿Se ha especificado la probabilidad de que ocurran

los eventos en períodos de tiempo determinados?

— ¿Cuál es la precisión de las estimaciones de proba-

bilidad?

¿Son útiles los resultados en la práctica clínica?— ¿Los pacientes del estudio son similares a los

nuestros?

— ¿Son útiles los resultados para decidir si dar un

tratamiento?

— ¿Son útiles los resultados para aconsejar o tra n-

quilizar a los pacientes o a sus familiares?

* Tomado de Laupacis204.


Tabla 17Artículos de revisión*

¿Son válidos los resultados de la revisión?Criterios primarios:— ¿Es suficientemente concreto y ajustado a nu e s-

tros objetivos el tema de la revisión?— ¿Los criterios utilizados para la inclusión de estu-

dios en la revisión fueron apropiados?Criterios secundarios:— ¿Es baja la probabilidad de que falte algún estudio

relevante?— ¿Se ha evaluado la validez de los estudios inclui-

dos?— ¿Es reproducible la evaluación realizada para la in-

clusión y exclusión de estudios en la revisión?— ¿Existe suficiente homogeneidad entre los estu-

dios como para sintetizarlos en una revisión?¿Cuáles han sido los resultados del estudio?— ¿Cuáles son los resultados de la revisión en su

conjunto?— ¿Hasta qué punto fueron precisos los resultados?¿Son útiles los resultados en la práctica clínica?— ¿Son aplicables los resultados a nuestros pacien-

tes?— ¿Se han considerado todos los resultados clínica-

mente importantes?— ¿Compensan los beneficios previsibles, los costes y

los riesgos?

* Tomado de Oxman216.

Tabla 18Análisis de decisión clínica*

¿Son válidos los resultados del estudio?— ¿Se han incluido todos los resultados y estrategias

importantes?

— ¿Se ha utilizado un método adecuado para identi-

ficar, seleccionar y combinar las evidencias y esta-

blecer probabilidades?

— ¿Se han obtenido las utilidades de forma adecuada

y a partir de fuentes fiables?

— ¿Se ha estimado el impacto de las posibles incerti-

dumbres existentes?

— ¿Se ha ajustado por todos los factores pronósticos

importantes?

¿Cuáles han sido los resultados del estudio?— ¿ H ay una estra t e gia claramente superior a las

otras?

— ¿Cuál es el nivel de calidad de las evidencias de los

estudios incluidos en análisis?

— ¿Podría modificarse el resultado a causa de las in-

certidumbres existentes?

¿Son útiles los resultados en la práctica clínica?— ¿Se ajustan las estimaciones de probabilidad a las

características clínicas de nuestros pacientes?

— ¿ Va l o rarían nu e s t ros pacientes las utilidades de

forma similar?

* Tomado de Richardson217 y Richardson218.

Tabla 19Guías de práctica clínica*

¿Son válidos los resultados de la revisión?Criterios primarios:— ¿Se han considerado todas las opciones y resulta-

dos clínicos importantes?— ¿Existe un procedimiento adecuado que se haya

utilizado para identificar, seleccionar y combinarlas evidencias?

Criterios secundarios:— ¿Se ha utilizado un procedimiento adecuado para

considerar el valor relativo de los distintos pronós-ticos?

— ¿La información que ofrece está actualizada?— ¿Ha sido valorada por expertos, peer review?— ¿Se ha comprobado que la aplicación de la guía en

la práctica produzca beneficios?¿Cuáles son sus recomendaciones?— ¿Las recomendaciones son aplicables y clínica-

mente relevantes?— ¿Cuál es la fuerza de las recomendaciones?— ¿Cuál es el impacto de las incertidumbres de las

evidencias en las que se basa la guía?¿Son útiles los resultados en la práctica clínica?— ¿Las recomendaciones son aplicables a nu e s t ro s

pacientes?— ¿El objetivo de la guía es consistente con sus obje-

tivos?

* Tomado de Hayward219 y Wilson220.

Tabla 20Artículos sobre calidad de vida relacionada

con la salud*

¿Son válidos los resultados del estudio?Criterios primarios:

— ¿Las variables incluidas miden aspectos conside-

rados importantes por los pacientes?

— ¿Los instrumentos utilizados miden la calidad de

vida de forma válida, fiable y precisa?

Criterios secundarios:

— ¿Se incluyen todos los aspectos importantes rela-

cionados con la calidad de vida?

— En el caso de que existan estudios que hayan reali-

zado una evaluación económica o hayan medido

la relación calidad-cantidad de vida, ¿se han em-

pleado en el artículo las medidas adecuadas?

¿Cuáles han sido los resultados?— ¿Cuál fue la magnitud del efecto sobre la calidad

de vida?

¿Son útiles los resultados en la práctica clínica?— ¿Son útiles los resultados en el proceso de infor-

mación a nuestros pacientes?

— ¿Consigue el estudio una buena simulación de la

práctica clínica real?

— ¿Se ajustan las estimaciones de probabilidad a las

características clínicas de nuestros pacientes?

* Tomado de Guyatt221.


Tabla 21Ensayos clínicos aleatorios*

1. Asignación de tratamientos:

— ¿La asignación fue aleatoria?

— ¿Hubo enmascaramiento en la asignación?

2. ¿Los diferentes grupos fueron similares en cuantoa los más importantes factores pronósticos?

3. ¿Se especificaron los criterios de inclusión y ex-clusión establecidos?

4. ¿Hubo enmascaramiento para los investigadores?

5. ¿Hubo enmascaramiento para los médicos queatendieron a los pacientes participantes?

6. ¿Hubo enmascaramiento para los pacientes?

7. ¿Se pre s e n t a ron las medidas de resultado juntocon sus medidas de dispersión?

8. ¿Se realizó un análisis por intención de tratar?

* Tomado de Verhagen222.

Tabla 22Estudios de evaluación económica

de la atención médica*

¿Son válidos los resultados del estudio?— ¿Se han considerado todas las estrategias clínicas

relevantes?— ¿Se han considerado los costes y resultados desde

los puntos de vista más importantes?— ¿Se han medido correctamente los costes y resul-

tados?— ¿Se ha analizado el impacto de las incertidumbres

que existen en los datos?— ¿Se ha considerado la situación clínica basal de la

población en los datos incluidos en el análisis?¿Cuáles han sido los resultados?— ¿Cuáles fueron los costes y resultados incrementa-

les de cada una de las estrategias consideradas?— ¿Se han observado diferencias en los costes y re-

sultados incrementales entre subgrupos?— ¿Cuál es el impacto de las incertidumbres de los

datos incluidos?¿Son útiles los resultados en la práctica clínica?— ¿Los beneficios compensan los costes y efectos ad-

versos?— ¿La va l o ración de los resultados clínicos y de los

costes es aplicable a nuestros pacientes?

* Tomado de Drummond223 y O’Brien224.

Anexo IV.Clasificaciones del gradode evidencia científica

La ETS supone la formulación de recomenda-ciones basadas en la mejor evidencia científi-ca disponible y en el análisis del contexto. Lasescalas de clasificación de la evidencia cientí-fica contribuyen a determinar la calidad y elrigor científico de la información disponible, ala vez que permiten establecer la fuerza decada una de las recomendaciones del infor-me, tanto en el sentido de aconsejar la adop-ción de la tecnología como de que ésta se dejede utilizar si las evidencias indican la caren-cia o insuficiencia de datos positivos sobre suefectividad.

1. NIVELES DE CALIDADDE LA EVIDENCIA CIENTÍFICA

Las siguientes clasificaciones diferencian deforma jerárquica los distintos niveles de evi-dencia en función del rigor científico del dise -ño del estudio, aunque una clasificación ade-cuada de la importancia de los estudios debe-ría incluir también el análisis crítico de su ca -lidad (desarrollo, pérdidas de sujetos, calidadde las fuentes de datos y otros aspectos). Acontinuación se presentan las clasificacionesmás aceptadas y difundidas.


Tabla 23Clasificación de la evidencia científica según el diseño del estudioa

(tomado de US Preventive Task Force225)

I. Evidencia obtenida a partir de al menos un ensayo aleatorizado y controlado diseñado de formaapropiada.

II.1. Evidencia obtenida de ensayos controlados bien diseñados, sin randomización.II.2. Evidencia obtenida a partir de estudios de cohorte o caso-control bien diseñados, realizados pre-

ferentemente en más de un centro o por un grupo de investigación.II.3. Evidencia obtenida a partir de múltiples series comparadas en el tiempo con o sin intervenciónb.III. Opiniones basadas en experiencias clínicas, estudios descriptivos o informes de comités de ex-

pertos.

a: De mayor (I) a menor (III) calidad.b: Este tipo de evidencia también incluye resultados muy llamativos en experimentos sin grupo control,como los deri-

vados de la introducción de la penicilina en los años cuarenta.

Tabla 24Calidad de la evidencia según el diseño del estudio (modificado de Bertra m2 2 6 y Goodman5 6)

• Ensayos aleatorios controlados de gran tamaño, revisiones sistemáticas o meta-análisis de ensayosaleatorios controlados.

• Ensayos aleatorios controlados de pequeño tamaño.• Ensayos no aleatorios con controles coincidentes en el tiempo.• Ensayos no aleatorios con controles históricos.• Estudios observacionales de cohortes.• Estudios observacionales casos-controles.• Vigilancia epidemiológica, Estudios descriptivos, Información basada en registros.• Estudio de series de casos multicéntrico.• Estudio de series de casos unicéntrico.• Estudio de un caso o anécdota.

Tabla 25Clasificación de la evidencia científica (modificado de Jovell227)

Nivel Tipo de diseño Condiciones de rigurosidad científica

I Meta-análisis de ensayos controlados y aleatorizados No heterogeneidad, calidad de los es-tudios

II Ensayo controlado y aleatorizado de muestra grande Evaluación del poder estadístico, mul-ticéntrico, calidad del estudio

III Ensayo controlado y aleatorizado de muestra pequeña Evaluación del poder estadístico, cali-dad del estudio

IV Ensayo prospectivo controlado no aleatorizado C o n t roles coincidentes en el tiempo,multicéntrico, calidad del estudio

V Ensayo prospectivo controlado no aleatorizado C o n t roles históricos, calidad del estudio

VI Estudios de cohortes M u l t i c é n t r i c o, ap a re a m i e n t o, c a l i d a ddel estudio

VII Estudios de casos y controles Multicéntrico, calidad del estudio

VIII Series clínicas sin grupo control MulticéntricoEstudios descriptivosJuicio de expertos

IX Anécdotas o casos únicos


2. RELACIÓN ENTRELA CALIDAD DE LA EVIDENCIACIENTÍFICA Y LA FUERZADE LAS RECOMENDACIONES

Las recomendaciones acerca de la adopción ono de una nueva tecnología sanitaria formu-ladas por las agencias de ETS deben surgir del

análisis y síntesis de la evidencia disponibleen la literatura médica, para lo cual puede serútil presentar las evidencias clasificadas se-gún el rigor científico. En ese sentido, la tabla26 establece la correspondencia entre el nivelde calidad científica y la fuerza de la re c o-mendación que surge de la ev i d e n c i a . Se haseleccionado esa pro p u e s t a , aunque se hanpublicado otras interesantes228,229.

Tabla 26Relación entre los niveles de calidad de la evidencia científica y el grado

de recomendaciones (modificado de Sackett230)

Nivel de calidad

I. Ensayos aleatorizados con una muestra gran-de y resultados bien definidos (y un riesgobajo de error estadístico tipo α y β)

II. E n s ayos aleatorizados con una mu e s t ra pe-queña (y un riesgo moderado o alto de errorestadístico tipo α y β)

III. Estudios no aleatorizados, cohortes concu-rrentes en el tiempo

IV. Estudios no aleatorizados, cohortes históricas

V. Estudios no controlados, series clínicas

Grado de recomendacióna

A Adecuada evidencia científica para recomen-dar la adopción de la tecnología

E Adecuada evidencia para recomendar la no-adopción

B Cierta evidencia científica para re c o m e n d a rla adopción de la tecnología

D Cierta evidencia para recomendar la NOadopción

C Insuficiente evidencia científica, por lo que ladecisión de adoptar la tecnología debe basar-se en otros criterios

C

C

a: El grado de recomendaciones se define en US Preventive Task Force225 y en Canadian Task Force231.

3. CLASIFICACIÓN DE LOS ESTUDIOS SOBRE EFICACIA DIAGNÓSTICA

Tabla 27Clasificación de los niveles de estudios sobre eficacia diagnóstica con las medidas

de resultado más habituales (tomada de Fryback232)

Nivel Medidas de resultado

I. Eficacia Técnica — Resolución de pares de líneas— Cambio en la función de transferencia de modulación— Rango en la escala de grises— Cantidad de abigarramiento— Nitidez

II. Eficacia en la Exactitud — Cantidad de diagnósticos normales o anormales en unaserie de casosDiagnóstica

— Exactitud diagnóstica (porcentaje de diagnósticos correc-tos en una serie de casos)

— Sensibilidad y Especificidad en una situación clínica de-finida

— Medidas del área de la curva ROC

III. Eficacia Presumible Diagnóstica — Po rcentaje de casos en los que la imagen se juzgó útilpara realizar el diagnóstico.

— Cambios en la tendencia de la distribución de probabili-dades del diagnóstico diferencial

— D i f e rencias subjetivas clínicas en las pro b a b i l i d a d e sdiagnósticas antes y después de la prueba

— Cociente de probabilidades estimado de forma empíricay subjetiva para una prueba positiva y negativa

IV. Eficacia Terapéutica — Po rcentaje de veces en que la imagen se consideró útil paraplanificar el manejo de los enfermos en series de casos.

— Porcentaje de veces en que procedimientos médicos (te-rapéuticos o diagnósticos) fueron evitados por la infor-mación suministrada por la imagen

— Porcentaje de veces en que la terapia pre-prueba cambiótras la información de la imagen (inferido retrospectiva-mente de los informes clínicos)

— Porcentaje de veces que cambiaron los clínicos su tera-pia después de obtener la información de la prueba.

V. Eficacia en Resultados para — Po rcentaje de enfermos que mejora ron con la pruebadiagnóstica en comparación con los que no la usaronlos Enfermos

— Procedimientos médicos o morbilidad evitados tras la in-formación suministrada por la imagen

— Cambios en AVACs (Años de Vida Ajustados por Calidad)— Coste por AVACs ahorrado por la información suminis-

trada por la prueba diagnóstica

VI. Eficacia Social — Análisis coste/beneficio, c o s t e / e f e c t ividad o coste/utili-dad realizado desde una perspectiva social.


Tabla 28Criterios de clasificación de estudios que evalúan pruebas diagnósticas por imagen

(tomado de Flynn188)


Grado Criterio fundamental

I Estudios con resultadosg e n e ra l i z ables a una am-plia variedad de enfermosy que no presentan defec-tos metodológicos signifi-cativos

II Estudios con un espectromás estrecho de genera l i-zación, y con pocos defec-tos metodológicos que es-tán bien descritos (su im-pacto en los resultadospuede ser evaluado)

III Estudios con varios defec-tos metodológicos

IV Estudios con múltiples de-fectos metodológicos

Requisitos

— ≥35 enfermos y ≥35 sujetos sin la enfermedad analizada(ya que tales números dan un intervalo de confianza del95% cuyo límite inferior excluye 0,90 si el error estándar esde 1 ).

— Pacientes escogidos de una muestra clínica representativa(no filtrados para incluir sólo casos graves) cuyos síntomassean completamente descritos.

— Los diagnósticos han de ser definidos por un estándar dereferencia apropiado.

— Los estudios han de ser de alta calidad técnica y evaluadosindependientemente del diagnóstico de referencia.

— ≥35 enfermos con y sin patología.— Espectro más limitado de pacientes, presencia de sesgo de

selección (por ejemplo: pacientes con patología más gravepor estar ingresados en Centros Universitarios).

— Libre de otros defectos metodológicos que promuevan in-teracción entre los resultados de la prueba y el diagnósticode la enfermedad.

— Estudios prospectivos.

— Muestras pequeñas.— Información incompleta.— Estudios de exactitud diagnóstica restrospectivos

— No existe un estándar de referencia fiable para el diagnós-tico.

— Dependencia entre los resultados de la prueba estudiada yla determinación del diagnóstico final.

— No se pudo determinar la fuente de la cohorte de pacien-tes o estaba obviamente influida por los resultados de laprueba (sesgo de verificación).

— Opiniones no basadas en los datos.

1. Conde JL. Evaluación de Tecnologías Sanitarias: Racionalización frente a racionamiento. Revista de Admi -nistración Sanitaria. 1998; vol: 2, n.º 5: 139-147.

2. OCDE Health Data. A software package for the international comparision of health care systems. [archivo de or-denador] Version 1.5. París: OCDE, 1993.

3. Glover JA. The incidence of Tonsillectomy in School Children. Proc Roy Soc Med 1938; 31: 1219-36.

4. Wennberg JE, Gittelsohn A. Small area variations in health care delivery. Science 1973; 182: 1102-1108.

5. Chassin MR, Kosecoff J, Park ER, et al. Variations in the use of medical and surgical services by the Medi-care population. New Engl J Med. 1986; 314: 285-90.

6. Wennberg JE. Dealing with medical practice variations: a proposal for action. Health Affairs. 1984; 3: 6-32.

7. M c G lynn EA, N aylor CD, Anderson GM et al. Comparison of the ap p ropiateness of coronary angi o-g rap hy and coronary artery bypass graft surgery between Canada and New York State. JAMA 1994; 272:9 3 4 - 9 4 0 .

8. Bernstein SJ, Kosecoff J, Gray D, Hampton JR, Brook RH. The appropriateness of the use of cardiovascularprocedures. British versus US perspectives. Int J Technol Assess Health Care 1993; 9: 3-10.

9. US Congress, Office of Technology Assessment. Identifying health technologies that work.Searching for Eviden -ce. OTA-H-608. Washington DC: US Government Printing Office, 1994.

10. Brook RH, Chassin MR,Fink A, and cols. A method for the detailed assessment of the appropriateness ofmedical technologies. Int J of Technology Assessment in Health Care. 1986; 2: 52-63.

11. Relman AS. Assessment and accountability: the third revolution in medical care [editorial]. N Engl J Med1988; 319: 1.220-2.

12. US Congress, Office of Technology Assessment, Assessing the efficacy and safety of medical technologies. Publi-cation n.º OTA-75. Washington DC: US Government Printing Office, 1978.

13. Granados A. La evaluación de las Tecnologías Médicas. Med Clin (Barc) 1995; 104: 581-588.

14. Ministerio de Sanidad y Consumo - Instituto de Salud Carlos III - Agencia de Evaluación de Te c n o l o g í a sSanitarias (AETS). E valuación Epidemiológica de Te c n o l ogías de Salud. Madrid: AETS - Instituto de SaludCarlos III, 1 9 9 5 .

15. Liberati A, Sheldon TA, Banta HD. EUR-ASSESS Project Subgroup Report on Methodology. MethodologicalGuidance for the Conduct of Health Technology Assessment. Intl J of Technology Assesssment in Health Care.1997; 13, 2; 186-219.

16. Banta HD, Luce B. Health Care Technology and its Assessment. An international perspective. New York: OxfordUniversity Press, 1993.

17. Evidence-Based Medicine Working Gro u p. Evidence-based medicine. A new ap p ro a ch to teaching thepractice of medicine. JAMA 1992; 268: 2.420-5. Edición española 1997.

18. Gol JM. Bienvenidos a la medicina basada en la evidencia. JAMA (edición española) 1997.

19. Cook DJ, Mulrow CD, Haynes RB. Systematic Reviews: Synthesis of Best Evidence for Clinical Decisions.Ann Intern Med 1997; 126: 376-380.

20. Thompson SG, Pocock SJ. Can Meta-Analyses Be Trusted?. Lancet 1991; 338 (8775): 1127-1130.

21. Alberta Heritage Foundation for Medical Research. Health Technology Assessment in Alberta (folleto divulga-tivo). Edmonton, Alberta, Canada, 1998.

22. Hailey D, Harstall C, Corabian P, Swist F. The Impact of rapid technology assessments. Proceedings of the14th Annual Meeting of the International Society of Technology Assessment in Health Care; 1998, june 7-10; Otta-wa, Ontario, Canada.

23. Field MJ, Lorh KN, editores. Guidelines for clinical practice. From Development to Use. Institute of Medicine.Washington, DC: National Academy Press, 1992.

24. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using ClinicalPractice Guidelines to Evaluate Quality of Care (volume I). Publication n.º 95-0045.Rockville, MD: Executive Of-fice Center, 1995.


Referencias

25. US Department of Health and Human Services, Agency for Health Care Policy and Research. Using ClinicalPractice Guidelines to Evaluate Quality of Care (volume II). Publication n.º 95-0046. Rockville, MD: ExecutiveOffice Center, 1995.

26. Audet A,Greenfield S, Field M.Medical practice guidelines current activities and future directions. Ann In -tern Med 1990; 113: 709-714.

27. Woolf SH,Battista RN, Anderson GM, Logan AG, Wang E,and the Canadian Task Force on the Periodic He-alth Examination. A report by the Canadian Task Force on the Periodic Health Examination. J Clin Epide -miol 1990; 43: 891-905.

28. L á z a ro P. E valuación de Tecnología Médica. Papeles de Gestión Sanitaria. M o n o g rafía n.º II-94. Va l e n c i a :M/C/Q Ediciones, Valencia, 1994.

29. AETS (Agencia de Evaluación de Tecnologías Sanitarias). Fichas técnicas de Evaluación de Tecnologías Sanita -rias. Consejo Interterritorial del Sistema Nacional de Salud. Madrid, octubre de 1998.

30. Stevens RG. Identifying new health care technologies in the United Kingdom. International Journal of Tech -nology Assessment in Health Care 1997; 13 (1): 59-67.

31. Manual de la Colaboración Cochrane (versión española de “Mulrow CD, Oxman AD (eds). The Cochrane Co -llaboration Handbook”) [actualización de Septiembre 1997]. Sabadell: Centro Cochrane Español; 1998.

32. Wennberg JE,Bunker JP, Barnes B. The need for assessing the outcome of common medical practices. An -nual Review of Public Health 1980; 1: 277-295.

33. Wennberg JE.What is outcomes research? En: Gelijns AC, ed. Modern methods of clinical investigation. Was-hington DC: National Academy Press, 1990, pp. 33-46.

34. Greenfield S. The state of outcomes research: are we on target? N Engl J Med 1989; 320: 1142-1143.

35. Echt DS, et al.Mortality and morbidity in patients receiving encainide, flecainide, or placebo. The CardiacArrhythmia Suppression Trial N. Eng J Med 1991; 324:781-788.

36. Miller FW, Leitman SF, Cronin ME et al. Controlled trial of plasma exchange and leukapheresis and der-matomyositis. N Engl J Med 1992; 326: 1380-1384.

37. Ruberman W, Weinblatt E, Goldberg JD, Frank CW, Shapiro S. Ventricular premature beats and mortalityafter myocardial infarction. N Engl J Med 1977; 297: 750-7.

38. The CAPS (Cardiac Arrhythmia Pilot Study) Investigators. Effects of encainide, flecainide, imipramine andmoricizine on ventricular arrhythmia during the year after acute myocardial infarction: the CAPS. Am JCardiol 1988; 61: 501-9.

39. Gotzsche PC, Liberati A,Torri V, Rosetti L.Beware surrogate endpoints. International Journal of Technology As -sessment in Health Care 1996; 12: 238-246.

40. Guallar E,Conde JL,de la Cal A,Martín-Moreno JM.Guía para la evaluación de proyectos de investigaciónen ciencias de la salud. Med Clin (Barc) 1997; 108: 460-471.

41. Friedman GD. Principios de epidemiología. México: Panamericana, 1975.

42. Hulley SB, Cummings SR, editores. Diseño de la investigación clínica. Un enfoque epidemiológico. Barce-lona: Doyma, 1993.

43. Bakke OM,Carné X,García-Alonso F. Ensayos clínicos con medicamentos: Fundamentos básicos, metodo-logía y práctica. Barcelona: Doyma, 1994.

44. Roca J. Cómo y para qué hacer un protocolo. Med Clin (Barc) 1996; 106: 257-262.

45. CRD (The National Health Service Centre for Reviews and Dissemination). Undertaking Systematics Reviewsof Research on Effectiveness. CRD Guidelines for Those Carrying Out or Commissioning Reviews. York: Universityof York, 1996.

46. Faber RG. Information overload [carta]. BMJ 1993; 307: 383.

47. Mulrow CD. Rationale for systematic reviews. BMJ 1994; 309: 597-599.

48. Dickersin K,Scherer R,Lefebvre C. Identifying relevant studies for systematic reviews. British Medical Jour -nal 1994; 309: 1286-91.

49. Smith BJ, Darzins PJ, Quinn M, Heller RF. Modern methods of searching the medical literature. Med J Aust1992; 157(9):603-11.

50. Pérez JR. Introducción a la Información y Documentación Científica. Madrid: Alhambra, 1987.

51. Gotzsche, P.C. Reference bias in reports of drug trials. BMJ 1987; 295: 654-6.

52. US Congress, Office of Technology Assessment. Tools for Evaluating Health Technologies: Five Background Pa -pers. Publication n.º BP-H-142. Washington DC: US Government Printing Office, 1995.


53. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio-gráficos para identificación y localización. Boletín de la Asociación Andaluza de Bibliotecarios 1994, 34: 41-59.

54. Torres I. La llamada literatura gris. Reflexiones sobre su naturaleza y desarrollo de instrumentos biblio-gráficos para identificación y localización. Boletín de la Asociación Andaluza de Bibliotecarios 1994, 35: 9-26.

55. Martín W. Medicina Basada en la Evidencia: el papel de las bibliotecas médicas. Anuari SOCADI de docu -mentació i informació 1998, pp. 241-4.

56. Goodman C. Literature Searching and evidence interpretation for assessing health care practices. Estocolmo: TheSwedish Council on Technology Assessment in Health Care. 1993.

57. McKibbon KA, Walker-Dilks CJ. Beyond ACP Journal Club: how to harness MEDLINE to solve clinical pro-blems [editorial]. ACP Journal Club 1994 mar-apr: A10-A12 (Ann Intern Med 120 suppl 2).

58. KA, Walker CJ. Beyond ACP Journal Club: how to harness MEDLINE for therapy problems [editorial]. ACPJournal Club 1994 jul-aug: A10 (Ann Intern Med 121 suppl 1).

59. McKibbon KA, Walker CJ. Beyond ACP Journal Club: how to harness MEDLINE for diagnosis problems [edi-torial]. ACP Journal Club 1994 sep-oct: A10 (Ann Intern Med 121 suppl 2).

60. McKibbon KA, Walker-Dilks CJ, Wilczynski NL et al. Beyond ACP Journal Club: how to harness MEDLINEfor review articles [editorial]. ACP Journal Club 1996 may-jun: A12-13.

61. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Journal Club: how to harness MEDLINE foretiology problems [editorial]. ACP Journal Club 1994 nov-dec: A10-A11 (Ann Intern Med 121 suppl 3).

62. Walker-Dilks CJ, McKibbon KA and Haines RB. Beyond ACP Journal Club: how to harness MEDLINE forprognosis problems [editorial]. ACP Journal Club 1995 jul-aug: A12-A14 (Ann Intern Med 123 suppl 1).

63. Hewitt P, Chalmers TC. Using MEDLINE to Peruse the Literature. Controlled Clinical Trials 1985; 6: 75-83.

64. Greenhalgh T. How to read a paper. The Medline database. BMJ 1997; 315: 180-3.

65. Reference Manager [archivo de ordenador]. Windows version 8.5. Carlsbad: Research Information SystemsInc, 1997.

66. Pro-Cite [archivo de ordenador]. DOS version 2.1. Ann Arbor: Personal Bibliographic Software, 1993.

67. End-Note version 3.0. [archivo de ordenador]. Berkeley, California: Niles Software, (http://www.software-cientifico.com/endnote.htm) 1999.

68. Hersh W, Hickam DH,Haynes RB, McKibbon KA. Evaluation of SAPHIRE: an automated approach to inde-xing and retrieving medical literature. Proc Annu Symp Comput Appl Med Care 1991; 808-812.

69. Last JM. A Dictionary of Epidemiology. New York: Oxford University Press, 1995.

70. Laird NM,Mosteller F. Some statistical methods for combining experimental results. Int J Tech Assess in He -alth Care 1990; 6: 5-30.

71. Stone DH. Design a questionnaire. BMJ 1993; 307: 1264-6.

72. Hernández I, Porta M,Miralles M,García F, Bolúmar F. La cuantificación de la variabilidad en las observa-ciones clínicas. Med Clin (Barc) 1990; 95: 424-429.

73. Begg CB, Berlin JA . Publication bias and dissemination of clinical re s e a rch . J Natl Cancer Inst 1989; 81: 107-15.

74. Berlin JA,Begg CB, Louis TA.An assessment of publication bias using a sample of published clinical trials.J Am Stat Assoc 1989; 84: 381-92.

75. Hedges LV. Modelling publication selection effects in meta-analysis. Stat Sci 1992; 7: 246-55.

76. Iyengar S, Greenhouse JB. Selection models and the file drawer problem. Stat Sci 1988; 3: 109-35.

77. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR. Publication bias in clinical research. Lancet 1991; 337:867-72.

78. Chalmers I. A register of controlled trials in perinatal medicine. WHO Chron 1986; 40: 61-65.

79. Dickersin K. Report from the panel on the Case for Registers of Clinical Trials at the Eighth Annual Mee-ting of the Society for Clinical Trials. Controlled Clin Trials 1988; 9: 76-81.

80. Dickersin K. Keeping posted.Why register clinical trials? - revisited.Controlled Clin Trials 1992; 13: 170-7.

81. Follmann D, Elliott P, Suh I, Cutler J. Variance imputation for overviews of clinical trials with continuousresponse. J Clin Epidemiol 1992; 45: 769-73.

82. Greenland S. Quantitative methods in the review of epidemiologic literature. Epidemiology Reviews 1987; 9:1-30.

83. The Standards of Reporting Trials Group. A proposal for structured reporting of randomized controlledtrials. JAMA 1994; 272: 1926-31.


84. Working Group on Recommendations for Reporting of Clinical Trials in the Biomedical Literature. Call forcomments on a proposal to improve reporting of clinical trials in the biomedical literature. Ann Intern Med1994; 121: 894-5.

85. ECRI. ECRI’s Methods of Healthcare Technology Assessment. ECRI Executive Briefings. Plymouth: ECRI 1996.

86. Sackett DL, Haynes RB, Tugwell P. Epidemiología Clínica. Una ciencia básica. Madrid: Díaz de Santos, 37.

87. Fleiss JL. Statistical methods for rates and proportions. Nueva York: John Wiley and Sons, 1981, pp: 212-225.

88. Jadad AR,Moore RA,Carroll D, et al.Assessing the quality of reports of randomized clinical trials: Is blin-ding necessary? Controlled Clin Trials 1996; 17: 1-12.

89. Detsky AS, Naylor CD, O’Rourke K, McGreer AJ, L’Abbe KA. Incorporating variations in the quality of indi-vidual randomized trials into meta-analysis. J Clin Epidemiol 1992; 45: 255-65.

90. Oxman AD, Guyatt GH. A consumer’s guide to subgroup analyses. Ann Intern Med 1992; 116: 78-84.

91. Yusuf S, Wittes J, Probstfield J, Herman AT. Analysis and Interpretation of Treatment Effects in Subgroupsof Patients in Randomized Clinical Trials. JAMA 1991; 266: 93-8.

92. Bailar JC III. Pasive smoking, coronary heart disease, and meta-analysis. N Engl J Med 1999; 340: 958-9.

93. L’Abbé KA,Detsky AS, O’Rourke K.Meta-Analysis in Clinical Resarch. Annals of Internal Medicine 1987; 107:224-233.

94. Antman EM, Lau J, Kupelnick B, Mosteller F, Chalmers TC. A comparison of results of meta-analyses ofrandomized control trials and recommendations of clinical experts. Treatments for myocardial infarc-tion. JAMA 1992; 268: 240-8.

95. Bailar JC III. The practice of meta-analysis. J Clin Epidemiol 1995; 48: 149-57.

96. Le Lorier J, Grégoire G, Benhaddad A, Lapierre J, Derderian F. Discrepancies between meta-analyses andsubsequent large randomized, controlled trials. N Engl J Med 1997; 337: 536-42.

97. Petitti D. Meta-Analysis, Decision Analysis and Cost-Effectiveness Analysis: Methods for Quantitative Synthesis inMedicine. New York: Oxfork University Press, 1994.

98. Hillner BE, Smith TJ. Efficacy and cost effectiveness of adjuvant chemotherapy in women with node-ne -gative breast cancer: a decision-analysis model. New England Journal of Medicine 1991; 324: 160-168.

99. Pearson K.Report on Certain Enteric Fever Inoculation Statistics. British Medical Journal 1904; 2: 1243-1246.

100. Glass GV. Primary, Secondary and Meta-Analysis of Research. Educational Researcher 1976; 5: 3-8.

101. Laupacis A, Sackett DL, Roberts RS. An assessment of clinically useful measures of the consequences oftreatment. N Engl J Med 1988; 318: 1728-33.

102. Cook RJ, Sackett DL. The number needed to treat: a clinically useful measure of treatment effect.Br Med J1995; 310: 452-454.

103. Figueredo E,Canosa L.Limitaciones y falacias de la fórmula del “número de pacientes que será necesariotratar”. Med Clin (Barc) 1999; 112, 1: 36.

104. Jenicek M. Meta-análisis en medicina: reunión de experiencias. En: Jenicek M. Epidemiología: la lógica de laepidemiología moderna. Barcelona: Masson, 1996: pp. 285-317.

105. Pocock SJ et al. Meta-analysis of randomised trials comparing coronary angioplasty with bypass surgery.Lancet 1995; 346: 1184-89.

106. Walker AM, Martin-Moreno JM, Artalejo FR. Odd man out: a graphical approach to meta-analysis. Am JPublic Health 1988; 78:961-6.

107. Williamson DF, Parker RA, Kendrick JS. The Box Plot: A simple visual method to interpret data. Ann Int Med1989; 110: 916-21.

108. Galbraith RF. A note on graphical presentation of estimated odds ratios from several clinical trials. StatMed 1988; 7: 889-94.

109. Woolf B. On estimating the relationship between blood group and disease. Ann Human Genet, 1955; 19:251-3.

110. DerSimonian R, Laird N. Meta-analysis in clinical trials. Controlled Clinical Trials 1986; 7: 177-88.

111. Altman DG, Gardner MJ. Confidence intervals for research findings. Br J Obstet Gynaecol 1992; 99: 90-1.

112. Light RJ, Pillemer DB. Summing up. The science of reviewing reserch . Cambridge (MA): Harva rd Unive r s i t yPress, 1984.

113. Delgado M,Sillero M,Gálvez R.Metaanálisis en epidemiología (1.ª parte): características generales. GacetaSanitaria 1991; 5 (27): 265-72.


114. Delgado M, Sillero M, Gálvez R. Metaanálisis en epidemiología (2.ª parte): métodos cuantitativos. GacetaSanitaria 1992; 6 (28): 30-39.

115. Peto R,Pike MC, Armitage P, Breslow NE,Cox DR,Howard SV, Mantel N, McPherson K, Peto J, Smith PG. De-sign and analysis of randomized clinical trials requiring prolonged observations of each patient.II.Analy-sis and examples. Br J Cancer 1977; 35: 1-39.

116. Yusuf S, Peto R,Lewis J, Collins R,Sleight P. Beta blockade during and after myocardial infarction,an over-view of the randomized trials. Prog Cardiovas Dis 1985B; 27: 335-71.

117. Kleinbaum DG, Kupper LL, Morgenstern H. Epidemiology Research. California, Belmont: Lifetime LearningPublications, 1982.

118. Rothman KJ. Epidemiología Moderna. Madrid: Díaz de Santos, 1987.

119. Dales RE, Stark RM, Raman S. Computed tomography to stage lung cancer. Am Rev Resp Dis 1990; 141:1096-1101.

120. Gilbert ES, Fry SA, Friggs LD, Volez GL,Cragle DL, Petersen GR.Methods for analyzing combined data fromstudies of workers exposed to low doses of radiation. Am J Epidemiol 1990; 131: 917-27.

121. Longnecker MP, Berlin JA, Orza MJ, Chalmers TC. A meta-analysis of alcohol consumption in relation torisk of breast cancer. JAMA 1988; 260: 652-6.

122. Sillero M, Delgado M, Rodríguez R,Bueno A, Gálvez R. Hormone Replacement therapy and breast cancer:A meta-analysis. Obstet Gynecol 1992; 79: 276-304.

123. Lau J, Antman EM, Jimenez-Silva J, Kupelnick B, Mosteller F, Chalmers TC. Cumulative meta-analysis oftherapeutic trials for myocardial infarction. N Engl J Med 1992; 327: 248-54.

124. McIntosh M. The population risk as an explanatory variable in research synthesis of clinical trials. Har -vard Medical School: 1995 1-35.

125. Sowden AJ, Deeks JJ, Sheldon TA. Volume and outcome in coronary artery bypass surgery: true associationor artefact? British Medical Journal 1995; 311: 151-155.

126. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. Dimensions of methodologicalquality associated with estimates of treatment effects in controlled clinical trials. JAMA 1995; 273: 408-412.

127. Detsky AS, Naglie G, Krahn MD, Naimark D, Redelmeier DA. Primer on Medical Decision Analysis. MedicalDecision Making 1997; 17 (2): 123-159.

128. Review Manager [archivo de ordenador]. Windows version 3.0.1. Oxford: Cochrane Collaboration,UpdateSoftware, 1997.

129. Egger M, Sterne JAC, Davey Smith G. Meta-analysis software. [en línea] eBMJ 1998 (http://www.bmj.com/collections/ma.htm)

130. Haddix AC, Teutsch SM,Shaffer PA, Duñet DO. Prevention Effectiveness. A Guide to Decision Analysis and Eco -nomic Evaluation. Centers for Disease Control and Prevention. New York: Oxford University Press,1996.

131. Von Neumann J, Morgenstern O. Theory of Games and Economic Theory. New York Wiley, 1947.

132. Weinstein MC, Fineberg HV. Clinical Decision Analysis. Philadelphia, WB Saunders Company, 1980.

133. Sox H, Blatt MA, Higgings MC, Marton KI. Medical Decision Making. London: Butterwood & Co., 1988.

134. Goldman L.Aspectos cuantitativos del juicio clínico. En: Harrison.Principios de Medicina Interna, 14.ª ediciónen castellano. Fauci AS et al eds. Madrid: Mac Graw-Hill, 1998.

135. Torrance GW. Measurement of health state utilities for economic appraisal: a review. J Health Econ 1986; 5:1-30.

136. Fryback DG, Dasbach EJ, Klein R, et al. The Beaver Dam health outcomes study: initial catalog of health-state quality factors. Medical Decision Making 1993; 13: 89-102.

137. Kaplan RM, Anderson JP. A general health policy model: update and applications. Health Services Research1988; 23: 203-35.

138. Redelmeier DA, Detsky AS. A clinician’s guide to utility measurement. Primary Care 1995; 22: 271-8.

139. Froberg DG, Kane RL. Methodology for measuring health-state preferences -I. Measurement strategies.Journal of Clinical Epidemiology 1989; 42: 345-54.

140. Froberg DG, Kane RL. Methodology for measuring health-state preferences -II: Scaling methods. Journal ofClinical Epidemiology 1989; 42: 459-71.

141. Froberg DG, Kane RL.Methodology for measuring health-state preferences -III: Population and context is-sues. Journal of Clinical Epidemiology 1989; 42: 585-92.


142. Froberg DG, Kane RL. Methodology for measuring health-state preferences -IV: Progress and a researchagenda. Journal of Clinical Epidemiology 1989; 42: 675-85.

143. Rué M. Las técnicas de ayuda a la decisión en Salud Pública. En: Martínez F, Antó JM, Castellanos PL, GiliM, Marset P, Navarro V. Salud Pública. Madrid: McGraw-Hill, 1997.

144. Doubilet P, Begg CB, Weinstein MC, Braun P, McNeil BJ. Probabilistic sensitivity analysis using Monte Carlosimulation: a practical approach. Med Decis Making 1985; 5: 157-177.

145. L l ewe l ly n - Thomas H, Sutherland HJ, Ti b s h i rani R, Ciampi A , Till JE, B oyd NF. Describing health states:methodologic issues in obtaining values for health states. Med Care 1984; 22: 543-552.

146. Read JL, Quinn RJ, Berwick DM, Fineberg HV, Weinstein MC. Preferences for health outcomes: comparisonof assessment methods. Med Decis Making 1984; 4: 315-329.

147. Torrance GW, Thomas WH, Sackett DL. A utility maximization model for evaluation of health care pro-grams. Health Services Res 1972; 7: 118-133.

148. Pa u ker SG, K a s s i rer JP. The threshold ap p ro a ch to clinical decision making. N Engl J Med 1980; 302: 1109-17.

149. Beck JR, Pauker SG. The Markov process in medical prognosis. Medical Decision Making 1983; 3: 419-458.

150. Ransohoff DF, Gracie WA, Wolfenson LB, Neuhauser D. Prophylactic Cholecystectomy of Expectant Mana-gement for Silent Gallstones. Annals of Internal Medicine 1983; 99: 199-204.

151. DATA 3.5 [archivo de ordenador]. TreeAge Software,Inc. 1075 Main St.Williamstown,MA 01267 USA.Phone:413-458-0104. Fax: 413-458-0105. Febraury 1998.

152. Hollenberg JP. SMLTREE [archivo de ordenador]. New York: Cornell University, 1987.

153. Pauker SG. DECISION MAKER [archivo de ordenador]. Boston: Division of Clinical Decision Making, NewEngland Medical Center, 1998.

154. Eddy DM,Hasselblad V. FAST*PRO [archivo de ordenador].Durham: Center for Health Policy Research andEducation, Duke University.

155. Drummond MF, Stoddart GL, Torrance GW. Métodos para la evaluación económica de los programas de atenciónde la salud. Madrid, Díaz de Santos, 1991.

156. Gold MR, Siegel JE, Russell LB, Wenstein MC (eds.) Cost-effectiveness in health and medicine. New York:Oxford University Press, 1996.

157. Warner KE, Luce BR. Cost-benefit and cost-effectiveness analysis in health care: principles, practice andpotential. Ann Arbor: Health Administration Press, 1982.

158. Luce BR,Elixhauser A.Standards for socioeconomic evaluation of health care products and services. NewYork: Springer-Verlag, 1990.

159. Russell LB, Gold MR, Siegel JE, Daniels N, Weinstein MC. The role of cost-effectiveness analysis in healthand medicine. JAMA 1996; 276:1172-1177.

160. Weinstein MC, Siegel JE, Gold MR,Kamlet MS, Russell LB. Recommedations of the panel on cost-effective-ness in health and medicine. JAMA 1996; 276: 1253-1258.

161. Siegel JE, Weinstein MC, Russell LB, Gold MR. Recommedations for reporting cost-effectiveness analyses.JAMA 1996; 276: 1339-1341.

162. Torrance GW, Feeny DH. Utilities and quality-adjusted life years. Int J Technology Assessment in Health Care1989; 5: 559-575.

163. Gramlich EM. A guide to benefit-cost analysis, 2nd ed. New Jersey: Englewood Cliffs, Prentice-Hall, 1990.

164. Eisenberg JM. Clinical Economics. A Guide to the Economic Analysis of Clinical Practices. JAMA 1989; 262:2879-86.

165. Rovira J. Glosario de términos y conceptos de uso frecuente en la evaluación económica de medicamentos y progra -mas sanitarios. Barcelona: SOIKOS SL. Química Farmacéutica Bayer, 1996.

166. Peiró S, Portella E.No todo es acuerdo en el consenso: limitaciones de los métodos de consenso en los ser-vicios de salud. Gac Sanit 1993; 7: 294-300.

167. Mullan F, Jacoby I. The Town Meeting for Technology. The maturation of Consensus Conferences. JAMA1985; 254 (8): 1068-1072.

168. Ministerio de Sanidad y Consumo - Instituto de Salud Carlos III - Agencia de Evaluación de TecnologíasSanitarias (AETS). Cirugía de la hipertrofia benigna de próstata. Estándares de uso apropiado. Madrid: AETS -Instituto de Salud Carlos III, 1996.

169. Dalkey NC. The Delphi method: an experimental study of group opinion.RM-5888-PR. Santa Monica, Ca-lifornia: Rand Corp, 1969.


170. Vinokur A,Burnstein E,Sechrest L, Wortman PM.Group decision making by experts: field study of panelsevaluating medical technologies. J Personality S Psych 1985; 49 (1): 70-84.

171. Granados A.El proceso de evaluación de tecnologías médicas. La evidencia científica y la complejidad delcontexto. JANO. 18-24 Octubre 1996; LI, n.º 1184: 1141-1143.

172. Guyatt GH,Mitchell A,Molloy DW, Capretta R,Horsman J, Griffith L.Measuring patient and relative satis-faction with level or aggressiveness of care and involvement in care decisions in the context of life threa-tening illness. J Clin Epidemiol 1995; 48: 1215-1224.

173. Levine RA, Shanaman RH. Translating clinical outcomes to patient value: an evidence-based treatmentapproach. Int J Periodontics Restorative Dent 1995; 15: 186-200.

174. O’Meara JJI, McNutt RA, Evans AT, Moore SW, Downs SM.A decision analysis of streptokinase plus hepa-rin as compared to heparin alone for deep-vein thrombosis. N Engl J Med 1994; 330: 1864-1869.

175. Kassirer JP. Incorporating patients preferences into medical decisions. N Engl J Med 1994; 330: 1895-1896.

176. Hux JE,Naylor CD. Communicating the benefits of chronic preventive therapy: does the format of efficacydata determine patients’ acceptance of treatment? Med Decis Making 1995; 15: 152-157.

177. Naylor CD, Llewellyn Thomas HA. Can there be a more patient-centred approach to determining clini-cally important effect sizes for randomized treatment trials? J Clin Epidemiol 1994; 47: 787-795.

178. Keeney RL. Decisions about life-threatening risks. N Engl J Med 1994; 331: 193-196.

179. Enkin M, Keirse MJNC, Renfrew MJ, Neilson JP. A Guide to Effective Care in Pregnancy and Childbirth. 2nd ed.Oxford: Oxford University Press, 1994.

180. Relman AS. Peer review in scientific journals-what good is it? West J Med 1990; 153: 520-522.

181. Feinstein AR.Construction,consent and condemnation in research on peer review [editorial]. J Clin Epide -miol 1991; 44: 339-341.

182. Granados A, Jonsson E. EURASSESS Subgroup on Dissemination and Evaluation of Impact. InternationalJournal of Technology Assessment in Health Care 1997; 13 (2): 220-287.

183. Kanouse D, Kallich D, Kahan JP. Dissemination of effectiveness and outcomes research. Health Policy 1995;34: 167-192.

184. Lomas J. Retailing research: increasing the role of evidence in clinical services for child birth. The MilbankQuarterly 1993; 71: 439-475.

185. Banta D, Granados A, Hailey D, Menon D, Parada A. Document I: Review of the current format of the INAHTAstructured abstracts. INAHTA Work Group, October 1997.

186. Banta D, Granados A,Hailey D, Menon D, Parada A. Document II: New proposal of the INAHTA structured abs -tracts. INAHTA Work Group, October 1997.

187. International Committee of Medical Journal Editors. Uniform Requirements for Manuscripts Submittedto Biomedical Journals. N Engl J Med 1997; 336: 309-15.

188. Flynn K, Anderson D. Positron Emission Tomography. Boston: Management Decision and Research Center,Department of Veterans Affairs, 1996.

189. Oxman AD, Sackett DL, Guyatt GH,for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, I: how to get started. JAMA. 1993; 270: 2093-2095. Ed. española 1997.

190. Guyatt GH, Rennie D. User’s guides to the medical literature. JAMA 1993; 270: 2096-7. Edición española1997.

191. Chalmers TC, Smith H, Blackburn B, Silverman B, Schoeder B, Reitman D, Ambroz A.A method for asses-sing the quality of a randomized control trial. Controlled-Clin-Trials 1981, Vol. 2, p. 31-49.

192. Moher D, Jadad AR,Nichol G et al.Assessing the quality of randomised controlled trials: an annotated bi-bliography of scales and checklists. Controlled Clinical Trials 1995; 16: 62-73.

193. Moher D, Jadad AR, Tugwell P. Assessing the quality of Randomized Controlled Trials – current issues andfuture directions. International Journal of Technology Assessment in Health Care 1996; 12 (2): 195-208.

194. Sacristán JA, Soto J, Galende I. Evaluación crítica de ensayos clínicos. Med Clin (Barc)1993; 100: 780-787.

195. Jadad AR.Assessing the quality of RCTs: why, what, how and by whom? En: Jadad AR. Randomised ClinicalTrials. A user’s guide. London, BMJ Publishing Group, 1998, p. 45-60.

196. Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic reviews of randomised controltrials in health care from the Postdam Consultation on Meta-analysis. Journal of Clinical Epidemiology 1995;48 (1): 167-171.

197. Muir Gray JA.Atención sanitaria basada en la evidencia.Cómo tomar decisiones en gestión y política sa-nitaria. Madrid: Churchill. Livingstone, 1997.


198. Jadad AR,McQuay HJ. Meta-analyses to evaluate analgesic interventions: a systematic qualitative reviewof their methodology. Journal of Clinical Epidemiology 1996; 49 (2): 235-243.

199. Lau J, Chalmers TC. The rational use of therapeutic drugs in the 21st century. Important lessons from cu-mulative meta-analyses of randomized control trials. International Journal of Technology Assessment in HealthCare 1995; 11 (3): 509-522.

200. Moher D, Olkin I. M e t a - a n a lysis fo randomized controlled trials. A concern for standards; [comment].Comment on: JAMA 1995; 274 (24): 1935-8. Comment on: JAMA 1995; 274 (24): 1942-8. JAMA 1995; 274(24): 1962-4.

201. Nony P, Cucherat M,Haugh MC et al. Critical reading of the meta-analysis of clinical trials. Therapie 1995;50 (4): 339-351.

202. Naylor CD, Guyatt GH, for the Evidence-Based Medicine Working Group. User’s guides to the medical lite-rature. X: how to use an article reporting variations in the outcomes of health services. JAMA 1996; 275:554-558.

203. Levine M, Walter S, Hui Lee, Haines T, Holbrook A, Moyer V, for the Evidence-Based Medicine WorkingGroup. User’s guides to the medical literature, IV: How to Use An Article About Harm. JAMA. 1994; 271:1615-1619. Ed. española 1997.

204. Laupacis A , Wells G, Scott Rich a rdson W, Tu g well P, for the Evidence-Based Medicine Working Gro u p.User’s guides to the medical literature, V: How to Use an Article About Prognosis. JAMA. 1994; 272: 234-237. Ed. española 1997.

205. Fleiss JL, G ross A J. M e t a - a n a lysis in ep i d e m i o l o g y, with special re f e rence to studies of the associationb e t ween exposure to env i ronmental tobacco smoke and lung cancer: a critique. Journal of ClinicalEpidemiology 1991; 44: 127-139.

206. McMaster Unive r s i t y, D epartment of Clinical Epidemiology and Biostatistics. H ow to read clinicaljournals, IV: to determine etiology or causation. Canadian Medical Association Journal 1981: 124: 985-990.

207. Richarson WS, Wilson MC, Guyatt GH, Cook DJ, Nishikawa J, for the Evidence-Based Medicine WorkingGroup. User’s guides to the medical literature, XV. How to Use an Article About Disease Probability for Dif-ferential Diagnosis. JAMA 1999; 281 (13): 1214-19.

208. N aylor CD, G u yatt GH, for the Evidence-Based Medicine Working Gro u p. U s e r ’s guides to the medicalliterature. XI: how to use an article about a clinical utilization review. JAMA 1996; 275: 1.435-1439.

209. Sackett DL, Richardson WS, Rosenberg W, Haynes RB. Medicina Basada en la Evidencia. Cómo ejercer yenseñar la MBE. Madrid, Churchill Livingstone España, 1997.

210. Salmi LR. Lecture Critique et Rédaction Médicale Scientifique.Comment lire,rédiger et publier une étude clinique ouépidémiologique. Paris, Elsevier, 1998.

211. Crombie IK. The Pocket Guide to Critical Appraisal. London, BMJ Publishing Group, 1996.

212. Guyatt GH, Sackett DL, Cook DJ, for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, II: How to Use an Article About Therapy or Prevention.A.Are the results of the studyvalid?. JAMA. 1993; 270: 2598-2601. Edición española 1997.

213. Guyatt GH, Sackett DL, Cook DJ, for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, II: How to Use an Article About Therapy or Prevention. B. What Were the Results andWill They Help Me in Caring for My Patients?. JAMA. 1994; 271: 59-63. Edición española 1997.

214. Jaeschke R, Guyatt GH, Sakett DL, for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, III: How to Use an Article About a Diagnostic Test. A. Are the Results of the StudyValid?. JAMA. 1994; 271: 389-391. Ed. española 1997.

215. Jaeschke R, Guyatt GH, Sakett DL, for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, III: How to Use an Article About a Diagnostic Test. B. What Are the Results and WillThey Help Me in Caring for My Patients. JAMA. 1994; 271: 703-707. Ed. española 1997.

216. Oxman AD, Sackett DL, Guyatt GH, for the Evidence-Based Medicine Working Group. User’s guides to themedical literature, VI: How to Use an Overview. JAMA. 1994; 272: 1367-1371. Ed. española 1997.

217. Richardson WS, Detsky AS, for the Evidence-Based Medicine Working Group. User’s guides to the medicalliterature, VII: How to Use an article on clinical decision analysis. A: are the results of the study valid?.JAMA 1995; 273: 1292-1295. Ed. española 1997.

218. Richardson WS, Detsky AS, for the Evidence-Based Medicine Working Group. User’s guides to the medicalliterature, VII: How to Use an article on clinical decision analysis. B: What Are the Results and Will TheyHelp Me in Caring for My Patients?. JAMA 1995; 273: 1610-1613. Ed. española 1997.

219. Hayward RSA, Wilson MC, Tunis SR,Bass EB, Guyatt GH,for the Evidence-Based Medicine Working Group.User’s guides to the medical literature, VIII: How to Use Clinical Practice Guidelines. A. Are the recom-mendations valid?. JAMA. 1995; 274: 570-574. Edición española 1997.


220. Wilson MC, Hayward RSA, Tunis SR, Bass EB, Guyatt G, for the Evidence-Based Medicine Working Group.User’s guides to the medical literature. VIII: how to use clinical practice guidelines, B: what are the re-commendations and will they help you in caring for your patients? JAMA 1995; 274: 1630-1632.

221. Guyatt GH, Naylor CD, Juniper E,Heyland DK, Jaeschke R,Cook DJ, for the Evidence-Based Medicine Wor-king Group. User’s guides to the Medical Literature. XII: how to use articles about health-related qualityof life. JAMA 1997; 277: 1232-1236.

222. Verhagen AP, de Vet HCW, de Bie RA, Kessels AGH, Boers M, Bouter LM, Knipschild PG. The Delphi List: ACriteria List for Quality Assessment of Randomized Clinical Trials for Conducting Systematic Reviews De-veloped by Delphi Consensus. J Clin Epidemiol 1998; 51 (12): 1235-1241.

223. Drummond MF, Richarson WF, O’Brien BJ, Levine M,Heyland D, for the Evidence-Based Medicine WorkingGroup. User’s Guides to the Medical Literature. XIII: How to use an Article on Economic Analysis of Clini-cal Practice. A. Are the Results of the Study Valid? JAMA 1997; 277: 1552-1557.

224. O’Brien BJ, Heyland D, Richardson WS, Levine M, Drummond MF, for the Evidence-Based Medicine Wor-king Group. User’s Guides to the Medical Literature. XIII. How to use an Article on Economic Analysis ofClinical Practice. B. What Are the Results and Will They Help Me in Caring for My Patients?. JAMA 1997;277: 1802-1806.

225. US Preventive Task Force. Guide to clinical preventive services: an assessment of the effectiveness of 169 interven -tions. Baltimore: Williams and Wilkins, 1989.

226. Bertram DA,Flynn K,Alligood E. Endovascular Placed Grafts for Infrarrenal Abdominal Aortic Aneurysms: A Sys -tematic Review of Published Studies of Effectiveness. Boston, Health Services Research & Development Servi-ce, Veteran Affairs Medical Center. Technology Assessment Program, Report n.º 9. 1998.

227. Jovell AJ, Navarro-Rubio MD. Evaluación de la evidencia científica. Med Clin (Barc) 1995: 105: 740-743.

228. Guyatt GH,Sackett DL,Sinclair JC, Hayward RSA, Cook DJ, Cook RJ, for the Evidence-Based Medicine Wor-king Group. User’s guides to the medical literature, IX: A method for grading health care recommenda-tions. JAMA 1995; 274: 1800-1804. Edición española 1997.

229. Laupacis A, Feeny D, Detsky AS, Tugwell PX. How attractive does a new technology have to be to warrantadoption and utilization? Tentative guidelines for using clinical and economic evaluations. Can Med AssocJ 1992; 146 (4): 473-81.

230. Sackett DL. Rules of evidence and clinical recommendations on the use of antithrombotic agents. Chest1989; 95 (Supl): 2-3.

231. Canadian Task Force on the Periodic Health Examination. The periodic health examination. Can Med As -soc J 1979; 121: 1193-254.

232. Fryback DG, Thornbury JR. The efficacy of diagnostic imaging. Medical Decision Making. 1991; 11: 88-94.


GUÍA PARA LA ELABORACIÓN DE INFORMES DE …

Documents

Transcript of GUÍA PARA LA ELABORACIÓN DE INFORMES DE …