INSTRUMENTO RESUMIDO

11
7/23/2019 INSTRUMENTO RESUMIDO http://slidepdf.com/reader/full/instrumento-resumido 1/11 Rev Esp Salud Pública 2004; 78: 457-467 N.º 4 - Julio-Agosto 2004 VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA (*) Rosa Rico Iturrioz (1), Iñaki Gutiérrez-Ibarluzea (1), José Asua Batarrita (1), Mª Asunción Navarro Puerto (2), Antonio Reyes Domínguez (2), Ignacio Marín León (2), Eduardo Briones Pérez de la Blanca (3) (1) Osteba. Servicio de Evaluación de Tecnologías Sanitarias. Gobierno Vasco. (2) Servicio de Medicina Interna. Hospital Universitario de Valme. Sevilla (3) Agencia de Evaluación de Tecnologías Sanitarias de Andalucía. AETSA. Consejería de Salud. RESUMEN La gran proliferación de guías, protocolos y otros instrumentos de apoyo a la decisión clínica en el Sistema Nacional de Salud espa- ñol está acompañada de una amplia variabilidad que refleja inconsis- tencias y baja calidad de estos documentos. Este estudio pretende realizar un inventario de escalas de valoración e instrumentos para el análisis crítico de las Guías de Práctica Clínica y proponer una esca- la o conjunto de criterios que sirva para evaluar la calidad de las Guías de Práctica Clínica producidas en España. Se realizó una bús- queda sistemática de escalas de valoración crítica. Se aplicaron los criterios de inclusión y el análisis de concordancia de los ítems por tres evaluadores de forma independiente. Las discordancias se resol- vieron por consenso explícito. Se identificaron 10 propuestas de escalas de valoración crítica y de grupos de criterios procedentes de 11 instituciones. Ocho son escalas e instrumentos que se proponían evaluar la calidad de las Guías de Práctica Clínica, y dos propuestas para evaluar la implantación y la inclusión de las Guías de Práctica Clínica en un registro. En el análisis comparativo los criterios más repetidos en las escalas analizadas se refieren a las áreas incluidas en el instrumento AGREE. Las áreas consideradas en la mayor parte de las escalas de valoración crítica se corresponden con el Instrumento AGREE. Esta herramienta, aunque no aborda criterios para evaluar la implementación de guías, se considera como una escala adecuada para utilizar en la evaluación previa a la inclusión en un registro nacional de GPC. Palabras clave: Control de calidad. Investigación sobre servi- cios de salud. Evaluación de Procesos y Resultados (Atención de Salud). Garantía de la calidad de atención de salud. Guías de prácti- ca clínica. Estándares ABSTRACT Assessment of Clinical Practice Guidelines Evaluation. Scales and Criteria Not only are there large number of guides, protocols and other support tools available for the clinical decision-making process in the Spanish National Health System, but there is also a major degree of variability among them, reflecting inconsistencies and low quality of those documents. This study is aimed at conducting an inventory of the Clinical Practice Guideline assessment scales and clinical analysis tools and to propose a scale or set of criteria for assessing the quality of the Clinical Practice Guidelines put out in Spain. A systematic search of critical evaluation scales was con- ducted. The inclusion criteria and the concordance analysis of the items by three evaluators were independently applied. The discor- dances were resolved by explicit consensus. Ten suggested critical assessment scales and sets of criteria from eleven institutions were identified, eight of which consist of scales and tools proposed for assessing the quality of the Clinical Practice Guidelines, the other two being proposals for assessing the implementation and inclusion of the Clinical Practice Guidelines in a register. In the comparative analysis, the criteria most often repeated on the scales analysed were related to the areas included in the AGREE Instrument. The areas considered in most of the critical assessment scales were the same as those of the AGREE Instrument. Although this tool does not take in criteria for guide implementation assessment purposes, it is considered suitable for use in the assessment prior to inclusion a national CPG register. Key words: Process Assessment (Health Care). Practice Guide- lines. Quality Assurance, Health Care. Quality control. Health serv- ices research. Standars. Correspondencia: Rosa Rico Iturrioz. Osteba. Servicio de Evaluación de Tecnologías Sanitarias. Departamento de Sanidad. Gobierno Vasco. Donostia-San Sebastián, 1. 01010 - Vitoria-Gasteiz. Correo electrónico: [email protected]. (*) El presente trabajo ha recibido financiación del Fondo de Investigaciones Sanitarias en la modalidad Evaluación de Tec- nologías Sanitarias. Proyecto FIS: 01/1057 y forma parte de las actividades de la Línea 5 de la Red MBE, FIS: G03/090. COLABORACIÓN ESPECIAL

Transcript of INSTRUMENTO RESUMIDO

Page 1: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 1/11

Rev Esp Salud Pública 2004; 78: 457-467 N.º 4 - Julio-Agosto 2004

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓNDE GUÍAS DE PRÁCTICA CLÍNICA (*)

Rosa Rico Iturrioz (1), Iñaki Gutiérrez-Ibarluzea (1), José Asua Batarrita (1), Mª AsunciónNavarro Puerto (2), Antonio Reyes Domínguez (2), Ignacio Marín León (2), Eduardo Briones

Pérez de la Blanca (3)(1) Osteba. Servicio de Evaluación de Tecnologías Sanitarias. Gobierno Vasco.(2) Servicio de Medicina Interna. Hospital Universitario de Valme. Sevilla(3) Agencia de Evaluación de Tecnologías Sanitarias de Andalucía. AETSA. Consejería de Salud.

RESUMEN

La gran proliferación de guías, protocolos y otros instrumentosde apoyo a la decisión clínica en el Sistema Nacional de Salud espa-ñol está acompañada de una amplia variabilidad que refleja inconsis-tencias y baja calidad de estos documentos. Este estudio pretenderealizar un inventario de escalas de valoración e instrumentos para elanálisis crítico de las Guías de Práctica Clínica y proponer una esca-la o conjunto de criterios que sirva para evaluar la calidad de lasGuías de Práctica Clínica producidas en España. Se realizó una bús-queda sistemática de escalas de valoración crítica. Se aplicaron los

criterios de inclusión y el análisis de concordancia de los ítems portres evaluadores de forma independiente. Las discordancias se resol-vieron por consenso explícito. Se identificaron 10 propuestas deescalas de valoración crítica y de grupos de criterios procedentes de11 instituciones. Ocho son escalas e instrumentos que se proponíanevaluar la calidad de las Guías de Práctica Clínica, y dos propuestaspara evaluar la implantación y la inclusión de las Guías de PrácticaClínica en un registro. En el análisis comparativo los criterios másrepetidos en las escalas analizadas se refieren a las áreas incluidas enel instrumento AGREE. Las áreas consideradas en la mayor parte delas escalas de valoración crítica se corresponden con el InstrumentoAGREE. Esta herramienta, aunque no aborda criterios para evaluarla implementación de guías, se considera como una escala adecuadapara utilizar en la evaluación previa a la inclusión en un registronacional de GPC.

Palabras clave: Control de calidad. Investigación sobre servi-cios de salud. Evaluación de Procesos y Resultados (Atención deSalud). Garantía de la calidad de atención de salud. Guías de prácti-ca clínica. Estándares

ABSTRACT

Assessment of Clinical PracticeGuidelines Evaluation. Scales and

Criteria

Not only are there large number of guides, protocols and othersupport tools available for the clinical decision-making process inthe Spanish National Health System, but there is also a major

degree of variability among them, reflecting inconsistencies andlow quality of those documents. This study is aimed at conductingan inventory of the Clinical Practice Guideline assessment scalesand clinical analysis tools and to propose a scale or set of criteria forassessing the quality of the Clinical Practice Guidelines put out inSpain. A systematic search of critical evaluation scales was con-ducted. The inclusion criteria and the concordance analysis of theitems by three evaluators were independently applied. The discor-dances were resolved by explicit consensus. Ten suggested criticalassessment scales and sets of criteria from eleven institutions wereidentified, eight of which consist of scales and tools proposed forassessing the quality of the Clinical Practice Guidelines, the othertwo being proposals for assess ing the implementation and inclusionof the Clinical Practice Guidelines in a register. In the comparativeanalysis, the criteria most often repeated on the scales analysedwere related to the areas included in the AGREE Instrument. Theareas considered in most of the critical assessment scales were thesame as those of the AGREE Instrument. Although this tool doesnot take in criteria for guide implementation assessment purposes,it is considered suitable for use in the assessment prior to inclusion

a national CPG register.

Key words: Process Assessment (Health Care). Practice Guide-lines. Quality Assurance, Health Care. Quality control. Health serv-ices research. Standard s.

Correspondencia:Rosa Rico Iturrioz.Osteba. Servicio de Evaluación de Tecnologías Sanitarias.Departamento de Sanidad. Gobierno Vasco.Donostia-San Sebastián, 1. 01010 - Vitoria-Gasteiz.Correo electrónico: [email protected].(*) El presente trabajo ha recibido financiación del Fondo deInvestigaciones Sanitarias en la modalidad Evaluación de Tec-nologías Sanitarias. Proyecto FIS: 01/1057 y forma parte de lasactividades de la Línea 5 de la Red MBE, FIS: G03/090.

COLABORACIÓN ESPECIAL

Page 2: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 2/11

INTRODUCCIÓN

En nuestro país existe una gran prolifera-ción de guías, protocolos, vías y normas deactuación clínica. La terminología utilizadapara definir los diferentes instrumentos pue-de resultar confusa y refleja la existencia deproductos con diferentes utilidades y de cali-dad variable. Consideramos que las Guías dePráctica Clínica (GPC) se distinguen por sucarácter indicativo y su flexibilidad clínicaversus la rigidez y carácter normativo de losprotocolos, vías y normas1.

Recientemente se han desarrollado dosestudios dirigidos a conocer el grado de ela-boración, uso y evaluación de GPC en Espa-ña2, 3. Ambos trabajos dibujan un pobrepanorama en cuanto a la calidad, adopción yuso de las GPC en el Sistema Nacional deSalud (SNS). Se aprecia una gran variabili-dad entre los diferentes y numerosos guías yprotocolos que refleja la falta de rigor, deconsistencia, de actualización y de estrate-gias de difusión o integración en programasde mejora de la calidad o de compra de ser-

vicios sanitarios. Tampoco existen evalua-ciones sobre los efectos en salud derivadosde su uso. Asimismo, la pobre aceptación delas guías entre los profesionales es un indica-dor de su escasa percepción como un valorañadido para la asistencia.

La evaluación de las GPC en España sehace además difícil debido a que frecuente-mente hay ausencia de elementos clave parasu identificación. Así, la ausencia de fecha,autoría u organismo financiador es unabarrera para tenerlas en cuenta como instru-mentos válidos para la ayuda en las decisio-nes clínicas2.

De forma ideal, al usuario de una GPCantes de utilizarla le interesa asegurarse deque se puede calificar como una guía de cali-dad, válida, útil y fiable. Es decir, que losautores han evaluado la evidencia científicaantes de trasladarla a las recomendaciones,de modo que se consigan los resultados en

salud que se pretenden, que partiendo de lamisma información otra guía pueda alcanzarlas mismas recomendaciones y que los dife-rentes usuarios las interpreten de la mismamanera4.

Sin embargo, la evaluación de las GPC sesuele realizar a partir de elementos subjeti-vos, tanto para la interpretación de la calidadcomo para la relevancia clínica de sus con-clusiones.

Por todo ello, en los últimos años se está

reconociendo la necesidad de evaluar y com-parar el proceso y la metodología empleadaen la elaboración de GPC. Se trataría deaportar un marco sistemático para la evalua-ción de la calidad de las GPC con el fin deayudar: a) a quienes elaboran las GPC paraque sigan una metodología estructurada ysistemática, b) a los proveedores de cuidadosde salud para que evalúen las GPC antes deadoptar sus recomendaciones en la prácticaclínica, y c) a los gestores de diferentes nive-les y organismos para recomendar GPC parasu uso en la práctica.

A partir de trabajos realizados en el marcode programas de elaboración de GPC5, 6 enEuropa se pusieron en marcha iniciativas decolaboración internacional que tenían comoobjetivo armonizar los instrumentos y estra-tegias para la elaboración, evaluación de lacalidad ( Appraisal of Guidelines Researchand Evaluation in Europe7, AGREE) eimplementación (Changing ProfesionalPractice)8 de las GPC. Proyectos en los quehan participado Agencias de Evaluación delSistema Nacional de Salud (Osteba y AET-SA), el Hospital Universitario Valme de

Sevilla y la Biblioteca Fundación JosepLaporte. Este tipo de iniciativas se han desa-rrollado en el marco conceptual de la Medi-cina Basada en la Evidencia, sus propuestasabordan diferentes aspectos cruciales paraelaborar GPC de calidad y hacen hincapié enque las recomendaciones que se emitanestén basadas en pruebas científicas quedemuestren su efectividad.

Rosa Rico Iturrioz et al.

458 Rev Esp Salud Pública 2004, Vol. 78, N.º 4

Page 3: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 3/11

Este estudio se ha desarrollado, en el mar-co de un proyecto de investigación másamplio para conocer el grado de desarrollo yla calidad de las GPC elaboradas en España,con el objetivo de realizar un inventario deescalas de valoración crítica e instrumentospara el análisis crítico de GPC y proponeruna escala o un conjunto de criterios que sir-va para evaluar su calidad.

METODOLOGÍA

Se realizó una búsqueda de escalas devaloración crítica de GPC en las siguientesbases de datos: Medline (ver estrategia debúsqueda en tabla 1) INAHTA y NationalGuidelines Clearinghouse. Dada la naturale-za de los instrumentos y de los documentos arecuperar, en su mayor parte en formato deliteratura gris, se contactó con una serie deproductores, evaluadores y compiladores deGPC de reconocido prestigio, cuyo listado serecoge en la tabla 2.

A las escalas identificadas y recuperadas

se les aplicó los siguientes criterios de inclu-sión: que fueran instrumentos que abordaranla valoración crítica de guías, la validación ola elaboración de éstas o que fueran criteriospropuestos para la inclusión de GPC enregistros. La selección de los instrumentosse realizó por tres evaluadores de maneraindependiente.

Los instrumentos incluidos se agruparonpara su clasificación y análisis posterior entres grupos según su enfoque fuera dirigido ala calidad, implementación o inclusión en unregistro (tabla 3). Para realizar el análisis de

contenido de los instrumentos, el grupo detrabajo consideró de común acuerdo que lasáreas del instrumento AGREE eran las másexhaustivas y establecían la taxonomía másadecuada para evaluar los aspectos de interésde las GPC. La Colaboración AGREE7 pro-puso en 2002 un conjunto de 23 criteriosagrupados en 6 áreas relativas al: 1) alcance yobjetivo, 2) participación de los implicados,

3) rigor en la elaboración, 4) claridad y pre-

sentación, 5) aplicabilidad, y 6) independen-cia editorial. Este instrumento ha sido valida-do internacionalmente y adoptado por unamplio grupo de organizaciones profesiona-les de investigación, gestión sanitaria y agen-cias de evaluación de tecnologías sanitarias.

A las áreas del instrumento AGREE seañadieron dos más, no incluidas en éste y

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA

Rev Esp Salud Pública 2004, Vol. 78, N.º 4 459

Tabla 1

Estrategia de búsqueda en Medline

Page 4: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 4/11

Rosa Rico Iturrioz et al.

460 Rev Esp Salud Pública 2004, Vol. 78, N.º 4

Tabla 2

Listado de direcciones de organizaciones encargadas en la elaboración, evaluación y recopilación de GPC

* Aunque contaban con criterios propios de evaluación han asumido los 23 criterios del Instrumento AGREE en el2002 (23).

Tabla 3

Listado de instrumentos, asignación de enfoque y número de criterios que contienen

Page 5: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 5/11

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA

Rev Esp Salud Pública 2004, Vol. 78, N.º 4 461

Tabla 4

Agrupación de criterios en áreas y concordancia con los criterios AGREE

Page 6: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 6/11

recuperadas de otros instrumentos, son lasáreas de implementación e inclusión enregistro (tabla 4).

El análisis comparativo de las diferentesescalas seleccionadas se realizó mediante lacomparación uno a uno de los criterios res-pecto a la escala estándar de criterios y ámbi-tos del instrumento AGREE. Dicha selec-ción de estándar se hizo tras comprobar quecuatro organizaciones analizadas y que pre-viamente poseían criterios propios renuncia-ron a éstos para asumir el instrumento

AGREE (tabla 3). Posteriormente se asignóun número a cada criterio de las escalas recu-peradas. Se realizó un análisis de concordan-cia en base a la similitud de definiciones decada uno de los criterios frente al estándarpor tres evaluadores de forma independiente(tabla 4). En aquellas asignaciones en lasque existía discordancia entre los evaluado-res ésta se resolvió por consenso explícito.

RECUPERACIÓN Y ANÁLISIS DEESCALAS DE VALORACIÓN CRÍTICA

El grado de respuesta de los 21 organis-mos consultados fue del 100%. Se han iden-tificado las propuestas de escalas de valora-ción crítica y de grupos de criterios de 13organismos (tabla 3). Ocho de trece seencontraron en una búsqueda de literaturagris. Este hecho refleja una baja inclusión dedocumentos sobre escalas y grupos de crite-rios en las bases de datos más reconocidas.Las únicas escalas de valoración crítica deGPC validadas han sido el InstrumentoAGREE7, y el utilizado por Shaneyfelt et al9.

ESCALAS DE VALORACIÓNDE LA CALIDAD

Se recuperaron 11 escalas para la valora-ción de la calidad de las GPC, apreciándosesolapamiento y cruces entre los instrumentos.Entre éstos es de destacar la propuesta de 1997 Appraisal Instrument for Clinical guidelines

(AICG)10 del St George Hospital MedicalSchool, ya que a partir de ella y con la partici-pación de sus autores, se desarrolló más ade-lante el instrumento AGREE dentro de un pro-yecto multicéntrico europeo. Otros organis-mos como SIGN, AHRQ y NZGG que dispo-nían de su propia escala han adoptado recien-temente el instrumento AGREE. Por su parte,el  National Health and Medical ResearchCouncil (NHMRC) de Australia11 al proponerel cumplimiento de sus principios de elabora-ción recomienda los criterios desarrolladospor Field & Lohr en 199212 y SIGN en 19955.

El Evidence Medicine Working Group en1995, utiliza los criterios basados en Users

guides to Evidence-Based Medicine publica-dos en JAMA13, 14.

Hay que destacar que en 1999 el grupo deShaneyfelt et al. publicó el «GuidelinesQuality Assessment Questionnaire»(GQAQ)9. Este instrumento consta de 25ítems de los cuales 10 evalúan el desarrollo yformato, otros 10 la identificación de la evi-dencia y su síntesis y finalmente 5 la formu-

lación de sus recomendaciones. Fue utiliza-do para evaluar y valorar la calidad de másde 200 guías.

En cuanto al grupo de  Alberta ClinicalPractice Guidelines15 adopta las dimensio-nes publicadas por Battista y Hodge16, yDavis y Taylor-Vaisey17 y recomienda, asi-mismo, la propuesta elaborada por Cluzeauen 199918.

La Agency for Quality in Medicine JointInstitution of the German Medical Associa-tion and the National Association of the Sta-

tutory Health Insurance Physicians (ÄZQ)19

proponen un cuestionario con 21 ítems rela-cionados con el desarrollo, 16 ítems con elcontenido y el formato y 4 ítems con la apli-cabilidad de la guía. Para su realización uti-lizan instrumentos anteriormente elaboradospor organizaciones alemanas e internaciona-les y de versiones previas del InstrumentoAGREE.

Rosa Rico Iturrioz et al.

462 Rev Esp Salud Pública 2004, Vol. 78, N.º 4

Page 7: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 7/11

El National Institute for Clinical Exce-llence (NICE) del NHS publica en 2001 TheGuideline Development Process – Informa-tion for National Collaborating Centres and Guideline Development Groups20, con losatributos que se exigirán a las GPC. Utilizalos criterios identificados por el programaestadounidense del AHRQ 21.

Tanto Scottish Intercollegiate GuidelinesNetwork (SIGN)5 como New Zealand Gui-delines Group22 adoptan las áreas y criteriosdel Instrumento AGREE en 2002.

Finalmente, aunque fue excluido del aná-lisis ya que no se consideró en nuestro estu-dio la comparación entre guías, la «NationalGuideline Clearinghouse» de la Agency forHealth Research and Quality, AHRQ23 utili-za 27 campos para que los usuarios del regis-tro las comparen entre sí.

ESCALAS DE IMPLEMENTACIÓN

Se ha identificado una propuesta para eva-

luar las GPC en relación con la implementa-ción, Pilote L y Tager IB24. En ella se propo-ne utilizar la investigación de resultadospara evaluar las GPC.

ESCALAS PARA LA INCLUSIÓNEN REGISTROS

La National Guideline Clearinghouse dela AHRQ23, propone cuatro criterios básicospara considerar la inclusión de una GPC ensu registro (tabla 3). Dichos criterios sondiferentes y complementarios a los 27 crite-

rios que utilizan para comparar la calidad delas guías entre sí.

CRITERIOS RECUPERADOS

Se identificaron 143 criterios pertenecien-tes a 9 escalas de valoración crítica (tabla 4).Del análisis de los criterios se desprende que

el Instrumento AGREE cubre la mayor partede criterios expresados en otras escalas deanálisis y valoración crítica de Guías dePráctica Clínica, resultando la taxonomíamás exhaustiva para clasificar los criteriospor su capacidad para abordar los diversosaspectos de interés de las GPC.

Este hallazgo valida la decisión del grupode trabajo que consideró como estándar laclasificación de dominios o áreas propuestaen el Instrumento AGREE para la compara-ción 1 a 1 de escalas de valoración crítica.

ANÁLISIS DESCRIPTIVODE LAS ESCALAS DE VALORACIÓN

CRÍTICA DE GPC ENCONTRADASRESPECTO A LA TAXONOMÍA

En la comparación de las diferentes esca-las o instrumentos evaluados, los criteriosmás repetidos se refieren a las siguientes 6áreas del AGREE (tabla 4): 45 criterios paraevaluar el Rigor en la elaboración, 21 para laParticipación de los implicados, 20 criterios

en relación con la Aplicabilidad y 18 relati-vos a la Claridad en la presentación. Por elcontrario, las áreas Alcance y objetivos eIndependencia editorial han sido las menosrepresentadas en los diferentes instrumentosrecuperados con 15 y 4 criterios respectiva-mente.

Respecto a los dos ámbitos no reflejados enel Instrumento AGREE, uno es el de la Imple-mentación de las GPC que está representadopor los 9 criterios de la propuesta de Pilote etal24. Otro es el relativo a la inclusión en unregistro tal como propone el National Guide-

lines Clearinghouse que contiene 4 criterios.Esta organización es responsable de la basede datos de GPC más amplia del mundo.

COMENTARIOS

La definición de calidad de las GPC es laconfianza en que se han evitado los sesgos

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA

Rev Esp Salud Pública 2004, Vol. 78, N.º 4 463

Page 8: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 8/11

potenciales producidos en su desarrollo, quelas recomendaciones tienen validez interna yexterna y que son útiles para la práctica clí-nica12. Por tanto a los instrumentos de eva-luación de la calidad de las GPC se les exigevalorar estos cuatro aspectos. El conjunto decriterios que mejor lo cumple es el Instru-mento AGREE.

Aunque las otras 9 diferentes escalasencontradas y revisadas (tabla 3) sólo cum-plen estos criterios parcialmente, considera-mos que este hecho es un indicador del interés

y esfuerzo realizado en los últimos años pordiversas organizaciones para conseguir herra-mientas que les permitan decidir con rigorqué GPC van a implementar y cuáles no.

Sólo se han encontrado dos escalas querealizan un proceso de validación, la de Sha-neyfelt et al, 19999 y el AGREE7. El primeroconsidera 25 ítems procedentes de importan-tes sociedades norteamericanas ( American Medical Association, Institute of Medicine yCanadian Medical Association), que utilizapara evaluar 279 guías desde 1985 a 1997.En el caso del Instrumento AGREE su vali-

dez fue evaluada por 195 personas en 100guías de 11 países, obteniendo una alta fiabi-lidad en la mayoría de sus 6 áreas7. De esasdos escalas el Instrumento AGREE es el quehasta el momento cuenta con la máximaaceptación por diversos organismos elabora-dores y compiladores de GPC, pues ademásestá estructurado en un formato que facilitala cuantificación y la comparación de la eva-luación.

Tras el análisis comparativo realizadoconsideramos que AGREE es un instrumen-to exhaustivo en la agrupación de criterios,excepto en lo relativo a la evaluación de laimplementación de las GPC. Entendemosque AGREE ha descartado ese ámbito yaque se trata de un instrumento genérico ydiseñado para ser utilizado en cualquier con-texto de aplicación.

De alguna manera AGREE tiene en cuen-ta los aspectos relativos a la implementa-

ción, ya que exige tanto la realización de unaprueba piloto antes de la difusión de la guíapara probar su aceptación como la elabora-ción, por parte de los autores, de indicadoresque faciliten la evaluación posterior de losefectos de su aplicación.

La implementación es un ámbito necesa-rio en el caso de auditar a posteriori la utili-zación de las propias guías evaluadas o lasdiferencias en la aplicación de las guías endiferentes contextos25 y exige criterios espe-cíficos que se fundamenten en un conoci-

miento apriorístico de la propia GPC y delcontexto local. En nuestro análisis hemosmostrado los criterios de implementación einclusión en un registro por la informaciónque aportan en el proceso continuo de eva-luación de GPC.

Por otra parte es interesante observar quelas diferentes escalas de valoración críticaanalizadas dan menos importancia a los cri-terios que se agrupan bajo 3 de los epígrafes:«Alcance y objetivos», «Participación de losimplicados» e «Independencia editorial».Estos ámbitos que podrían considerarse de

tipo formal o de menor trascendencia que loscriterios relacionados con la metodología deelaboración son, sin embargo, fundamenta-les a la hora de describir para qué sirve laguía, a quién se dirige (usuarios-profesiona-les), a quién se aplica (tipo de pacientes) y laposibilidad de que haya intereses espúreostras los contenidos aparentes de la guía26.

Identificar la autoría de las guías es funda-mental para establecer las responsabilidades,solicitar información adicional y adjudicarméritos. La ausencia de autores puede refle-

 jar varias deficiencias, tales como la existen-cia de grupos de consenso con metodologíano explícita, las traducciones encubiertas deguías o, relacionándolo con el área de laIndependencia editorial, podría enmascararla existencia de conflictos de intereses27.

La búsqueda bibliográfica de evidenciasobre escalas de valoración crítica de GPCha sido un proceso complejo por las caracte-

Rosa Rico Iturrioz et al.

464 Rev Esp Salud Pública 2004, Vol. 78, N.º 4

Page 9: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 9/11

rísticas del objeto de búsqueda y su bajaindización. De hecho, en el presente trabajoy aunque se siguieron los criterios sistemáti-cos de búsqueda en bases de datos primarias(MEDLINE) y secundarias (INAHTA y National Guidelines Clearinghouse) seobtuvo un menor rendimiento de recupera-ción que en la búsqueda de literatura gris.Esto es debido a que las instituciones y pro-gramas de producción de GPC son las quetienen elaboradas herramientas de evalua-ción, y éstas pueden estar publicadas o nosegún el formato de artículo original. La

exhaustividad en la búsqueda de literaturagris ha permitido encontrar más escalas quelas que hubieran sido identificadas en labibliografía, pero por supuesto no nos garan-tiza que haya otras escalas en uso, de las quedesconocemos su existencia. En cualquiercaso queda con nuestra búsqueda garantiza-da que las escalas más difundidas y acepta-das han sido evaluadas.

Una posible limitación de nuestro estudioes la ausencia de un gold estándar estableci-do de comparación de escalas de evaluación

de GPC. Ante la inexistencia de un patrónaceptado el grupo de investigación ha opta-do por una doble aproximación: primera-mente, extraer todos los criterios de las dife-rentes escalas y compararlos entre sí y comosegundo paso seleccionar una escala sobre lacual establecer la comparación entre laspublicadas, recuperadas y que han realizadoun proceso de validación. Así, se encontra-ron dos: el Instrumento AGREE7 y el elabo-rado por Shaneyfelt et al, 19999.

Graham et al, 200026 en un estudio similarsobre comparación de escalas de valoración

de calidad de GPC agrupó 44 criterios en 10atributos procedentes de trece instrumentosy realizó un análisis de contenido. En suestudio sólo el instrumento de Cluzeau etal18, que fue la base del proyecto de la Cola-boración AGREE, cubría los 10 atributospropuestos y tenía en cuenta 28 de los 44 cri-terios generados. Sin embargo no se realizóun estudio de comparación.

En nuestra investigación, se decidió selec-cionar el Instrumento AGREE como están-dar de comparación por dos razones: su rigu-roso proceso de mejora y validación finali-zado en 2001 y su creciente grado de acepta-ción por parte de los organismos elaborado-res, compiladores y evaluadores de GPC.

Disponer de una herramienta de valora-ción de guías no es una cuestión menor. Laevaluación de guías adquiere una especialrelevancia para la recomendación o selec-ción de la GPC que se propone adoptar,adaptar e implementar en un contexto deter-minado. Hay que tener en cuenta asimismoel valor que tiene el propio proceso de elabo-ración como garante inicial de calidad28.Así, en algunos países están invirtiéndoseenergías y fondos para la elaboración deGPC, sin embargo, dichas iniciativas no secorresponden con una homogeneidad en lacalidad de las GPC publicadas29. De hechoexiste una amplia variabilidad dependientede las entidades elaboradoras de las mismasy muchas veces derivada de la inexperienciaen la elaboración de GPC por parte de los

autores30. Con el fin de garantizar la calidadmínima están surgiendo en estos momentosmovimientos e iniciativas similares a las cre-adas en su día para regularizar la publicaciónde ensayos controlados y aleatorizados(CONSORT)31,32 y sobre los metanálisis33,34

que abordan aspectos para la publicacióncomún de GPC. Así, The Conference on

Guideline Standardization (COGS)25 en2002 estableció por consenso un instrumen-to para estandarizar la publicación de GPC,promover su calidad y favorecer así suimplementación.

Del mismo modo, la colaboración entreclínicos y metodólogos con experiencia en laelaboración de GPC, así como la existenciade programas locales de elaboración y eva-luación de guías que nutran registros estata-les es esperable que aseguren la calidad dedichos registros y los productos que en ellosse compilen.

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA

Rev Esp Salud Pública 2004, Vol. 78, N.º 4 465

Page 10: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 10/11

Para concluir, nuestro estudio identificauna serie de escalas de valoración crítica dela calidad de las GPC, entre las que destacael Instrumento AGREE por su exhaustividady sistematización de los atributos exigibles auna guía. Además, por su fiabilidad demos-trada y formato facilita la comparabilidadentre los evaluadores, individuales o institu-cionales de las guías.

BIBLIOGRAFÍA

1. Jovell AJ y Navarro-Rubio MD. Guías de PrácticaClínica. Formación Médica Continuada 1995;2:152-6.

2. REDEGUIAS. Informe de Evaluación de Tecnolo-gías FIS 01/1057. ISCIII 2003. Disponible en:www.redeguias.org.

3. Fundación Salud Innovación y Sociedad. Docu-mento de trabajo nº17: Análisis del cuestionariosobre «Implantación y utilización de guías de prác-tica clínica: instrumentos, recursos y redes». Pro-yecto Guía Salud [citado feb 2003]. Disponible en:www.fundsis.org/Actividades/publicaciones/Documento%20de%20trabajo%2017.pdf.

4. Littlejohns P y Cluzeau F. Guidelines for evalua-tion. Fam Pract 2000; 17:s3-s6.

5. Scottish Intercollegiate Guidelines Network(SIGN). Clinical Guidelines: criteria for appraisalfor national use. Edinburgh: SIGN; 1995.

6. Cluzeau F y Littlejohns P. Appraising clinical gui-delines in England and Wales: The development of a methodological framework and its application topolicy. Jt Comm J on Qual Improv 1999; 25:514-521.

7. The AGREE Collaboration. Development and vali-dation of an international appraisal instrument forassessing the quality of clinical practice guidelines:

The AGREEE project. Qual Saf Health Care 2003;12:18-23.

8. Thorsen T, Mäkelä M, editores. Cambiar la Prácti-ca de los Profesionales. Sevilla: Agencia de Eva-luación de Tecnologías Sanitarias de Andalucía,AETSA; 2002.

9. Shaneyfelt TM, Mayo-Smith MF y Rothwangl J.Are Guidelines Following Guidelines? The metho-dological Quality of Clinical Practice Guidelines in

the Peer Reviewed Medical Literature. JAMA1999; 281(20):1900-1905.

10. Cluzeau F, Littlejohns P, Grimshaw J y Feder G.Appraisal instrument for clinical guidelines. StGeorge’s Hospital Medical School. London:1997.

11. National Health and Medical Research Council(NHMRC). A Guide to the development, imple-mentation and evaluation of clinical practice guide-lines. Camberra;1998.

12. Field MJ, Lohr KN, editors. Guidelines for ClinicalPractice: from development to use. Washington(DC): Institute of Medicine, National AcademyPress; 1992.

13. Wilson MC, Hayward RS, Tunis SR, Bass EB yGuyatt G: for the Evidence –Based Medicine Wor-king Group. Users guides to the medical literature.VIII. How to Use Clinical Practice Guidelines. A.Are the recomendations valid? JAMA 1995;274(7):570-574.

14. Wilson MC, Hayward RS, Tunis SR, Bass EB yGuyatt G: for the Evidence –Based Medicine Wor-king Group. Users guides to the medical literature.VIII. What are the recomendations and will theyhelp you in caring for your patients? JAMA 1995;274(20):1630-1632.

15. Alberta Clinical Practice Guidelines. Evaluationframework for the clinical practice guidelines pro-gram. Prepared by Howard Research and Instruc-tional systems. Inc. January 2002.

16. Battista R y Hodge MJ. Setting priorities and selec-ting topics for clinical practice guidelines. CanMed Assoc J 1995; 159:1233-7.

17. Davis DA y Taylor-Vaisey A. Translating guideli-nes into practice: A systematic review of theoreticconcepts, practical experience and research eviden-ce in the adoption of clinical practice guidelines.Can Med Assoc J 1997; 157:408-15.

18. Cluzeau F, Littlejohns P, Grimshaw J, Feder G yMoran S. Development and application of a generic

methodology to assess the quality of clinical guide-lines. Int J Qual Health Care 1999; 11:21-8.

19. Agency for Quality in Medicine Joint Institution of the German Medical Association and the NationalAssociation of the Statutory Health InsurancePhysicians (ÄZQ). Checklist «MethodologicalQuality of Clinical Practice Guidelines». 2nd ver-sion (8/1999) Valid until 02/28/2003 [citado sept.2002]. Disponible en: www.azq.de www.leitli-nen.de.

Rosa Rico Iturrioz et al.

466 Rev Esp Salud Pública 2004, Vol. 78, N.º 4

Page 11: INSTRUMENTO RESUMIDO

7/23/2019 INSTRUMENTO RESUMIDO

http://slidepdf.com/reader/full/instrumento-resumido 11/11

20. National Institute for Clinical Excellence. NICE.The Guideline Development Process – Informationfor National Collaborating Centres and GuidelineDevelopment Groups. N0040; 2001.

21. Field MJ, Lohr KN, editores. Committee to Advisethe Public Health Service on Clinical Practice Gui-delines. Clinical Practice Guidelines: directions fora new Program. Washington (DC): National Aca-demy Press; 1990.

22. New Zealand Guidelines Group. Tools for Guideli-ne Development and Evaluation 2002 [citado sept2002]. Disponible en: www.nzgg.org.nz/tools/ adaptation.cfm.

23. National Guideline Clearinghouse. AHRQ [citadosept 2002]. Disponible en: www.ahcpr. gov/cli-nic/cpgsix.htm.

24. Pilote L y Tager IB. Outcomes research in the deve-lopment and evaluation of practice guidelines.BMC Health Serv Res 2002; 2:7 [citado sept 2002].Disponible en: www.biomedcentral.com

25. Shiffman RN, Shekelle P, Overhage M, Slutsky P,Grinshaw J y Deshpandre AM. Standardized repor-ting of clinical practice guidelines: a proposal fromthe conference on guidelines standardization. AnnIntern Med. 2003; 139:493-8.

26. Graham ID, Calder LA, Hebert PC, Carter AO,Tetroe JM. A comparison of clinical practice guide-line appraisal instruments. Int J Technol AssessHealth Care. 2000; 16: 1024-38.

27. Calderón Sandubete E, Cotos Cancas R, MarínLeón I, Briones Pérez de la Blanca E, Pérez CanoB, Grilo Reina A y Grupo CAMBIE. Mapa de evi-dencias para el tratamiento de la angina inestable

en la cabecera del paciente. Etapa preliminar parael desarrollo de una guía de práctica clínica. MedClin (Barc) 2000; 114 (Supl)2:19-23.

28. Choudhry NK, Stelfox HT y Detsky AS. Relations-hips between authors of clinical practice guidelinesand the pharmaceutical industry. JAMA 2002;287:612-17.

29. Burgers JS, Cluzeau FA, Hanna SE, Hunt C y GrolR. Characteristics of high-quality guidelines: eva-luation of 86 clinical guidelines developed in tenEuropean countries and Canada. Int J TechnolAssess Health Care 2003; 19:148-56.

30. Marzó M, Alonso P y Bonfill X. Guías de prácticaclínica en España. Med Clin (Barc) 2002; 118(Supl3):30-5.

31. Begg C, Cho M, Eastwood S, Horton R, Moher D,Olkin I et al. Mejora de la calidad de los informesde los ensayos clínicos aleatorios controlados.Recomendaciones del grupo de trabajo CONSORT.Rev Esp Salud Pública 1998; 72 (1): 5-11.

32. Moher D, Schulz KF y Altman DG. The CON-SORT statement: revised recomendations forimproving the quality of reports of parallel-grouprandomized-trials. Ann Intern Med 2001; 134:657-62.

33. Rodríguez Artalejo F y Guallar Castillón P. Sobrelos meta-análisis y el QUOROM. Rev Esp SaludPública 2000; 74 (2): 103-5.

34. Moher D J Cook, Eastwood S, Olkin I, Rennie D,Stroup DF. Mejora de la calidad de los informes delos metaanálisis de los ensayos clínicos controla-dos: el acuerdo QUOROMD. Rev Esp Salud Públi-ca 2000; 74 (2): 107-18.

VALORACIÓN DE ESCALAS Y CRITERIOS PARA LA EVALUACIÓN DE GUÍAS DE PRÁCTICA CLÍNICA

Rev Esp Salud Pública 2004, Vol. 78, N.º 4 467