Herramientas de Evaluación Del Desempeño Analítico en El Lab Clínico
-
Upload
bernardohernandez -
Category
Documents
-
view
34 -
download
0
description
Transcript of Herramientas de Evaluación Del Desempeño Analítico en El Lab Clínico
6º Ciclo Internacional de Conferencias de la Calidad
México, 27 de Junio de 2012
Herramientas de Evaluación del Desempeño Analítico en el Laboratorio Clínico
Gustavo Maccallini
Porqué debemos evaluar el Desempeño Analítico
• Para verificar que los resultados que emite el Laboratorio son clínicamente útiles
• Para asegurar que el desempeño analítico se mantenga y mejore con el tiempo
Porqué debemos evaluar el Desempeño Analítico
• Para evaluar y diseñar acciones que minimicen la variabilidad de resultados
• Para evaluar el impacto de cambios de métodos/instrumentos
• Para cumplir con acreditaciones y certificaciones
Instancias para Evaluar Desempeño Analítico
� Validación/Verificación de nuevos métodos analíticos
� Diseño de Control de Calidad Interno
� Planificación y re-planificación estadística de reglas
de control de aceptación/rechazo
Instancias para Evaluar Desempeño Analítico
� Seguimiento de Control de Calidad Interno
(Indicadores de Calidad Analítica)
� Seguimiento de Evaluación Externa de la Calidad
(Indicadores de Calidad Analítica)
Evaluación de Desempeño
¿Quiénes están Involucrados?
Dentro del laboratorio:
1)Operadores (Analistas)
2)Supervisores: Aseguramiento de calidad para verificar acciones implementadas
3)Dirección
Externo al laboratorio:
• Organismos Gubernamentales
• Certificaciones
• Acreditaciones
¿Quiénes están Involucrados?
Evaluación de Desempeño
Frecuencia de la Evaluación del desempeño Analítico
• Operario (Analista): Diario
• Supervisión: Programada
• Dirección: Anual
Evaluación de Desempeño
¿Qué evaluamos?
Instrumento:
• Condiciones ambientales
• Mantenimiento• Calibraciones
Reactivo:
• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones
Operador:
• Competencia• Entrenamiento• Habilidad
Instrumento:
• Condiciones ambientales
• Mantenimiento• Calibraciones
Reactivo:
• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones
Operador:
• Competencia• Entrenamiento• Habilidad
Instrumento:
• Condiciones ambientales
• Mantenimiento• Calibraciones
Reactivo:
• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones
Evaluación de Desempeño
Reactivo:
• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones
Instrumento:
• Condiciones ambientales
• Mantenimiento• Calibraciones
Reactivo:
• Estabilidad• Desempeño• Conservación• Interferencias • Calibraciones
Herramientas del desempeño AnalíticoControl de Calidad Interno
• CV% (Precisión)
• Sesgo% (Veracidad)
• Error Total% (Exactitud)
ET% = k x CV % + Sesgo %
• Error Sistemático Crítico
• Métrica Sigma
Evaluación de Desempeño
Tipos de Errores en la Medición
Tamaño del error Tamaño del error0
Valor
Verdadero
Desvío sistemático
Desempeño
analítico estable
Incremento en
error aleatorio
Tipos de Errores en la Medición
Tamaño del error Tamaño del error0(-)ET a
(+)ETa
Valor
VerdaderoEspecificación
de Calidad
Especificación
de Calidad
Desvío sistemático
Desempeño
analítico estable
Incremento en error
aleatorio
Recomendaciones de asociación de profesionales publicadas
Estado del Arte
Cuerpos regulatorios u organizaciones de Programas de la Evaluación Externa de la Calidad
Basados sobre las decisiones clínicas en general, Variabilidad biológica
Basados sobre la evolución clínica en situaciones clínicas específicas
Hytoft P et al, Scand J Clin Lab Invest 1999; 57,7
Evaluación del Desempeño: Especificaciones de la ca lidad analítica
Jerarquías de modelos para establecer especificacio nes de calidad
Test CLIA Rilibak V.B Deseable
Calcio ± 1,0 mg/dl 6 % 2,4 %
Colesterol Total 10 % 13 % 8,5 %
Creatinina (± 0,3 mg/dl) 15 % 11,5 % 8,2 %
Glucosa (± 6 mg/dl) 10 % 11 % 6,9 %
Sodio ± 4 mmol/l 3 % 0,9 %
Proteínas Totales 10 % 6 % 3,4 %
Hemoglobina 7 % 4 % 4,1 %
Tiroxina (± 1 µg/dl) 20 % 12,5 % 7 %
Modificado de Klee, Clin Chem 56:5 (2010)
Evaluación del Desempeño: Especificaciones de la ca lidad analítica
Registros del Laboratorio :
• Cartas de control
• Indicadores de desempeño analítico
• Análisis de resultados de controles internos: individual y grupo par
• Análisis de resultados de controles externos: cumplimiento de programa, análisis adicional
Evaluación de Desempeño
Evaluación de Desempeño Analítico Control de Calida d Interno
• Evaluación en el Laboratorio : El desempeño del control interno de calidad del Laboratorio es
comparado contra la Especificación elegida
• Evaluación con otros Laboratorios: Grupo de comparación
Evaluación del Control de Calidad Interno
• Cálculo de Media y desvíos propios• Reglas de aceptación/rechazo• Evaluación diaria de resultados• Evaluación periódica• Acciones correctivas y de mejora
Evaluación del Control de Calidad Interno
Evaluación del Control de Calidad Interno
Percentiles
Evaluación del Control de Calidad Interno
Percentilos
CV
%Distribución de Percentilos de CV % para Creatinina
Evaluación del Desempeño: Indicadores de Calidad
4.12 Mejora continua
4.12.4 La dirección del laboratorio debe implementar indicadores de la calidad para el seguimiento y la evaluación sistemáticos de la contribución del laboratorio al cuidado del paciente
C 4.12.4 Los indicadores de calidad deben incluir asp ectos de gestión y técnicos. Se deben incluir indicadores de procedimi entos pre analíticos, analíticos y post analíticos. Los indic adores deben ser relevantes para la mejora del cuidado del paciente y su seguridad
NM ISO 15189: 2010
Criterios Generales OAA
• Específicos con la actividad valorada
• Cuantificable
• Comparable en el tiempo
• Fiable
• Fácil de establecer, mantener y utilizar
• Compatible con otros indicadores establecidos
Indicadores de Calidad - Características
Monitoreo de Indicadores de Calidad Analítico en
Laboratorio Hidalgo
Características : Fáciles de establecer, mantener y utilizar
Realidad : 20 plataformas analíticas, 215 determinaciones cuantitativas y alrededor de 500 datos mensuales de comportamiento analítico
Acción de mejora : Diseño de una herramienta informática que permita realizar el monitoreo
G. Maccallini, P. Bechi, G. Sand, M. Sánchez, P. Si lguero, L. Moreno, M. Hidalgo
Laboratorio Hidalgo, Martínez, Buenos Aires, Argentina
Diseño de una herramienta informática para el monitoreo de la imprecisión analítica a largo plazo en el Laboratorio
5º Ciclo Internacional de Conferencias de la Calidad, Cancún, México 2010
Instrumento 2
Instrumento 3
Instrumento 4
Instrumento 5
Instrumento 1
Programa de Control de Calidad Interno Unity Real Time
Programa
QCRS
Monitoreo de Imprecisión Analítica Mensual
Diseño de un sistema de carga automática de datos p ara el Monitoreo de Imprecisión Analítica
Indicador: Imprecisión Analítica Mensual (CV %)Valor target: Especificación de Imprecisión Variabilida d Biolólgica deseable
Indicadores de Calidad: ANALITICO
Monitoreo de Imprecisión Analítica Mensual
Electroforesis, fracción Gamma Globulina Enero 2008 a Junio 2011
0
2
4
6
8
10
12
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39
Meses
CV
%
Nivel 1
Nivel 2
Variabilidad Biológica deseable Cambio de Método
Indicadores de Calidad Analítica
Monitoreo de Imprecisión analítica a largo plazo
Calcio Nivel 2 Aeroset-Architect 16000
0
1
2
3
4
5
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37
Meses
CV
%
Requerimiento Variabilidad Biológica deseable
Requerimiento Variabilidad Biológica mínimo
Requerimiento CLIA
Cambio de instrumento
Imprecisión Analítica Mensual a largo plazo .
Magnesio sérico Período Dic 2005 – Sept 2011 (70 meses)
0
1
2
3
4
5
6
7
8
dic-0
5abr-0
6ago-0
6dic
-06
abr-07
ago-07
dic-0
7abr-0
8ago-0
8dic
-08
ab r-09
ago-09
dic-0
9ab r-1
0ago-1
0dic
-10
abr-11
ago-11
CV
% M
ensu
al
N ive l 1
N ive l 2
Variabilidad Biológica Deseable CLIA (Presup. ET 25 %)CLIA (Presup. ET 16%)Variabilidad Biológica Mínimo
Monitoreo de Imprecisión analítica a largo plazo
Mejora continua
Monitoreo de Imprecisión - Sodio Modular P Nivel 2
0
0,5
1
1,5
2
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64
Meses
CV
%
2006 200920082007 2010 2011
Requerimiento Variabilidad Biológica deseableRequerimiento Variabilidad Biológica mínimo
Requerimiento CLIA
Métrica Sigma
• Sistema que tiene como objetivo la evaluación cuantitativa de un proceso con el fin de demostrar la aceptabilidad del desempeño
• Medida de la variación y “centrado” de un proceso para predecir la tasa de defecto de ese proceso
Evaluación del Desempeño Analítico
Westgard J, Six Sigma Quality Design & Control, 2006
1s 2s 3s 4s 5s 6s 0
Valor
Verdadero
6s -5s -4s -3s -2s -1s
Límite de
Aceptación
Límite de
Aceptación
Six Sigma – Proceso Analítico
Sigma = (ETa – Bias)/CV
Cuanto mayor es el Sigma, mayor es la calidad del proceso, menor es la probabilidad de Error; es decir que será más fácil controlar el proceso
Comportamiento Analítico y Efecto del Cambio de
Tecnología en la medición de Hormonas Proteicas
Sánchez, M., Souto, J., Bechi, P., Rolé, N., Moya, A.,
Hidalgo, M., Maccallini, G.
Congreso Argentino de Endocrinología
Noviembre 2009
Resultados de Sigma promedio por tecnología y nivel de control
FSH LH PRL TSH
Nivel 1 2 3 1 2 3 1 2 3 1 2 3
Sigma Axsym n =18 1,7 1,6 1,4 1,9 2,4 1,9 3,1 3,6 3,4 2,4 3,1 2,2
Sigma Architectn = 16 3,3* 3,2* 3,5* 3,8 4,0 3,5 6,7 6,7 6,5 6,2 7,1 6,4
* n = 6
Monitoreo de Impresición AnaliticaImpacto del cambio de tecnología
TSH
02468
101214
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
Nivel 1
Nivel 2
Nivel 3
Axsym Architect
0
2
4
6
8
10
12
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
Meses
CV
% /
Sig
ma
Sigma
CV
0
2
4
6
8
10
12
Ene-10
Mar-10
May-10Jul-1
0
Sep-10
Nov-10
Ene-11
Mar-11
May-11Jul-1
1
Sep-11
Nov-11
CV
% /
Sig
ma
Imprecisión
Sigma
TSH Nivel I
• Selección de Programas• Evaluación y
seguimiento de Resultados
• Evaluación de Proveedor
• Acciones correctivas• Indicadores de grado de
cumplimiento
Los programas de Evaluación Externa de la Calidad permiten detectar errores o desvíos en métodos, en la Calibración o en el sistema analítico
Evaluación del desempeño: Programas de Evaluación E xterna
Herramientas del desempeño AnalíticoControl Externo de la Calidad
Características del Programa de Ensayos de Aptitud (Control Externo de la Calidad)
• Frecuencia
• Oportunidad de la retroalimentación
• Validez del análisis estadístico
• Trazabilidad en la medición
• Elección de programas acreditados por la ISO 17043
Evaluación del desempeño: Programas de Evaluación E xterna
• Evaluación de resultados: De acuerdo al criterio de análisis del Programa:
• Valores de las muestras obtenidos por consenso de participantes del Programa. Análisis de grupo par
• Valores de las muestras obtenidos por métodos de referencia y rangos de aceptación fijos, independientes de los participantes
ISO 17043: Conocer más información sobre cómo el programa realiza y documenta el análisis de los resultados
Evaluación del desempeño: Programas de Evaluación E xterna
Programas de Evaluación Externa de la Calidad
• Evaluación de acuerdo al sistema de análisis del Programa
• Evaluación individual de resultados
• Evaluación global de resultados. Porcentaje de cumplimiento
Herramientas de Evaluación de Desempeño Analítico
Programas de Evaluación Externa de la Calidad
• Evaluación acuerdo al Posicionamiento del Laboratorio teniendo en cuenta los resultados de otros laboratorios
• Evaluación de acuerdo al requerimiento del Laboratorio
Herramientas de Evaluación de Desempeño Analítico
Z Score
• Da información sobre el sobre el bias relativo respecto de lo esperado de la población de comparación
| z-score| Interpretación0 Comparación perfecta con el
grupo par≥ 2,0 Desempeño inaceptable
Evaluación de Desempeño en Programas de Evaluación E xterna
Z Score
Evaluación de Desempeño en Programas de Evaluación E xterna
Evaluación de Desempeño en Programas de Evaluación E xterna
Evaluación del Desempeño en Control de Calidad Extern o
Programa: College of American Pathologists – CAP - Target : > 80 %
Indicador Global de Calidad Analítica – Información de EQAS
Análisis de los Resultados de la participación en Programa de Evaluación Externa EQAS,
Bio Rad.
Banda A: Ubicación dentro de los mejores 20 % de Laboratorios
Banda B: Ubicación entre 21 y 40 % de los Laboratorios
Banda C: Ubicación entre 41 y 60 % de los Laboratorios
Banda D: Ubicación entre 61 y 80 % de los Laboratorios
Banda E: Ubicación entre 81 y último Laboratorio
REVISIÓN DE INDICADOR GLOBAL CCE
Posicionamiento: 9,7Posicionamiento: 29,8
CICLO 29 CICLO 37
2007
2011
MODULAR P
Posicionamiento Programa de Evaluación Externa
Programa: DGKL Monitoreo de Error total – % Cumplimiento Espec. VB
Evaluación del Desempeño en Control de Calidad Extern o
• Resultados de pacientes pueden ser utilizados para evaluar el desempeño y estabilidad del método
• Medianas, Promedio de valores normales (AON) o de medias móviles
• Cambios observados podrían ser explicados por cambios esperados o no esperados en el Laboratorio
Evaluación del Desempeño: Resultados de Pacientes
Bull BS, Am J Clin Pathol, 1974Lott, Clin Chem 42:6, 1996Westgard, Clin Chem 42:10, 1996
Agradecimiento
Recuerdo y Reconocimiento
Dr. Alberto Hidalgo
6° Ciclo Internacional de Conferencias de la Calidad 56
Mesa # 2
Herramientas de Evaluación del Desempeño Analítico en el Laboratorio
Coordinador: Dr. Gustavo Maccallini
6° Ciclo Internacional de Conferencias de la Calidad
Mesa de trabajo 2
Participantes
Maribel Espinosa Pulido (México)
Rosario García Suarez (México)
Adriana Hernández Anica (México)
Araceli Pérez Vizuet (México)
Dennise Ríos (Colombia)
Alma Rodríguez Gallegos (México)
Nancy Serna (México)
Gustavo Maccallini (Argentina)
6° Ciclo Internacional de Conferencias de la Calidad
Herramientas de Evaluación del Desempeño Analítico
Veracidad
Error Total permitido
Desviación Estandar
Sesgo Analítico
CV
Error Sistemático
Error Total
Error Aleatorio
PrecisiónSigma
CCE
6° Ciclo Internacional de Conferencias de la Calidad
Factor Humano
Creatividad
Aprender
Compromiso
Actitud
Enseñar
Observación
Empatía
Creación de hábitos
Disciplina
Compartir
Retroalimentación
Competencia técnica
6° Ciclo Internacional de Conferencias de la Calidad
Conclusiones
• La evaluación del desempeño analítico DEBE ser realizada en todos los métodos del laboratorio clínico
• Las herramientas utilizadas DEBEN medir verdaderamente el proceso analítico de manera continua y sostenible, basada en metas viables.
• La información derivada de esta evaluación DEBEreflejarse en acciones de mejora
6° Ciclo Internacional de Conferencias de la Calidad
Muchas Gracias por su Atención