CONFERENCIA 6 Esquema de Evaluación Externa de la

Calidad con Enfoque Proactivo

1ra. Parte

Agenda

Introducción

Aspectos críticos

Desempeño y calidad

Introducción

Herramienta para la mejora continua de la

calidad

Introducción

Introducción

Enfoque reactivo

Prevención

Gestión de riesgos

Agenda

Introducción

Aspectos críticos

Desempeño y calidad

Trazabilidad metrológica

Composición del grupo

Valor de referencia/ valor asignado

Dispersión

Incertidumbre del valor asignado

Nº del grupo

Dato de lectura

¿ ? Resultado del paciente Curva de

Calibración

Instrumento

Concentración (mg/dl)

Abs.

Dato de lectura

C1: C2: C3:

A1: A2: A3:

Curva de Calibración

Instrumento

Concentración (mg/dl)

Abs.

Dato de lectura

Curva de Calibración

Resultado del paciente

Am:

Cm:

Instrumento

Valor de referencia / Valor asignado

Media robusta grupo de

comparación

Dispersión

N: Cantidad de laboratorios participantes N > 30

Incertidumbre del valor asignado

Media robusta grupo de

comparación

Valor asignado

S* = σpt

Incertidumbre del valor asignado

Nº del grupo

Nº del grupo

Prevención

Estimación del sesgo

Especificaciones de desempeño analítico

Componente de incertidumbre asociado a posibles efectos

sistemáticos

Indicadores

Error de medida

Índice de desvío estándar

Error de medida

Valor medido

C

Valor de referencia

V

Error de medida EM= C - V

Error de medida

Error de medida

Error de medida

Error de medida

Índice de desvío estándar

u(x) > 0.3 * σpt u(x) < 0.3 * σpt

u(x) < 0.3 * σpt

u(x) > 0.3 * σpt

[Z] ≤ 2.0

2.0 < [Z] < 3.0

[Z] ≥ 3.0

Desempeño satisfactorio

Desempeño cuestionable

Desempeño inaceptable

0 1 2 3 -3 -2 -1

[Z] ≤ 2.0 Desempeño satisfactorio

0 1 2 3 -3 -2 -1

2.0 <[Z] < 3.0 Desempeño cuestionable

0 1 2 3 -3 -2 -1

[Z] ≥ 3.0 Desempeño inaceptable

Agenda

Introducción

Aspectos críticos

Desempeño y calidad

Desempeño y calidad

Desempeño y calidad

2da. Parte

Estandarización en el tratamiento de los resultados no conformes

Revisión de la última encuesta frente a las encuestas anteriores

Criterio de aceptación/rechazo externo (proveedor del esquema) y

considerando los requisitos de calidad

Evaluación de la consistencia del grupo de comparación

Foco en los resultados aceptados y rechazados

Enfoque proactivo

Evaluación de la consistencia del grupo de comparación

Valor asignado

Grupo de comparación

N° de participantes

Media robusta

Incertidumbre estándar del

valor asignado

DE robusto

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.25 4.5 0.51 0.06

Valor asignado:

Media robusta del grupo de comparación

Mejor estimación del valor verdadero

DE: Desvío estándar robusto del grupo de

comparación

Vinculado a la dispersión del grupo de comparación

N: Cantidad de

laboratorios participantes

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

Evaluación de la consistencia del grupo de comparación

N > 12 (media)

N > 15 (estadística robusta)

N > 18 (mediana)

N > 20 (mínimo)

N > 30 (óptimo)

DE confiable

N >30

ESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.25 4.5 0.51 0.06

Evaluación de la consistencia del grupo de comparación

Evaluación de la consistencia del grupo de comparación

u(x): Incertidumbre estándar del

valor asignado

N grupo: número de participantes

del grupo par

DE grupo: Desvío estándar robusto

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor informado Valor asignado Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

U = K.uc

U: Incertidumbre Expandida

K: Factor de Cobertura

uc: Incertidumbre Combinada

Evaluación de la consistencia del grupo de comparación

u(x) = 0.06

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor asignado Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

u(x) = 1.25 x 0.51

√115

Evaluación de la consistencia del grupo de comparación

9.2.1 Si la incertidumbre estándar u(xpt) del valor asignado es grande en comparación con el criterio de evaluación de

desempeño, existe el riesgo que algunos participantes reciban señales de acción y alerta debidas a inexactitud en la

determinación del valor asignado , no debido a alguna causa del participante. La incertidumbre estándar del valor

asignado debe ser determinada y reportada a los participantes (ver ISO/ IEC 17043:2010,4.4.5 y 4.8.2)

Si se cumple el criterio siguiente, la incertidumbre del valor asignado puede considerarse despreciable y no es necesario

incluirla en la interpretación de los resultados de la ronda del ensayo de aptitud.

uXpt = Incertidumbre estándar del valor asignado

pt = Desvío estándar del grupo de comparación

Evaluación de la consistencia del grupo de comparación

u(x) = 0.06 u(x) < 0.3 * DEgrupo

0.06 < 0.3 * 0.51

0.06 < 0.15

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

Incertidumbre despreciable

Valor asignado confiable

Grupo par consistente

Evaluación de la consistencia del grupo de comparación

u(x) = 0.16 u(x) < 0.3 * DEgrupo

0.16 ? 0.3 * 0.51

0.16 > 0.15

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 15 11.530 11.399 1.15 0.26 4.5 0.51 0.16

Incertidumbre SIGNIFICATIVA

Evaluación de desempeño Z score (IDE)

Permite evaluar el desempeño del laboratorio en una encuesta

Para sacar conclusiones debemos asegurar la consistencia del grupo par

( x – X grupo )

Zscore (IDE) =

DEgrupo

Z (IDE): Indice de desvío estándar

X: valor informado por el lab

Xgrupo: valor asignado (media

robusta del grupo par)

DE grupo: desvío estándar robusto

del grupo

Recordar !

Las estimaciones son

confiables a partir de

N > 30

Indicador vinculado al error sistemático

Evaluación de desempeño Z score (IDE)

Z score (IDE) Interpretación

[Z]+ ≤ 2.0 Satisfactorio

2.0 < [Z] < 3.0 Cuestionable

[Z]+ ≥ 3.0 Inaceptable

Interpretación de valores obtenidos

Óptimo IDE ≤ 1

Aceptable 1 < IDE ≤ 2

Error Sistemático IDE > 2

Evaluación de desempeño Z score (IDE)

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

Z score (IDE)= 0.26

( 11.53 – 11.399 )

Zscore (IDE) =

0.51

( x – X grupo )

Zscore (IDE) =

DEgrupo

Evaluación de desempeño Z score (IDE)

RESUMEN ESTADISTICO DE RESULTADOS PSA total ng/ml

Ciclo de

evaluación

Muestra N grupo

par

Valor

informado

Valor

asignado

Error de

medida %

IDE

( Z score)

CV

grupo %

DE

grupo u(x)

64 2 115 11.530 11.399 1.15 0.26 4.5 0.51 0.06

Z score (IDE )= 0.26

Z score (IDE) Interpretación

Z+ ≤ 2.0 Satisfactorio

2.0 < [Z] < 3.0 Cuestionable

Z+ ≥ 3.0 Inaceptable

Revisión de la última encuesta frente a las encuestas anteriores

No existen resultados excluidos

según el criterio del proveedor

Desvío Negativo

Valor medido

C

Valor de referencia

V

Error de medida EM= C - V

ERROR DE MEDIDA

Error porcentual de medida

Valor Informado

Media del Grupo

Media del Grupo

= X 100

- 7.80

7.75

7.75

0.61 %

Indicador vinculado la

exactitud

Error de

medida

Especificación

de desempeño

analítico <

0.61 %

Fuente: CLIA

17 %

Seguimiento del %EM de encuesta a encuesta

%TEa *100= 11

2

Análisis de resultados de Esquemas de evaluación externa de la calidad:

Debe llevarse a cabo en los días subsiguientes a la recepción de cada reporte, con un tope máximo de 7 (siete) días para que los posibles problemas descubiertos se solucionen en el menor tiempo posible.

Situaciones que llevan a elevar una No Conformidad:

Cuando el Error% de una (1) encuesta supera al ETa%: Encuesta “Rechazada”.

Cuando en dos (2) encuestas consecutivas el Error% es igual o mayor al Error Sistemático Aceptable (SEa: 0,50 * TEa).

Cuando el Sesgo% de las encuestas evaluadas (calculado como la Media Cuadrática de Errores%) es igual o mayor al SEa.

Cuando se evidencie un aumento significativo en la imprecisión del método, es decir aumenta la variabilidad en los Errores%.

Cuando se evidencie una tendencia en siete (7) puntos consecutivos, es decir aumentan o disminuyen progresivamente

Estandarización del tratamiento de resultados no conformes

Se deben implementar procedimientos para detectar, comprender y corregir los

problemas identificados

Situaciones que llevan a toma de Acciones Preventivas (AP):

Cuando exista un Sesgo% que, aunque no supere el SEa, se considere

necesario investigar para evitar errores significativos posteriores.

Cuando existan dos reportes consecutivos con SDi ≥ 2, aunque no exista

rechazo en la encuesta, es necesario investigar para evitar errores

significativos posteriores.

Estandarización del tratamiento de resultados no conformes

Pre analítico

Problemas con las muestras

Muestras mal identificadas

Problemas en el transporte

Analítico

Problemas metodológicos

Problemas con el equipo

Problemas técnicos

Pos analítico Errores en los resultados

Errores de envío

Sin explicación

Entrenamiento del personal insuficiente, poco efectivo o

ausente

Comunicación de instrucciones inadecuada por parte

del supervisor

Falta de experiencia, o poco conciencia, en el manejo de

EQA/PT

Causas raíz asociadas al desempeño

Uso de equipos inapropiados o inadecuados

Diseño inadecuado del espacio de trabajo

Entrenamiento del personal insuficiente, poco efectivo o

ausente

Comunicación de instrucciones inadecuada por parte

del supervisor

Falta de experiencia, o poco conciencia, en el manejo de

EQA/PT

Análisis de Desvíos de Control de Calidad Externo

F-730

PG-SGC.02

Rev. 00

GESTIÓN DE LA CALIDAD

Entrada en vigencia: 08-02-17

SI NO

Error Administrativo

El resultado fue correctamente trascripto al informe

Se reportó el resultado en las unidades correctas

Se realizaron correctamente los cálculos

Se realizó la revisión final antes del envío de resultados

Se cargó correctamente la hoja o página donde se reportan los resultados

Se informó el resultado en fecha apropiada

El Laboratorio está registrado en el grupo de comparación correcto

Otros problemas asociados con actividades administrativas

Error Técnico

Error en el procesamiento del CCE

Se procesó la muestra de control correcta

El agua utilizada para la reconstitución del material estaba en óptimas condiciones

Se reconstituyó correctamente el control (para muestras liofilizadas)

Se homogeneizó correctamente el material de control

El material de control se almacenó en las condiciones recomendadas de temperatura y/o tiempo de conservación.

El material de control se contaminó durante el procesamiento

Se retrasó el procesamiento de la muestra luego de su reconstitución, causando evaporación o deterioro.

Se realizó correctamente la dilución (en caso de necesidad de diluir)

Fallas en el CCI

Control Interno del día de largada del CCE correcto

Desempeño del CCI correcto

Error en el CCE

Problemas con el Material remitido

Volumen del material de control adecuado

Problemas en la Evaluación

Grupo par apropiado

El n del grupo comparador apropiado

Error Metodológico

Problemas en reactivos y/o Calibradores

El fabricante o distribuidor comunicó problemas con el funcionamiento de los calibradores que fueron utilizados

El fabricante o distribuidor comunicó problemas con el funcionamiento del reactivo que fue utilizado

Error de Equipamiento

La aspiración de la muestra fue incorrecta (error de aspiración)

Se detectó mal funcionamiento del equipo

Asegurar la consistencia del grupo de comparación.

Evaluar los resultados de la última encuesta frente a aquellos de encuestas anteriores, los rechazados y los aceptados.

Considerar los criterios de aceptación/rechazo del proveedor y los requisitos de calidad establecidos por el laboratorio.

Estandarizar el tratamiento de resultados no conformes.

Realizar el seguimiento de indicadores de calidad analítica obtenidos de datos de las encuestas.

Estas prácticas permiten una gestión proactiva de los esquemas de evaluación externa de la calidad, brindando la posibilidad de prevenir errores que pueden afectar los resultados y el cuidado de la salud de los pacientes.

Conclusiones

¡Muchas Gracias!