Métodos Estadísticos en la Comparación de Equipos de ...

Métodos Estadísticos Comparación de Equipos Comité de Calidad, Gestión, Seguridad y Evidencia

Métodos Estadísticos en la Comparación de Equipos de Laboratorio

Versión 2.2 // Fecha última revisión: 29/10/2013

Daniel Pineda Tenor

Enrique Prada de Medio

Santiago Prieto Menchero Comité de Calidad, Gestión, Seguridad y Evidencia. Asociación Española de Biopatología Médica AEBM.

Índice:

1.- Introducción 2.- Objetivos 3.- Selección de Muestras 4.- Mediciones 5.- Evaluación de Errores y Valores Aberrantes

5.1.- Detección de Valores Aberrantes Intra-Equipo 5.2.- Detección de Valores Aberrantes Inter-Equipos

6.- Análisis de Datos 6.1.- Análisis de las Diferencias 6.2.- Regresión Lineal 6.2.1.- Estimación de la Linealidad 6.2.2.- Análisis de Regresión Lineal 7.- Consideraciones Finales 8.- Bibliografía Recomendada

1.- Introducción

Una situación bastante común en los laboratorios médicos es la existencia de distintos

analizadores que, determinando las mismas pruebas, están trabajando de forma simultanea

para ofrecer resultados clínicos con la mayor celeridad, permitiendo de esta forma reducir

tiempos de demora, facilitar el diagnóstico y mejorar la calidad asistencial.

Según la norma ISO 15189:2012 para la acreditación de los laboratorios clínicos, el

asegurar la veracidad de los procedimientos de medida es requisito imprescindible. La

aplicación de técnicas de control estadístico de procesos, así como la determinación

de la imprecisión, el sesgo y el error total de las técnicas empleadas a partir de los

controles internos y externos efectuados por el laboratorio garantizan la fiabilidad de

los resultados y generan confianza por parte del clínico. Tomando un adecuado control

de calidad como punto de partida, consideramos que la definición de resultados

intercambiables presenta diferentes requisitos en función de los analizadores

comparados:


Un mismo modelo de analizador duplicado, triplicado, etc… usando las mismas

técnicas de ensayo, con idénticas características técnicas y calibrados con los

mismos materiales bajo idénticas circunstancias: El cumplimiento de los requisitos

marcados por las especificaciones de calidad seleccionadas por el laboratorio y la

conformidad con los programas de garantía calidad externos deben ser garantía

suficiente de que los resultados proporcionados por los distintos analizadores son

válidos, hallándose sus posibles desviaciones dentro de unos límites definidos y

aceptables. Sin embargo, pese a que este tipo de actividad puede constituir un tipo de

verificación rápida, sencilla y útil desde un punto de vista práctico, el presente comité

considera que para que tenga lugar una verdadera validación de la intercambiabilidad

de resultados es necesario la aplicación de las técnicas estadísticas descritas en el

presente documento.

Diferentes analizadores y/o técnicas de ensayo y/o características técnicas y/o

procesos de calibración: El cumplimiento de las especificaciones de calidad es

condición necesaria (asegura la veracidad de los resultados) pero no suficiente para

considerar que los resultados son intercambiables. En este caso, se hace necesaria la

aplicación de métodos estadísticos que aseguren la identidad entre los resultados.

Para garantizar que la intercambiabilidad de los resultados se mantiene a lo largo del

tiempo, se recomienda replicar los análisis al menos una vez al año.

Dos escenarios son posibles:

En aquellos casos en los que los resultados proporcionados por los distintos métodos o

analizadores carezcan de diferencias estadísticamente significativas, consideraremos

que dichos resultados son intercambiables, y que los equipos comparados pueden ser

considerados como un equipo virtual único.

En aquellos casos en los que los resultados proporcionados por los distintos métodos o

analizadores presenten diferencias estadísticamente significativas, consideraremos que

dichos resultados no son intercambiables, por lo que el informe de resultados debe

indicar de forma clara el analizador empleado en cada caso, teniendo además en

consideración sus características técnicas (diferentes rangos de linealidad, interferencias

y umbral de detección entre otros) y en caso necesario, adecuando los intervalos de

referencia poblacionales o los valores de delta-check en caso de aplicación del valor de

referencia del cambio (RCV) en sus criterios de validación.

2.- Objetivo

El objetivo del presente texto es proporcionar una herramienta de consulta práctica y de fácil

comprensión para determinar si los resultados proporcionados por diferentes equipos de

medida pueden ser considerados iguales o intercambiables desde un punto de vista


estadístico, y por tanto, informados de forma independiente del método o analizador empleado

(Equipo Virtual Único).

3.- Selección de Muestras

El número mínimo de muestras a considerar es de 40, ensayadas a lo largo de 3-5 series

analíticas. La selección de un mayor número de especímenes mejora la fiabilidad del proceso.

Las muestras procederán de pacientes distintos, y deben cubrir de forma homogénea el rango

de medición del analizador. Es importante considerar que al menos el 50% de los valores

muestren concentraciones representativas del espectro de enfermedades a diagnosticar, o en

su defecto, fuera del rango de referencia propuesto por el laboratorio. De la misma forma, se

debe evitar la presencia de muestras con interferentes conocidos para alguno de los

procedimientos de medida comparados.

Las muestras deben ser procesadas de acuerdo a los procedimientos habituales del

laboratorio, siendo recomendable su ensayo tras la extracción. En el caso de que el

almacenaje sea inevitable, su duración y características dependerán de la estabilidad del

analito a ensayar.

La inclusión de materiales de control o de calibración no está recomendada.

4.- Mediciones

Los equipos a comparar y las técnicas de ensayo deben encontrarse validadas y cumplir con

los requisitos de calidad establecidos por el laboratorio. El personal responsable de efectuar el

ensayo debe estar familiarizado con los procedimientos de medida a evaluar.

Las medidas deben ser realizadas por duplicado, empleando dos alícuotas diferentes por

muestra y ensayadas estas en dos series analíticas distintas (en total, 4 alícuotas por muestra,

dos para cada equipo a evaluar). Con objeto de evitar efectos de arrastre, el orden en el que se

analizan las alícuotas ha de invertirse. Es decir, las muestras deben ser ensayadas con el

siguiente orden: 1,2,3,4...N para las primeras alícuotas y N…4,3,2,1 para el duplicado. Esta

metodología de inversión ha de ser seguida en ambos equipos, aunque la secuencia inicial de

muestras no tiene que ser necesariamente la misma.

Es recomendable realizar el análisis a lo largo de un mínimo de 5 días, siendo lo ideal emplear

un total de 20. De esta forma se minimizan los posibles errores sistemáticos que pueden

derivarse de una única serie analítica.


5.- Evaluación de Errores y Valores Aberrantes

Se debe diseñar y aplicar un adecuado proceso para el control de calidad de las series

analíticas implicadas en el proceso, similar al aplicado en la rutina del laboratorio. Una vez

concluido que las mediciones se ajustan a los requisitos definidos por las especificaciones de

calidad, los datos obtenidos podrán ser empleados para la comparación entre equipos. De la

misma forma, aquellos errores de carácter humano acaecidos durante el proceso deben ser

documentados y subsanados.

El análisis de comparación debe ser realizado con todos los puntos, eliminando en todo caso

los valores aberrantes (outlier). La simple observación de las gráficas descritas en apartados

posteriores puede indicar la presencia de un valor aberrante. Sin embargo, la aplicación de los

siguientes procedimientos dota de un mayor rigor a la detección y eliminación de dichos valores

aberrantes.

5.1.- Detección de Valores Aberrantes Intra-Equipo

Una de las ventajas de usar datos duplicados para cada una de las muestras participantes en

la comparación de equipos es la de detectar errores aleatorios puntuales. Gracias al siguiente

procedimiento podemos detectar la presencia de valores aberrantes para cada uno de los

equipos o métodos a comparar, denominados X e Y a partir de este momento.

Evaluar las diferencias absolutas individuales entre los duplicados de cada muestra

aplicando las siguientes ecuaciones:

Donde i es igual al número de muestra (desde 1 hasta N, siendo N el número total de

muestras).


Evaluar la diferencia absoluta media del conjunto de todos los duplicados, mediante el

sumatorio de las diferencias absolutas individuales de cada muestra dividido por el

número total de muestras en cada equipo:

Definir los límites de aceptación para cada equipo (X e Y), multiplicando por 4 la

diferencia absoluta media y redondeando al alza en caso necesario. Comparar cada

una de las diferencias absolutas individuales con los límites de aceptación

correspondientes.

En el caso de que alguna diferencia absoluta individual exceda los límites de aceptación, se

realizará un análisis adicional, pero normalizando los valores. Para ello deben calcularse:

oLas diferencias absolutas individuales normalizadas (o relativas):

oLa diferencia absoluta media normalizada:

oLos Límites de aceptación normalizados, multiplicando por 4 la diferencia

absoluta media normalizada para cada equipo (X e Y)


Interpretación:

En el caso de que ninguna diferencia absoluta individual exceda los límites de

aceptación, consideraremos que no existen valores aberrantes intra-equipo. El análisis

normalizado no es necesario.

Aquellos puntos que superen el límite de aceptación en el test absoluto, pero no los superen en

el normalizado serán considerados válidos

En el caso de que un único punto exceda tanto los límites de aceptación como los límites de

aceptación normalizados se debe investigar la causa, y eliminar en cualquier caso esa

medición.

En el caso de que más de un punto exceda ambos límites de aceptación, debe realizarse una

investigación exhaustiva:

Si el problema es inequívocamente determinado y se tiene la certeza de que solo

ha afectado a las muestras que excedieron los límites, se procede a la sustitución

de las citadas muestras.

Si el problema es inequívocamente determinado, pero no podemos asegurar que

se limita a las muestras que excedieron los límites, el proceso debe iniciarse desde

el principio, obteniendo nuevas muestras.

Si el problema no puede ser identificado, interrumpir el proceso y contactar con la

casa comercial.

5.2.- Detección de Valores Aberrantes Inter-Equipos

La detección de valores aberrantes entre los diferentes equipos o métodos (X e Y) puede ser

realizada de forma intuitiva al observar los gráficos de comparación de métodos que

describiremos en los apartados siguientes. Sin embargo, al igual que en el análisis intra-equipo,

podemos realizar un estudio más riguroso siguiendo el siguiente procedimiento estadístico:

Evaluar las diferencias absolutas entre los métodos. En este caso es necesario

definir un método de referencia. Por convención, consideraremos al X como el

método de referencia:


Donde i es igual al número de muestra (desde 1 hasta N, siendo N el número total de

muestras) y j la alícuota empleada (duplicado 1 o 2 de cada muestra). Nótese que el valor

perteneciente al método de referencia (X) es la media de ambas alícuotas.

Calcular la diferencia absoluta media entre métodos:

Definir el valor Límite del Test (LTE), multiplicando por 4 la diferencia absoluta

medias, y redondeando al alza cuando sea necesario. Comparar cada E ij con el

LTE.

En el caso de que alguna diferencia absoluta exceda el LTE, se realizará un análisis

adicional similar al anterior, pero normalizando los valores. Para ello deben calcularse:

o Las diferencias absolutas normalizadas (o relativas) entre métodos:

o La diferencia absoluta media normalizada entre métodos:

oEl Límite del Test normalizado se obtiene multiplicando por 4 la diferencia

absoluta media normalizada entre métodos. Comparar con los valores de

diferencias absolutas normalizadas entre métodos.


Interpretación:

En el caso de que la diferencia absoluta media no exceda los límites de aceptación,

consideraremos que no existen valores aberrantes inter-equipo. El análisis normalizado no es

necesario.

Aquellos puntos que superen el límite de aceptación en el test absoluto, pero no los superen en

el normalizado serán considerados válidos

Aquel o aquellos punto/s que no superen ambos test estadísticos se considera un valor

aberrante, y debe ser eliminado del análisis.

El máximo de puntos aberrantes admisibles para la comparación es del 2,5% de los datos.

En el caso de que se identifiquen más de un 2,5% de valores aberrantes, es necesario

investigar las posibles interferencias, errores humanos, mal-funciones de los equipos y

controles de calidad. En el caso de que el problema no pueda ser identificado de forma

inequívoca y resuelto satisfactoriamente, se debe iniciar el procedimiento desde el inicio,

recopilando nuevas muestras.

6.- Análisis de Datos

Tal y como se ha descrito anteriormente, para que la comparación entre diferentes equipos o

métodos sea fiable se requiere el cumplimiento de ciertas premisas, que incluyen el

conocimiento por parte del personal del laboratorio de la metodología a emplear, la selección

de muestras adecuada, el uso de valores a lo largo de todo el rango de detección de los

analizadores, la presencia de porcentajes elevados de muestras cuyas concentraciones se

alejen de los intervalos de referencia y la exclusión de valores aberrantes.

Si bien existen multitud de técnicas estadísticas que pueden ser aplicadas para realizar una

comparación entre los valores aportados por dos equipos o métodos diferentes, las más

utilizadas y recomendadas son dos: (1) el análisis de las diferencias y (2) los análisis de

regresión lineal.

6.1.- Análisis de las Diferencias

El análisis de las diferencias permite determinar de una forma intuitiva la presencia de sesgo,

tanto constante como proporcional, entre las mediciones de los equipos a comparar. Para ello


se emplea una representación gráfica denominada diagrama de diferencias, también

conocido como diagrama de Bland-Altman, en el que se representan:

Eje de ordenadas: Diferencia (Di) o Diferencia Relativa Porcentual (DRi), según

estemos valorando sesgo constante o proporcional, entre las mediciones obtenidas

empleando ambos métodos para cada una de las muestras. Por convención,

consideraremos al método X como el de referencia:

Eje de abscisas: Promedio de cada pareja de resultados (promedio de las alícuotas) para

cada una de las muestras:

Interpretación:


La diferencia entre los resultados de los dos procedimientos puede ser descrita mediante la

media de las diferencias (Dm o DRm) y la desviación estándar de estas medias (SD o SDR). De

esta forma, se considera que el intervalo de confianza del 95% de la media de las diferencias

será:

Para las diferencias absolutas: Dm ± 1.96SD

Para las diferencias relativas: DRm ± 1.96SDR

En aquellos casos en los que el intervalo de confianza para la media de las diferencias

incluya el valor cero, se considera que no existen diferencias estadísticamente significativas

entre los resultados proporcionados por ambos equipos (p=0,05), por lo que los resultados son

intercambiables y ambos equipos pueden ser considerados como un equipo virtual único.

Si el intervalo de confianza de las media de las diferencias no incluye al valor cero, no

podemos constatar la ausencia de diferencias estadísticamente significativas, por lo que los

resultados de ambos equipos no son intercambiables y la consideración de equipo virtual único

no puede ser aplicada. En estos casos, el método comparado presenta un error sistemático

(ES) o sesgo del tipo:

Sesgo Constante: El intervalo de confianza de las diferencias absolutas no incluye el

valor cero.

Sesgo Proporcional: El intervalo de confianza de las diferencias relativas no incluye el

valor cero.

6.2.- Regresión Lineal

6.2.1.- Estimación de la Linealidad

El análisis de regresión lineal constituye la herramienta estadística más empleada para

determinar la presencia o ausencia de diferencias significativas entre los equipos o métodos.

Sin embargo, su aplicación asume que la variable X carece de error. Es bien sabido que este

hecho no se cumple en el laboratorio clínico, ya que la presencia de errores aleatorios y

sistemáticos en los sistemas de medida es inevitable. Sin embargo, si el rango de datos


empleados es suficientemente amplio, el efecto del error en el análisis de regresión se

minimiza, y puede ser despreciado. El coeficiente de correlación resulta de gran utilidad

como estimador de este efecto, permitiéndonos decidir si el análisis de regresión puede ser

efectuado. Los coeficientes de correlación más empleados son:

Coeficiente de correlación de Pearson (r), asume una distribución normal de los datos

Coeficiente de correlación de Spearman (rho), para distribuciones no paramétricas

Como norma general, la comparación de métodos asume una distribución gaussiana de los

datos, por lo que el coeficiente más empleado es la r de Pearson.

Interpretación:

Si bien r puede tomar valores comprendidos entre -1 y +1, en la comparación entre resultados

solo tienen sentido los valores positivos. Una r=1 indica una correlación perfecta entre ambos

analizadores (Y=X), de tal forma que los resultados aportados por ambos deberían ser

idénticos. Sin embargo, esta aproximación teórica no tiene su reflejo en la práctica diaria, ya

que la correlación tan solo es sensible a los errores aleatorios, y su determinación es

dependiente del tamaño del intervalo de valores escogidos. Por este motivo, la adecuación del

coeficiente de correlación es condición necesaria pero no suficiente para determinar que los

resultados proporcionados por ambos equipos son intercambiables.

Como norma general, el rango de datos puede ser considerado adecuado si el coeficiente de

correlación r ≥ 0,975, o lo que es lo mismo, un coeficiente de determinación r2 ≥ 0,95. En este

caso, efectuaremos el análisis de regresión.

En el caso de que r < 0,975 o r2 < 0,95 el rango de datos no es adecuado, por lo que debe ser

ampliado incorporando muestras adicionales. En caso de que tras realizar la citada ampliación

muestral los valores de r no alcancen los niveles requeridos, consideramos que los resultados

aportados por ambos equipos no son intercambiables.


6.2.2.- Análisis de Regresión Lineal

Los análisis de regresión establecen la forma en la que los valores de Y (considerado este el

equipo a evaluar) varían en función de los valores de X (considerado por convención el equipo

de referencia).

Hay que tener en cuenta que como resultado utilizaremos el promedio de ambas alícuotas.

Se asume que los resultados aportados por ambos equipos pueden ser representados

gráficamente en un eje de coordenadas y se relacionan en función la siguiente ecuación:

Donde “b” es la pendiente de la recta de regresión y “a” el valor de la ordenada en el origen

(corte de la recta en el eje de ordenadas). Mediante el análisis de regresión lineal es posible

obtener los valores de “a” y “b”, así como los intervalos de confianza del 95% para cada uno de

ellos. Existen diferentes aproximaciones para su estimación, siendo los más empleados los

siguientes:

Regresión lineal simple: Utiliza el método de mínimos cuadrados. Asume la existencia

de una relación lineal entre las variables, una ausencia de error aleatorio por parte del

equipo de referencia (X) y una varianza del analizador a comparar (Y) constante a lo

largo de todo el rango de valores (homocedástica).

Regresión ortogonal o método de Deming: Minimiza las desviaciones al cuadrado de

los datos observados en la línea de regresión. Las varianzas de los errores son

proporcionales, aunque no necesariamente constantes en el rango de datos. Dado que

este método emplea la desviación como elemento de corrección, el método de Deming

no es el más adecuado para la comparación inter-equipos.

Regresión no paramétrica de Passing-Bablock: Estima la pendiente como la mediana

de las pendientes entre todos los posibles pares de puntos. En este caso, los errores de

medición para ambas variables siguen la misma distribución, que no ha de ser

necesariamente normal. El cociente de las varianzas es constante, aunque no sea

constante a lo largo del rango de medida.

Si bien se considera que el método de Passing-Bablock es el más robusto desde un punto de

vista estadístico, la práctica diaria sugiere que como norma general los valores aportados por

cualquiera de estos métodos son muy similares, no alterando la decisión de intercambiabilidad


de resultados. Dado que los cálculos necesarios para la estimación de la pendiente, el punto de

corte en ordenadas y sobre todo, de los intervalos de confianza son complejos y tediosos, se

recomienda el uso de una aplicación informática para su estimación. En cualquier caso, las

ecuaciones necesarias pueden consultarse en los documentos EP09-A2 y EP09-A3 del CLSI

(previamente conocido como NCCLS).

Interpretación:

La recta de regresión ideal es aquella que presenta una pendiente “b” de 1 y una ordenada en

el origen “a” de cero. De esta forma, la ecuación obtenida (Y=X) implica una identidad perfecta

entre los resultados.

La observación directa de la recta obtenida y su comparación con la recta ideal nos permite

detectar de forma intuitiva la presencia de puntos aberrantes, dispersión de los valores y

existencia de sesgos y tendencias. Sin embargo, para un análisis más exhaustivo, hemos de

considerar los intervalos de confianza del 95% obtenidos para la pendiente y la ordenada en el

origen.

Y=X Y=bX + a


En el caso en el que los intervalos de confianza contengan el valor 0 para la ordenada en

el origen “a” y el valor “1” para la pendiente “b”, consideramos que no existen diferencias

estadísticamente significativas (p=0,05) entre ambos equipos, por lo que los resultados

proporcionados por ambos son intercambiables y podemos aplicar el concepto de Equipo

Virtual Único.

Cuando el intervalo de confianza para la pendiente “b” no contiene el valor 1, el equipo Y

presenta un error sistemático proporcional con respecto al equipo de referencia X. Si el valor

de b > 1, los resultados aportados por el analizador Y serán superiores a los del X. Si el valor

de b < 1, los resultados del analizador Y serán inferiores a los del X.

Cuando el intervalo de confianza para la ordenada en el origen “a” no contiene el valor 0,

el equipo Y presenta un error sistemático constante con respecto al equipo de referencia X.

Los valores aportados por el analizador Y presentan una diferencia constante con respecto al

equipo X, que será superior en caso de a > 0 o inferior en caso de a < 0.

7.- Consideraciones Finales

La consideración de diferentes analizadores como un Equipo Virtual Único implica que los

resultados proporcionados por ambos sean intercambiables e indistinguibles desde el punto de

vista clínico. La validación de las técnicas empleadas y la planificación e implementación de un

sistema de gestión de calidad en el laboratorio constituyen la base en la que se sustenta la

fiabilidad de los resultados. Sin embargo, el aseguramiento de resultados intercambiables

requiere además la aplicación de técnicas estadísticas que permitan descartar la presencia de

sesgo o error sistemático del equipo Y frente al analizador de referencia X.

El presente comité recomienda el uso del análisis de las diferencias y la regresión lineal como

estimadores del error sistemático entre los equipos, siendo necesaria la detección del error en

ambos casos para que sea tenido en consideración.

Los errores sistemáticos de tipo constante pueden tener múltiples causas, siendo su

interpretación compleja. Debido a que en la mayoría de los casos este error se atribuye a


diferencias de especificidad entre los métodos, su corrección mediante factores no está

recomendada.

Los errores sistemáticos de tipo proporcional suelen ser debidos a diferencias en las curvas de

calibración. Una vez detectado, se recomienda en primer lugar revisar y en caso necesario

ajustar las condiciones de calibración, en referencia tanto a los procedimientos implicados

como a los materiales usados. En segundo lugar, se recomienda mejorar la veracidad de las

medidas obtenidas en ambos equipos mediante la reducción de errores de medida. La revisión

y mantenimiento exhaustivos de los equipos, la aplicación de especificaciones de calidad

exigentes y la solicitud de mejora continua a las casas comerciales proveedoras de los equipos

constituyen un buen punto de partida.

En el caso de que el error sistemático, ya sea de tipo constante o proporcional, no pueda ser

subsanado, el presente comité recomienda que ambos equipos sean considerados como

entidades independientes, y así se refleje inequívocamente en los informes de resultados. En

este caso es necesario valorar las características técnicas de cada equipo (diferentes rangos

de linealidad, interferencias y umbral de detección entre otros) y se debe realizar un análisis de

los valores de referencia poblacionales, los cuales serán adaptados para cada analizador en

caso de que sea necesario.

8.- Bibliografía Recomendada

1. Asociación Española de Normalización. Laboratorios Clínicos. Requisitos particulares

relativos a la calidad y la competencia. UNE-EN-ISO 15189. Madrid: AENOR; 2007.

2. Clinical and Laboratory Standards Institute. Method Comparison and Bias Estimation Using

Patients Samples; Approved Guideline. Second Edition. Document EP9-A2. CLSI,

Pennsylvania; 2002.

3. Clinical and Laboratory Standards Institute. Measurement Procedure Comparison and Bias

Estimation Using Patient Samples; Approved Guideline. Third Edition. Document EP9-A3.

CLSI, Pennsylvania; 2013.

4. Sociedad Española de Bioquímica Clínica y Patología Molecular. Comisión de Metrología.

Recomendaciones para el Estudio de la Veracidad en el Laboratorio Clínico Mediante la

Comparación de Procedimientos de Medida. Documentos de la SEQC. 2007.

5. Westgard JO, Hunt MR. Use and interpretation of common statistical tests in method-

comparison studies. Clin Chem 1973;19:49-57.

Métodos Estadísticos en la Comparación de Equipos de ...

Documents

Transcript of Métodos Estadísticos en la Comparación de Equipos de ...