Post on 03-Oct-2018
ISO 13528:2015GENERALIDADES: MÉTODOS ESTADÍSTICOS PARA UTILIZAR
EN PROGRAMAS DE ENSAYOS DE APTITUD MEDIANTE
COMPARACIONES INTERLABORATORIOS
Julio de 2017
IntroducciónPropositos de participación en ensayos de aptitud
Propositos
Según la ISO/IEC 17043:2010 los
programas de ensayos de aptitud
tienen los siguientes objetivos. Propósitos de un Ensayo de Aptitud
Evaluación del desempeño
Establecimiento de eficacia y comparabilidad de métodos de ensayo o
medición
Validación de quejas relacionadas con
incertidumbre
Identificación de problemas en el
laboratorio
Educación de los laboratorios participantes
El diseño estadístico y las técnicas
analíticas aplicadas deben ser
apropiadas para los propósitos
establecidos.
Fundamentos para la evaluación del desempeño
En la mayoría de los Programas de Ensayo de Aptitud el proceso de evaluación del desempeño
de los participantes inicia con…
La determinación de la desviación del
participante con respecto a un valor asignado
Se prosigue con la comparación de esa
desviación con respecto a un criterio
Por ultimo, se decide si la desviación es causa de
preocupación o no
De aquí radica la importancia de la determinación del valor asignado y de la selección del criterio
de comparación.
Nota: la determinación del valor asignado y la selección del criterio de evaluación
independientemente de los resultados de los participantes ofrece ventajas
Relación con la norma ISO/IEC 17043:2010
En la siguiente tabla se presentan algunos de los numerales de la ISO 13528:2015
que apoyan la implementación de la norma ISO/IEC 17043:2010
ISO/IEC 17043:2010 ISO 13528:2015
4.7.1.1 Validación de software y equipo de
procesamiento de datos0.5 Software de ordenador
4.4.4 Diseño estadístico 5. Directrices para el diseño estadístico
4.4.3 Homogeneidad y estabilidad (validación de los
ítems de ensayo de aptitud)
6.1 Homogeneidad y estabilidad de los ítems de
ensayo de aptitud
4.5 Elección del método o procedimiento6.2 Consideraciones para diferentes métodos
de medición
4.4.5 Valores asignados7. Determinación del valor asignado y su
incertidumbre estándar
Validación de Software y Experiencia Estadística
Debido a que la mayor parte de los software empleados en programas de ensayos de
aptitud corresponden a hojas de cálculo se recomienda comprobar la exactitud de los
cálculos realizados en dichas hojas. Por ejemplo la serie de documentos del NPL
(National Physical Laboratory – Reino Unido) “Software Support for Metrology”,
especialmente las guías No. 1 y 7, presentan lineamientos para realizar dicha validación.
Cabe anotar que no existe una guía o norma aceptada internacionalmente para la
validación de software
En relación con la experiencia estadística, ni la norma ISO 13528:2015 ni la ISO/IEC
17043:2010 presentan “especificaciones sobre cual es la experiencia necesaria”. Por lo
general, es necesario contar con una persona con experiencia técnica en otras áreas pero
que este familiarizado con los conceptos estadísticos básicos.
ConceptosA continuación se presentan algunos conceptos
relacionados con estadística y ensayos de aptitud
Terminos y definiciones
• Valor que se atribuye a una propiedad particular de un ítem de ensayo de aptitud
Valor asignado
• Medida de dispersión utilizada en la evaluación de resultados de ensayo de aptitud
Desviación estándar para la evaluación de aptitud
• Valor medido de la magnitud menos un valor de referencia
Error de medición
• Valor extremo del error de medición con respecto a un valor de referencia conocido, dado en especificaciones o regulaciones
Error máximo permisible
Nota: a medida que se avanza en la presentación se darán otros conceptos
Principios generalesPropositos de participación en ensayos de aptitud
Requisitos generales para los métodos estadísticos
Ajustados al propósito
Métodos estadísticos
Validez
estadística
• Base teórica confiable,
• Desempeño conocido,
• Suposiciones demostrables.
Coherencia con los objetivos
establecidos en el programa
Software validado de
forma adecuada
Secuencia de
procedimientos
para el manejo de
datos
Descritos para los
participantes
Modelo básico
𝑥𝑖 = 𝜇 + 휀𝑖
Resultado del
participante
Valor
verdadero del
mensurando
Error de
medición
휀𝑖 ∼ 𝑁(0, 𝜎2)
𝜇 ≈ valor asignado
𝜎 ≈ Criterio de comparación
Enfoques generales para la evaluación del desempeño
Para la evaluación del desempeño se tienen tres enfoques:
Por comparación con criterios derivados
externamente
Por comparación con otros participantes
Por comparación con la incertidumbre de medida declarada
Directrices para el
diseño estadísticoMétodos para determinar el valor asignado y su
incertidumbre de medición estándar asociada
Consideraciones sobre el diseño estadístico
Se debe considerar la naturaleza de los datos:
cuantitativos o cualitativos
Suposiciones estadísticas de los datos: normalidad (unimodalidad y simetría)
Se deben considerar metodologías para el tratamiento de datos
atípicos o distribuciones de probabilidad distintas a la
normal
El número de participantes puede afectar la
confiabilidad de los estimados del valor
asignado y su incertidumbre de medición
Un informe técnico de IUPAC/CITAC recomienda mínimo 20 participantes, sin embargo, también se
debe tener en cuenta otros aspectos
Directrices para la
revisión de los ítemsPrueba de homogeneidad y estabilidad
Consideraciones sobre el diseño estadístico
Se debe evaluar la homogeneidad y
estabilidad de tal forma que no se afecten los
resultados del ensayo de aptitud
En ensayos de aptitud para calibración se debe
evaluar la estabilidad
No siempre es necesario evaluar la homogeneidad y
estabilidad, se puede emplear una metodología
que garantice que no afectan los resultados
En algunos casos es necesario tratar datos
atípicos para determinar el valor asignado y su
incertidumbre de medición
Se deben eliminar la equivocaciones obvias
antes de realizar cualquier procedimiento estadístico
Valores asignadosMétodos para determinar el valor asignado y su
incertidumbre de medición estándar asociada
Modelo
𝑥𝑝𝑡 = 𝑥𝑐ℎ𝑎𝑟 + 𝛿ℎ𝑜𝑚 + 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝛿𝑠𝑡𝑎𝑏
Valor asignado
al mensurando
Valor asignado
al mensurando
Corrección
debida a la no
homogeneidad
Corrección
debida al
transporte
Corrección
debida a la
inestabilidad
Nota 1: se asume que 𝛿ℎ𝑜𝑚, 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝛿𝑠𝑡𝑎𝑏 son iguales a cero (0).
Incertidumbre de medición
𝑢(𝑥𝑝𝑡) = 𝑢𝑐ℎ𝑎𝑟2 + 𝑢2 𝛿ℎ𝑜𝑚 + 𝑢2 𝛿𝑡𝑟𝑎𝑛𝑠 + 𝑢2 𝛿𝑠𝑡𝑎𝑏
Incertidumbre
asociada al
valor asignado
al mensurando
Incertidumbre
asociada a la
caracterización
(ensayo/calibración)
Incertidumbre
debida a la no
homogeneidad
Incertidumbre
debida al
transporte
Incertidumbre
debida a la
inestabilidad
Nota: sino se puede determinar 𝑢 𝛿ℎ𝑜𝑚 , 𝑢 𝛿𝑡𝑟𝑎𝑛𝑠 y 𝑢 𝛿𝑠𝑡𝑎𝑏 se debe demostrar “que los procedimientos
utilizados para reunir, producir, embalar y distribuir los ítems del ensayo de aptitud son suficientes para el
propósito del ensayo de aptitud” (ver numeral 4.4.3.6 de la norma ISO/IEC 17043:2010).
Formulación
Ítem de ensayo
•Mezcla de materiales en proporciones especificadas,
•Adición de una sustancia a un material base,
Métodos estadísticos
•𝑥𝑝𝑡 y 𝑈 𝑥𝑝𝑡 se determinan empleando las proporciones de material
•Volumétrico,
•Gravimétrico (precipitación volatización).
Aplicaciones
•Muestras adicionadas (sipiked simples),
Material de Referencia Certificado (MRC)
Material de Referencia (MR): Material suficientemente homogéneo y estable con
respecto a una o más propiedades especificadas, sobre el cual se ha establecido
que se ajusta a su uso previsto en un proceso de medición.
Material de Referencia Certificado (MRC): Material de Referencia (MR)
caracterizado por un proceso metrológicamente valido para una o mas propiedades
especificadas, acompañado de un certificado de MR que presenta el valor de la
propiedad especificada, su incertidumbre asociada y una declaración de la
trazabilidad metrológica.
Primero veamos algunas definiciones importantes:
Ahora veamos algunos ejemplos:
Ejemplo de MRC
Se presenta algunos apartados del certificado MR de un fertilizante triturado “Certified Reference
Material Fertilizer A High-analysis Compound Fertilizer”:
Tomado de
http://www.famic.go.jp/ffis/fert/obj/mihon_13ae.pdf
Valor de la propiedad
especificadaIncertidumbre de
medición asociada
Demostración de
homogeneidad
Declaración sobre
Trazabilidad
Determinación del valor asignado
Siguiendo la siguiente notación:
𝑋𝑀𝑅𝐶 = Valor de la propiedad especificada y,
𝑈 𝑋𝑀𝑅𝐶 = Incertidumbre expandida asociada a 𝑋𝑀𝑅𝐶,
Entonces el valor asignado y su incertidumbre de medición asociada son:
𝑥𝑝𝑡 = 𝑥𝑀𝑅𝐶
𝑈 𝑥𝑝𝑡 = 𝑈 𝑥𝑀𝑅𝐶
Ventajas y desventajas
Ventajas:
• Costoso proporcionar a cada
participante una unidad de MRC,
• Se puede comprometer la
conmutabilidad de los ítems de
ensayo (no coinciden los MRC con
los MR empleados rutinariamente por
los participantes),
• Existe la posibilidad que los
participantes conozcan el ítem de
ensayo y, por tanto, saber cual es el
valor asignado y su incertidumbre.
Desventajas:
• No se deben realizar estudios de
homogeneidad y estabilidad,
• El proveedor del MRC asegura
trazabilidad metrológica,
• El valor asignado y su incertidumbre
de medición estándar se obtienen
independientemente de los
resultados de los participantes.
Resultados de un laboratorio
¿Cuándo se debe emplear?
Antes de iniciar: Recordemos que “la obtención del valor asignado independiente de los
resultados de los participantes presenta ventajas” por eso se espera que el
“laboratorio” empleado para obtener el valor asignado 𝑥𝑝𝑡 y su incertidumbre de medición
𝑢 𝑥𝑝𝑡 “NO SEA UNO DE LOS PARTICIPANTES” del ensayo de aptitud.
Si existe un laboratorio que pueda aplicar un método de referencia conmutable a los
métodos empleados por el resto de laboratorios y con capacidades de medición
adecuadas,
1
Si la adquisición de MRC presenta inconvenientes que hacen imposible su uso en el
programa,2
Si el número de participantes o cualquier otra situación imposibilitan emplear los
resultados de los participantes3
Determinación del valor asignado
Cuando el Programa de Ensayos de Aptitud es secuencial (calibraciones), el valor asignado
𝑥𝑝𝑡 se puede determinar de la siguiente forma:
El promedio de los resultados de varias calibraciones realizadas durante la ronda y la
incertidumbre de la caracterización 𝑢𝑐ℎ𝑎𝑟 puede ser igual a la incertidumbre máxima o a la
combinación de las incertidumbres estimadas durante la ronda.
1
Los resultados de la calibración realizada antes de iniciar la ronda del ensayo de aptitud2
Nota: se debe comprobar que los resultados del valor asignado son compatibles
metrológicamente en cada periodo de calibración (diferencia entre resultados inferior a dos
veces la incertidumbre de esta diferencia).
Método estadístico
Si el Programa de Ensayos de Aptitud es simultaneo (ensayos) y se dispone de un MRC
con las mismas características del MR empleado en el programa, el valor asignado 𝑥𝑝𝑡 se
puede determinar de la siguiente forma:
Realizar una serie de mediciones en ítems de ensayo y el MRC empleando el mismo
método,1
El valor asignado será: 𝑥𝑝𝑡 = 𝑋𝑀𝑅𝐶 + 𝑑3
Determinar el promedio de las diferencias entre el promedio para el ítem de ensayo y el
MRC 𝑑,2
Incertidumbre de medición: 𝑢𝑐ℎ𝑎𝑟 = 𝑢𝑀𝑅𝐶2 + 𝑢 𝑑
24
Ventajas y desventajas
Desventajas:
• En algunos casos es imposible disponer de
un MRC con características semejantes a las
del MR empleado en el programa,
• Puede ser costoso o no disponer de
laboratorios que realicen mediciones
empleando el método de referencia
solicitado en el programa.
Ventajas:
• No se deben realizar estudios de
homogeneidad y estabilidad a los MR,
• Se puede asegurar la trazabilidad
metrológica del MR a través del MRC,
• El valor asignado y su incertidumbre de
medición estándar se obtienen
independientemente de los resultados de los
participantes.
Consenso de laboratorios expertos
¿Cómo se realiza?
Se espera que los “Laboratorios expertos” sean externos al grupo de laboratorios participantes para
que la determinación del valor asignado y su incertidumbre sean independientes de los participantes.
Se preparan los ítems de ensayo para distribuir entre los participantes1
Se seleccionan aleatoriamente algunos de los ítems2
Un grupo de laboratorios expertos lo analizan empleando un protocolo en el que se especifica las
cantidades de ítems de ensayo de aptitud, replicados y cualquier otra condición pertinente.
3
Determinación del valor asignado
Para determinar el valor asignado y su incertidumbre de medición se tienen en cuenta los siguientes
puntos de vista:
Si los laboratorios expertos reportan un resultado único sin incertidumbres de medición se debe
aplicar la metodología de Consenso por laboratorios participantes,
1
Si los laboratorios expertos reportan mas de un resultado sin incertidumbres se debe establecer un
método alternativo para determinar el valor asignado y su incertidumbre de medición (como el
método Q/Hampel),
2
Si los laboratorios expertos reportan incertidumbres de medición con los resultados la estimación
del valor por consenso se constituye un problema complejo se han sugerido algunas soluciones
como el promedio ponderado o promedios no ponderados, entre otros (ver CCQM Guidance Note:
Estimation of a Consensus KCRV and Associated Degrees of Equivalence. Version 10. Bureau International des Poids et Mesures,
Paris (2013)).
3
Ventajas y desventajas
Desventajas:
• Se deben realizar estudios de homogeneidad
y estabilidad a los MR,
• Se debe evaluar la trazabilidad metrológica
del MR a través del MRC,
• En algunos casos es complejo la estimación
del valor asignado y su incertidumbre de
medición,
• Se debe contar con suficientes recursos para
disponer de laboratorios expertos que
realicen las mediciones.
Ventajas:
• El valor asignado y su incertidumbre de
medición estándar se obtienen
independientemente de los resultados de los
participantes.
Consenso de laboratorios participantes
Algunas recomendaciones
El valor asignado y su incertidumbre de medición se estima a partir de los resultados reportados por los
participantes (o un subgrupo confiable de participantes) empleado en una ronda de programa de ensayo
de aptitud.
Emplear los métodos establecidos en el Anexo C de la norma,1
Tener en cuenta el número de participantes y la presencia de valores atípicos para la aplicación de
estos métodos. La mayor parte de los métodos funcionan adecuadamente con mínimo 12
participantes
2
Se pueden emplear otras metodologías siempre y cuando cuenten con una base estadística solida.3
Determinación del valor asignado
A continuación se presenta la forma de estimación del valor asignado y su incertidumbre de medición
asociada:
𝑥𝑝𝑡 = 𝑥∗
Donde 𝑥∗ representa el promedio robusto obtenido con cualquiera de los algoritmos dados en el
Anexo C.2, C.3 y C.5 de la norma ISO 13528:2015.
𝑢 𝑥𝑝𝑡 = 1.25 ×𝑠∗
𝑝
Donde 𝑠∗ representa la desviación estándar robusta de los resultados reportados por los participantes.
Ventajas y desventajas
Desventajas:
• Puede no existir acuerdo entre los
participantes,
• Puede existir sesgo debido al uso general de
metodología defectuosa o en los métodos
que se emplean para determinar el valor
asignado,
• Se deben realizar estudios de homogeneidad
y/o estabilidad,
• Se debe evaluar la trazabilidad metrológica,
• El valor asignado y su incertidumbre de
medición estándar NO se obtienen
independientemente de los resultados de los
participantes.
Ventajas:
• No se requieren mediciones adicionales para
obtener el valor asignado,
• El enfoque puede ser especialmente útil con
un mensurando normalizado,
• El promedio robusto incluye cualquier sesgo
debido a la inestabilidad por el transporte en
el ítem de ensayo,
• La incertidumbre incluye cualquier
variabilidad debida a la inestabilidad del
transporte.
Trazabilidad
Para garantizar la trazabilidad del valor asignado se podría emplear un grupo
de laboratorios participantes sobre los que se tiene información completa de los
patrones de calibración (fuente de trazabilidad igual) y tienen control de otras
condiciones de método pertinentes.
Comparación con un valor de referencia independiente
Se determina la diferencia entre el valor asignado y un valor de referencia independiente:
𝑥𝑑𝑖𝑓𝑓 = 𝑥𝑟𝑒𝑓 − 𝑥𝑝𝑡
Y su incertidumbre de medición
𝑢𝑑𝑖𝑓𝑓 = 𝑢2 𝑥𝑟𝑒𝑓 + 𝑢2 𝑥𝑝𝑡
Si 𝑥𝑑𝑖𝑓𝑓 ≤ 2𝑢𝑑𝑖𝑓𝑓 entonces pueden existir sesgo debido al método de medición de referencia o
debido al método de estimación del valor asignado, o la trazabilidad metrológica del valor asignado
no es la misma que la del valor de referencia.
Criterios para la
evaluación del desempeñoSelección y determinación de criterios de
comparación del error de medición del participante
Conceptos básicos
La diferencia entre el resultado de un participante 𝑥𝑖 y del valor asignado 𝑥𝑝𝑡 se compara
con un valor máximo permitido para esta diferencia. Este valor máximo permitido puede
ser:
Desviación estándar para la evaluación de aptitud: Medida de la dispersión utilizada
en la evaluación de resultados de ensayos de aptitud. Simbolizada por 𝜎𝑝𝑡.
Error máximo permitido: Valor extremo del error de medición, con respecto a un valor
de cantidad de referencia conocido, permitido por especificaciones o regulaciones para
una medición determinada, un instrumento de medición o sistema de medición.
Simbolizado por 𝛿𝐸
Como alternativa, se puede comparar dicha referencia con la incertidumbre combinada
del participante y del valor asignado.
Métodos para determinar el criterio de evaluación
Método Calculo Fuente
Por percepción de expertos Obtenido de documentos. Por lo general 𝛿𝐸 se
obtiene de esa forma.
Autoridad reglamentaria, organismos de
acreditación, expertos
Por experiencia de rondas previas Por ejemplo modelos de regresión lineal simple:
𝜎𝑝𝑡 = 𝛽0 + 𝛽1𝑥𝑝𝑡
Algoritmo S
Rondas de ensayos de aptitud anteriores
Mediante el uso de un modelo
general
Modelo general para reproducibilidad del método
como la Curva de Horwitz
Se basa en información de estudios
colaborativos realizados en un periodo
extenso.
Métodos para determinar el criterio de evaluación
Método Calculo Fuente
Uso de las desviaciones estándar
de reproducibilidad y repetibilidad
de estudios colaborativos
anteriores
𝜎𝑅 = 𝜎𝑅2 − 𝜎𝑟
2(1 − 1 𝑚)
Donde 𝑚 = número de mediciones replicadas por
participante en la ronda
Se basa en información de estudios
colaborativos realizados en un periodo
extenso.
De datos obtenidos de la misma
ronda
Algoritmo A, Método Q/Hampel, Mediana/nIQR
(MADe), 𝑥/𝑠Resultados obtenidos en la misma ronda
Nota: El ultimo método presenta más desventajas que ventajas por lo que no se recomienda su
aplicación a menos que sea absolutamente necesario.
Estadísticas de
desempeñoDeterminación de los indicadores de desempeño y
su interpretación
Límitación de la incertidumbre de medición
Se debe cumplir el siguiente criterio:
𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡 o 𝑢 𝑥𝑝𝑡 ≤ 0.1𝛿𝐸
Sino se cumple este criterio se debe:
• Determinar el valor asignado y su incertidumbre de medición con otra metodología,
• Emplear indicadores de desempeño que incluyan la incertidumbre del valor asignado en
su interpretación (𝑧´, 휁 y 𝐸𝑛).• Informar a los participantes que 𝑢(𝑥𝑝𝑡) no es despreciable.
• Si es necesario determinar valores asignados por cada método de medición.
Estadísticas de desempeño
Indicador Fórmula Criterio
Estimados de la desviación 𝐷𝑖 = 𝑥𝑖 − 𝑥𝑝𝑡
𝐷𝑖% = 100 𝑥𝑖 − 𝑥𝑝𝑡 𝑥𝑝𝑡 %
Satisfactorio: 𝐷𝑖 < 𝛿𝐸
No satisfactorio: 𝐷𝑖 ≥ 𝛿𝐸
Porcentaje de desviación
permitida
𝑃𝐴𝑖 = 𝐷𝑖 𝛿𝐸 × 100% Satisfactorio: 𝑃𝐴𝑖 < 100%No satisfactorio: 𝑃𝐴𝑖 ≥ 100%
Indicador z 𝑧𝑖 =𝑥𝑖 − 𝑥𝑝𝑡
𝜎𝑝𝑡
Aceptable: 𝑧 < 2.0Señal de advertencia: 2.0 ≤ 𝑧 < 3.0Inaceptable: 𝑧 ≥ 3.0
Estadísticas de desempeño
Método Calculo Fuente
Indicadores 𝑧´ 𝑧𝑖′ =
𝑥𝑖 − 𝑥𝑝𝑡
𝜎𝑝𝑡2 + 𝑢2 𝑥𝑝𝑡
Aceptable: 𝑧´ < 2.0Señal de advertencia: 2.0 ≤ 𝑧´ < 3.0Inaceptable: 𝑧´ ≥ 3.0
Indicadores zeta (휁) 휁𝑖 =𝑥𝑖 − 𝑥𝑝𝑡
𝑢2 𝑥𝑖 + 𝑢2 𝑥𝑝𝑡
Aceptable: 휁 < 2.0Señal de advertencia: 2.0 ≤ 휁 < 3.0Inaceptable: 휁 ≥ 3.0
Indicadores 𝐸𝑛 𝐸𝑛 𝑖 =𝑥𝑖 − 𝑥𝑝𝑡
𝑈2 𝑥𝑖 + 𝑈2 𝑥𝑝𝑡
Satisfactorio: 𝐸𝑛 < 1.0No satisfactorio: 𝐸𝑛 ≤ 1.0
Evaluación de la incertidumbre de los participantes
Si se cumple el criterio de la diapositiva 42 (𝑢 𝑥𝑝𝑡 ≤ 0.3𝜎𝑝𝑡) entonces existe una alta
probabilidad de que:
𝑢 𝑥𝑖 ≥ 𝑢 𝑥𝑝𝑡
Adicionalmente, si se puede determinar la desviación estándar robusta para la evaluación
de aptitud existe alta probabilidad de que:
𝑢 𝑥𝑖 ≤ 1.5𝑠∗
Sin embargo, sino se cumplen estos criterios no se puede invalidar la incertidumbre de
medición del participante.
Métodos gráficos para los
indicadores de desempeño
Gráficas para la presentación de los indicadores
de desempeño
Gráficas para presentar indicadores
Entre las gráficas principales se tienen:
• Histograma de resultados o indicadores de desempeño,
• Gráficas de densidad de Kernel,
• Gráficas de barras de indicadores de desempeño
normalizado,
• Gráfica de Youden.
Histograma
Histograma
Histograma
Gracias