Evaluacion de desempeño umayor 2013

Pedro Cortes AlfaroTecnólogo Medico (Mg)

Bioestadística aplicada a Control de Calidad

2

• Modelos probabilísticos

3

Variable aleatoria

• El resultado de un experimento aleatorio puede ser descrito en ocasiones como una cantidad numérica.

• En estos casos aparece la noción de variable aleatoria– Función que asigna a cada suceso un número.

• Las variables aleatorias pueden ser discretas o continuas

• En las siguientes transparencias vamos a recordar conceptos de temas anteriores, junto con su nueva designación. Los nombres son nuevos. Los conceptos no.

4

Función de probabilidad (V. Discretas)

• Asigna a cada posible valor de una variable discreta su probabilidad.

• Recuerda los conceptos de frecuencia relativa y diagrama de barras.

• Ejemplo– Número de caras al lanzar 3

monedas.0%

5%

10%

15%

20%

25%

30%

35%

40%

0 1 2 3

5

Función de densidad (V. Continuas)

• Definición– Es una función no negativa de integral 1.

• Piénsalo como la generalización del histograma con frecuencias relativas para variables continuas.

• ¿Para qué lo voy a usar?– Nunca lo vas a usar directamente.– Sus valores no representan probabilidades.

6

¿Para qué sirve la f. densidad?

• Muchos procesos aleatorios vienen descritos por variables de forma que son conocidas las probabilidades en intervalos.

• La integral definida de la función de densidad en dichos intervalos coincide con la probabilidad de los mismos.

• Es decir, identificamos la probabilidad de un intervalo con el área bajo la función de densidad.

7

Función de distribución

• Es la función que asocia a cada valor de una variable, la probabilidad acumulada de los valores inferiores o iguales.

– Piénsalo como la generalización de lasfrecuencias acumuladas. Diagrama integral.

• A los valores extremadamente bajos les corresponden valores de la función de distribución cercanos a cero.

• A los valores extremadamente altos les corresponden valores de la función de distribución cercanos a uno.

• Lo encontraremos en los artículos y aplicaciones en forma de “p-valor”, significación,…

8

¿Para qué sirve la f. distribución?

• Contrastar lo anómalo de una observación concreta.• Sé que una persona de altura 210cm es “anómala” porque la función de

distribución en 210 es muy alta.• Sé que una persona adulta que mida menos de 140cm es “anómala” porque la

función de distribución es muy baja para 140cm.

• Sé que una persona que mida 170cm no posee una altura nada extraña pues su función de distribución es aproximadamente 0,5.

• Relaciónalo con la idea de cuantil.• En otro contexto (contrastes de hipótesis) podremos observar unos

resultados experimentales y contrastar lo “anómalos” que son en conjunto con respecto a una hipótesis de terminada.

9

Valor esperado y varianza de una v.a. X

• Valor esperado – Se representa mediante E[X] ó μ– Es el equivalente a la media

• Varianza– Se representa mediante VAR[X] o σ2

– Es el equivalente a la varianza– Se llama desviación típica a σ

10

Es la razón entre la desviación típica y la media. Mide la desviación típica en forma de

“qué tamaño tiene con respecto a la media” También se la denomina variabilidad relativa. Es frecuente mostrarla en porcentajes

Si la media es 80 y la desviación típica 20 entonces CV=20/80=0,25=25% (variabilidad relativa)

Es una cantidad adimensional. Interesante para comparar la variabilidad de diferentes variables.

Si el peso tiene CV=30% y la altura tiene CV=10%, los individuos presentan más dispersión en peso que en altura.

No debe usarse cuando la variable presenta valores negativos o donde el valor 0 sea una cantidad fijada arbitrariamente

Por ejemplo 0ºC ≠ 0ºF Los ingenieros electrónicos hablan de la razón ‘señal/ruido’ (su inverso).

x

SCV

Coeficiente de variación

11

Algunos modelos de v.a.

• Hay v.a. que aparecen con frecuencia en las Ciencias de la Salud.– Experimentos dicotómicos.

• Bernoulli

– Contar éxitos en experimentos dicotómicos repetidos:• Binomial• Poisson (sucesos raros)

– Y en otras muchas ocasiones…• Distribución normal (gaussiana, campana,…)

• El resto del tema está dedicado a estudiar estas distribuciones especiales.

12

Distribución binomial

• Función de probabilidad

– Problemas de cálculo si n es grande y/o p cercano a 0 o 1.

• Media: μ =n p

• Varianza: σ2 = n p q

nkqpk

nkXP knk

0 ,][

13

Distribución Binomial

• Si se repite un número fijo de veces, n, un experimento de Bernoulli con parámetro p, el número de éxitos sigue una distribución binomial de parámetros (n,p).

• Lanzar una moneda 10 veces y contar las caras.– Bin(n=10,p=1/2)

• Lanzar una moneda 100 veces y contar las caras.– Bin(n=100,p=1/2)– Difícil hacer cálculos con esas cantidades. El modelo normal será más adecuado.

• El número de personas que enfermará (en una población de 500.000 personas) de una enfermedad que desarrolla una de cada 2000 personas.

– Bin(n=500.000, p=1/2000)» Difícil hacer cálculos con esas cantidades. El modelo de Poisson será más

adecuado.

14

Distribución de Poisson

• También se denomina de sucesos raros.• Se obtiene como aproximación de una

distribución binomial con la misma media, para ‘n grande’ (n>30) y ‘p pequeño’ (p<0,1).

• Queda caracterizada por un único parámetro μ (que es a su vez su media y varianza.)

• Función de probabilidad:

,...2,1,0 ,!

][ kk

ekXPk

15

Ejemplos de variables de Poisson

• El número de individuos que será atendido un día cualquiera en el servicio de urgencias del hospital clínico universitario.– En Málaga hay 500.000 habitantes (n grande)– La probabilidad de que cualquier persona tenga un accidente es pequeña,

pero no nula. Supongamos que es 1/10.000– Bin(n=500.000,p=1/10.000) ≈ Poisson(μ=np=50)

• Sospechamos que diferentes hospitales pueden tener servicios de traumatología de diferente “calidad” (algunos presentan pocos, pero creemos que aún demasiados, enfermos con secuelas tras la intervención). Es dificil compararlos pues cada hospital atiende poblaciones de tamaños diferentes (ciudades, pueblos,…)– Tenemos en cada hospital n, nº de pacientes atendidos o nº individuos de

la población que cubre el hospital.– Tenemos p pequeño calculado como frecuencia relativa de secuelas con

respecto al total de pacientes que trata el hospital, o el tamaño de la población,…

– Se puede modelar mediante Poisson(μ=np)

16

Distribución normal o de Gauss

• Aparece de manera natural:– Errores de medida.– Distancia de frenado.– Altura, peso, propensión al crimen…– Distribuciones binomiales con n grande (n>30) y ‘p ni

pequeño’ (np>5) ‘ni grande’ (nq>5).

• Está caracterizada por dos parámetros: La media, μ, y la desviación típica, σ.

• Su función de densidad es:2

2

1

2

1)(

x

exf

17

N(μ, σ): Interpretación geométrica

• Pudes interpretar la media como un factor de traslación.

• Y la desviación típica como un factor de escala, grado de dispersión,…

18

N(μ, σ): Interpretación probabilista

• Entre la media y una desviación típica tenemos siempre la misma probabilidad: aprox. 68%

• Entre la media y dos desviaciones típicas aprox. 95%

19

Algunas características• La función de densidad es simétrica, mesocúrtica y unimodal.

– Media, mediana y moda coinciden.

• Los puntos de inflexión de la fun. de densidad están a distancia σ de μ.

• Si tomamos intervalos centrados en μ, y cuyos extremos están…

– a distancia σ, tenemos probabilidad 68%– a distancia 2 σ, tenemos probabilidad 95%– a distancia 2’5 σ tenemos probabilidad 99%

• No es posible calcular la probabilidad de un intervalo simplemente usando la primitiva de la función de densidad, ya que no tiene primitiva expresable en términos de funciones ‘comunes’.

• Todas las distribuciones normales N(μ, σ), pueden ponerse mediante una traslación μ, y un cambio de escala σ, como N(0,1). Esta distribución especial se llama normal tipificada.

– Justifica la técnica de tipificación, cuando intentamos comparar individuos diferentes obtenidos de sendas poblaciones normales.

20

Tipificación

• Dada una variable de media μ y desviación típica σ, se denomina valor tipificado,z, de una observación x, a la distancia (con signo) con respecto a la media, medido en desviaciones típicas, es decir

• En el caso de variable X normal, la interpretación es clara: Asigna a todo valor de N(μ, σ), un valor de N(0,1) que deja exáctamente la misma probabilidad por debajo.

• Nos permite así comparar entre dos valores de dos distribuciones normales diferentes, para saber cuál de los dos es más extremo.

x

z

21

Tabla N(0,1)Z es normal tipificada.

Calcular P[Z<1,85]

Solución: 0,968 = 96,8%

22

Tabla N(0,1) Z es normal tipificada.

Calcular P[Z<-0,54]

Solución: 1-0,705 = 0,295

23

Tabla N(0,1) Z es normal tipificada.

Calcular P[-0,54<Z<1,85]

Solución: 0,968-0,295= 0,673

24

Ejemplo: Cálculo con probabilidades normales

• El colesterol en la población tiene distribución normal, con media 200 y desviación 10.

• ¿Qué porcentaje de individuos tiene colesterol inferior a 210?

• Qué valor del colesterol sólo es superado por el 10% de los individuos.

25

• Todas las distribuciones normales son similares salvo traslación y cambio de escala: Tipifiquemos.

110

200210

x

z

841,0)ver tabla(]00,1[ ZP

26Bioestadística. U. Málaga.

8,21228,11020010

20028,1

x

x

• El valor del colesterol que sólo supera el 10% de los individuos es el percentil 90. Calculemos el percentil 90 de la N(0,1) y deshacemos la tipificación.

x

z

27

Ejemplo: Tipificación

• Se quiere dar una beca a uno de dos estudiantes de sistemas educativos diferentes. Se asignará al que tenga mejor expediente académico.– El estudiante A tiene una calificación de 8 en un sistema donde la

calificación de los alumnos se comporta como N(6,1).– El estudiante B tiene una calificación de 80 en un sistema donde la

calificación de los alumnos se comporta como N(70,10).

• Solución– No podemos comparar directamente 8 puntos de A frente a los 80

de B, pero como ambas poblaciones se comportan de modo normal, podemos tipificar y observar las puntuaciones sobre una distribución de referencia N(0,1)

28

110

7080

21

68

B

BBB

A

AAA

xz

xz

Como ZA>ZB, podemos decir que el porcentaje de compañeros del mismo sistema de estudios que ha superado en calificación el estudiante A es mayor que el que ha superado B.

Podríamos pensar en principio que A es mejor candidato para la beca.

29

Aplic. de la normal: Estimación en muestras

• Cada muestra ofrece un resultado diferente: La media muestral es variable aleatoria.

• Su distribución es más parecida a la normal que la original.

• También está menos dispersa. A su dispersión (‘desv. típica del estimador media muestral’… ¿os gusta el nombre largo?) se le suele denominar error típico.

30

Aplicacion de la normal: Estimación en muestras

• Al aumentar el tamaño, n, de la muestra:

– La normalidad de las estimaciones mejora

– El error típico disminuye.

31

Distribuciones asociadas a la normal

• Cuando queramos hacer inferencia estadística hemos visto que la distribución normal aparece de forma casi inevitable.

• Dependiendo del problema, podemos encontrar otras (asociadas):

– X2 (chi cuadrado)– t- student– F-Snedecor

• Estas distribuciones resultan directamente de operar con distribuciones normales. Típicamente aparecen como distribuciones de ciertos estadísticos.

• Veamos algunas propiedades que tienen (superficialmente). Para más detalles consultad el manual.

• Sobre todo nos interesa saber qué valores de dichas distribuciones son “atípicos”.

– Significación, p-valores,…

32

T de student

• Tiene un parámetro denominado grados de libertad.

• Cuando aumentan los grados de libertad, más se acerca a N(0,1).

• Es simétrica con respecto al cero.

• Se consideran valores anómalos los que se alejan de cero (positivos o negativos).

33

Aplicación

• ¿Sabrías interpretar lo que falta por sombrear?

• ¿Puedes dar un intervalo de confianza para la media al 68% de confianza?

• Observa la asimetría. ¿Crees probable que la asimetría en la población pueda ser cero ya que la obtenida en la muestra es aprox. 1?

Descriptivos para Número de hijos

1,90 ,045

1,81

1,99

1,75

2,00

3,114

1,765

0

8

8

3,00

1,034 ,063

1,060 ,126

Media

Límiteinferior

Límitesuperior

Intervalo deconfianza para lamedia al 95%

Media recortada al 5%

Mediana

Varianza

Desv. típ.

Mínimo

Máximo

Rango

Amplitud intercuartil

Asimetría

Curtosis

Estadístico Error típ.

34

2

21

ZZ

n

stx

n

stxIC n

nn

n1

11

1%95

Factor relacionadocon la confianza Parámetro: Media Poblacional Error Estándar

Estimo

Nivel deconfianza Límites de confianza

IC95%

FÓRMULA DEL INTERVALO DE CONFIANZA PARA LA MEDIA

Nivel de confianza

Límites de confianza

Parámetro: Prevalencia Poblacional Error Estándar

n

ppzp

n

ppzpIC

)1()1(%95 2/2/ IC95%

FÓRMULA DEL INTERVALO DE CONFIANZA PARA LA PROPORCIÓN

42

Variabilidad de los procesos

CO4311- Estadística para la Calidad

me

did

a a

erroraleatorio

valo

r ve

rda

dero

error sistemático

me

did

a b

80 90 100 110 120

resultado medición

pro

bab

ilid

ad

-15 0

tamaño error sistemático

Evaluación de desempeño

Pedro Cortes AlfaroTecnólogo Medico (Mg)

Un químico afirma que el rendimiento medio de la población de cierto proceso en lotes es 500 gramos por milímetro de materia prima. Para verificar esta afirmación toma una muestra de 25 lotes cada mes. Si el valor de t calculado cae entre –t0.05 y t0.05, queda satisfecho con su

afirmación. ¿Qué conclusión extraería de una muestra que tiene una media de 518 gramos por milímetro y una desviación estándar de 40 gramos? Suponga que la distribución de rendimientos es aproximadamente normal.

De la tabla encontramos que t0.05 para 24 grados de libertad es de 1.711. Por tanto, el

fabricante queda satisfecho con esta afirmación si una muestra de 25 lotes rinde un valor t entre –1.711 y 1.711.

Valor verdadero

Variabilidad Pre-analítica (estimada como irrelevante)

Variabilidad Biológica Intrínseca (una constante)

Variabilidad analítica (imprecisión analítica total)

Resultado de la muestra

VARIABILIDAD TOTAL

Bias Analítico

Variabilidad Analítica (imprecisión analítica total)

+ ERROR TOTALBias Analítico =

Composición de un dato de laboratorio

me

did

a a

erroraleatorio

valo

r ve

rda

dero

error sistemático

me

did

a b

80 90 100 110 120

resultado medición

pro

bab

ilid

ad

-15 0

tamaño error sistemático

Bias: “Modelos de Estimación”

¿De que forma podemos estimar el Bias de nuestros métodos?

1)- Comparación de Métodos.2)- Esquemas Interlaboratorio o Peer Group.3)- Control de Calidad Externo.- Regresión- T test4)- Estudios de Recuperación, verificación de la veracidad .5)- Otros.

Interpretación de resultados

X = 100 mg/dl (valor verdadero)Y = 109,1 mg/dl (valor obtenido)

¿Cuál es el Bias en porcentaje?Bias = Valor Obtenido – Valor Verdadero x 1oo

Valor VerdaderoBias = 109,1 – 100 x 1oo

100Bias = 9,1 %

Bias: “Comparación de Métodos”

Evaluemos Nivel 1:

Supongamos valor verdadero: Media grupo parLab: 40,07

Media grupo par: 39,05Bias: ( 40,07 - 39,05) = 1,02Bias %: (1,02 / 39,05)*100= 2,61%

Bias: “Esquemas Interlaboratorio”

El TE a debe expresarse en porcentaje.Si TE a está expresado en concentración, debe transformarse en porcentaje considerando el nivel de decisión médica seleccionado:

Desempeño del Método

TE a: 1 mg/dl (Calcio)Nivel de decisión médica: 11 mg/dlTE a%: (1/11)*100 = 9,1 %

TE a: 0,5 mEq/l (Potasio)Nivel de decisión médica: 3,0 mEq/lTE a%: (0,5/3,0)*100 = 16,7 %

Desempeño del Método

Crear el gráfico:- Rotular el eje Y como Inexactitud permitida ( BIAS %) y establecer una escala de 0 a TE a%.- Rotular el eje X como Imprecisión permitida ( CV %) y establecer una escala de 0 a TE a.0,5 (la mitad)- Dibujar la línea bias + 2SD uniendo el TE a en el eje Y con el TE a.0,5 en el eje X.- Dibujar la línea bias + 3SD uniendo el TE a en el eje Y con el TE a.0,33 en el eje X.- Dibujar la línea bias + 4SD uniendo TE a en el eje Y con el TE a.0,25 en el eje X.- Rotular las zonas ( de derecha a izquierda) como Pobre, Marginal, Bueno y Excelente.

90% AQAcon N, de 3

(Mira primero)

90% AQAcon N de 6

(Mira segundo)

50% AQAcon N, de 3

(Mira tercero)

50% AQAcon N de 6

(Mira cuarto)

FORMULA 1

1)- Esquema de reglas seleccionado2)- Pfr del esquema seleccionado (Probabilidad Falso error)3)- Ped del esquema seleccionado (Probabilidad de detección de error)4)- Cantidad de controles por corrida5)- Cantidad de corridas6)- Punto Operativo (CV, Bias)7)- Tea (Error Total aceptado)

8)- Sigma y Error sistemático Crítico9)- Error total del sistema

CARTA DE FUNCION DE PODER

FORMULA 2

ERROR CRITICO o ES crit O ES max

Mayor a 4 Excelente desempeño

Entre 3 y 4 Debería mejorar el proceso de control de calidad Ej. Verificar Nº de Controles

Entre 2 y 3 Debe mejorar el proceso de control de calidad ej. Aumentar el numero de controles

Menor de 2 Requiere mejorar el desempeño de exactitud y precisión

NUMERO DE SIGMA SEGÚN REQUISITOS DE CALIDAD

0.0 1.0 2.0 3.0 4.0 5.0 6.0

0.0

2.0

4.0

6.0

8.0

10.0

12.0Medical Decision Chart

6 Sigma

5 Sigma

4 Sigma

3 Sigma

2 Sigma

Operating Point

Allowable Imprecision (s, %)

Allo

wab

le I

nac

cura

cy (

bia

s, %

)

.

SEIS SIGMA – REGLA DE CONTROL

SIGMA REGLA DE CONTROL PARA 2 MATERIALES

S > 6 1 3,5 S. Método con excelente desempeño

5 ≤ S < 6 1 3s. Método con desempeño bueno

4 ≤ S < 5 2 2,5s. Método con desempeño marginal. Debe mejorar precisión.

S < 4 13s / 22s /R4s , (Multiregla clásica). Método con desempeño pobre. Debe mejorar precisión y exactitud. Se recomienda maximizar el procedimiento de control de calidad, mejorando la mantención preventiva y funciones de verificación del instrumento. Mejorar la capacitación del operador.

Medir Variación

- Es útil para los procesos analíticos- Evalúo imprecisión.- Evalúo Bias.- Considero los Requerimientos de Calidad.- Estimo el desempeño Sigma.

Medición de la Calidad con la Métrica Sigma

AnalitosANALISIS DE DESEMPEÑO

CCI valor CCE

valor% SESGO % CV CARTA OPS SE

media sd CV teorico DRP media sd CV

obtenido

CLIA% sesgo ET

NORMAL

Normal

imprecision

inexactitud CriticoSigma

z-score

Química Clinica

Acido Úrico 8,84 0,18 2,04 8,89 -0,05 9,31 0,23 2,47 9,3 17 0,11 3,47 0,63 11,98 11,98 0,6 6,65 8,30 -0,043

Albumina 4,56 0,17 3,73 4,11 1,25 2,96 0,16 5,41 3 10 1,35 7,50 13,51 37,28 37,28 13,5 0,67 2,32 0,250

Amilasa 67 1 1,49 67,2 30 0,00 0,0 18,45 20,10#¡DIV/

0!

Amonio #¡DIV/

0! 0,00 0,0#¡DIV/

0!#¡DIV/

0!#¡DIV/

0!Bilirrubina Total 4,27 0,308 7,21 4,56 -4,25 4,76 0,35 7,35 4,56 20 4,20 16,10 21,01 36,07 36,07 21,0 0,54 2,19 -0,571Bilirrubina Directa 0,27 0,01 3,70 0,33 0,00 0,0 -1,65 0,00

#¡DIV/0!

Calcio 8,78 0,13 1,48 8,62 5,37 12,72 0,61 4,80 13,4 1 5,35 7,79534,5

9148,0

6148,0

6 534,6 1,29 2,94 1,115

QC1 QC2 QC3

Media: 345 mg/dLDS: 12 mg/dL



1.- ¿Cuál es la magnitud de imprecisión de los tres niveles?

QC1 QC2 QC3




100xx

SCV

%47,31cv %51,6

2cv %66,6

3cv

QC1 QC2 QC3




2.- ¿Cuál es incertidumbre expandida de los tres niveles?

n

sZnsZ .. 2

21

2

21

ZZ

z

96,12 Z

29,430

12.96,1

1qc

37,1030

29.96,1

2qc

38,1530

43.96,1

3qc

3.- ¿Cuál de los controles tiene mayor Error aleatorio?

QC1 QC2 QC3




%47,31cv %51,6

2cv %66,6

3cv

El profesional evalúa la calibración del equipo con un MRC valorado en 50,5 mg/dL. Lo evalúa con 20 determinaciones obteniendo una media de 52,2 mg/dL y una Ds 0,9 mg/dL, y considera que debe trabajar con un límite de confianza de 95%.

100% xvv

vvvosesgo

5,50vv

2,52vo100

5,50

5,502,52% xsesgo

%36,3% sesgo

¿El equipo se encuentra calibrado?

n

svovv

t

20n

05,0

1ngl

19120 gl

093,2,

t gl

20

9,02,525,50

t

44,8t

-8,44 -2,093 2,093

NO ESTA CALIBRADO

¿Cuál es la incertidumbre de la medición del equipo?

El profesional evalúa la calibración del equipo con un MRC valorado en 50,5 mg/dL. Lo evalúa con 20 determinaciones obteniendo una media de 52,2 mg/dL y una Ds 0,9 mg/dL, y considera que debe trabajar con un límite de confianza de 95%.

2

21

tt

n

stnst gl

gl.. ,2

,2

1

093,2,2 glt

20

9,0.093,2Inc

094,0Inc

3,52;1,52cc

¿Cuál es el error típico de la medición del QC1?

n

sEE

QC1 QC2 QC3




19,230

12EE

19,347;81,342media

7.- ¿Cual es el error típico de verificación de la calibración?

n

sEE 2,0

20

9,0EE

4,52;0,52media cal

8.- Si el TEa del ensayo es un 10% ¿Esta en un buen desempeño?

xCVsesgoTE 65,1%

%36,3% sesgo

%47,31cv %51,6

2cv %66,6

3cv

%08,947,365,136,31

xcvTE

%1,1451,665,136,32

xcvTE

%3,1466,665,136,33

xcvTE

9.- ¿Cuál es la magnitud del error sistemático (ES)?

100% xvv

vvvosesgo

5,50vv

2,52vo

1005,50

5,502,52% xsesgo

1005,50

2,525,50% xsesgo

%36,3% sesgo

ESBIASsesgo %%

10.- Considerando los valores obtenidos y con TEa de 10% ¿Cual es el error aleatorio maximo que debo esperar en cada QC?

%36,3% sesgo

xCVsesgoTEa65,1%

65,1

%sesgoCV TE a

%02,465,1

%36,3%10

CV

11.- ¿Cuál es el cinturón de confianza de la medición del equipo?

2

21

tt

n

stnst gl

gl.. ,2

,2

1

093,2,2 glt

20

9,0.093,2Inc

094,0Inc

3,52;1,52cc

14.- ¿Cuáles de los tres QC tiene mejor desempeño?

%47,31cv

%51,62cv

%66,63cv

Evaluacion de desempeño umayor 2013

Documents

Transcript of Evaluacion de desempeño umayor 2013