8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales
-
Upload
philip-bennett -
Category
Documents
-
view
47 -
download
0
description
Transcript of 8b. Propiedades de las pruebas de diagnóstico Cómo determinar los valores umbrales
8b. Propiedades de las 8b. Propiedades de las pruebas de diagnósticopruebas de diagnóstico
Cómo determinar los valores Cómo determinar los valores umbralesumbrales
Juan José Romero Zúñiga, DMV, PhDJuan José Romero Zúñiga, DMV, PhDPrograma de Investigación en Medicina PoblacionalPrograma de Investigación en Medicina Poblacional
Escuela de Medicina VeterinariaEscuela de Medicina VeterinariaUniversidad NacionalUniversidad Nacional
CURSO DE EPIDEMIOLOGÍA BÁSICA
Centro de Capacitación – Alto de OchomogoLunes, 3 de mayo 2010
Valor umbral (Valor umbral (cut offcut off) de una ) de una prueba diagnóticaprueba diagnótica
Es un valor límite para la positividad y negatividad deEs un valor límite para la positividad y negatividad de llaa pruebaprueba. . En función de éstos se determinará la sensibilidad (Se), la En función de éstos se determinará la sensibilidad (Se), la especificidad (Sp) y los valores predictivos (VP) de dicha prueba.especificidad (Sp) y los valores predictivos (VP) de dicha prueba.
Se puede hacer mediante (al menos) dos métodos:Se puede hacer mediante (al menos) dos métodos: Usando la distribución de las muestras controles (positivos y Usando la distribución de las muestras controles (positivos y
negativos).negativos). Mediante curvas de ROC (Receiver Operating Characteristic)Mediante curvas de ROC (Receiver Operating Characteristic)
Cambiar el punto de corte modifica la sensibilidad, especificidad Cambiar el punto de corte modifica la sensibilidad, especificidad y valores predictivos de un estudio, y por ende, la forma en que y valores predictivos de un estudio, y por ende, la forma en que este se utiliza.este se utiliza.
Método de “desviaciones Método de “desviaciones estándar”estándar”
Se requiere de al menos 100 muestras de controles Se requiere de al menos 100 muestras de controles positivos y 300 muestras de controles negativospositivos y 300 muestras de controles negativos ( (Se debe Se debe esperar una distribución normalesperar una distribución normal !!! !!!))
Se debe aplicar la prueba y medir el resultado.Se debe aplicar la prueba y medir el resultado.
Posteriormente se describen los datos para obtener la Posteriormente se describen los datos para obtener la desviación estándar de cada grupo de muestras control desviación estándar de cada grupo de muestras control (positivas y negativas). (positivas y negativas).
Se selecciona el número de desviaciones estándar en que Se selecciona el número de desviaciones estándar en que los resultados de las muestras incógnita serán clasificadas los resultados de las muestras incógnita serán clasificadas como positivos o negativos.como positivos o negativos.
0
1
2
3
4
5
6
7
8
9
2 4 8 16 32 64 128 256
Método de “desviaciones Método de “desviaciones estándar”estándar”
Controles positivos
1 2 3 1 2 3
Zona de problema
Controles negativos
Método de curvas ROCMétodo de curvas ROC
Método desarrollado en la década de los 50 para discriminar Método desarrollado en la década de los 50 para discriminar entre las señales de radar y el ruido.entre las señales de radar y el ruido.
Fue empleado por primera vez en medicina para la valoración Fue empleado por primera vez en medicina para la valoración radiológicaradiológica
Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a Hanley J.A., McNeil B.J. (1982) The meaning and use of the area under a receiver operating characteristic (ROC) curve. receiver operating characteristic (ROC) curve. RadiologyRadiology. . 143143: 29-36: 29-36
Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under Hanley J.A., McNeil B.J. (1983) A method of comparing the areas under receiver operating characteristic curves derived from the same cases. receiver operating characteristic curves derived from the same cases. Radiology.Radiology. 148148: 839-43: 839-43
Método de curvas ROCMétodo de curvas ROC
Gráfica que representa la sensibilidad (Y) versus el complementario de la especificidad (1-espec) para todos los valores de corte posibles.
Permite obtener una valoración gráfica sobre la utilidad de una prueba diagnóstica, independientemente de la incidencia de la enfermedad en la población.
Método de curvas ROCMétodo de curvas ROC
Las áreas a la derecha del valor de corte x corresponden a la sensibilidad (áreas clara y oscura) y 1-especificidad (área oscura), equivalente a los falsos positivos
x
Método de curvas ROCMétodo de curvas ROC
Una prueba diagnóstica perfecta se ubicaria en la esquina superior izquierda
Una prueba que no discrimina haría una curva de 45º, desde el 0 hasta la esquina superior derecha
Método de curvas ROCMétodo de curvas ROCValor T4 Hipotiroide
oEutiroideo
<5 18 1
5.1-7 7 17
7.1-9 4 36
>9 3 39
total 32 93
Se cuantificaron los valores de T4 de 125 pacientes, 32 de los cuales eran conocidos hipotiroideos (mediante gamma)
Método de curvas ROCMétodo de curvas ROC
Se calcula la sensibilidad y Se calcula la sensibilidad y especificidad para cada especificidad para cada valor, mediante tablas de valor, mediante tablas de 2x2.2x2.
Nuestro punto de corte Nuestro punto de corte definira quién se tomará definira quién se tomará como “positivo” y como “positivo” y “negativo”“negativo”
T4 Hipotiroideo Eutiroideo
< 5 18 1
> 5 14 92
Total: 32 93
Sensibilidad: 0.56 Especificidad: 0.99
T4 Hipotiroideo Eutiroideo
< 7 25 18
> 7 7 75
Total: 32 93
Sensibilidad: 0.78 Especificidad: 0.81
Método de curvas ROCMétodo de curvas ROC
Punto corte
Sensibilidad Especificidad
5 0.56 0.99
7 0.78 0.81
9 0.91 0.42
Conociendo estos valores, Conociendo estos valores, se puede elaborar la se puede elaborar la gráficagráfica
Método de curvas ROCMétodo de curvas ROC
Área bajo la curvaÁrea bajo la curva El área bajo la curva se puede emplear para conocer en forma El área bajo la curva se puede emplear para conocer en forma
simple la exactitud global se una pruebasimple la exactitud global se una prueba
Area total hacia la izq= 1 (prueba perfecta)Area total hacia la izq= 1 (prueba perfecta) Area de la diagonal= 0.5Area de la diagonal= 0.5
Entre más cercana a 1, la prueba es mejorEntre más cercana a 1, la prueba es mejor
Permite hacer comparaciones entre pruebasPermite hacer comparaciones entre pruebas
Método de curvas ROCMétodo de curvas ROC
0.90-1 = excelente 0.80-0.90 = bueno 0.70-0.80 = regular 0.60-0.70 = pobre 0.50-0.60 = fallida
Método de curvas ROCMétodo de curvas ROC
VentajasVentajas Representación gráfica simple y de fácil comprensión.Representación gráfica simple y de fácil comprensión.
Incluye todos los rangos de valores posibles, facilita toma Incluye todos los rangos de valores posibles, facilita toma
de decisiones con respecto al valor más adecuado.de decisiones con respecto al valor más adecuado.
Es independiente de la prevalenciaEs independiente de la prevalencia
Facilita la comparación visual entre varias pruebasFacilita la comparación visual entre varias pruebas
Aplicable a pruebas con resultados tanto ordinales, como Aplicable a pruebas con resultados tanto ordinales, como
escalonados o continuosescalonados o continuos
Método de curvas ROCMétodo de curvas ROC
Aspectos operativosAspectos operativos
Toma en cuenta los resultados de muestras Toma en cuenta los resultados de muestras diagnosticadas con una prueba de oro, la cual mide el diagnosticadas con una prueba de oro, la cual mide el resultado de muestras controles positivas y negativas.resultado de muestras controles positivas y negativas.
Se debe correr las muestras incógnitas tanto en la prueba Se debe correr las muestras incógnitas tanto en la prueba de oro como en la alternativa.de oro como en la alternativa.
Luego se debe hacer una tabla comparativa para Luego se debe hacer una tabla comparativa para determinar, por clases (rangos de valores para la prueba determinar, por clases (rangos de valores para la prueba alternativa), cuántas muestras fueron clasificadas como alternativa), cuántas muestras fueron clasificadas como positivas o negativas. positivas o negativas.
Método de curvas ROCMétodo de curvas ROC
Método de curvas ROCMétodo de curvas ROC
Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico
Medidas de concordancia entre Medidas de concordancia entre pruebaspruebas
Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..
En esta prueba se analiza, mediante una tabla de En esta prueba se analiza, mediante una tabla de contingencia, la concordancia entre dos pruebas contingencia, la concordancia entre dos pruebas diagnósticas, o entre el diagnóstico de dos clínicos.diagnósticas, o entre el diagnóstico de dos clínicos.
Se utiliza cuando no se conoce la sensibilidad o Se utiliza cuando no se conoce la sensibilidad o especificidad de una nueva prueba, o cuando se quiere especificidad de una nueva prueba, o cuando se quiere probar si se puede utilizar una prueba más barata o probar si se puede utilizar una prueba más barata o rápida. En este caso se corren las dos pruebas y los rápida. En este caso se corren las dos pruebas y los resultados se comparan tomando como buenos los del resultados se comparan tomando como buenos los del “golden standard test”“golden standard test”..
Prueba de concordancia entre Prueba de concordancia entre pruebas diagnósticas pruebas diagnósticas (valor (valor kappa)kappa)..
Kappa expresa la proporción de concordancia más allá del Kappa expresa la proporción de concordancia más allá del azar.azar.
La concordancia entre dos pruebas diagnósticas no indica La concordancia entre dos pruebas diagnósticas no indica que ambas posean la misma sensibilidad y especificidad ni que ambas posean la misma sensibilidad y especificidad ni sirve como medida de las mismas.sirve como medida de las mismas.
Kappa no indica cual es el método que da los mejores Kappa no indica cual es el método que da los mejores resultados en términos del número correcto de resultados en términos del número correcto de individuosindividuos sanos o enfermos diagnosticados. sanos o enfermos diagnosticados.
Tabla de contingencia para Tabla de contingencia para determinar el valor determinar el valor kappakappa..
Golden standard testGolden standard test (ó clínico 1)(ó clínico 1)
++ -- Prueba Prueba ++ aa bb a+ba+b alternativa alternativa -- cc dd c+dc+d (ó clínico 2) (ó clínico 2) a+c b+d a+c b+d N N
Fórmula de cálculo para Fórmula de cálculo para kappakappa
Kappa=Kappa=
a + da + d Ea + Ed Ea + Ed N N N N Ea + EdEa + Ed NN
--
--11
Donde:Donde:EaEa es igual a es igual a : [(a + b) * (a + c)] / N: [(a + b) * (a + c)] / NEd es igual aEd es igual a : [(c + d) * (b + d)] / N: [(c + d) * (b + d)] / NEa+Ed/N Ea+Ed/N : proporción esperada o de : proporción esperada o de
resultados iguales debidos al azarresultados iguales debidos al azar
Comparando los diagnósticos de dos experimentadores Comparando los diagnósticos de dos experimentadores clínicos debería obtenerse un valor de kappa alrededor clínicos debería obtenerse un valor de kappa alrededor de 0.6.de 0.6.
La concordancia de los diagnósticos clínicos realizados La concordancia de los diagnósticos clínicos realizados sobre los mismos sujetos en diferentes ocasiones por sobre los mismos sujetos en diferentes ocasiones por un mismo experimentador debería dar un valor de un mismo experimentador debería dar un valor de kappa entre 0.6 y 0.8kappa entre 0.6 y 0.8
Interpretación de kappaInterpretación de kappa
Valores de kappa:Valores de kappa: 0.0 - 0.4 malo0.0 - 0.4 malo0.4 - 0.50.4 - 0.5 moderadomoderado0.5 - 0.6 0.5 - 0.6 aceptableaceptable0.6 - 0.8 0.6 - 0.8 buenobueno0.8 - 1.00.8 - 1.0 perfectoperfecto
El cálculo usando El cálculo usando WinEpiscopeWinEpiscope
Propiedades de las pruebas Propiedades de las pruebas de diagnóstico de diagnóstico
Uso de múltiples pruebasUso de múltiples pruebas
Pruebas diagnósticas Pruebas diagnósticas múltiplesmúltiples
Algunas veces se necesario el uso de dos pruebas Algunas veces se necesario el uso de dos pruebas diagnósticas o más para aumentar la fiabilidad de un diagnósticas o más para aumentar la fiabilidad de un diagnóstico realizado.diagnóstico realizado.
Se pueden realizar pruebas múltiples de dos formasSe pueden realizar pruebas múltiples de dos formas En serieEn serie En paraleloEn paralelo
PruebasPruebas en paralelo en paralelo
Se considera que dos pruebas se realizan en paralelo Se considera que dos pruebas se realizan en paralelo cuando ambas se hacen simultáneamente.cuando ambas se hacen simultáneamente.
Se consideran negativas aquellas muestras que obtienen Se consideran negativas aquellas muestras que obtienen resultados negativos para ambas pruebas, y positivas a resultados negativos para ambas pruebas, y positivas a todas las demás (con cualquiera de las dos pruebas todas las demás (con cualquiera de las dos pruebas positivas). positivas).
El resultado es un aumento de la Sensibilidad.El resultado es un aumento de la Sensibilidad.
PruebasPruebas en serie en serie
Se realizan aplicando una prueba en primer lugar y a Se realizan aplicando una prueba en primer lugar y a continuación se aplica una segunda prueba a aquellas continuación se aplica una segunda prueba a aquellas muestras positivas a la primera.muestras positivas a la primera.
Se consideran positivas las muestras que dan positivo a Se consideran positivas las muestras que dan positivo a ambas pruebas, y negativas todas las demás. ambas pruebas, y negativas todas las demás.
El resultado es un aumento de la Especificidad.El resultado es un aumento de la Especificidad.
Se y Sp usando múltiples Se y Sp usando múltiples pruebas pruebas
CaracterísticaCaracterística ParaleloParalelo SerieSerie
SensibilidadSensibilidad 1-[(1-Se1-[(1-Se11) x (1-Se) x (1-Se22)])] SeSe11 x Se x Se22
EspecificidadEspecificidad SpSp11 x Sp x Sp22 1-[(1-Sp1-[(1-Sp11) x (1-Sp) x (1-Sp22)])]
El cálculo usando El cálculo usando WinEpiscopeWinEpiscope
Links recomendadosLinks recomendados
http://www.stat.uiuc.edu/~jeffdoug/medstats/medov5.pdf
http://www.emedicine.com/emerg/TOPIC779.HTM#section~Bayes'TheoremandLikelihoodRatios
http://www.aepap.org/EvidPediatr/numeros/vol3/2007_numero_1/2007_vol3_numero1.24.htm
http://books.google.co.cr/books?id=HhxhlETYsfgC&pg=PT204&lpg=PT204&dq=caracter%C3%ADsticas+de+las+pruebas+diagn%C3%B3sticas&source=web&ots=Jkbh2YIOG7&sig=P6uBr5nj8h47oGVmb1v9EFMHuSM&hl=es&sa=X&oi=book_result&resnum=3&ct=result#PPT6,M1
Consideraciones finales, discusión y Consideraciones finales, discusión y consultas.consultas.