VALIDACION DE INSTRUMENTOVALIDACION DE INSTRUMENTO

Dr. Cristian Díaz VélezEditor Científico de Revista Cuerpo Médico Hospital Nacional Almanzor Aguinaga AsenjoMiembro del Comité Cientifico de la Revista Acta Médica PeruanaMiembro del comité Científico. Revista Acta Médica Peruana del Colegio Médico del Perú y Revista Médica de Risaralda, Universidad Tecnológica de Pereira-Colombia.

Imagina que deseas evaluar el Nivel de Glucosa en sangre en pacientes adultos y el GLUCOMETRO que vas a usar esta descalibrado.

No Importa: Si el proyecto de investigación es perfecto Si la muestra y muestreo es adecuado Si usas las pruebas estadística mas potentes y complejas.Se invirtió mucho dinero y mucho tiempo

Simplemente tus resultados no sirven. ¿EVIDENTE NO?

Si el instrumento que es usado para la recolección de datos no esta validado..!

Las conclusiones tampoco son validados

Tipos de Validación

• Novo (creación de uno).• De otro idioma.• Adaptación cultural.

Pasos de validación de Novo

• Creación del constructo: elaboración del cuestionario

• Validación cualitativa: Validez interna y externa de un instrumento. Validez de contenido, validez de criterio y validez de constructo. Juicio de expertos.

• Validación cuantitativa: - Proceso de recolección de datos. La Prueba Piloto. Evaluación de la confiabilidad del instrumento.- Análisis factorial. Rotación varimax, test de esfericidad de Bartlett y prueba de

Kaiser- Meyer- Olkin

REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION

CONFIABILIDAD

GRADO EN QUE SU APLICACION REPETIDA AL MISMO SUJETO U

OBJETO PRODUCE IGUALES RESULTADOS

VALIDEZ

GRADO EN QUE UN INSTRUMENTO MIDE LA

VARIABLE QUE PRETENDE MEDIR

Hernández Sampieri y col

GRADO EN QUE UN INSTRUMENTO PRODUCE RESULTADOS

CONSISTENTES Y COHERENTESHernández Sampieri y col

El instrumento debe demostrar ser confiable y válido a la vez Hernández Sampieri y col

1. Validez : seguridad, exactitud

Error sistemático2. Confiabilidad : Precisión, reproducibilidad

Error aleatorio

VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS DE RECOLECCIÓN DE DATOS

A no ha sido ni exacto ni preciso. B Exacto y preciso.C bastante exacto pero no preciso.D muy preciso pero poco exacto.

8

Confiabilidad ~Precisión

Validez ~Exactitud

Validación cualitativa

La validez• En términos generales, se refiere al grado en que un

instrumento realmente mide la variable que pretende medir.

• Por ejemplo, un instrumento para medir la inteligencia válido debe medir la inteligencia y no la memoria.

• La validez es una cuestión más compleja que debe alcanzarse en todo instrumento de medición que se aplica.

Validez interna y externa• Para la validación se contará con un panel de expertos,

que suele consistir de un promedio de 10-15 personas, aunque de hecho pueden bastar de 5 a 7.

• Dicho panel debe estar compuesto de personas conocedoras de la materia, entre los cuáles puede estar el evaluador, especialistas en la materia técnica concerniente, personal de salud, administradores, miembros de la facultad, etc.

• Mejorar el cuestionario para que este cumpla con el nivel del público objetivo y con el propósito y objetivos del estudio.

Validez de contenido, criterio y constructo

• Las recomendaciones del panel de expertos se orientan a facilitar la claridad de las preguntas, la relevancia de las mismas, si el número de preguntas es adecuado, o si el tiempo que toma contestarlo es o no apropiado.

• El panel de expertos sugerirá el cambio de preguntas, eliminación de algunas de ellas, uso apropiado de las palabras, o modificaciones en el formato del cuestionario.

• Dichas recomendaciones deben tenerse en cuenta en la modificación del cuestionario.

Validez del contenido

• Grado en que el contenido de un instrumento es capaz de medir la mayor parte de las dimensiones del constructo que se quiere estudiar.

• Por ejemplo una prueba de conocimientos sobre las canciones de un grupo musical no deberá basarse solamente en sus 2 primeros discos, sino que debe incluir canciones de todos sus discos.

Revisión del temaExperiencia de los expertos

Validez del contenido

Validez del criterio

• Grado en que el resultado del cuestionario predice o concuerda con algún criterio de “valor real” o gold standard.

• Por ej., un investigador valida un examen sobre manejo de aviones, mostrando la exactitud con que el examen predice que tan bien un grupo de pilotos puede operar un aeroplano.

Test Psicologicos: Zung, Hamilton, etcCoeficiente de concordancia Kappa (var. categóricas) y Correlación intraclase (var. cuantitativas)

Validez del constructo

• Es probablemente la más importante sobre todo desde una perspectiva científica y se refiere al grado en que una medición se relaciona consistentemente con otras mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos (o constructos) que están siendo medidos.

• Grado en que las mediciones que resulten de las respuestas del cuestionario puedan considerarse como una medición del fenómeno estudiado.

Muy importante escoger los expertos

Expertos

Población Objetivo

VALIDEZ TOTAL = VALIDEZ DE CONTENIDO + VALIDEZ DE CRITERIO + VALIDEZ DE CONSTRUCTO

Validación cuantitativa

En que medida obtenemos los mismos resultados al aplicar nuevamente el instrumento.

Reproducibilidad (consistencia, confiabilidad, precisión)

•Permite comparar:

• Mediciones repetidas hechas por un sujeto (variación intra–observador).

• Mediciones hechas por diferentes sujetos, con el mismo instrumento (variación ínter–observador).

• Mediciones en diferentes fracciones de una muestra (validación interna): Rotación Varimax

VARIABILIDAD INTEROBSERVADOR

Densidad Mamográfica: 13,59%

Densidad Mamográfica: 15,86%

VARIABILIDAD INTRAOBSERVADOR

de

Kappa negativo indica que no hay concordancia entre las 2 evaluaciones

Kappa negativo indica que no hay concordancia entre las 2 evaluaciones

Valor observado

Valor esperado

Ejemplo con evaluaciones con mas de dos categoríasTabla Valores Observados

Tabla Valores Esperados

COEFICIENTE DE CORRELACION INTRACLASE (CCI)

•Índice mas apropiado para cuantificar concordancia entre diferentes mediciones

•Se recomienda para variables cuantitativas

•El CCI estima el promedio de las correlaciones entre todas las posibles ordenaciones de los pares de observaciones disponibles y por lo tanto evita el problema de la dependencia del orden del coeficiente de correlación.

•También se puede usar cuando hay mas de una observación por sujeto

Características de la Prueba Piloto para la evaluación de la confiabilidad del instrumento

• El proyecto piloto permite averiguar la consistencia o confiabilidad del cuestionario.

• Para ello se utiliza un número de unas 20-25 personas que representen a los participantes del estudio.

• Se recomienda mayor número al de ítems.• Algunos recomiendan 5 personas por ítems.• Idealmente, las personas seleccionadas para el proyecto piloto no deben

participar en el estudio, aunque sí deben poseer características similares a las de los participantes.

• El procedimiento para la toma de datos podría ser de encuesta, por teléfono, por correo físico o electrónico. En el caso de administración directa se deben anotar las observaciones para las preguntas en las cuales el participante tenga

dificultad en contestar, para efectuar posteriormente las debidas correcciones.

Evaluación de la confiabilidad del instrumento

• La confiabilidad, se mide con el alfa de Cronbach, cuyos valores oscila entre 0 y 1,0. 0 significa confiabilidad nula y 1 representa confiabilidad total.

• Son valores aceptables de alfa para propósitos de investigación ≥ 0,7, y para propósito de toma de decisiones ≥0,9.

• En todo caso, se espera que dicho índice esté por encima de 0,70*

• El índice se puede generar por preguntas individuales. Las preguntas que no cumplan con el índice requerido se eliminarán del estudio

* Streiner DL. Starting at the beginning: an introduction to coefficient alpha and internal consistency. J Pers Assess. 2003; 80:99-103

INTERPRETACIÓN DE UN COEFICIENTE DE CONFIABILIDAD

0 1

0% de confiabilidad en la medición (medición

contaminada de error)

0% de confiabilidad en la medición (medición

contaminada de error)

100% de confiabilidad en la medición (no hay error) 100% de confiabilidad en la medición (no hay error)

Hernández Sampieri y col

Muy baja BajaBaja RegularRegular AceptableAceptable ElevadaElevada

?

0.2 0.4 0.6 0.8

La confiabilidad• Se refiere al grado en que su aplicación repetida al mismo

sujeto u objeto, produce iguales resultados.

EJEMPLO DE RESULTADOS PROPORCIONADOS POR UN INSTRUMENTO DE MEDICIÓN SIN CONFIABILIDAD/SIN PRECISIÓN1º APLICACIÓN 2º APLICACIÓN 3º APLICACIÓNMartha 130 Laura 131 Luis 140Laura 125 Luis 130 Teresa 129Arturo 118 Marco 127 Martha 124Luis 112 Arturo 120 Rosa María 120Marco 110 Chester 118 Laura 109Rosa Maria 110 Teresa 118 Chester 108Chester 108 Martha 115 Arturo 103Teresa 107 Rosa María 107 Marco 101

• La confiabilidad varía de acuerdo al número de ítems que incluya el instrumento de medición. Cuantos más ítems la confiabilidad aumenta (desde luego, que se refieran a la misma variable).

• Esto resulta lógico, veámoslo con un ejemplo cotidiano: Si se desea probar qué tan confiable o consistente es la lealtad de un amigo hacia nuestra persona, cuantas más pruebas le pongamos, su confiabilidad será mayor. Claro está que demasiados ítems provocarán cansancio en el respondiente.

EjemploNº Formularios

PREGUNTAS Total

p1 p2 p3 p4 p5 p6 p7 p8 Filas

1 3 2 3 2 2 2 3 3 20

2 3 3 2 3 2 2 2 2 19

3 2 3 2 1 3 2 2 2 17

4 2 2 2 2 3 2 3 2 18

5 2 2 3 2 2 3 2 2 18

6 3 3 3 2 2 2 1 2 18

7 2 4 3 2 3 1 1 2 18

8 2 3 2 1 2 1 2 2 15

9 2 2 2 2 2 2 2 2 16

10 3 3 3 2 3 2 2 2 20

11 3 3 3 3 2 2 2 3 21

12 3 3 3 3 3 3 3 3 24

PROMEDIO 2.50 2.75 2.58 2.08 2.42 2.00 2.08 2.25 Varianza total

DESVEST 0.52 0.62 0.51 0.67 0.51 0.60 0.67 0.45 columnas

VARIANZA Si2 0.27 0.39 0.27 0.45 0.27 0.36 0.45 0.20 5.70

SUMA DE VARIANZAS St 2 2.65                

Coeficiente alfa de Cronbach

Existen dos formas de calcularlo

Resultado de correlación de las puntuaciones positiva moderada a más = Instrumento Homogéneo

Coeficiente alfa de Cronbach:Valores son entre 0 y 1Donde 0=nula confiabilidad

1=máxima confiabilidad. >0.75 es aceptable > 0.90 es elevada

*) CONFIABILIDAD La confiabilidad, del instrumento se efectuará aplicado el coeficiente Alfa de Crombach, cuya fórmula es:

= K

K - 1

Donde: = Coeficiente de Crombach K = N° de items utilizados para el cálculo Si2 = Varianza de cada item St2 = Varianza total de los items

El valor obtenido de Alfa es:

= K

K - 1

El valor de alfa obtenido es:

α = 37

36 = 0,8404

K

1 - Si2

i = 1

St2

Reemplazando:α = (8/8-1) ( 1- ( 2.65/5.70)) α = (1.1428* 0.5345)α = 0.61.Por lo tanto, la escala no es confiable. Deben eliminarse los ítem necesarios hasta que el valor del α sea ≥ 0,7.

Estrategias para incrementar la confiabilidad de los Cuestionarios

• Alargar el instrumento.• Efectuar preguntas de mediana dificultad.• Aumentar el tiempo para contestar el

instrumento.• Asegurarse que el instrumento sea claro para

el público objetivo.

Métodos de formas alternativas o paralelas

Dos o mas versionesde un instrumento

Aplicación de los instrumentos a las mismas personas simultáneamente o

en un periodo corto de tiempoResultado

Si la correlación entre los resultados es positiva Confiable

Hernández Sampieri y col

PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD

Métodos de mitades partidas (Split-halves)

Un instrumento dividido en dos mitades

1 sola aplicación del instrumento de 10 ítems Resultado

1-3-4-7-10

2-5-6-8-10

Si la correlación entre los resultados de las dosMitades es fuerte

Confiable

Hernández Sampieri y col

PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD

•Dividir los ítems del instrumento en dos partes iguales.•Correlacionar las puntuaciones totales de las dos mitades.•Multiplicas el coeficiente obtenido por 2 y dividir por el término 1 (uno) mas la correlación de las dos mitades (corrección de Spearman – Brown), como la siguiente fórmula

Métodos de mitades partidas (Split-halves)

Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kuder y Richardson o fórmula KR-20, KR21,

Un instrumento

1 sola aplicación del instrumento Resultado

Coeficiente alfa de Cronbach es para variables de intervalos o de razón KR.20 y KR21 es para ítems dicotómicosCoeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón.Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal

Hernández Sampieri y col

PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD

Coeficiente alfa de Cronbach

Kuder y Richardson o fórmula KR-20

Instrumentos de nivel conocimientos.

Ejemplo: Prueba de rendimiento académico de 5 ítems realizado en 9 alumnos

Vt = Vt =

Vt = Vt =

Vt = Vt =

Muy baja consistencia interna del instrumento

Cronbach de 0,804 (>0,8)Cronbach de 0,804 (>0,8)

Kaiser- Meyer-Olkin fue de 0,082 y el test de esfericidad de Bartlett fue de 0,023, por lo que no se realizó el análisis factorial.

Kaiser- Meyer-Olkin fue de 0,082 y el test de esfericidad de Bartlett fue de 0,023, por lo que no se realizó el análisis factorial.

Se recomiendan dos etapas: a) Adaptación cultural: traducción directa, síntesis, traducción inversa, consolidación por comité de expertos y pre-test.b) Validación (con hasta siete pasos): - Evaluación de la consistencia interna. - Fiabilidad intra-observador. - Fiabilidad interobservador. - Validez lógica. - Validez de contenido. -,Validez de criterio. - Validez de constructo.

Traducción, adaptación cultural y validación de cuestionarios de salud.

FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y VALIDEZ

• 1.- la improvisación. Algunas personas creen que elegir un instrumento de medición o desarrollar uno es algo que puede tomarse a la ligera.

• 2.- instrumentos desarrollados en el extranjero que no han sido validados a nuestro contexto : cultura y tiempo

• 3.- instrumento resulta inadecuado para las personas a las que se les aplica: no es empático.

• 4.- las condiciones en las que se aplica el instrumento de medición. Si hay ruido, hace mucho frío (por ejemplo en una encuesta de casa en casa), el instrumento es demasiado largo o tedioso.

Si no haces las preguntas correctas, no obtienes las respuestas correctas... El hacer preguntas es el ABC del diagnostico. Sólo la mente que cuestiona resuelve problemas.

- Edward Hodnett

LO «IMPOSIBLE» ES A VECES LO «NUNCA INTENTADO»

• Los japoneses siempre han gustado del pescado fresco. Pero las aguas cercanas a Japón no han tenido muchos peces por décadas. Así que para alimentar a la población japonesa, los barcos pesqueros fueron fabricados más grandes y así pudo ir mar adentro. Mientras más lejos iban los pescadores, más era el tiempo que les tomaba regresar a la costa a entregar el pescado.

• El viaje redondo tomaba varios días, el pescado ya no estaba fresco. A los japoneses no les gusta el sabor del pescado cuando no es fresco.

• Para resolver este problema, las compañías pesqueras, instalaron congeladores en los barcos pesqueros. Así podían pescar y poner los pescados en los congeladores. Además los congeladores permitían a los barcos ir aún más lejos y por más tiempo.

• Sin embargo, los japoneses pudieron percibir la diferencia entre el pescado congelado y el pescado fresco, y no les gustó el pescado congelado. El pescado congelado se tenía que vender más barato.

• Así que las compañías instalaron tanques para los peces en los barcos pesqueros. Podían así pescar los peces, meterlos en los tanques, mantenerlos vivos hasta llegar a la costa de Japón. Pero, después de un tiempo, los peces dejaban de moverse en el tanque. Estaban aburridos y cansados pero vivos.

• Desafortunadamente, los japoneses también notaron la diferencia del sabor. Porque cuando los peces dejan de moverse por días, pierden el sabor «fresco-fresco».

• Los japoneses prefieren el sabor de los peces bien vivos y frescos, no el de los peces aburridos y cansados que los pescadores les traían.

• ¿Cómo resolvieron el problema las compañías pesqueras japonesas? ¿Cómo consiguieron traer pescado con sabor de pescado fresco?

• Mantener el sabor fresco de los peces, las compañías pesqueras todavía ponen a los peces dentro de los tanques en los botes pesqueros. Pero ahora ellos ponen también ¡un TIBURÓN pequeño!

• Claro que el tiburón se come algunos peces, pero los demás llegan muy, pero muy vivos. ¡Los peces son desafiados!

Tienen que nadar durante todo el trayecto dentro del tanque, ¡para mantenerse vivos!! En lugar de evitar los desafíos, brinca hacia ellos y dales una paliza. Disfruta el juego. Si tus desafíos son muy grandes o son demasiados, nunca te rindas. El fracaso te cansará aún más.

• Cuando alcances tus metas, proponte otras mayores.• Una vez que satisfagas tus metas familiares, busca alcanzar las

metas de tu grupo, tu comunidad, hasta de la humanidad completa.

• Nunca debes crear el éxito para luego acostarte sobre él. Tú tienes recursos, habilidades y capacidades para lograr lo que tú sueñas, para hacer la diferencia, para lograr el cambio que te propones.

Así que, invita un tiburón a tu tanque, y descubre ¡qué tan lejos realmente puedes

llegar!

¿Preguntas?¿Preguntas?

cristiandiazv@hotmail.comcristiandiazv@hotmail.com