Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar...
-
Upload
lorita-fleitas -
Category
Documents
-
view
17 -
download
0
Transcript of Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar...
![Page 1: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/1.jpg)
Validez y Confiabilidad
de los cuestionarios
![Page 2: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/2.jpg)
Objetivos Discutir y analizar los conceptos de validez
y confiabilidad.
Presentar y analizar situaciones que afectan la validez y confiabilidad de los instrumentos.
Hallar la validez de contenido y confiabilidad de un instrumento.
![Page 3: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/3.jpg)
Validez◦ Es la cualidad del instrumento para medir los
rasgos o características que se pretenden medir. Por medio de la validación se trata de determinar si realmente el cuestionario mide aquello para lo que fue creado.
Confiabilidad◦ Se refiere a la consistencia de los resultados.◦ En el análisis de la confiabilidad se busca que los
resultados de un cuestionario concuerden con los resultados del mismo cuestionario en otra ocasión.
Características fundamentales de un cuestionario
![Page 4: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/4.jpg)
Son características que el científico social que aspira hallar en todo método, instrumento o técnica. ◦ implica veracidad, confianza y exactitud
Sí los datos e instrumentos son válidos y confiables, entonces sus conclusiones tienden a ser exactas.
La mayoría de la literatura sobre el tema hace referencia a la validez y confiabilidad haciendo referencia al instrumento de medición, y no al proceso de investigación.
Validez y Confiabilidad
![Page 5: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/5.jpg)
Validez◦Contenido◦CriterioConcurrentePredictiva
◦Constructo
Confiabilidad◦Formas alternas◦Prueba-RePrueba◦División por mitades◦Consistencia interna
Coeficiente Alpha Kuder Richarson
![Page 6: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/6.jpg)
Validez de contenido
Lawshe (1975) dijo que es la comunalidad o traslapo que existe entre la ejecución en la prueba bajo investigación y la habilidad para funcionar en el dominio de ejecución asociado a una tarea determinada.
Novick (1985) establece que la validez de contenido es la forma mediante la cual los miembros del panel de evaluación del instrumento perciben traslapo entre la prueba y el dominio que se está analizando.
![Page 7: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/7.jpg)
Validez de contenido
Muchinsky (2006) por su parte, define la validez de contenido como el grado al cual la prueba contenga una muestra representativa de la conducta a medirse.
El dominio de contenido normalmente es definido o establecido por la literatura, teoría y estudios antecedentes.
![Page 8: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/8.jpg)
Validez de contenido
Lawshe desarrolló un modelo matemático que utiliza la opinión de una muestra de jueces con el objetivo de identificar sí el ítem es pertinente o no para el medir el constructo bajo estudio.
N
NnCVR e
Número de jueces
Índice de validez de contenido
5 0.99
6 0.99
7 0.99
8 0.75
9 0.78
10 0.62
11 0.59
12 0.56
13 0.54
14 0.51
15 0.49
20 0.42
25 0.37
30 0.33
35 0.31
40 0.29
![Page 9: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/9.jpg)
Paso para hallar la validez de contenido según Lawshe
Definir las características que deben tener los jueces.
Seleccionar una muestra de jueces.
Administrar el instrumento a los jueces.
Hallar el coeficiente de validez de contenido del ítem.
Eliminar del instrumentos todos los ítemes que no cumplen con el criterio establecido.
Hallar la validez de contenido del instrumento (IVC).
![Page 10: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/10.jpg)
Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el
ítem es PERTINENTE es mayor que la cantidad de jueces que indicaron que NO ES PERTINENTE.
CVR = PERTINENTE ÷ N
Si la cantidad de jueces que expresó que el ítem es NO ES PERTINENTE es mayor que la cantidad de jueces que indicaron que es PERTINENTE.
CVR = (PERTINENTE – NO PERTINENTE) ÷ N
![Page 11: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/11.jpg)
Coeficiente de validez de contenido del ítem (CVR) Si la cantidad de jueces que expresó que el
ítem es NO ES PERTINENTE es igual que la cantidad de jueces que indicaron que es PERTINENTE.
CVR = 0
Si todos los jueces indicaron que el ítem es PERTINENTE.
CVT = .99
![Page 12: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/12.jpg)
Ejercicio 1: Halle el CVR y IVC del siguiente instrumento
Número del ítem
Jueces
1 2 3 4 5
1 1 1 0 0 1
2 1 1 0 0 1
3 1 1 0 0 1
4 1 1 0 0 1
5 1 1 1 1 1
6 1 1 1 1 1
7 1 1 1 1 1
8 1 1 1 1 1
9 1 1 1 1 1
10 1 1 1 1 1
0 = No pertinente y el 1 = Pertinente
![Page 13: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/13.jpg)
Validez de criterio Es la efectividad de una prueba para predecir la
conducta individual en situaciones específicas.
Tipos de validez de criterio
◦ Concurrente
Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio llevadas a cabo al mismo tiempo en que la prueba fue administrada.
◦ Validez predictiva
Es el grado de relación que existe entre las puntuaciones de la prueba y las medidas del criterio recopiladas en el futuro.
![Page 14: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/14.jpg)
Validez de Criterio Es el coeficiente
de correlación entre los resultados del instrumento y el criterio.
El coeficiente de correlación debe ser igual o mayor a .75 para establecer una buena validez de criterio.
])(][)([ 2222
yynxxn
yxxynrxy
Nivel de satisfacción
Desempeño académico
6 82
2 63
1 57
5 88
2 68
3 75
![Page 15: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/15.jpg)
La validez de constructo esta referida al grado en que cada instrumento refleja el constructo que dice medir, elaborándose operativamente cuando el usuario desea hacer inferencias acerca de conductas o atributos que pueden agruparse bajo la etiqueta de un constructo particular.
Se refiere a qué tan exitosamente un instrumento representa y mide un concepto teórico (Bostwick y Kyte,2005).
La organización de constructo requiere de la acumulación gradual de diversas fuentes de información.
![Page 16: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/16.jpg)
Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento.◦ Contenido
Relevancia y representatividad del instrumento
◦ Sustantivo
Razones teóricas de la consistencia observada de las respuestas.
◦ Estructural
Configuración interna del instrumento y dimensionalidad.
![Page 17: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/17.jpg)
Messick (1995) establece seis criterios a considerar al momento de establecer la validez de constructo de un instrumento.◦ Generalización
Grado en que las inferencias hechas a partir del instrumento.
Se puede generalizar a otras poblaciones, situaciones o tareas.
◦ Externo Relaciones del instrumento con otros instrumentos y
constructos.
◦ Consecuencia Consecuencias éticas y sociales del instrumento.
![Page 18: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/18.jpg)
La validez de un instrumento de medición se evalúa sobre la base de todos los tipos de evidencia.
Cuanto mayor evidencia de validez de contenido, de criterio y de construcción tenga un instrumento, este se acercará más a representar las variables que pretende medir.
Validez total
Contenido
Criterio
Constructo
Validez total
![Page 19: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/19.jpg)
Un instrumento de medición puede ser confiable, pero no necesariamente válido.
Un instrumento quizás sea consistente en los resultados que produce, pero no mida lo que pretende.
Los instrumentos deben ser válidos y confiables para que los resultados de la investigación se tomen en serio.
La validez y confiabilidad no se asumen, se prueban.
La relación entre la confiabilidad y la validez
![Page 20: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/20.jpg)
La improvisación◦ Para construir un instrumento se requiere
conocer muy bien la variable que se pretende medir, así como la teoría que la sustenta.
Instrumentos desarrollados en el extranjero que no han sido validado para nuestro contexto.
Instrumento inadecuado para las personas que se les administra.◦ Lenguaje muy elevado, no tomar cuenta
diferencias de género, edad, conocimientos, memoria, nivel ocupacional, educativo, motivación para contestar entre otras situaciones.
Situaciones que afectan la validez
![Page 21: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/21.jpg)
Estilos personales de los sujetos.◦ Deseabilidad social, tendencia a asentir o contestar
negativamente a todo lo que se le pregunta o dar respuestas inusuales.
Condiciones en que se administra el instrumento.◦ Ruidos, iluminación, frío, demasiado largo o tedioso, el
momento, el día, la hora y el tiempo para responder.
Falta de estandarización del proceso de administración.◦ Instrucciones y orden de preguntas distintas,
instrumentos no equivalentes.
Situaciones que afectan la validez
![Page 22: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/22.jpg)
Aspectos mecánicos◦No sea legible, faltan páginas, no haya
espacio para contestar, no se comprende.
Falta de validez de constructo◦Estrechez del contenido, exclusión de
variables.◦Amplitud exagerada, excesiva
introducción de otros constructos.
Situaciones que afectan la validez
![Page 23: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/23.jpg)
Confiabilidad Es la precisión con que el instrumento mide lo que
mide, en una población determinada y en las condiciones normales de aplicación.
La falta de confiabilidad de un instrumento esta en relación con la intervención del error.◦ Se considera que el error es cualquier efecto
irrelevante para los fines o resultados de la medición que influye sobre la falta de confiabilidad de tal medición.
La confiabilidad se presenta por medio del coeficiente de confiabilidad y del error estándar de medida.
![Page 24: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/24.jpg)
Prueba-reprueba◦ Se aplica dos veces el mismo instrumento (el
lapso entre las aplicaciones se determina previamente), a una misma muestra de individuos.
◦ Las dos series de puntajes resultantes se correlacionan con el coeficiente de correlación de Pearson.
![Page 25: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/25.jpg)
División por mitades o "split half method"◦ Se aplica el test una sola vez a una muestra.
Luego, se califica por separado los ítemes pares (y los ítemes impares.
◦ Las dos series de puntajes resultantes se correlacionan con el coeficiente de Pearson.
◦ Esta corrección se efectúa con la fórmula de profecía de Spearman-Brown.
![Page 26: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/26.jpg)
Consistencia interna◦ La técnica considera que si un instrumento esta
formado por un conjunto de ítemes estos pueden ser considerados como un conjunto de instrumentos paralelos (tantos como ítemes tenga el instrumento).
◦ Luego se deriva una ecuación para computar el coeficiente de confiabilidad.
![Page 27: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/27.jpg)
Consistencia interna◦ Kuder y Richardson derivaron varias fórmulas
para el cálculo del coeficiente de confiabilidad, son las más conocidas la KR20 y la KR21. Se utiliza en instrumento en donde las
contestaciones son correctas o incorrectas.
◦ Actualmente, un coeficiente más utilizado es el coeficiente alfa de Cronbach. Se puede utilizar en cualquier tipo de instrumento.
![Page 28: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/28.jpg)
Coeficiente Alpha Cronbach La técnica considera a
cada ítem como un subcuestionario separado del cuestionario total.
Como esta propiedad de paralelismo es prácticamente imposible para los ítemes, por lo general el coeficiente alfa de Cronbach subestima el coeficiente de correlación.
2
2
11 x
i
k
k
1
2
2
2
nn
xx
![Page 29: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/29.jpg)
Situaciones que afectan la confiabilidad
Homogeneidad del grupo◦ El coeficiente de confiabilidad se afecta por la
variabilidad entre los sujetos. Mientras mayor es la dispersión de las puntuaciones, mayor es la confiabilidad.
◦ Por lo tanto es posible que un cuestionario que se haya construido con una población heterogénea muestre un coeficiente de confiabilidad mucho menor cuando se aplica a una población más homogénea.
![Page 30: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/30.jpg)
Homogeneidad del grupo
◦ Es importante, cuando se adquiere un instrumento construido para otra población asegurarse de que:
el coeficiente de confiabilidad se obtuvo con una población semejante a la que va a utilizar el instrumento.
![Page 31: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/31.jpg)
Tiempo◦ Si un cuestionario tiene un tiempo límite para
completarse algunos sujetos van a terminar a tiempo y otros no. Por lo tanto nos encontramos ante otra variable que va a aumentar la dispersión de puntuaciones en el cuestionario.
◦ La varianza de esta variable "rapidez en responder" se añade a la varianza de las puntuaciones y aumenta la confiabilidad del instrumento.
![Page 32: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/32.jpg)
Tiempo◦ La mejor estrategia es dar suficiente tiempo para
que todos o casi todos los sujetos puedan contestar todos los ítemes.
◦ La confiabilidad de los cuestionarios en los que la rapidez para contestar es una variable importante, debe ponerse en duda.
![Page 33: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/33.jpg)
Situaciones que afectan la confiabilidad Tamaño del cuestionario
◦ Mientras más largo es el instrumento, mayor es la confiabilidad. Esto ocurre por dos razones principales:
En un cuestionario más largo la muestra de ítemes es mayor y el universo del constructo está mejor representado.
La varianza de un cuestionario aumenta cuando aumenta el número de ítemes. Por lo tanto mientras más ítemes, más varianza y por lo tanto más confiabilidad.
◦ Cuando hay varias partes en un cuestionario y se calcula la confiabilidad de cada subparte, estas por lo general son bajas, pues dependen de muy pocos ítemes.
![Page 34: Objetivos Discutir y analizar los conceptos de validez y confiabilidad. Presentar y analizar situaciones que afectan la validez y confiabilidad de los.](https://reader034.fdocuments.ec/reader034/viewer/2022052315/54b396084979594d3a8b5122/html5/thumbnails/34.jpg)
SujetosÍtemes
TotalI II III IV V
A 5 4 5 5 5 24
B 3 2 4 4 2 15
C 4 2 4 5 5 20
D 3 4 2 2 2 13
E 5 4 1 3 3 16
Varianza 1 1.2 2.7 1.7 2.3 19.3
Ejercicio 2: Halle el coeficiente Alpha Cronbach