Universidad Yacambú.Vicerrectorado de Investigación y Postgrado

Maestría en Ciencias Ambientales.Mención Evaluación del Impacto Ambiental.

Barquisimeto - Estado Lara.

Participantes:

Licda. Esp. Albujar S; Joselin.Ing. Esp. Boscán L; José R.

Barquisimeto, Marzo de 2014.

En la vida diariamedimos constantemente…

Medir significa “asignar números,símbolos o valores a laspropiedades de objetos o eventos deacuerdo con reglas”.

Proceso de vincular conceptos abstractos conindicadores empíricos, el cual se realizamediante un plan explícito y organizado paraclasificar (y con frecuencia cuantificar)los datos disponibles (los indicadores), entérminos del concepto que el investigadortiene en mente.

En la medición, el instrumento de medición o de recolección de datos tieneun papel central. La definición sugerida incluye dos consideraciones: la primera es desde el punto de vista empírico y se resume en que elcentro de atención es la respuesta observable (sea una alternativa derespuesta marcada en un cuestionario, una conducta grabada vía observacióno una respuesta dada a un entrevistador). la segunda es desde una perspectiva teórica y se refiere a que elinterés se sitúa en el concepto subyacente no observable que se representapor medio de la respuesta.

Se refiere al grado en que un instrumento realmente mide la variableque pretende medir. “Pensamos en la variable y vemos cómo hacerpreguntas sobre esa variable”. La validez es una cuestión máscompleja que debe alcanzarse en todo instrumento de medición que seaplica.

La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia:

Relacionada con el contenido

Relacionada con el criterio

Relacionada con el constructo

Se refiere al grado en que un instrumento refleja un dominioespecífico de contenido de lo que se mide. Es el grado en elque la medición representa al concepto o variable medida. Uninstrumento de medición requiere tener representadosprácticamente a todos o la mayoría de los componentes deldominio de contenido de las variables a medir.

El dominio de contenido de una variable normalmente está definido o establecido por la teoría y antecedentes. En cada estudio se debe probar que el instrumento utilizado es válido. Si el dominio de un instrumento es demasiado estrecho con respecto al dominio de la variable, el primero no representará a ésta. La pregunta que se responde con la validez de contenido es:

Establece la validez de un instrumento demedición al comparar sus resultados con losde algún criterio externo que pretendemedir lo mismo.Este criterio es un estándar con el que sejuzga la validez del instrumento. Cuantomás se relacionen los resultados delinstrumento de medición con el criterio, lavalidez de criterio será mayor.Si el criterio se fija en el presente demanera paralela, se habla de

(los resultados del instrumentose correlacionan con el criterio en elmismo momento o punto de tiempo). Si elcriterio se fija en el futuro, se habla de

.

El principio de la validez de criterio es sencillo: si diferentesinstrumentos o criterios miden el mismo concepto o variable, debenarrojar resultados similares. Si hay validez de criterio, laspuntuaciones obtenidas por ciertos individuos en un instrumento debenestar correlacionadas y predecir las puntuaciones de estas mismaspersonas logradas en otro criterio.La pregunta que se responde con la validez de criterio es:

o

Se refiere a qué tan exitosamente un instrumento representa y mide unconcepto teórico. A esta validez le concierne en particular el significadodel instrumento, esto es, qué está midiendo y cómo opera para medirlo.Parte del grado en el que las mediciones del concepto proporcionadas porel instrumento se relacionan de manera consistente con otras mediciones deotros conceptos, de acuerdo con modelos e hipótesis derivadasteóricamente. A tales conceptos se les denomina constructos.

Un constructo es una variable medida y quetiene lugar dentro de una hipótesis, teoría oun esquema teórico. Es un atributo que noexiste aislado sino en relación con otros. Nose puede ver, sentir, tocar o escuchar; perodebe ser inferido de la evidencia que tenemosen nuestras manos y que proviene de laspuntuaciones del instrumento que se utiliza.

• Se establece y especifica la relación teórica entre los conceptos (sobre la base de la revisión de la literatura).

1

• Se correlacionan los conceptos y se analiza cuidadosamente la correlación.

2• Se interpreta la evidencia empírica de acuerdo con el nivel en el que clarifica la validez de constructo de una medición en particular.

3

El proceso de validación de un constructo está vinculado conla teoría. Cuanto más elaborada y comprobada se encuentre lateoría que apoya la hipótesis, la validación del constructoarrojará mayor luz sobre la validez general de un instrumentode medición. Las preguntas que se responden con la validez deconstructo son:

Se refiere al grado en queaparentemente un instrumentode medición mide la variableen cuestión, de acuerdo con“voces calificadas”. Seencuentra vinculada a lavalidez de contenido.Regularmente se establecemediante la evaluación delinstrumento ante expertos.

La validez de un instrumento de medición se evalúa sobre la basede todos los tipos de evidencia. Cuanta mayor evidencia devalidez de contenido, de validez de criterio y de validez deconstructo tenga un instrumento de medición, éste se acercarámás a representar la(s) variable(s) que pretende medir.

Validez de

contenido

Validez de

criterio

Validez de constructo

Validez total

VALIDEZ DE CONTENIDO

Revisar cómo ha sido medida lavariable por otrosinvestigadores y elaborar ununiverso de ítems o reactivosposibles para medir lavariable y sus dimensiones.

Se seleccionan los ítems y sila variable está compuesta pordiversas dimensiones ofacetas, se extrae una muestraprobabilística de reactivos,ya sea al azar oestratificada.

Se administran los ítems, secorrelacionan las puntuacionesde éstos entre sí y se hacenestimaciones estadísticas paraver si la muestra esrepresentativa.

Para calcular la validez de contenido son necesarios

varios coeficientes. Algunas veces no se calculan estos coeficientes, sino que se

seleccionan los ítems mediante un proceso que asegura la

representatividad no de manera estadística sino conceptual.

La validez de criterio se estima al correlacionar la medición con el criterio externo (puntuaciones del instrumento frente a las puntuaciones en el criterio), y este coeficiente se toma como coeficiente de validez.

La validez de constructo suele determinarsemediante procedimientos de análisisestadístico multivariado (análisis defactores, análisis discriminante,regresiones múltiples,etc.)

VALIDEZ DE CRITERIO

VALIDEZ DE CONSTRUCTO

Improvisación del instrumento

Uso de instrumentos desarrollados en el extranjero que no han sido validados en nuestro contexto: cultura y tiempo

El instrumento resulta inadecuado para las personas a quienes se les aplica: no es empático

Estilos personales de los participantes

Condiciones en las que se aplica el instrumento de medición.

Falta de estandarización

Es el grado de congruencia con se realiza la

medición de una variable. Esta medición, puede llegar a

lograr un alto coeficiente de validez, pero un bajo

coeficiente de confiabilidad.

La confiabilidad se refiere a su capacidad para dar resultados iguales al ser

aplicada, en condiciones iguales, dos o más veces a un mismo conjunto de

objetos, En el cual existe estabilidad, consistencia, seguridad, precisión y

predictibilidad, en las significaciones directas de cada uno de ellos.

De acuerdo a Stromquist Nelly P., “este criterio científicotiene que ver con la capacidad del instrumento en uso de producirmedidas constantes dado el mismo fenómeno. Generalmente se distingueentre la confiabilidad externa para indicar que otros investigadoresusando los mismos instrumentos observarían los mismos hechos yconfiabilidad interna par indicar que otros investigadores harían lamisma conexión entre las definiciones en uso y los datos que se recojan,es decir, elaborarían el mismo constructo en base a los mismo hechos”.

En si, la confiabilidad se refiere a “La extensión o grado enque un test dará resultados consistentes si se aplica más de una vez ala misma gente bajo condiciones estándar-

En este sentido, Una Investigación con buenaconfiabilidad es aquella que es estable, segura,congruente, Igual a sí misma en diferentes tiempos yPrevisible para el futuro. En la evaluación presenta dostipos de confiabilidad que reconocen como:

Confiabilidad

interna.

Al estudiar la mismarealidad, seconcuerdan en susconclusiones.

Confiabilidad

externa.

Al estudiar una realidaden tiempos o situacionesdiferentes, llegan a losmismos resultados.

La confiabilidad es una medida de

determinación de la estabilidad y la consistencia

interna del instrumento.

Observadores diferentes aplican un mismo instrumento a la misma

muestra (en momentos diferentes) y obtienen resultados

consistentes.

Un mismo observador aplica un instrumento a muestras equivalentes

y obtiene resultados consistentes.

E

j

e

m

p

l

o

s

Un instrumento es estable si, aplicado repetidas veces a

los mismos fenómenos, bajo las mismas condiciones, arroja

resultados consistentes (congruentes).

Estabilidad

Cada mitad de una cinta métrica

arroja las mismas mediciones que la

cinta métrica completa.

Cada mitad de la cinta métrica

arroja los mismos valores que la

otra mitad.

Consistencia interna

Propiedad del instrumento según la

cual, cada parte del mismo mide de la

misma manera que las otras partes.

Ejemplo:

Importancia de la Confiabilidad

Para que los resultados de un instrumento puedan ser

interpretables; es decir, para que tengan significado y valor

heurísticos, es necesario que los mismos sean confiables. No es

posible determinar la relación entre dos o más variables si los

instrumentos utilizados para medirlas son poco confiables. Este tipo

de instrumentos, a menudo, inducen al investigador a interpretaciones

erradas de sus resultados. Por ejemplo, un experimento educativo, en

el cual se ha evaluado el efecto de una nueva estrategia

instruccional, pudiera parecer poco efectivo, aun habiendo tenido un

impacto altamente significativo en el aprendizaje de los alumnos,

simplemente porque los instrumentos utilizados para medir las

variables dependientes eran poco confiables.

La confiabilidad, aun cuando no es la característica más importante de

un instrumento de medición, requiere se le preste toda la atención que sea

necesaria. Ciertamente, una alta confiabilidad, por si sola, no garantiza

“buenos” resultados científicos. Pero, no puede haber “buenos” resultados

científicos sin instrumentos confiables. En síntesis, la confiabilidad es una

condición necesaria, pero no suficiente para obtener resultados de

investigación que sean científicamente valiosos y socialmente útiles.

Hay una creencia generalizada de que la validez de una prueba está

relacionada directamente con su fiabilidad. Para interpretar esta regla hay que

diferenciar entre pruebas homogéneas y heterogéneas. Las primeras tienen una

alta fiabilidad de consistencia interna, pero pueden no tener validez para

medir ciertos rasgos al dejar de incluir aspectos importantes. En las segundas

puede ocurrir lo contrario.

La fiabilidad y validez pueden ser, por tanto, incompatibles y hay que

llegar a un compromiso. La fiabilidad muy alta requiere ítems muy

correlacionados entre sí y la validez muy alta ítems poco correlacionados.

Además, es deseable una gama de dificultades, con objeto de disponer de una

gama graduada para medir las diversas capacidades de las personas.

Relación entre fiabilidad y validez.

Medición 1. Medición 2.

Tiempo1. Tiempo 2.

Densidad de un mineral.

Consiste en laaplicación de un mismoinstrumento a una mismamuestra de sujetos en al menosdos momentos diferentes.

No existe criterioúnico respecto de cual debe serel lazo adecuado de tiempoentre la primera y segundaaplicación, este se estableceen función de los fines delinstrumento o la investigación.

En este procedimiento un mismo

instrumento de medición (o ítems o

indicadores) es aplicado dos o más veces

a un mismo grupo de sujetos, después de

un periodo de tiempo.

Si la correlación entre los resultados de

las diferentes aplicaciones es altamente

positiva, el instrumento se considera

confiable. Pero por lo contrario es

negativa el mismo no es confiable.

El tiempo entre la primera y

segunda aplicación es un factor

que hay que considerar.

El coeficiente que se obtiene recibe el nombre de coeficiente de estabilidad

porque denota la coherencia de las puntuaciones en el tiempo. Para un

desarrollo adecuado y que el mismo sean confiables deben variar entre 0,80 y

0,95.

Si el periodo es largo y la variable susceptible

de cambios, ello puede confundir la interpretación del

coeficiente de confiabilidad obtenido por este

procedimiento. Y si el periodo es corto las personas pueden

recordar cómo contestaron en la primera aplicación del

instrumento, para aparecer como más consistentes de lo que

son en realidad.

Este método consiste en elaborar dos

formas paralelas de un mismo test a

una muestra de interés, o lo que es lo

mismo, dos tests paralelos.

• Las dos formas deben ser administradas bajo las mismas condiciones, o, al menos,

bajos los mínimos cambios posibles en las condiciones. Se trata de no introducir

factores que puedan provocar cambios en los resultados.

• Respecto al tiempo, debe utilizarse un lapso entre ambas formas lo

suficientemente corto como para que los sujetos no hayan cambiado en la variable

de interés y lo suficientemente largo para que factores de memoria, fatiga, o

entrenamiento tengan el mínimo efecto.

• Para controlar los efectos, de confusión de la forma de la prueba en el momento

de la aplicación, la forma A debe administrarse a la mitad del grupo y la forma B

la mitad restante; luego, en la segunda aplicación, el primer grupo presenta la

forma B y el segundo la forma A. .

Puede interpretarse como uncoeficiente o indicador de equivalenciaentre los dos tests:

-Si la correlación es alta, las dosformas del mismo test dan resultadosparecidos, ordenan a los sujetos demanera parecida, ambas formas sonintercambiables.

- En caso contrario, la correlación entrelas dos formas (respondidas con días uhoras de diferencia) es baja, laconclusión más razonable no es que lossujetos han cambiado, sino que las dosformas no están equilibradas en suscontenidos y de alguna manera miden cosasdistintas o con énfasis distintos.

Limitaciones del forma paralela de un test?

La dificultad de este procedimiento radica en conseguir que dos instrumentos

sean realmente paralelos, dada la dificultad que supone realizar dos pruebas

que midan exactamente lo mismo, pero con diferentes ítems. No obstante, en

condiciones ideales en las que se pueda garantizar el paralelismo de ambas

formas, este es el método más recomendable.

Método de mitades partidas(Split-halves)

Consiste en elaborar un test y

dividirlo en dos mitades para aplicarlo

a un sujeto.

Solo requiere una sola aplicación

de la medición en un mismo grupo

de sujetos, y se divide la prueba

en dos mitades y se comparan los

resultados en correlaciones.

¿Cómo se aplica el método de las prueba en dos mitades

para estimar la confiabilidad?

¿Cuál es el resultado del método de las

prueba en dos mitades?

El conjunto total de ítems (o

componentes) es dividido en dos mitades

y las puntuaciones o resultados de

ambas son comparados. Si el instrumento

es confiable, las puntuaciones de ambas

mitades deben estar fuertemente

correlacionadas.

Limitaciones del método delas prueba en dos mitades.

La principal dificultad de este sistema es asegurarse de que ambas

mitades sean efectivamente paralelas. Un sistema habitual es

dividir el test entre los ítems pares y los impares; no es

recomendable dividirlo sin más por la mitad, dado que muchos tests

muestran un incremento gradual de la dificultad de sus ítems..

Se trata de un índice de consistencia interna que toma

valores entre 0 y 1 y que sirve para comprobar si el

instrumento que se está evaluando recopila información

defectuosa y por tanto nos llevaría a conclusiones

equivocadas o si se trata de un instrumento fiable que

hace mediciones estables y consistentes.

Coeficiente Alfa de Cronbach

El coeficiente Alfa de Cronbach es un modelo de consistencia interna, basado en elpromedio de las correlaciones entre los ítems. Entre las ventajas de esta medida seencuentra la posibilidad de evaluar cuánto mejoraría (o empeoraría) la fiabilidad de laprueba si se excluyera un determinado ítem.

Este coeficiente requiere una sola medición y mide la consistencia interna delos ítems en cada escala y el instrumento como conjunto. Es decir entrega unvalor estadístico que nos indica en que medida un conjunto de ítems apuntan en lamisma dirección.

¿Cómo se aplica el método deCoeficiente Alfa de Cronbachpara estimar la confiabilidad?

La fórmula KR-20 tan solo es una variante de alfa especialmente orientada a

items dicotómicamente valorados.

Una vez obtenido p (=A/N) y q (=1- p) para cada ítem, se procede a obtener la

varianza de cada ítem como producto de p por q. También necesitamos la varianza del

total y la suma de la varianza de los items para aplicar finalmente la fórmula KR20.

Alfa de Cronbach es por tanto un coeficiente de correlación al

cuadrado que, a grandes rasgos, mide la homogeneidad de las

preguntas promediando todas las correlaciones entre todos los

ítems para ver que, efectivamente, se parecen. Su interpretación

será que, cuanto más se acerque el índice al extremo 1, mejor es la

fiabilidad, considerando una fiabilidad respetable a partir de 0,80.

¿Cuál es el resultado Coeficiente Alfa de Cronbach ?

Su fórmula estadística es la siguiente:

2

2

11

T

i

S

S

K

K

Donde:

K: El número de ítemsSi^2: Sumatoria de Varianzas de los ItemsST^2: Varianza de la suma de los Itemsα: Coeficiente de Alfa de Cronbach

Representa un coeficiente de consistencia interna

del instrumento, que proporciona la media de todos

los coeficientes de división por mitades para todas

las posibles divisiones del instrumento en dos partes

(Magnusson, 1995).

El Método KR20COEFICIENTE DE

KUDER – RICHARDSON

Se representa de la siguiente manera: