QUÉ ES VALORAR, MEDIR, TESTEAR? – CRITERIOS DE OBJETIVIDAD,

VALIDEZ Y CONFIABILIDAD DE LOS TEST

ASIGNATURA: EVALUACIÓN DEL RENDIMIENTO

DOCENTE: ALEJANDRO GÓMEZ RODAS PROFESIONAL EN CIENCIAS DEL DEPORTE

U.T.P ESPECIALISTA EN ACTIVIDAD FÍSICA Y SALUD U.de.A

TEST

MEDICION

Definición de términos

EVALUACION

TEST.Es el instrumento usado para colectar información.

En cualquiera de sus formas, tienen características que se irán desgranando....

MEDICION.

Acto de recabar información objetiva, en general en formato numérico.

Debe ser lo más exacta posible, según fortalezas y debilidades de los tests.

EVALUACION.

Proceso de analizar el valor de los datos recogidos. Incluye al testeo y a la medición.

Juzgar en forma cualitativa lo presentado cuantitativamente.

Básico en la toma de decisiones según objetivos del programa, comportamiento del grupo y de cada sujeto dentro de él.

CARACTERISTICAS DE LOS TESTS.

VALIDEZ. Propiedad de medir – estimar lo que pretende. Se corrobora COMPARANDO sus resultados con un TEST PATRON.

CONFIABILIDAD. Estabilidad de los resultados. Se corrobora con DOS o más tomas al MISMO GRUPO, UN MISMO EVALUADOR.

OBJETIVIDAD. Grado de independencia del evaluador. Se corrobora con DOS o más tomas al MISMO GRUPO, DIFERENTES EVALUADORES.

TIPOS DE ERROR

Error de ejecución.

Diferencia entre repetidas ejecuciones del mismo sujeto. Es esperable, siempre que esas diferencias no sean significativas.

Error de medición.

Producido por el Instrumento de Medición ¡ EVITAR !

NOTA : Cuando evalúo, me considero parte del instrumento de medición

PARA REDUCIR EL ERROR…

… respetar el PROTOCOLO; buscar el original

… revisar validez, confiabilidad y objetividad en muestras similares y con N grandes

… ¿tiene el test tablas de comparación?

… tener en claro fortalezas y debilidades de la prueba (simplicidad de la toma, instrumentos de precisión, error de estimación de la fórmula)

Ejemplo de VALIDEZ

Objetivo encontrar una prueba SIMPLE para ESTIMAR el VO2max de grandes poblaciones.

Variable predictora metros recorridos en 12´.Variable predicha VO2máx.

1. Los sujetos que más metros recorren, tienen mayor VO2máx. medido.

2. Cuanto más heterogéneo es el grupo en ambas

variables, más alta es la correlación.

Uso de la correlación para establecer la VALIDEZ

Correlación entre el máximo consumo de oxígeno y el

rendimiento en una carrera-caminata de 12 minutos en

hombres normales. La correlación es de 0.897,

indicando una relación del 80% entre variables. Cooper, K.

1968.

0

1000

2000

3000

4000

0 300 600 900 1200 1500 1800

Potencia producida (kgm/min)

VO

2 (m

l/m

in)

Pendiente( 2 ml/ min)

Intercepción (300 ml)

Estimación del VO2 (ml/min) en cicloergómetro:

VO2 (ml/min) = 2 (kgm/min) + 300

ESTIMACION DEL COSTO METABOLICOESTIMACION DEL COSTO METABOLICODEL EJERCICIO (VODEL EJERCICIO (VO22) en cinta) en cinta

Caminando Trotando Caminando Trotando 50 a 100 m/min 80 a 134 m/min 50 a 100 m/min 80 a 134 m/min ( 3 a 6 km/hora) (4.8 a 8 ( 3 a 6 km/hora) (4.8 a 8 km/hora y más)km/hora y más)

VO2 Horiz m/min x 0.1 ml O2/kg/min m/min x 0.2 ml O2/kg/min

VO2 Vert % inclin x m/min % inclin x m/min x 1.8 ml O2/kg/min x 0.9 ml O2/kg/min

NOTAS: 1– al resultado hay que sumarle el VO2 de reposo (3.5 ml/kg/min) 2- % de inclinación va como decimal. (Ej; 12% = 0.12) 3- para pasar de km/h a m/min multiplicar x 17.

Correlación y CONFIABILIDAD

Ejemplo: grupo de 6 adolescentes medidos en Saltar y Alcanzar (cm). Tres tentativas.

T1T1 T2T2 T3T3S1S1 2121 2323 2525

S2S2 1818 2121 2222

S3S3 2626 2929 3030

S4S4 1717 1818 2121

S5S5 2525 2525 2828

S6S6 2424 2626 2727

Prom 21,8 23,7 25,5

Cada alumno mantiene el lugar dentro del grupo en cada tentativa. La r =1 !!

¿El rendimiento se mantiene estable entre las tentativas?

CONCLUSION:Prueba válida pero NO

confiable. Entonces utilizar prueba para diferencias

significativas

(r2) Coeficiente de Determinación:varianza compartida entre ambas

variables.

NUNCA SERA = 1 (100% de varianza compartida)…

…¿Por qué?

Porque las variables no se relacionan de a dos sino de a varias…

… múltiples variables explican a una y nosotros sólo intentamos identificar a la/s que mejor la explican !!

Concepto de Regresión Lineal Múltiple.

La interacción entre más de una variable independiente explica el comportamiento de una dependiente.

FORMULA DE LEGER PARA ADULTOS (> 19 AÑOS):VO2max (ml/kg/min) = 6 x VELOC MAX (km/h) - 27,4

FORMULA DE LEGER PARA NIÑOS ENTRE 6 Y 18 AÑOS (ambos sexos):

VO2max (ml/kg/min) = 31,025 + (3,238 x V) - (3,248 x E) + (0.1536 x V x E)

Las regresiones múltiples NO SIEMPRE son lineales:

Distancia de la prueba 1600m. CARGA CONTINUA.

2 fórmulas de predicción según condición del evaluado:

• Baja condición (caminando)Rockport VO2 = 132.6 – (0.17 * PC) – (0.39 * EDAD) + (6.31 * SEXO) – (3.27 * Tiempo) – (0.156 * FC)

• Mediana condición (trotando)Cureton VO2 = (-8.41 * Tiempo) + (0.34 * Tiempo2) + (0.21 * EDAD * SEXO)- 0.84 * BMI + 108.4

Donde PC = peso corporal; SEXO = varón 1, mujer 0; FC = frecuencia cardíacaNOTA: El tiempo empleado debe tomarse como minutos y fracción decimal .

Test de Cureton(1600m)

40

44

48

52

56

60

6 8 10 12 14 16

Tiempo de la prueba

Co

ns

um

o d

e o

xíg

en

o

Quienes corren la milla por encima de 12’ 36”; ¿ tienen un VO2 mayor ?

ATENCION !La relación está explicada por una Función Cuadrática

Debe usarse otra fórmula para quienes caminan.

El grupo de referencia de Cureton eran niños y jóvenes ( 8 hasta 24 años de edad).

La fórmula ajusta dentro de los límites encontrados en el grupo.

R = 0,74. EEE = 4,8 ml/kg/min

EEE = Error Estandar de Estimación

Cuando la correlación es <1 (siempre), la variable dependiente NO PUEDE ser ESTIMADA con TOTAL precisión.

EEE = estadístico usado para cuantificar la precisión de lapredicción…Es el grado en el cual los valores predichos difieren de los reales Se comporta como el desvío estandar. (Gráfico de la derecha)

Safrit, Wood; Measurement Concepts in Phys. Ed. and Exe. Science

Algunas conclusiones finales…

Protocolos clarosProtocolos claros

Validez, Confiabilidad y Objetividad comprobadosValidez, Confiabilidad y Objetividad comprobados

Gran número de casos y tablas de referencia en poblaciones de Gran número de casos y tablas de referencia en poblaciones de similares características a las que vamos a testearsimilares características a las que vamos a testear

Debemos contar con herramientas confiablesDebemos contar con herramientas confiables

La práctica de la prueba reduce el error de mediciónLa práctica de la prueba reduce el error de medición

EEE adecuado (menor al 10%)EEE adecuado (menor al 10%)

CÓMO ELEGIR ENTONCES LAS PRUEBAS MÁS APROPIADAS?

Para poder elegir las pruebas más apropiadas para Para poder elegir las pruebas más apropiadas para la medición de la aptitud física del cliente, es la medición de la aptitud física del cliente, es

importane poder evaluar la utilidad relativa de las importane poder evaluar la utilidad relativa de las pruebas y sus ecuaciones predictivas.pruebas y sus ecuaciones predictivas.

Para ello, se deben formular algunas preguntas:Para ello, se deben formular algunas preguntas:

QUÉ MEDIDA DE REFERENCIA SE USÓ PARA ELABORAR LA ECUACIÓN PREDICTIVA?

La medida de referencia utilizada como criterio para un La medida de referencia utilizada como criterio para un componente específico de la aptitud física se obtiene a componente específico de la aptitud física se obtiene a través de la medición directa del componente.través de la medición directa del componente.

Las medidas de referencia se usan como Las medidas de referencia se usan como patrón de patrón de referenciareferencia para validar las pruebas de campo y desarrollar para validar las pruebas de campo y desarrollar las ecuaciones que permitan estimar con precisión la las ecuaciones que permitan estimar con precisión la medida de referencia.medida de referencia.

QUÉ TAMAÑO TENÍA LA MUESTRA UTILIZADA PARA DESARROLLAR LA ECUACIÓN PREDICTIVA?

En general se requieren muestras grandes seleccionadas en En general se requieren muestras grandes seleccionadas en forma aleatoria (n = 100 a 400 individuos) para asegurar que forma aleatoria (n = 100 a 400 individuos) para asegurar que los datos sean representativos de la población para la que se los datos sean representativos de la población para la que se creó la ecuación predictiva.creó la ecuación predictiva.

Además, las ecuaciones de predicción basadas en muestras Además, las ecuaciones de predicción basadas en muestras grandes tienden a tener pesos de regresión más estables para grandes tienden a tener pesos de regresión más estables para cada variable predictiva que compone la ecuación.cada variable predictiva que compone la ecuación.

CUÁL ES LA RELACIÓN ENTRE EL TAMAÑO DE LA MUESTRA Y EL NÚMERO DE VARIABLES PREDICTIVAS EN LA ECUACIÓN?

En la regresión múltiple, la correlación entre las medida de referencia del En la regresión múltiple, la correlación entre las medida de referencia del componente de la aptitud física y los factores predictivos en la ecuación está componente de la aptitud física y los factores predictivos en la ecuación está representada por el representada por el coeficiente de correlación múltiple (Rmc)coeficiente de correlación múltiple (Rmc)..

Cuanto mayor es el Rmc (hasta un máximo de 1) más intensa es la relación.Cuanto mayor es el Rmc (hasta un máximo de 1) más intensa es la relación.

El tamaño de Rmc aumenta en forma artificial si la ecuación tiene demasiados El tamaño de Rmc aumenta en forma artificial si la ecuación tiene demasiados factores predictivos en relación con el número total de individuos.factores predictivos en relación con el número total de individuos.

Las ecuaciones predictivas basadas en muestras pequeñas o con una relación Las ecuaciones predictivas basadas en muestras pequeñas o con una relación baja entre individuos y factores predictivos (ideal 20 a 40 sujetos por variable baja entre individuos y factores predictivos (ideal 20 a 40 sujetos por variable predictiva) deben resultar sospechosas y no deben utilizarsepredictiva) deben resultar sospechosas y no deben utilizarse

CUÁLES FUERON LOS TAMAÑOS DE Rcm Y EL ERROR ESTÁNDAR DE ESTIMACIÓN PARA LA ECUACIÓN PREDICTIVA?

En general, en las pruebas de aptitud física, el Rmc supera el valor de 0,8 lo que En general, en las pruebas de aptitud física, el Rmc supera el valor de 0,8 lo que significa que por lo menos el 64% (Rsignifica que por lo menos el 64% (R² = ² = 0,80,8² x 100) ² x 100) de la variación en la medida de la variación en la medida de referencia puede deberse a los factores predictivos de la ecuación.de referencia puede deberse a los factores predictivos de la ecuación.

Se debe recordar que cuanto mayor es el Rmc, mayor es la cantidad de variación Se debe recordar que cuanto mayor es el Rmc, mayor es la cantidad de variación compartida entre la medida de referencia y las variables predictivas.compartida entre la medida de referencia y las variables predictivas.

Aunque el coeficiente es importante, cuando se evalúa la utilidad relativa de la Aunque el coeficiente es importante, cuando se evalúa la utilidad relativa de la ecuación predictiva, es más importante concentrarse en el tamaño del error de ecuación predictiva, es más importante concentrarse en el tamaño del error de predicción predicción (error estándar de medición)(error estándar de medición) porque la magnitud de este último varía con porque la magnitud de este último varía con el tamaño de la muestra y la variabilidad de los datos.el tamaño de la muestra y la variabilidad de los datos.

REPRESENTACIÓN DEL ERROR ESTÁNDAR DE MEDICIÓN

Se debe recordar que el error estándar de medición refleja el Se debe recordar que el error estándar de medición refleja el grado de desviación con respecto a los datos del individuo grado de desviación con respecto a los datos del individuo (puntuaciones de los participantes) en torno a la línea de ajuste (puntuaciones de los participantes) en torno a la línea de ajuste óptimo y en relación con los datos de toda la muestra.óptimo y en relación con los datos de toda la muestra.

EN QUIÉNES SE PUEDE APLICAR UNA ECUACIÓN PREDICTIVA?

Las ecuaciones de predicción pueden ser Las ecuaciones de predicción pueden ser específicas para la población específicas para la población o o generalizadas. generalizadas. Las primeras están destinadas a individuos de un grupo Las primeras están destinadas a individuos de un grupo homogéneo específico, por ejemplo, las desarrolladas para el pliegue cutáneo homogéneo específico, por ejemplo, las desarrolladas para el pliegue cutáneo de niños y niñas prepúberes. (Slaughter y cols, 1988)de niños y niñas prepúberes. (Slaughter y cols, 1988)

Es probable que las ecuaciones específicas para la población sobreestimen o Es probable que las ecuaciones específicas para la población sobreestimen o subestimen en forma sistemática el componente de la aptitud física si se aplican subestimen en forma sistemática el componente de la aptitud física si se aplican en sujetos que no pertenecen a este subgrupo.en sujetos que no pertenecen a este subgrupo.

Las ecuaciones generalizadas se pueden aplicar a sujetos con características Las ecuaciones generalizadas se pueden aplicar a sujetos con características físicas muy diversas. Estas ecuaciones se desarrollan con muestras físicas muy diversas. Estas ecuaciones se desarrollan con muestras heterogéneas incluyendo variables predictivas con espectro amplio de sexo y heterogéneas incluyendo variables predictivas con espectro amplio de sexo y edad. Como ejemplo tenemos la prueba de Rockportedad. Como ejemplo tenemos la prueba de Rockport

LA ECUACIÓN PREDICTIVA SE VALIDÓ EN FORMA SOBRE OTRA MUESTRA DE LA POBLACIÓN?

Una ecuación se debe evaluar en otras muestras de la población antes de Una ecuación se debe evaluar en otras muestras de la población antes de determinar su validez o su precisión predictiva. La prueba de Rockport determinar su validez o su precisión predictiva. La prueba de Rockport evaluó originalmente a mujeres y hombres entre 20 y 69 años (Kline y evaluó originalmente a mujeres y hombres entre 20 y 69 años (Kline y cols, 1987). Posteriormente, otros investigadores validaron la ecuación en cols, 1987). Posteriormente, otros investigadores validaron la ecuación en forma cruzada en mujeres de 65 años o mayores (Fenstermaker, Plowman forma cruzada en mujeres de 65 años o mayores (Fenstermaker, Plowman y Looney, 1992).y Looney, 1992).

En general, no se deben usar ecuaciones predictivas que no se validaron En general, no se deben usar ecuaciones predictivas que no se validaron en forma cruzada en la muestra del estudio original o en otras muestras de en forma cruzada en la muestra del estudio original o en otras muestras de otros estudios.otros estudios.

EN RESUMEN…

Se debe comprobar el uso de un método aceptable para obtener las medidas de Se debe comprobar el uso de un método aceptable para obtener las medidas de referencia del componente de la aptitud física.referencia del componente de la aptitud física.

Se debe comprobar el uso de una muestra grande (n = 100-400) y entre 20 y 40 Se debe comprobar el uso de una muestra grande (n = 100-400) y entre 20 y 40 individuos por variable predictiva para desarrollar la ecuación.individuos por variable predictiva para desarrollar la ecuación.

Los tamaños de los coeficientes de correlación múltiple y de validez son superiores a Los tamaños de los coeficientes de correlación múltiple y de validez son superiores a 0,80,8

Los errores de medición para el grupo son aceptablesLos errores de medición para el grupo son aceptables

Se debe comprobar la descripción demográfica (ej: edad, sexo, etnia, estado físico) de Se debe comprobar la descripción demográfica (ej: edad, sexo, etnia, estado físico) de las muestras de validación y validación cruzadalas muestras de validación y validación cruzada