PRACTICAS DE TAMAÑO DE EFECTO Y POTENCIA 1.- Introducción ................................................................................................................... 2 2.- Comparación de una media observada y otra teórica .................................................... 2 3.- Comparación de dos medias observadas en grupos independientes .............................. 5 4. - Comparación de dos medias observadas en grupos relacionados ................................ 8 5.- Análisis de la varianza para grupos independientes .................................................... 11

Carlos Camacho Universidad de Sevilla

2

1.- Introducción Este tema es complementario del anterior realizado sobre tamaño de efecto, donde las cuestiones se planteaban desde una perspectiva teórica. A efectos de simplicidad planteamos ahora la resolución prácticas de los tamaños de efectos más comunes. Los cálculos sencillo los haremos a mano y los más complejos mediante G*Power. También algunas aplicaciones online que resuelven algunos cálculos, pero no muchos. 2.- Comparación de una media observada y otra teórica Para el caso del tamaño de efectos de una media observada y otra teórica, la fórmula utilizada es:

𝑑 =𝑋� − 𝜇𝜎

En el denominado se coloca la desviación tipo poblacional, si se conoce, y en caso contrario, la de la muestra, como estimadora de la poblacional. Supongamos el caso ya expuesto anteriormente. Tengamos la metodología tradicional en la enseñanza de las matemáticas que proporciona, según el test X, una media de 30 puntos y una desviación tipo de 5.5 en la población de estudiantes de 4º curso de primaria. Y tengamos igualmente una muestra de 250 estudiantes a los que aplicamos una metodología nueva en el aprendizaje de las matemáticas. Aquí la media conseguida es de 31 puntos. Nos preguntamos por la efectividad de este nuevo método. En este caso, el tamaño de efecto será:

182.05.53031

=−

=−

=σµXd

De acuerdo con Cohen: Por tanto consideraremos que el tamaño de efecto es pequeño. Si recurrimos al G*Power:

grandeEfectodmedioEfectodpequeñoEfectod

⇒=⇒=⇒=

8.05.02.0

3

Completamos el recuadro correspondiente. Hacemos clic en y nos proporciona el tamaño de efecto:

Además, si posicionamos el cursor sobre el valor del tamaño de efecto, nos indica los valores mínimo, medio y grande.

A continuación, clic en , y el resultado:

4

La potencia presenta un valor de 0.89, mayor que la propuesta por Cohen, de 0.8, lo que no nos debe llevar a pensar que la cosa ha ido bien porque la potencia ha sido alta. Hemos de conseguir las dos cosas, que la diferencia de medias sea sustancial (efecto suficiente) y que además la probabilidad de aceptar la Hipótesis alternativa sea alta (potencia). ¿Cómo han de hacerse las cosas? Pues en realidad lo aconsejable es preparar las cosas con antelación y no lanzarse a la aventura de que cuanto más grande mejor, y aquí nos referimos a las muestras. Hemos de planificar nuestra investigación estableciendo a priori el tamaño mínimo de efecto que estamos dispuestos a admitir, y a continuación seleccionar la muestra que sea suficiente para ese tamaño de efecto. Ni más ni menos, porque con menos nos quedamos cortos de potencia y no podemos confirmar nuestra Hipótesis alternativa, y con más porque estamos desperdiciando esfuerzo, tiempo y dinero, y no vamos a ninguna parte, excepto hacer significativo lo insignificante. Antes de realizar nuestra investigación hemos de decidir lo que queremos y cómo. Lo primero, qué tamaño de efecto deseamos, y a continuación, ya que nos gustaría rechazar la Hipótesis nula, pues conseguir un valor de 𝛼 lo más pequeño posible y como también deseamos confirmar la Hipótesis alternativa, pues lograr un valor 1 − 𝛽 lo más grande posible, y así minimizamos lo que no queremos y maximizamos lo que deseamos. Vamos entonces a nuestro nuevo método de enseñanza de las matemáticas y decidamos que no queremos un tamaño de efecto menor de 0.5, que nuestro riesgo 𝛼 no va ser menor de 0.05 y que

5

nuestra potencia 1 − 𝛽 la queremos como mínima de 0.9. Decididas así las cosas, elegimos la opción a priori del G*Power:

Estableciendo estas condiciones, con una muestra de 36 sujetos es suficiente. No hacen falta 250 individuos. 3.- Comparación de dos medias observadas en grupos independientes Tengamos los datos en los que estudiábamos la relación entre el número de horas semanales dedicadas al ejercicio físico y el sexo en una muestra de 14 sujetos adolescentes. Tengamos los siguientes descriptivos:

Calculemos el tamaño de efecto y la potencia asociada. De acuerdo con Cohen tomaremos como tamaño de efecto la distancia entre las dos medias medida en desviaciones típicas (su distancia estandarizada):

6

𝑑 =𝑋�1 − 𝑋�2

𝑆

Donde el valor S es la media de las desviaciones típica de las dos muestras:

𝑆 = �(𝑛1 − 1)𝑆1

2 + (𝑛2 − 1)𝑆2 2

𝑛1 + 𝑛2

Para el caso que nos concierne:

𝑆 = �(𝑛1 − 1)𝑆1

2 + (𝑛2 − 1)𝑆2 2

𝑛1 + 𝑛2= �7 ∗ 3,090892 + 5 ∗ 3,188522

14= 2.9

Por tanto:

𝑑 =𝑋�1 − 𝑋�2

𝑆=

12.125 − 7.83332.9

= 1.479 Según Cohen, un efecto pequeño situaría d en torno a 0.2, en torno a 0.5 para un tamaño mediano y 0.8 o superior para un efecto grande. En este caso, como 1.479 > 0.8 consideramos el efecto grande. Si recurrimos a G*Power:

7

Aunque el tamaño de efecto es grande, no lo es la potencia, que está por debajo del valor de 0.8 propuesto por Cohen, y que hace referencia a la probabilidad de que se cumpla la Hipótesis alternativa, o lo que es lo mismo, que a nivel poblacional se contemple la diferencia de medias obtenida. Se observa que hemos tenido que darle la desviación ponderada, por lo que en relación al tamaño de efecto poco hace este programa, aunque hay que decir que sí hace otros muchos cálculos. Hemos colocado el valor que hicimos a mano, pero tenemos otras alternativas más sencillas para calcular el tamaño de efecto:

𝑑 = 𝑡��𝑛1 + 𝑛2𝑛1𝑛2

� �𝑛1 + 𝑛2

𝑛1 + 𝑛2 − 2�

Para ello, hemos de calcular primeramente el valor de la t de Student:

Hacemos cálculos:

𝑑 = 2.537��8 + 68 ∗ 6

� �8 + 6

8 + 6 − 2� = 1.4799

En Internet lo hacen por nosotros en la siguiente dirección:

8

4.- Comparación de dos medias observadas en grupos relacionados

En este caso, lo más sencillo es calcular la variable diferencia y aplicar el tamaño de efecto de la prueba de comparación de una media observada y otra teórica:

𝑑 =𝑋� − 𝜇𝜎

Por ejemplo, vayamos a la sexta pregunta del trabajo 2. Como se sabe, se preguntaba si podía afirmarse que los sujetos respondían igual ante estímulos visuales que auditivos, y que se hiciera con la diferencia entre ambas puntuaciones. La salida del SPSS, después de calcular la diferencia entre tiempo de reacción visual y auditivo era la siguiente:

9

En este caso:

𝑑 =𝑋� − 𝜇𝜎

=2.583332.10878

= 1.225

Si lo hacemos con G*Power:

Muy buen tamaño de efecto y muy buena potencia.

Pero también podemos hacerlo como se plantea en este trabajo 2, pero en la segunda pregunta. Como se recuerda, la salida del ordenador era:

10

En este caso trabajamos con los datos proporcionados por la salida anterior:

11

5.- Análisis de la varianza para grupos independientes

Vayamos al ejemplo de los tres grupos de estudiantes de matemáticas a los que habíamos aplicado tres métodos de enseñanza distintos: A, B y C:

A B C _____________

6 5 7 7 6 6 6 5 6 5 5 7 4 4 8 5 5 8 7 5 7 5 6 6

_____________

Analizando los datos en SPSS obteníamos la siguiente tabla del ANOVA:

Aquí hay dos procedimientos para calcular el tamaño de efecto. Uno intuitivo, que ya per se, nos indica la cuantía de lo que está ocurriendo, y es la proporción de variación explicada por el modelo, que se expresa como 𝑒𝑡𝑒2 y que ya se verá que equivale a la 𝑅2 de los modelos de regresión. Este valor es:

𝑒𝑡𝑒2 =𝑆.𝐶. 𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑑𝑒𝑆.𝐶. 𝑡𝑡𝑡𝑒𝑒

=∑�𝑋�𝑗 − 𝑋�𝑡𝑡𝑡𝑡𝑡�

2

∑�𝑋𝑖𝑗 − 𝑋�𝑡𝑡𝑡𝑡𝑡�2 =

1328.625

= 0.4541

Ya sabemos que el modelo explica un 45.41% de la realidad. Este valor es ya el tamaño de efecto, y tan sólo tendremos que compararlo con los valores de referencia. En la siguiente dirección lo tenemos (donde pone “Eta Cuadrado”):

12

donde 0.01 es un efecto bajo, 0.06 es un efecto medio y 0.14 es un efecto alto. Como en nuestro caso 0.4541 > 0.25, concluimos que es un efecto alto.

El otro indicador es el valor f, que deriva del anterior, y es el establecido por Cohen, y cuyo cálculo se refleja en la siguiente tabla:

Aquí:

𝑓 = � 𝑒𝑡𝑒2 1 − 𝑒𝑡𝑒2

= � 0.4541 1 − 0.4541

= 0.9121

Para establecer su cuantía vamos de nuevo a la tabla anterior, y de acuerdo con Cohen, un valor de 0.1 para un tamaño pequeño, un valor de 0.25 para un tamaño medio y un valor de 0.40 para un tamaño grande. El valor obtenido es superior a 0.40, luego efecto grande. Mediante G*Power podemos hacerlo de varias maneras. En una de ellas hemos de indicarle las medias y tamaños de las muestras y también la desviación tipo ponderada de los 3 grupos. Como Cohen trabaja a nivel descriptivo, no hay en el denominador grados de libertad sino el total de los sujetos. Por tanto:

13

𝜎 = �𝑆.𝐶. 𝐼𝑛𝑡𝐼𝑒𝑁

= �15.62524

= 0.8069

También proporcionando el valor de 𝑒𝑡𝑒2:

14

También proporcionando las varianzas inter e intragrupo:

15

En este caso, como trabajamos, de acuerdo con Cohen, con estadísticos descriptivos. Las varianzas respectivas serán:

𝑆𝑖𝑖𝑡𝑖𝑖2 =𝑆.𝐶. 𝐼𝑛𝑡𝑒𝐼

𝑁=

1324

= 0.5417

𝑆𝑖𝑖𝑡𝑖𝑡2 =𝑆.𝐶. 𝐼𝑛𝑡𝐼𝑒

𝑁=

15.62524

= 0.6510