Utilidad de los diseños Utilidad de los diseños experimentales en la experimentales en la

investigación y investigación y evaluación educativaevaluación educativa

Santiago CuetoSantiago CuetoGRADEGRADE

“… los experimentos dan la mejor justificación para conclusiones causales” (Cook, 2002)

Sin embargo, los experimentos son utilizados con poca frecuencia.

DISEÑOS EXPERIMENTALES

R O1 X1 O2

R O1 X2 O2

Asignación aleatoria a los grupos, variable independiente(s), variable dependiente(s). Resultado esperado:

Programa de Lectura

0

50

100

Pre Post

Re

nd

imie

nto Nuevo

Tradicional

DISEÑOS EXPERIMENTALES

• En rigor no es necesario contar con pretest:

R X1 O2

R X2 O2

Resultado Esperado:

Programa de Lectura

020406080100

Tradicional Nuevo

Re

nd

imie

nto

Tradicional

Nuevo

DISEÑOS EXPERIMENTALES

• El sujeto como su propio control:

R O1 X1 O2 O3 X2 O4 (Grupo 1)

R O1 X2 O2 O3 X1 O4 (Grupo 2)

Resultado esperado:

0

20

40

60

80

100

O1 O2 O3 O4

Re

nd

imie

nto

Grupo 2

Grupo 1

DISEÑOS EXPERIMENTALES FACTORIALES

Programa de Lectura

0

20

40

60

80

100

Tradicional Nuevo

Ren

dim

ien

to

Materiales síMateriales no

(no hay interacción)

•Dos variables independientes: Se buscan efectos principales (de variables independientes), Se buscan interacciones entre variables independientes.

Ejemplo:

DISEÑOS EXPERIMENTALES FACTORIALES

Programa de Lectura

0

20

40

60

80

100

Tradicional Nuevo

Ren

dim

ien

to

Materiales sí

Materiales no

(sí hay interacción)

• Otros diseños aceptables en algunas condiciones: Pretest y posttest con un solo grupo:

O1 X1 O2

Ejemplo de uso inaceptable de este diseño:

0

20

40

60

80

100

Pre (Abril) (n=700) Post (Noviembre)(n=500)

VI: Intervención nutricional en escuela

Ren

dim

ien

to

DISEÑOS INACEPTABLES

En general los que interpretan una asociación como una relación de causalidad, por ejemplo:

• “No te jales las canas que te salen más.”

• “Voy a matricular a mi hijo en clases de básket para que crezca.”

“Las escuelas privadas son de mejor calidad que las escuelas públicas”.

Resultados de la Evaluación Nacional 1998:

PROBLEMAS CON LOS DISEÑOS EXPERIMENTALES:

• El problema de las unidades de análisis (estudiantes, salones, centros educativos, comunidades). En algunos casos conviene aparear y luego asignar aleatoriamente.

• Falta de verificación de marcha del programa.

• Ética.

• Problemas sociales o políticos.

• Modelos teóricos complejos.

• Interacciones entre tratamiento y características de población.

• Duración de efectos observados.

• No es posible el doble ciego (efecto Hawthane).

ALTERNATIVAS PARA ACERCARSE A EXPLICACIONES CAUSALES:

a) Diseños cuasi-experimentales: O1 X1 O2

O1 X2 O2

Cuando sea posible, repetir las mediciones pre y post tratamiento:

O1 O2 O3 X1 O4 O5 O6

O1 O2 O3 X2 O4 O5 O6

0102030405060708090

O1 O2 O3 O4 O5 O6

Re

nd

imie

nto

Grupo detratamiento

Grupo decontraste

x

ALTERNATIVAS PARA ACERCARSE A EXPLICACIONES CAUSALES:

0102030405060708090

O1 O2 O3 O4 O5 O6

Re

nd

imie

nto

Grupo detratamiento

Grupo decontraste

x

ALTERNATIVAS PARA ACERCARSE A EXPLICACIONES CAUSALES:

b) Estudios de casos.

c) Estudios longitudinales.

DISEÑOS INACEPTABLES

X1 O1

X2 O1

• Excepto que es posiblemente el más comúnmente utilizado; se controla por variables extrañas a través de diversas técnicas estadísticas.

• Opiniones de los participantes en el programa y evaluación de expertos NO constituye base empírica sólida para hablar de causalidad.

“Las investigaciones descriptivas y correlacionales son esenciales en la construcción de teorías y en la sugerencia de variables que se podrían incluir en experimentos.... Sin embargo, los experimentos son el diseño a elegir en estudios que buscan llegar a conclusiones causales, de manera particular para evaluadores de innovaciones educativas”(Slavin, 2002)