Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar...

40
Cálculos de Poder Pablo Lavado Universidad del Pacífico

Transcript of Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar...

Page 1: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Cálculos de Poder

Pablo Lavado

Universidad del Pacífico

Page 2: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué es poder estadístico?

Page 3: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué es poder estadístico?

Beta= Impacto

Page 4: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué es poder estadístico?

Beta= Impacto

Page 5: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué es poder estadístico?

Beta= Impacto

Page 6: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué es poder estadístico?

Beta= Impacto

Page 7: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Por qué calcular poder?

Tema práctico:• Ayuda a anticipar si el tamaño de la muestra será lo

suficientemente grande para detectar “efectos

esperados”.

• Administrar encuestas y tratamientos puede sermuy caro y uno tiene que adherirse a un

presupuesto.

• Necesario optimizar la muestra al presupuesto.

• Tamaño de muestra limitado por factores deimplementación.

Page 8: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Incertidumbre

Tema Estadístico

• Queremos minimizar las probabilidades de no poder

rechazar la hipótesis nula dado que es falsa.

• Cálculos de poder dependen de algunos parámetros

con valores desconocidos.

Page 9: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿De qué depende el poder muestral?

La probabilidad de rechazar la hipótesis nula dado que es

falsa depende (principalmente) de:

• Magnitud del efecto bajo la hipótesis alternativa

• Tamaño de muestra• Varianza de los resultados en la población

• Criterio de significancia

• Diseño

Page 10: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición…

La hipótesis que queremos probar es:

Page 11: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

La hipótesis que queremos probar es:

En muestras grandes se rechaza la hipótesis nula si:

Donde:

Page 12: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Pero si β>0, en muestras grandes:

Page 13: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Pero si β>0, en muestras grandes:

Por tanto, el poder muestral es:

Page 14: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Gráficamente…

Beta= Impacto

Page 15: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Restando β/SE()͘ a ambos lados:

Page 16: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Restando β/SE()͘ a ambos lados:

Page 17: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Restando β/SE()͘ a ambos lados:

Page 18: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Aplicando la función inversa de Φ(∙) a ambos lados de laecuación y utilizando el hecho de que la distribución normales simétrica y centrada en cero obtenemos:

Page 19: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Aplicando la función inversa de Φ(∙) a ambos lados de laecuación y utilizando el hecho de que la distribución normales simétrica y centrada en cero obtenemos:

Page 20: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Aplicando la función inversa de Φ(∙) a ambos lados de laecuación y utilizando el hecho de que la distribución normales simétrica y centrada en cero obtenemos:

Por tanto, para alcanzar un poder κ es necesario que:

Page 21: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Es decir, el EFECTO MINIMO DETECTABLE es tal que:

Puesto que el EFECTO MINIMO DETECTABLE esgeneralmente una diferencia de medias en el indicador deimpacto entre tratamientos y controles:

Page 22: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Resolviendo para N tenemos:

Page 23: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Formalicemos la intuición …

Resolviendo para N tenemos:

𝛽𝑀𝐼𝑁

𝜎¿De qué depende N?

http://www.pdfconverter.com/conversion/download/bcacf2c8-ce49-11e4-850c-0030489cf694

Efecto Mínimo Estandarizado

Page 24: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Ejercicio 1

Imagine que usted quiere diseñar un experimento paraestudiar el impacto de la tecnología (por ejemplo semillas dealto rendimiento) sobre la productividad agrícola.

Con asignación individual 50% a tratamiento y 50% a control ysin línea de base, estime cuantos agricultores necesita siquiere encontrar un incremento en el rendimiento porhectárea de 10% dado un rendimiento promedio de 50kilos/hectárea y una desviación estándar de 100 kilos/hectárea.

Asuma significancia de 5% y poder de 90% tal que:tα=1.65 t1-κ=1.28

Page 25: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Tamaño del Efecto

Tamaño del Es considerado.. Necesita un N

de (bajo 50% de

tratamiento, 5%

sig y 90% poder)

0.2 Modesto 859

0.5 Grande 138

0.8 MUY grande 54

Page 26: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Distribución tratamientos/controles

¿Es siempre deseable 50% de la muestra total en cada

grupo?

¿Por qué si?

Page 27: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Distribución tratamientos/controles

¿Es siempre deseable 50% de la muestra total en cada

grupo?

¿Por qué si? Minimiza la varianza

Page 28: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Distribución tratamientos/controles

¿Es siempre deseable 50% de la muestra total en cada

grupo?

¿Por qué si? Minimiza la varianza

¿Por qué no?

Page 29: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Distribución tratamientos/controles

¿Es siempre deseable 50% de la muestra total en cada

grupo?

¿Por qué si? Minimiza la varianza

¿Por qué no? Cuando el tratamiento es caro y larecolección de datos barata

Page 30: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Cómo incrementar el poder muestral?

¿Dado un N, un nivel de significacia y un nivel depoder, se puede reducir el EFECTO MINIMO

DETECTABLE?

Si, con covariables de línea de base

Page 31: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Cómo incrementar el poder muestral?

Page 32: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Cómo incrementar el poder muestral?

Es un caso particular de:

Donde R2 es la proporción de la varianza en el indicador de impacto que explicanlas covariables de línea de base.

Page 33: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Cómo incrementar el poder muestral?

¿Dado un N, un nivel de significacia y un nivel depoder, se puede reducir el EFECTO MINIMO

DETECTABLE?

Sí, con covariables de línea de base.

Sí, balanceando la distribución de covariables de líneade base entre los grupos de tratamiento y control.

Page 34: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Asignación aleatoria por conglomerados

• Hasta ahora, nos hemos enfocado en asignaciones

aleatorias a individuos.

• Pero en mucho casos es deseable y/o necesario

aleatorizar a un nivel de agregación grupal: municipio,

escuela, aula de clase, etc, tal que:• Individuos dentro de cada conglomerado reciben

el mismo tratamiento.

• ¿Puede esto afectar los cálculos de poder estadístico

de un experimento? ¿Cómo?

Page 35: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Impacto de asignación por conglomerados

• Los individuos dentro de cada conglomerado

comparten carácterísticas comunes:

• Estudiantes dentro de una misma aula de clase

comparten el mismo profesor y los mismos

compañeros.

• Individuos dentro de cada conglomerado no

representan observaciones independientes:

• Un individuo adicional no aporta el mismo poder

que en un diseño simple (a nivel individual).

Page 36: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Impacto de asignación por conglomerados

El EFECTO MÍNIMO DETECTABLE se puede escribir como:

Donde J es el número de conglomerados, n número de individuosen cada conglomerado, ρ es la correlación intra-clase.

Cuando ρ>0, J tiene (mucho) mayor impacto sobre EMD que n¿Por qué?

Page 37: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Impacto de asignación por conglomerados

La razón entre el error estándar del impacto estimado bajoasignación por conglomerados y bajo asignación individualse denomina efecto de diseño:

Cuando ρ=0, asignación por conglomerados tiene el mismopoder estadístico que la asignación individual

Page 38: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¿Qué tan malo puede ser?

Si ρ = 0.2,

En un experimento con 50 escuelas: D =√(1+(n-1) ρ)=3.3

Con 30 estudiantes por escuela, N = 1500

Efecto Mínimo Detectable estandarizado con

aleatorización individual: 0.15

Efecto Mínimo Detectable estandarizado con efecto dediseño: 0.15*3.3 = 0.50

Transiciyn de “pequeño” a “grande”

Page 39: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

Tomado de Lipsey y Hurley (2009)

Page 40: Cálculos de Poder - World Bank · Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la

¡Gracias!