Ciudad de Guatemala, 2013

1

¿Cómo a leator izar?

X i m e n a P e ñ a xpena@uniandes.edu.co

@ximena_pena

Universidad de los Andes

Sesión 4

2

H o r a r i o Lunes 10 Martes 11 Miércoles 12 Jueves 13 Viernes 14

Introducción Proyecto en Grupo Ejercicio 1 Clase 7. Aspectos

Operativos.

Presentaciones

Finales

Clase 1. ¿Qué es

una evaluación?

Caso de Estudio 2 Clase 5. Muestreo y

tamaño de muestra..

Proyecto en Grupo Presentaciones

Finales

Caso de Estudio 1 Clase 3. ¿Por qué

aleatorizar?

Ejercicio 2 Clase 8. Evaluación

aleatoria de principio.

a fin.

Ceremonia de

Clausura

Clase 2. Resultados,

Indicadores y

Midiendo Impacto.

Clase 4.

¿Cómo

aleatorizar?

Caso de Estudio 3 Proyecto en Grupo Almuerzo cierre

Proyecto en Grupo Proyecto en Grupo Clase 6. Amenazas y

Análisis.

Proyecto en Grupo

Cóctel

Clases (Profesores)

Actividades en Grupo (Todos)

Trabajo en Grupo (Prof. Asistentes)

3

Í n d i c e

1. Unidad y método de aleatorización

2. Restricciones prácticas

3. Repensando unidades y métodos

4. Variaciones de la aleatorización simple

4

1 . U N I D A D Y M É TO D O

D E A L E ATO R I Z A C I Ó N

5

• Existen dos posibilidades:

– Aleatorizar al nivel individual.

– Aleatorizar al nivel de clúster.

• ¿A qué nivel aleatorizar?

Unidad de aleatorización

6

• Algunas consideraciones:

– ¿Cuál es la unidad de tratamiento? ¿Sobre

cuál unidad quiere tener efectos el programa?

• Por ejemplo: ¿Intervenimos escuelas o niños?

– ¿Cuál es la unidad de análisis?

• Por ejemplo: ¿Vamos a investigar el impacto de un

programa sobre escuelas o niños?

• ¿A qué nivel aleatorizar?

Unidad de aleatorización

7

Unidad de aleatorización: Individual

Unidad de aleatorización: Individual

Unidad de aleatorización: Clúster

Unidad de aleatorización: Clase

Unidad de aleatorización: Clase

Unidad de aleatorización: Escuela

Unidad de aleatorización: Escuela

¿ C u a l e s s o n a l g u n a s c r í t i c a s

q u e h a e s c u c h a d o e n c o n t r a

d e l a e v a l u a c i ó n a l e a t o r i a ?

15

1. 2. 3.

33% 33%33%1. No son justas.

2. Son muy

complicadas.

3. Tratan a las

personas como

ratas.

2 . R E S T R I C C I O N E S

P R Á C T I C A S

16

R e s t r i c c i o n e s : R e c u r s o s

• La mayoría de programas sociales operan

en un contexto de recursos limitados.

• Muchas veces esto resulta en exceso de

demanda: más personas son elegibles

para recibir el programa que las que

podemos atender.

• Esto nos presenta con una oportunidad

para aleatorizar el programa.

17

R e s t r i c c i o n e s : E x t e r n a l i d a d e s

• Recordemos por qué es importante la aleatorización: produce grupos comparables…

• Si nuestro grupo de tratamiento es distinto de nuestro grupo de control podemos obtener resultados sesgados.

• Por ejemplo, si los efectos de nuestro grupo de tratamiento generan un impacto en nuestro grupo de control, éste último puede dejar de ser un grupo de comparación válido.

18

R e s t r i c c i o n e s : T i m i n g

• Muchos programas quieren partir con la entrega de servicios pronto.¿ Es lógico o viable aleatorizar cuando estamos cortos de tiempo?

• En la mayoría de los casos tiene sentido pensar sobre el diseño de una evaluación a la vez que se piensa sobre un proyecto.

• Gran parte del trabajo sucede antes de la aleatorización, por lo que contar con tiempo es crítico.

19

R e s t r i c c i o n e s : J u s t i c i a

• ¿Es justo aleatorizar?

– Las loterías son simples, comunes y

transparentes.

– Las loterías se pueden hacer públicas, de tal

manera que los participantes puedan

identificar los ganadores.

– La lotería simple es útil y es percibida como

justa.

20

R e s t r i c c i o n e s : Ta m a ñ o

M u e s t r a l

• Algunos programas son pequeños y solo

pueden atender a un grupo reducido de

unidades.

• Esto puede ser un problema para medir

impacto. Hablaremos sobre cálculos de

poder y tamaño muestral mañana.

21

• Si esperamos que el efecto total se refleje en unidades

grandes, deberiamos aleatorizar a este nivel de

unidades grandes. – Ejemplo: un programa de apoyo a proveedores le ayuda a varias

empresas de una localidad, por lo que habría que aleatorizar

localidades .

– De esta forma no solo evitamos el problema de contaminación,

sino que lo estudiamos en sí.

• A veces por razones operativas o políticas nos vemos

forzados a aleatorizar a niveles mayores. – Ejemplo: si en un programa de crédito tratan a algunas personas

de forma diferente algunos se podrían molestar.

22

R e s t r i c c i o n e s : A l g u n o s

e j e m p l o s

S i e m p r e e s m e j o r a l e a t o r i z a r

a n i v e l d e c l ú s t e r .

23

50%50%

1. 2.

1. Falso

2. Verdadero

3 . R E P E N S A N D O

U N I D A D E S Y M É TO D O S

24

E l e g i b i l i d a d

• Los criterios elegibilidad para participar en

un programa son claves e inciden en el

método que elegimos para evaluar

impacto.

• Considera:

– Tenemos 500 cupos y 500 aplicantes. ¿Cómo

aleatorizamos? ¿Es ético evaluar de la

manera que hemos expuesto?

25

E l e g i b i l i d a d

• Los criterios elegibilidad para participar en

un programa son claves e inciden en el

método que elegimos para evaluar

impacto.

• Considera:

– Tenemos 500 cupos y 500 aplicantes. ¿Cómo

aleatorizamos? ¿Es ético evaluar de la

manera que hemos expuesto?

26

E l e g i b i l i d a d

• Otro caso:

– Tenemos 2000 aplicantes y 500 cupos. Pero

al filtrar los candidatos, nos quedan 500

“elegibles”. ¿Cómo aleatorizamos? ¿Es ético

evaluar de la manera que hemos expuesto?

27

E l e g i b i l i d a d

• En todos estos casos, es importante

entender los criterios de selección.

Algunas preguntas útiles para

entenderlas:

– ¿Por qué estamos aplicando estos criterios?

¿Qué buscamos identificar al aplicarlos?

– ¿Cuáles elementos son esenciales para el

buen funcionamiento del programa?

28

M u e s t r e o v e r s u s a s i g n a c i ó n

• Primero, hablemos sobre la diferencia

entre asignación aleatorio y muestra

aleatoria.

29

M u e s t r e o a l e a t o r i o v s .

A s i g n a c i ó n a l e a t o r i a

Muestra aleatoria

es para

representar a la

población

Asignar

aleatoriamente a

tratamiento

y control elimina

sesgo selección

M u e s t r e o a l e a t o r i o v s .

A s i g n a c i ó n a l e a t o r i a

E l e g i b i l i d a d

• Una evaluación aleatoria no necesita una muestra aleatoria. Un programa puede seleccionar a sus beneficiarios utilizando ciertos criterios de elegibilidad.

• Puede ser el caso que los criterios se apliquen sólo para limitar acceso al programa…

• En caso de que los criterios aparenten ser arbitrarios:

– Aleatorizar puede filtrar (de una manera más justa) y nos ayuda a evaluar el impacto del programa.

32

• No es necesario limitarse a programas

nacientes

– Podemos trabajar con programas ya existentes.

– Sobre innovaciones, expansiones, etc.

• Diferentes opciones:

– Lotería básica

– Diseño aleatorio por etapas.

– Asignación aleatoria en la “burbuja”.

– Diseño de estímulos.

33

A l t e r n a t i v a s a l a l e a t o r i z a r

Diseño Los más

útiles

cuando…

Ventajas Desventajas

Lotería

Básica

•La suscripción

al programa es

sobrepasada.

•Familiares.

•Fáciles de entender.

•Fáciles de

implementar.

•Se pueden

implementar en

público.

•Puede que el grupo

de control no coopere.

•Desgaste diferencial.

M é t o d o s d e a s i g n a c i ó n

a l e a t o r i a - r e c a p i t u l a c i ó n

• Es útil cuando restricciones administrativa o financieras impiden que el programa atienda a la población elegible desde el inicio: – Nadie está siendo excluido totalmente: A la larga, todos

obtienen algo.

– Progresa/Oportunidades (1997)

• Algunas inquietudes: – Ventana de oportunidad puede ser más corta que el tiempo

necesario para que los efectos de un programa se materialicen (¿microcrédito?)

– Puede complicar la estimación de los efectos a largo plazo

– Individuos en grupos rezagados pueden alterar su comportamiento si saben que recibirán el tratamiento luego (y si la ventana es muy corta)

D i s e ñ o s p o r e t a p a s

Diseño por etapas

Ronda 3 Tratamiento: 3/3

Control: 0 1

1

1 1

1

1

1

1

1

1 1

1

1

1

2

2

2 2

2

2

2 2

2

2

2

2 2

2

2

2

3

3 3 3

3

3

3

3 3

3

3 3

3

3

3 3

3

Ronda 1 Tratamiento: 1/3

Control: 2/3

Ronda 2 Tratamiento: 2/3

Control: 1/3

La evaluación

aleatoria finaliza

Diseño Los más útiles

cuando…

Ventajas Desventajas

Diseño Por

Etapas

•Se expanden en el

tiempo.

•A la larga, todos

deben recibir

tratamiento.

•Fáciles de

entender.

•La restricción es

fácil de explicar.

•El grupo de control

cumple, porque ellos

esperan

beneficiarse más

tarde.

•La anticipación del

tratamiento puede afectar

la conducta a corto plazo.

•Es difícil medir el

impacto a largo plazo.

M é t o d o s d e a s i g n a c i ó n

a l e a t o r i a - r e c a p i t u l a c i ó n

• En ocasiones, un socio puede no estar dispuesto a

aleatorizar entre personas elegibles - microfinanzas

– El socio podría estar dispuesto a aleatorizar en “la burbuja”.

– Las personas “en la burbuja” están en la línea limítrofe en

términos de elegibilidad.

– Justo por encima del umbral no elegible, pero casi.

• Karlan and Zinman (2007)

– Aleatorizan la asignación de crédito entre las solicitudes

“marginales” de un banco en Sudáfrica, establecidas por un

sistema de “credit scoring”.

• ¿Qué efecto del tratamiento medimos nosotros? ¿Qué

significa esto para la validez externa?

A l e a t o r i z a c i ó n e n “ l a

b u r b u j a ”

Asignación aleatoria en “la burbuja”

Dentro de la

burbuja,

compare el

tratamiento

con el control

Participantes No participantes

Tratamiento

Control

Diseño Son más

útiles

cuando…

Ventajas Desventajas

Burbuja

•Organización

no quiere

aleatorizar

dentro de los

elegibles.

•Hay personas

“en la burbuja”,

justo en el

punto limítrofe

en términos de

elegibilidad.

•Se seleccionan

a personas que

podrían necesitar

el programa,

pero que por

cualquier razón

no “entran”.

•Mide el impacto de

sobre aquellos que

están en la burbuja.

•El estímulo mismo

puede tener un efecto

directo.

M é t o d o s d e a s i g n a c i ó n

a l e a t o r i a - r e c a p i t u l a c i ó n

• En ocasiones, es práctica o éticamente imposible asignar el acceso al programa en forma aleatoria

– Pero la mayoría de los programas tiene una aceptación inferior al 100%

– En ese caso, puede asignarse aleatoriamente el estímulo para recibir tratamiento

• Ejemplo: León (2012)

– Votación en Perú es obligatoria y la ausencia supone una multa

– En el 2006, sin embargo, una ley redujo estas multas, aunque pocos sabían al respecto, especialmente en zonas más pobres

– Se asignó aleatoriamente los barrios de Lima en los cuales se proveía información acerca de la reducción de la multa

– elasticidad voto/costo = -0.21, especialmente entre menos interesados e informados políticamente

D i s e ñ o d e e s t i m u l o s

Diseño de estímulos

Estimular

No estimular

participado

no participó

Cumplió

No cumple

compare los

estimulados con los

no estimulados

no compare

participantes con no

participantes

ajustar por incumplimiento en

la fase de análisis

Estos deben ser

correlacionados

Diseño Son más

útiles

cuando…

Ventajas Desventajas

Estímulo

•El programa

debe estar

abierto a todos

los recién

ingresados.

•Cuando la

aceptación es

baja, pero se

puede mejorar

fácilmente con

un estímulo.

•Se puede

asignar en forma

aleatoria a nivel

individual, aun

cuando el

programa no sea

administrado a

ese nivel.

•Mide el impacto de

aquellos que

responden al

estímulo.

•Necesita un aliciente

suficientemente

grande para mejorar

la aceptación.

•El estímulo mismo

puede tener un efecto

directo.

M é t o d o s d e a s i g n a c i ó n

a l e a t o r i a - r e c a p i t u l a c i ó n

4 . VA R I A C I O N E S D E L A

A L E AT O R I Z A C I Ó N S I M P L E

44

Tr a t a m i e n t o M ú l t i p l e s

• A veces la pregunta central es decidir

entre diferentes intervenciones posibles.

• Usted puede aleatorizar estos programas.

• ¿Esto nos enseña acerca del beneficio de

alguna intervención particular?

• ¿Existe un grupo de control?

Tratamiento 1

Tratamiento 2

Tratamiento 3

Tratamientos múltiples

I n t e r a c c i ó n d e t r a t a m i e n t o

• Prueba diferentes componentes de tratamiento

en diferentes combinaciones.

• Prueba si los componentes sirven como

sustitutos o complementos.

• ¿Cuál es la combinación más económica?

• Ventaja: situación gana-gana para operaciones,

pueden ser útiles para responder preguntas

para ellos, ¡más allá del simple “impacto”!

I n t e n s i d a d d e t r a t a m i e n t o

• A algunas escuelas se les asigna

tratamiento completo: – Todos los niños reciben píldoras.

• A algunas escuelas se les asigna

tratamiento parcial: – Se designa que el 50% recibirá píldoras.

• En otros experimentos: cambiar el precio

que se cobra por un bien o servicio.

¿ P e r o c ó m o a l e a t o r i z a r e n l a

p r á c t i c a ?

• Lotería desde una

canasta.

• Stata.

• Les enseñaremos

cómo mañana…

Fuente: Chris Blattman

A

GRACIAS

X i m e n a P e ñ a

xpena@uniandes.edu.co

@ximena_pena

Universidad de los Andes

50

Sesión 4