TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN

¿Cómo aleatorizar?

Claudia Martínez A.Universidad de ChileAbdul Latif Jameel Poverty Action Lab

povertyactionlab.org

1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?

2. Marco lógico, indicadores y medición del impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaño muestral6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?

2. Marco lógico, indicadores y medición del impacto

3. ¿Por qué aleatorizar?4. ¿Cómo aleatorizar?5. El tamaña muestral6. Implementar una evaluación7. Análisis e inferencia

Agenda del curso

• Unidad y método de aleatorización

• Restricciones del mundo real

• Revisando de nuevo la unidad y el método

• Variaciones en análisis tratamiento‐control simple

Resumen de la exposición

• Entender cómo aleatorizar (mecánica) y decidir entre alternativas.– Conceptos clave: Unidad y método de aleatorización, estratificación

• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real

• Entender algunas variaciones en análisis tratamiento‐control simple

Objetivos de la clase

•Cómo aleatorizar, Parte I -5

Asignación aleatoria

2006

Ingresos por persona, por mes, rupias

1000

500

0Trat. Comp.

1457 1442

• Es necesario un marco muestral (lista de donde aleatorizar)

• Opciones:– Sacar del sombrero– Utilice un generador de 

números aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria

– Utilice un código del programa Stata

• ¿Qué ocurre si no hay lista existente?

•6

Mecánica de la aleatorización

Fuente: Chris Blattman

• Unidad y método de aleatorización

• Restricciones del mundo real

• Revisitar la unidad y el método

• Variaciones en un grupo de tratamiento‐control simple

Resumen de la exposición

1. Aleatorizar al nivel individual2. Aleatorizar al nivel del grupo 

“Estudio aleatorio con observaciones agrupadas”

• ¿A qué nivel se debe aleatorizar?

•8

Unidad de aleatorización

Unidad de aleatorización: consideraciones

• ¿A qué unidad apunta el programa para tratamiento?

• ¿Cuál es la unidad de análisis?

Unidad de aleatorización: ¿individual?

Unidad de aleatorización: ¿individual?

Unidad de aleatorización: ¿unidades agrupadas?

“Grupos de personas”: Estudio aleatorio en unidades agrupadas

Unidad de aleatorización: ¿clase?

Unidad de aleatorización: ¿clase?

Unidad de aleatorización: ¿escuela?

Unidad de aleatorización: ¿escuela?

1. Como se aplica el programa:• ¿De qué manera se administra la 

intervención?• ¿Cuál es el área de captación de cada 

“unidad de intervención”?• ¿Cuál es la amplitud del posible impacto?

Para Definir la Unidad de Aleatorización

2. Datos• Recuerde: ¿cuál es nuestra medición del impacto?

• ¿En qué nivel de agregación podemos obtener estos datos?

Para Definir la Unidad de Aleatorización (2)

• Tome a 1000 personas y dele el medicamento a la mitad

• ¿Podemos simplemente aplicar este enfoque a programas sociales?

…. Depende

•Cómo aleatorizar, 19

Lotería: Comience con los estudios clínicos como punto de referencia

• Elegido al azar de una selección de postulantes

• Los participantes conocen a los “ganadores” y “perdedores”

• La lotería simple es útil cuando no existe un motivo a priori para discriminar

• Se percibe como justo• Transparente• Comúnmente viable políticamente

•Cómo aleatorizar, Parte I -20

Las loterías son simples, comunes y transparentes

• Unidad y método de aleatorización• Restricciones del mundo real• Revisitar la unidad y el método• Variaciones en un grupo de tratamiento‐control simple

Resumen de la exposición

• Las restricciones de recursos son el mejor amigo de un evaluador – Muchos programas tienen recursos limitados– Muchos más receptores elegibles que recursos que permitan servir a estos

• Bastante comunes en la práctica:– Capacitación para empresarios o granjeros– Vouchers en educación– Transferencias monetarias

•Cómo aleatorizar, Parte I -22

Restricciones: recursos

• ¡Recuerde el contrafactual!• Si el grupo de control es diferente al del contrafactual, nuestros resultados pueden estar sesgados

Restricciones: contaminación

• Externalidad• Control tratado• Cumplimiento parcial o incumplimiento del tratamiento

Restricciones: contaminaciónExternalidad/control tratado

• Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud

• Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento

• Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién

Restricciones: logísticas

• Aleatorizar a nivel del niño dentro de las clases• Aleatorizar a nivel de la clase dentro de colegios• Aleatorizar al nivel de la comunidad

Restricciones: justicia, política

• El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades

Restricciones: Tamaño de la muestra

• Unidad y método de aleatorización• Restricciones del mundo real• Volviendo a revisar la unidad y el método• Variaciones en un grupo de tratamiento‐control simple

Resumen de la exposición

• Considere los diseños de lotería no estándares• Podrían aumentar las actividades de divulgación

• ¿Es esto ético?

•Cómo aleatorizar, Parte I -29

¿Qué ocurre si tiene 500 postulantes para 500 cupos?

• Suponga que hay 2000 postulantes• El filtrado de las solicitudes produce 500 candidatos “elegibles”

• Hay 500 cupos• Una lotería simple no funcionará

• ¿Cuáles son nuestras opciones?

A veces el filtrado importa

• ¿Se filtra para qué?• ¿Qué elementos son esenciales?• Los procedimientos de selección sólo pueden existir para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa

• Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar

Considere las normas de filtro o focalización

• A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles.

• Un socio podría estar dispuesto a aleatorizar en “la burbuja”.

• Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad– Justo sobre el unbral  no elegible, pero casi

• ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa?

Aleatorización en la burbuja

Aleatorización en “la burbuja” 

Dentro de la burbuja, compare el tratamiento con el control

ParticipantesNo participantes

Tratamiento

Control

• Los funcionarios del programa pueden mantener la discreción

• Ejemplo: Programa de capacitación• Ejemplo: Expansión de los créditos de consumo en Sudáfrica

Cuando el análisis importa: Lotería parcial

• Eventualmente todos reciben el programa• El enfoque natural al expandir el programa enfrenta restricciones de recursos

• ¿Qué determina que las escuelas, ramas, etc. se incluirán cada año?

Diseño escalonado: aprovecha la expansión

Diseño escalonado

Ronda 1Tratamiento: 1/3Control: 2/3

Ronda 2Tratamiento: 2/3Control: 1/3

Ronda 3Tratamiento: 3/3Control: 0 1

1

11

1

1

1

1

1

11

1

1

1

2

2

22

2

2

22

2

2

2

22

2

2

2

3

333

3

33

33

3

33

3

3

3 3

3

Ronda 1Tratamiento: 1/3Control: 2/3

Ronda 2Tratamiento: 2/3Control: 1/3

Finaliza la evaluación aleatoria

Ventajas• Eventualmente todos reciben algo• Proporciona incentivos para mantener el contacto

Preocupaciones• Puede complicar el cálculo de efectos a largo plazo

• Atención con las ventanas de escalonamiento• Expectativas cambian acciones hoy?

Diseño escalonado

• Los grupos reciben tratamiento en turnos• Ventajas• Preocupaciones

•Cómo aleatorizar, Parte I -38

Diseño por rotación

Ronda 1Tratamiento: 1/2Control: 1/2

Diseño por rotación

Ronda 2Tratamiento de la Ronda 1 Control——————————————————————————

Control de la Ronda 1 Tratamiento

Ronda 1Tratamiento: 1/2Control: 1/2

• La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior

• La cooperación del grupo de control puede ser esencial

• Considere la aleatorización entre‐grupo• Por ejemplo, programa de balsakhi• Todos los participantes obtienen algún beneficio• Preocupación: mayor probabilidad de contaminación

“¿Desea encuestarme? Entonces, trate conmigo”

• A veces es práctica o éticamente imposible aleatorizar el acceso al programa

• Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación

• Aleatorice por estímulo a recibir tratamiento

Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso?

Diseño por estímulo

Estímulo

No Estímulados

participó

no participó

Cumplimiento

No cumplimiento

compare estimulados con no estimulados

no compare participantes con no participantes

Ajuste para el no cumplimiento en la fase de análisis

Éstos se deben correlacionar

• Algo que hace que algunas personas sean más propensas a utilizar este programa que otras

• No es un “tratamiento” en sí• ¿Para quiénes estamos calculando el efecto del tratamiento?

• Piense en quiénes responden a la motivación

¿Qué es “estímulo”?

• Lotería simple • Aleatorización en la “burbuja”• Aleatorización por escalonamiento• Rotación• Diseño por estímulo

– Nota: Éstos no son mutuamente exclusivos.

Para resumir: Posibles diseños

•Cómo aleatorizar, Parte I -45

Métodos de aleatorización ‐recapitulación

Diseño Más útil cuando Ventajas Desventajas

Lotería simple Programa supersuscrito Familiar Puede que el grupo de control no coopereEstá bien que algunos que no

reciben nadaFácil de comprender

Desgaste diferencialFácil de implementarSe puede implementar en público

Escalonamiento Se amplía con el tiempo Fácil de comprender La anticipación del tratamientopuede impactar la conducta a corto plazoFinalmente, todos deben recibir

tratamiento Restricción fácil de explicarDificultad para medir el impactoa largo plazo

El control acepta dado que esperabeneficio posterior

Rotación Todos deben recibir algo en algún Más datos que en laintroducción escalonada

Difícil de medir a largo plazo punto, no hay suficientes recursosen el año para todos

Estímulo El programa debe estar abierto paratodos

Puede aleatorizar en el nivel individualincluso cuando el programa seentrega a nivel individual

Mide el impacto de quienes responden al incentivo

Cuando la tasa de participación es Baja, pero se puede impactar fácilmente con incentivos.

Necesita un incentivo lo suficientemente grande para la adquisiciónEl estímulo puede tener un efecto directo

• Unidad y método de aleatorización• Restricciones del mundo real• Revisitar la unidad y el método• Variaciones a tratamiento‐control simple

Resumen de la exposición

• A veces la pregunta central es decidir entre diferentes intervenciones posibles

• Usted puede aleatorizar estos programas• ¿Esto nos enseña acerca del beneficio de alguna intervención particular?

• ¿Existe un grupo de control? 

•Cómo aleatorizar, Parte I -47

Tratamientos múltiples

Tratamiento 1Tratamiento 2Tratamiento 3

Tratamientos múltiples

• Prueba diferentes componentes de tratamiento en diferentes combinaciones

• Prueba si los componentes sirven como sustitutos o complementos

• ¿Cuál es la combinación más económica? • Ventaja: situación gana‐gana para operaciones, pueden ser útiles para responder preguntas para ellos, ¡más allá del simple “impacto”!

Interacción de tratamiento

• A algunas escuelas se les asigna tratamiento completo– Todos los niños reciben píldoras

• A algunas escuelas se les asigna tratamiento parcial– Se designa que el 50% recibirá píldoras

• En otros experimentos: cambiar el precio que se cobra por un bien o servicio

Variando intensidad del tratamiento

• Objetivo: equilibrar su muestra cuando tiene una muestra pequeña

• ¿Qué es? – dividir la muestra en diferentes subgrupos– seleccionar el tratamiento y control de cada subgrupo

• ¿Qué ocurre si no estratifica?

•51

Estratificación

• Estratificar en variables que podrían tener un impacto importante en la variable de resultados (un poco al ojo)

• Estratificar en subgrupos que le interesan particularmente (donde pudiese creer que el impacto del programa será diferente)

• La estratificación es más importante cuando base de datos son pequeñas 

• Puede ser complejo estratificar con demasiadas variables

• Pareamiento es menos transparente mientras más se estratifica

• También puede estratificar con variables índice que resumen múltiples dimensiones •52

Cuándo estratificar

• Entender cómo aleatorizar (mecánica) y decidir entre alternativas.– Conceptos clave: Unidad y método de aleatorización, estratificación

• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real

• Entender algunas variaciones en análisis tratamiento‐control simple

Objetivos de la clase

Preguntas, Comentarios, Dudas

Claudia Martínez A. cmartineza@econ.uchile.clUniversidad de ChileAbdul Latif Jameel Poverty Action Lab

povertyactionlab.org