EVALUACIONES DE IMPACTO EN LA PRÁCTICAEjemplos en el sector de agua y saneamiento

Germán SturzeneggerDivisión de Agua y SaneamientoBanco Interamericano de Desarrollo

EL EVALUADOR VS. EL POLÍTICO

PREGUNTAS EVALUADOR POLÍTICO

¿QUÉ MEDIMOS?Lo que aporte mejores insumos

para el diseño de políticas El impacto en salud

¿CUÁNTO TARDA LA EVALUACIÓN?

Depende de los resultados que quieras medir

Menos de lo que dure mi mandato

¿QUÉ TIPO DE DISEÑO USAMOS?

El metodológicamente + sólido El que me dé mejor

¿CUANTO CUESTA?Depende del diseño y lo que

quieras medirNo importa. Lo pagas tú

no?

DEFINIR QUÉ SE QUIERE EVALUAR (teoría del cambio)

Outcomes de interés

Tipo de intervención: no es sólo evaluar ladrillos

DEFINIR CÓMO EVALUARLO:

Método: experimental o cuasi-experimental (viable log/fin/etic/pol)

Grupo de tratamiento y control

Tipo de datos: primarios / secundarios (administrativos)

DEFINIR QUÉ NECESITAMOS PARA EVALUAR

¿QUÉ DEFINICIONES HACEN A TODA EVALUACIÓN?

EQUIPO: FINANCIADOR + GOBIERNO + EXTERNO

DISEÑO: QUÉ – CÓMO – CUÁNDO?

INSTRUMENTOS

RECURSOS: CUÁNTO CUESTA EVALUAR?

ESTRATEGIA DE SEGUIMIENTO (EVITAR ATTRITION)

EVALUACIÓN DE PROCESOS: el efecto depende de la calidad de la ejecución

ESTRATEGIA DE DISEMINACIÓN/RETROALIMENTACIÓN

¿QUÉ NECESITAMOS PARA EVALUAR?

NO EVALUAR POR EL PAPER ACADÉMICO (retroalimentación)

BUSCAR OPORTUNIDADES DE POLÍTICA / PRIORIZAR

SUPERAR PRECONCEPTOS

Éticos: aleatorización (limitación presupuestaria)

No aceptación / spillovers (se pueden controlar desde el diseño)

TRANSPARENTAR IMPLICANCIAS OPERATIVAS

Conoce tus reglas de operación

INSERTAR EL MARCO DE EVALUACIÓN DESDE EL DISEÑO

¿QUÉ CONSIDERACIONES HACEN A TODA EVALUACIÓN?

El efecto del hardware (obra)

Salud – Uso del Tiempo – Ingresos – Bienestar

Cobertura efectiva

El efecto del software (informac., capacitac., educac., incentivos)

Salud – Uso del Tiempo – Ingresos – Bienestar

Awarness y/o cambio de comportamiento

Cobertura efectiva

Conectividad a redes

Modelos de gestión (cent./desc. – particip./no particip. – púb./priv.)

EFECTO DIRECTO VS. INDIRECTO (SPILLOVERS)

¿QUÉ PODEMOS EVALUAR EN EL SECTOR?

EN EJECUCIÓN

PARAGUAY (PR-L1022) → Rural – Experimental

BOLIVIA (BO-L1065) → Rural – Experimental

BOLIVIA (BO-L1034) → Periurbana – Experimental + Cuasi

EN DISEÑO

HAITÍ → Rural – Experimental

AGENDA DE EVALUACIÓN

BOLIVIA: PROCESO DE ALEATORIZACIÓN PÚBLICO

400 comunidades - 4 años de ejecución (obras)

PARAGUAY: CRONOGRAMA PROYECTO & EVALUACIÓN

EVALUAC

AÑO 1 AÑO 2 AÑO 3 AÑO 4

CONSTRUCCIÓN 100 COMUNIDADES

AÑO 1

PROYECTO

SELECCIÓN ALEATORIA DE 100

COMUNIDADESAÑO S 2 (T) Y 4 (C)

LEVANTAM. LINEA DE BASE

COMUNIDADES AÑOS 2 (100) Y

4 (100)

CONSTRUCCIÓN 100 COMUNIDADES

AÑO 2

SELECCIÓN ALEATORIA DE 200 COMUNIDADES (2-4) Y SELECCIÓN NO ALEATORIA DE 200

COMUNIDADES(1-3)

CONSTRUCCIÓN 100 COMUNIDADES

AÑO 3

CONSTRUCCIÓN 100 COMUNIDADES

AÑO 4

LEVANTAM. DE ENCUESTA DE

SEGUIMIENTO EN COMUNIDADES AÑOS 2

(100) Y 4 (100)

DESAFÍOS → “blindar” el grupo de control (100 comunidades año 4)

→ ejecución paralela del treatment (paquetes de obra)

AÑO 0MAPEO DE DEMANDA

(400 COMUN.)

SANTA CRUZ: PLAN 3000

FRONTERA COMPARABLE

SANTA CRUZ: 20.600 hogares

SANTA CRUZ: PLAN 3000

Objetivo: impacto de diferentes estrategias de saneamiento en nivel

de cobertura, uso de las soluciones de saneamiento y salud

Metodología: Experimental

Randomized phased implementation (450 comunidades)

150 T1: Agua + Saneamiento (Promoción + Subsidio Parcial) + Higiene

150 T2: Agua + Saneamiento (Promoción ) + Higiene

150 T3: Agua + Higiene

HAITI: MARCO DE EVALUACIÓN

HAITÍ: DISEÑO METODOLÓGICO

T2

T3

T1

T2

T3

T1

T2

T3

T1

T2

T3

n=25

n=25

n=25

n=50

n=50

n=50

n=25

n=25

n=50

n=50

n=50

n=25

Baseline Year 1 Year 2 Year 3 Year 4

Pure Control

Pure Control

Pure Control

Pure Control

Pure Control Pure Control

BASELINE FOLLOW UP FOLLOW UP FOLLOW UP ENDLINE

T1