Medición de Impacto en proyectos FOMIN sobre Microfranquicias

2.

“Accountability”

Donantes (públicos y privados) exigen evidencia de los resultados de las intervenciones que se han financiado con sus recursos

Cambio de cultura: pasar del conteo (cuánto dinero gastado, cuántas aulas construidas, cuántos textos distribuidos) a la medición de los resultados esperados

Valor de aprendizaje, ya que los hallazgos sirven para tomar decisiones sobre:

Replicación de programas Mejorar el diseño de nuevos programas Compartir hallazgos con actores clave Brecha de conocimiento del concepto de la microfranquicia

Por qué medimos el impacto?

3.

Definición: La evaluación de impacto mide la relación causa-efecto entre una intervención y un resultado

Aspectos centrales:

Causalidad: Relación causa-efecto

Atribución: Aislar el efecto del programa

Evaluación de Impacto

4.

Qué ha pasado en comparación con lo que habría ocurrido si la intervención no se hubiera llevado a cabo?

A: Resultados logrados por la intervención

B: Resultados que habrían ocurrido en ausencia de la intervención (contrafactual)

IMPACTO = A – B

Evaluación de Impacto

5.

Evaluación de Impacto

6.

Principal reto: Encontrar Contrafactual apropiado

Identificar unidades (personas, comunidades, barrios, colegios, etc.) que reúnan características similares a las que hayan participado en el programa

Bases de Datos, censos

Robustez de hipótesis contrafactual es clave

Evaluación de Impacto: Reto Principal

7.

Programa Estable

Teoría del Cambio Coherente

Conocimiento del proceso de implementación

Tiempo del impacto detectado

Datos disponibles

Requisitos para Conducir una EI

8.

Diseños experimentales: grupo de tratamiento y control (aleatorización, o “RCT”)

Diseños cuasi experimentales: contrafactual se define con individuos que no participan en el programa -grupo de comparación- (Matching, Propensity Score, Diferencias en Diferencias)

Conclusiones

Validez interna: la certeza con que es concluye que el programa es el agente responsable de los impactos observados

Validez externa: grado en que las conclusiones pueden ser generalizadas

Métodos para la Evaluación de Impacto

9.

Indicadores de Impacto para cada proyecto FOMIN

Indicador País ejecutor proyecto FOMIN

Porcentaje de incremento en ingreso mensual/anual de micro franquiciados

BO, GU, PR

Número de micro franquiciadas incrementan tamaño de microcrédito PR

Número de micro franquiciadas incrementan sus ahorros en un 10% PR

Porcentaje de micro franquiciados que llegan a su tercer año de funcionamiento

GU, ME

Número de empleos generados por la micro franquicia BO

Volumen de ventas totales de los productos de los micro franquiciados BO

Número de instituciones que replican el modelo de la micro franquicia PR, ME

10.

Fundación Paraguaya: diseño preliminar grupos de control

Visión Mundial: bajo análisis

Otros estudios relevantes ya empezados por otros organismos:

IRC: Banco Mundial

Adopem-Nestlé: Universidad Internacional de Florida

Evaluaciones de Impacto MFR

11.

En qué medida la adopción de las microfranquicias como actividad económica ha tenido un impacto en los ingresos y ahorros de las clientes de FP?

Plan de Evaluación: Fundación Paraguaya

Universo de Mujeres(3000)

Sensibilización sobre MFR (promoción)

NO interesadas (2000)

Interesadas (1000)

SORTEO

No recibe MFR (400)

Sí recibe MFR (600)

Grupo Control

Grupo Tratamiento

12.

Plan de Evaluación: Fundación Paraguaya

Grupo ControlGrupo Beneficiarias/Tratadas

13.

- Encuesta socio-económica anual de FP:- rediseñada por grupo de evaluación para incluir

nuevas variables y aumentar la muestra (3.000)- oficiales de créditos entrenados (25-30)- nueva encuesta piloteada con muestra de

potenciales beneficiariasRETOS:

- “Attrition”- Varias microfranquicias de distintos tipos- Posibilidad de auto-selección según la microfranquicia

Plan de Evaluación: Fundación Paraguaya

14.

- Pendiente: Estudio de mercado para determinar la factibilidad geográfica de las potenciales microfranquicias.

- Se determinarán las zonas de intervención, los productos y el perfil de los microfranquiciados

- Línea de base se levantaría sobre los microfranquiciados

RETO

- Que un mayor número de individuos expresen el deseo de unirse al programa

Plan de Evaluación:Visión Mundial

15.

- El piloto se basa en otorgar un producto de subsistencia + línea de crédito para inventario + entrenamiento a un grupo de mujeres clientes de Adopem (RD)

- Formación de 3 grupos para comparación:Grupo A: micro préstamo para inventario y entrenamientoGrupo B: micro préstamo para inventario y no recibe entrenamientoGrupo C: micro préstamo no necesariamente para inventario y no recibe entrenamiento

RETOS

- Población objetivo: 400-500 (validez interna)

Evaluación de Impacto:Adopem-Nestlé

16.

- La iniciativa de IRC “Niñas Empoderadas por la Microfanquicia” en Nairobi, Kenia, proporciona oportunidades de auto-empleo a niñas de 16-19 años

- Paquete: entrenamiento en habilidades para la vida, emprendedurismo, manejo de la franquicia y mentoría + apoyo con inventario y otros gastos para arrancar el negocio.

- Eval Impacto: RCT (224 tratadas, 100 control)- Preguntas: las participantes se acogen al “proceso” y qué beneficios

reciben (ganancias, consumo, ahorros, etc.)

RETOS- Falta de datos/acceso a la información de las beneficiarias- Movilidad del grupo objetivo (para seguimiento)- Pérdida de participantes (50% primer año)- Cambios en el mercado local atentaron contra los productos- Muestra muy pequeña para llegar a conclusiones válidas

Evaluación de Impacto en progreso:Proyecto de IRC (Banco Mundial + IPA)

17.

HALLAZGOS- Se reportaron ganancias en el primer año del programa (dos socios locales y

algunas participantes)

APRENDIENDO DE LOS ERRORES- Se integró transferencias de efectivo al programa- Métodos de recolección de datos más ágiles- Dos micro franquiciadores renovaron su entusiasmo por el programa- Programa se expandirá para niñas y niños en el 2014

LECCIONES- Inversión del sector privado y empoderamiento son clave- Entendimiento del programa por parte de socios locales es crítico- Las microfranquicias deben cambiar de acuerdo a los cambios que las niñas

experimentan

Plan de Evaluación:Proyecto de IRC (Banco Mundial + IPA)

18.

Medición

- Líneas de base (encuestas)

- Sistemas de Monitoreo y Evaluación

- Indicadores comunes de impacto

El Reto de la Medición

19.

"La locura es hacer la misma cosa una y otra vez esperando obtener diferentes resultados”

Atribuido a Albert Einstein

EL VALOR DEL APRENDIZAJE

20.

GRACIAS