Presentación de PowerPoint - a_de... · PDF fileAnálisis...

¿Qué es TdC? Componentes ¿Cómo hacerla? Importancia

Herramientas de Evaluación de Impacto e

Innovación Social

23 de abril – 14 de mayo 2014

Santiago, Chile

Clase 3 Teoría de Cambio

Anne Thibault

Gerente de Capacitación

J-PAL LAC

[email protected]

2


Índice 1. Evaluando Emprendimientos Sociales

2. Tipos de Evaluación

3. Teoría de Cambio

4. Indicadores y Medición

5. Evidencia Rigurosa y Evaluación Aleatoria

6. Interpretación de Datos

7. Evaluaciones aleatorias: ¿Cómo se implementan?

8. Evaluación de Principio a Fin

3


Objetivos de Aprendizaje

Al finalizar esta presentación, serán capaces de:

1. Entender la función que desempaña la Teoría de Cambio y su rol dentro del marco común de una evaluación.

2. Definir y distinguir entre niveles de resultados usando el material de referencia presentado.

3. Elaborar una Teoría de Cambio para su propio emprendimiento.

4


Esquema

1. ¿Qué es la Teoría de Cambio?

2. Componentes principales de la Teoría de Cambio.

3. ¿Cómo hacer una Teoría de Cambio?

4. Importancia de la Teoría de Cambio

5


1. ¿Qué es la Teoría de Cambio?

6

¿Qué es TdC?


Nuestra meta: Aprender de evaluaciones rigurosas de programas

Evaluación

Evaluación de proyecto

Evaluación de impacto

Monitoreo RCTs

7

¿Qué es TdC?


Componentes de una evaluación

Evaluación de

Necesidades

Evaluación Teórica de Programas

Evaluación de

Procesos

Evaluación de Impacto

Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

¿Se

cumplieron los

OBJETIVOS?

¿Cuál es la

magnitud del

impacto?

Dados el impacto

y el costo, ¿cómo

se compara este

programa con

otras alternativas?

8

¿Qué es TdC?


Componentes de una evaluación

Evaluación de

Necesidades

Evaluación Teórica de Programas

Evaluación de

Procesos


Análisis Costo-

Efectividad

¿Cuál es el

problema?

¿Cuál es el

OBJETIVO del

Programa?

¿Cómo, en

TEORÍA,

podemos

resolver el

problema?

¿El programa

se está

implementando

como fue

planeado?

¿Se cumplieron

los

OBJETIVOS?

¿Cuál es la

magnitud del

impacto?

Dados el impacto

y el costo ¿Cómo

se compara este

programa con

otras alternativas?

9

¿Qué es TdC?


Programa: Mejoramiento de Viviendas

10

Necesidades Insumos y

Actividades Productos Resultados Intermedios

Resultados Finales

Vivienda

básica:

Techo, piso,

muros,

privacidad.

Voluntarios

Materiales de

construcción

Viviendas

mejoradas

Mejor calidad

de vida

Mejor salud

física y mental

Mayor

seguridad

contra el robo

Protección

contra la lluvia

Acumulación

de capital

Ambientes más

saludables

Mejores y más

oportunidades

de trabajo

¿Qué es TdC?

Construcción

de vivienda


¿Qué es la Teoría de Cambio?

Una teoría de cambio es una hoja de ruta

que nos dice hacia dónde vamos

(resultados) y cómo llegamos (proceso).

11

¿Qué es TdC?


En otras palabras…

“Creo que deberías ser más explícito aquí en el segundo paso.”

12

¿Qué es TdC?


Hipótesis causal

P: ¿Cómo espero que se produzcan los resultados?

R: Si [insumos] y [actividades] producen [productos] esto debería conducir a [resultados intermediarios] que al final contribuirán al [resultados finales].

¿Cómo expresaría la hipótesis causal en la que se basa su emprendimiento?

13

¿Qué es TdC?


15

La Teoría de Cambio es… Un ejercicio creativo de visualización del cambio deseado.

Un conjunto de supuestos y proyecciones que explicitan la manera en que se producirá el cambio.

Un proceso reflexivo y crítico sobre las precondiciones y el camino a seguir para que se produzca el cambio deseado.

Un proceso de aprendizaje colaborativo que involucra a varias partes y permite entender realidades complejas.

Un mapa de cambio semi-estructurado y flexible que vincula acciones estratégicas con una cadena de resultados.

Un instrumento de monitoreo y evaluación.

Un instrumento de comunicación y descripción del proyectos.

Fuente: Retolaza (2011)

¿Qué es TdC?


La Teoría de Cambio no es…

La verdad absoluta de cómo tiene o queremos que se produzca el cambio.

Una receta definitiva que nos permite eliminar la incertidumbre y complejidad que surgen de cualquier proceso de cambio social.

Un substituto al Marco Lógico como herramienta de planificación.

16

¿Qué es TdC?


Teoría de Cambio vs. Marco Lógico

¿Qué es TdC?


Teoría de Cambio

Marco lógico

Perspectiva explicativa,

(enfoque en el contexto y

relación de causalidad)

Perspectiva descriptiva

Presentado como diagrama

acompañado de una breve

narrativa

Presentado como tabla /

matriz

Permite ciclos de

retroalimentación

Es lineal

Comúnmente se mantiene

a nivel de concepto

solamente.

Normalmente incluye

indicadores

Principalmente usado para

el diseño y evaluación de

programas

Principalmente usado para

el monitoreo

Teoría de Cambio vs. Marco Lógico

¿Qué es TdC?


2. Componentes

19

Componentes


Ejemplo I: Un proyecto de tutorías en Chile Población objetivo: Jóvenes

vulnerables en su último año de

educación secundaria

Insumo: Profesionales de

empresas seleccionadas

realizan una tutoría cara a cara

con algunos de los estudiantes

Misión: Mejorar la transición del

colegio al trabajo, mejorar

participación en educación

terciaria

20


21

INSUMOS / ACTIVIDADES

PRODUCTOS RESULTADOS INTERMEDIOS

RESULTADOS FINALES

NECESIDADES

Cadena de resultados

Recursos

Acciones

Productos y servicios

Actitudes Conocimientos

Capacidades Comportamiento

(ACCC)

Estado de desarrollo

Objetivos Contexto


Necesidades

Se basan en el contexto de la iniciativa.

La carencia a la cuál nos queremos enfrentar con el

proyecto.

Relacionado al objetivo final de nuestro proyecto

Especifica la población objetivo.

Son medibles


23



RESULTADOS FINALES

NECESIDADES

Tasas bajas de matriculación a educ. terciaria

Falta de información sobre educ superior y

mercado laboral

Redes sociales y oportunidades

de trabajo limitados



Actividades / Insumos

Los recursos humanos y financieros necesarios para

implementar el programa.

Las actividades desarrolladas por el proyecto

Ejemplos: tutorías para estudiantes; distribución de

mosquiteros; inmunización de niños.

Es la descripción de la intervención.


25


RESULTADOS FINALES

NECESIDADES



mercado laboral




Reclutar a mentores

Capacitar a mentores

Tutorías

Mentores capacitados



Productos

Los resultados inmediatos de las actividades e

insumos.

A veces suenan como una reformulación de las

actividades,

Pero el énfasis es en el producto o servicio

entregado como resultado de la actividad.

Ejemplos: Tutorías realizadas; beneficiarios

capacitados; mosquiteros distribuidos; niños

inmunizados.


27

RESULTADOS INTERMEDIOS

RESULTADOS FINALES

Niveles de resultados

NECESIDADES



mercado laboral




Reclutar a mentores


Tutorías


PRODUCTOS

Estudiantes seleccionados

reciben tutorías


Resultados Intermedios

Cambios inmediatos que ocurren debido a la

intervención.

Cambios en:

Actitudes

Conocimientos

Capacidades

Comportamientos

Cambios en comportamiento son normalmente el

enfoque de evaluaciones de impacto.


29

NECESIDADES



mercado laboral




Reclutar a mentores


Tutorías


PRODUCTOS


reciben tutorías


Experiencia de trabajo

Actitudes sobre educación y

trabajo

Conocimientos sobre educ superior y

mercado laboral

Preparación laboral

Habilidades de busqueda de

trabajo

Mayor valoración de redes sociales

Oportunidades percibidas de carrera prof.

Expectativas de salarios



Resultados Finales

Este es el cambio general que queremos efectuar

con nuestro proyecto.

El cambio en el estado de desarrollo de nuestra

población objetivo.

Se puede pensar como la “razón por la que existe

nuestro proyecto”.

Directamente relacionado a las necesidades.



RESULTADOS INTERMEDIOS PRODUCTOS RESULTADOS

FINALES

Reclutar a mentores


Tutorías


reciben tutorías

Experiencia de trabajo

Mejor rendimiento educacional

Mayor matriculación a educ terciaria

Actitudes sobre educación y

trabajo

Conocimientos sobre educ superior y

mercado laboral

Preparación laboral

Habilidades de busqueda de

trabajo

Mejores redes sociales

Mayor valoración de redes sociales

Oportunidades percibidas de carrera prof.

Tipo de educación / ocupación

elegida

Expectativas de salarios

NECESIDADES



mercado laboral



31




¿Cuáles de los resultados siguientes NO es un resultado final del programa de tutorías?

A. Aumenta la matricula en la

educación superior.

B. Los estudiantes logran una

mejor inserción laboral.

C. Los estudiantes están mejor

informados sobre las carreras

universitarias.

D. Los estudiantes se inscriben

en carreras más exigentes.

E. Mejora el rendimiento

académico de los

estudiantes.

Importancia

A. B. C. D. E.

20% 20% 20%20%20%


Supuestos

Supuesto:

Una condición externa necesaria y positiva que

debe cumplirse para que la cadena causal y el

efecto (en una intervención) avancen.

33


Sus puntajes de examen de fin de enseñanza media le alcanza

para postular a dichas instituciones.

Supuestos: Ejemplo de Proyecto de Tutoría

Aumenta la auto-confianza de los

estudiantes

Estudiantes postulan a

instituciones de educación terciaria

34


¿Qué supuesto tendría que asumir para que un aumento en auto-confianza se traduzca en más postulaciones en la universidad?

A. Los estudiantes han recibido

las tutorías.

B. Los tutores están

suficientemente capacitados.

C. Sus puntajes de examen de

fin de enseñanza media les

alcanzan para postular a

dichas instituciones.

D. Los estudiantes tienen las

habilidades necesarias para

buscar trabajo.

Importancia

A. B. C. D.

25% 25%25%25%


Sus puntajes de examen de fin de enseñanza media les

alcanzan para postular a dichas instituciones.

Supuestos: Ejemplo de Proyecto de Tutoría

Aumenta la auto-confianza de los

estudiantes

Estudiantes postulan a

instituciones de educación terciaria

36

Los estudiantes tienen los recursos para postular


3. ¿Cómo hacer una Teoría de Cambio?

37

¿Cómo hacerla?


Una Teoría de cambio incluye generalmente:

Análisis del contexto y de la necesidad.

Objetivos finales o cambio de largo plazo.

Una hipótesis causal (Si...entonces...)

Diagrama de la secuencia de resultados

Supuestos

Una narrativa: relato breve y convincente que

explica la ruta.

Indicadores de desempeño.

38


¿Cómo hacerlo? – Hacía atrás El diseño de una Teoría de Cambio se elabora hacia atrás:

Empieza con tu evaluación de necesidades.

Salta a tu impacto deseado / resultados finales.

Identifica los diferentes ACCCs y la relación entre ellos (mapeo de resultados).

Define los productos, actividades e insumos de tu intervención.

Discute los supuestos.

Define los indicadores para cada etapa de la cadena.

39


Ejemplo II: Grupos de Auto-Ayuda para Ahorrar en Chile Población objetivo:

Micro-emprendedores de

escasos recursos

Insumo: Formación de

grupos de auto-ayuda

para ahorrar

Misión: Aumentar los

niveles de ahorro

40




RESULTADOS FINALES

41

NECESIDADES

Teoría de Cambio: Grupos de Auto-Ayuda




RESULTADOS FINALES

42

NECESIDADES

Bajos niveles de ahorro

Dificultades al enfrentar “shocks” y

emergencias


Falta de mecanismos de

compromiso para ahorrar




43


NECESIDADES



emergencias



Habilidad de responder a “shocks” y

emergencias

RESULTADOS FINALES

Estabilidad de consumo



PRODUCTOS

44


NECESIDADES



emergencias



RESULTADOS FINALES


Aumenta número de depósitos

Aumenta cantidad depositada

Aumenta número de cuentas de

ahorro

Aumenta cantidad ahorrada


emergencias




45


NECESIDADES



emergencias



RESULTADOS FINALES

PRODUCTOS

Clientes establecen metas

de ahorro

Clientes anuncian metas al grupo

Grupo verifica cumplimiento de

metas

Clientes que cumplen meta

reciben diploma

Clientes abren cuenta de ahorro





ahorro



emergencias



46






Cuenta de ahorro

Metas de ahorro

Grupo de Auto-Ayuda

PRODUCTOS


de ahorro



metas


reciben diploma

RESULTADOS FINALES

NECESIDADES



emergencias





ahorro



emergencias



Hipótesis: Grupos de Auto-Ayuda

Si grupos de auto-ayuda [insumos y actividades] producen establecimiento y monitoreo de metas de ahorro [producto] esto debería conducir a mayores ahorros [resultados intermedios] que al final contribuirían a una mejora en la habilidad de responder a emergencias [resultados finales].

47


Supuestos

48



emergencias




PRODUCTOS


de ahorro



metas


reciben diploma

RESULTADOS FINALES

NECESIDADES



emergencias





ahorro


Existe un deseo de ahorrar

Los clientes tienen tiempo

para asistir a las reuniones

Los clientes tienen la

habilidad de ahorrar

Los clientes usan los ahorros para enfrentar crisis


Cuenta de ahorro

Metas de ahorro

Grupo de Auto-Ayuda


¿Cómo hacer una TdC?

En la realidad, puede ser más complejo…

49

vs.


Teoría de Cambio: Proyecto Mi Parque

50


4. Importancia

51

Importancia


52

NECESIDAD INSUMOS /

ACTIVIDADES PRODUCTOS


RESULTADOS FINALES

Evaluación de necesidades

Evaluación teórica de programas

Evaluación de procesos


Importancia


Teoría de Cambio: Enfoque en procesos y resultados Para emprendedores, ayuda a mantener el enfoque

hacia la meta. Implementadores de proyectos normalmente están preocupados por las

actividades y los productos: ¿Cuántas actividades hemos realizado?

¿A cuántos beneficiarios hemos alcanzado?

Deberíamos enfocarnos más en los objetivos finales y metas de mayor

alcance y evitar que el medio (el proyecto) se convierta en el fin.

Para evaluadores, nos recuerda considerar los

procesos Evaluadores están muy enfocados en evaluar cambios en resultados.

Pero a veces no se da suficiente importancia sobre cómo ese cambio

ocurrió.

Llamamos a esto el problema de la caja negra.

53

Importancia


Problema de caja negra: Juventud y empleo Problema: Jóvenes desempleados

Intervención: Desembolso de préstamos

54

Importancia


Resolver el problema de la caja negra

Jóvenes están motivado a crear negocios

Préstamos distribuídos a jóvenes

Intervención

Jóvenes usan préstamos para comprar ropa

Intervención diseño/Insumo

Actividades

Resultados

Resultado final

Supuestos

Productos

Jóvenes usan préstamos para crear negocios

Facilitar grupos de préstamos y distribuir préstamos a jóvenes

No hay crecimiento en empleo juvenil

Bajo empleo juvenil Evaluación de necesidades

Caja Negra

Importancia


¿Por qué cree que el programa no tuvo impacto?

A. No se desembolsaron todos

los préstamos en el

momento adecuado.

B. Los jóvenes usaron los

préstamos para comprar

ropa.

C. Los préstamos no eran lo

suficientemente grandes.

D. Los negocios creados con

los préstamos no rindieron.

56

Importancia

A. B. C. D.

25% 25%25%25%


Resolver el problema de la caja negra

Jóvenes están motivados para crear negocios

Préstamos ofrecidos a jóvenes

Intervención

Jóvenes usan préstamos para comprar ropa

Intervención diseño/Insumo

Actividades

Resultados

Resultado final

Supuestos

Productos

Jóvenes usan préstamos para crear negocios

Facilitar grupos de préstamos y distribuir préstamos a jóvenes

No hay crecimiento en empleo juvenil

Bajo empleo juvenil Evaluación de necesidades

Caja Negra

Importancia


Necesidad Insumos y

Actividades Productos


Resultado final

Identificando fallo en teoría vs. fallo en implementación

Necesidad Insumos y



Resultado final

Intervención exitosa

Implementación fallida

Teoría fallida

Necesidad Insumo y



Resultado final

Importancia


Identificar mecanismo causal

A través de la teoría de cambio se identifican los diferentes posibles mecanismos causales.

Se puede testear cuál de los mecanismos es el que produce el efecto.

59

Importancia


Identificando mecanismos

Mecanismos fallidos:

Necesidad Insumos y

Actividades

Productos


Resultado final

Productos

Productos

60

Importancia


61



emergencias




Mecanismo Causal de Grupos de Auto-Ayuda


Cuenta de ahorro

Metas de ahorro

Grupo de Auto-Ayuda

PRODUCTOS


de ahorro



metas


reciben diploma

RESULTADOS FINALES

NECESIDADES



emergencias





ahorro


Importancia


¿Cuál es el mecanismo que produce el aumento de ahorros?

A. La presión social ejercida por el grupo de auto-ayuda.

B. El establecer metas de ahorro para uno mismo.

C. El recibir recordatorios sobre tu meta.

Importancia

A. B. C.

33% 33%33%


Grupos de Auto-Ayuda: Abriendo la Caja Negra

Intervención A: Cada individuo recibía mensajes de

texto acerca de si cumplieron con sus

metas de ahorros

Mecanismo: Establecer metas y

recibir recordatorios

Intervención B: Cada individuo tenía un “compañero de

ahorro” que también recibía un mensaje

sobre si su compañero había cumplido

Mecanismo: Presión social del grupo

de ahorro

Un año después de la primera evaluación, se hizo otro experimento

Encontraron que tener un compañero de ahorro no aumentaba ahorros más que recibir recordatorios.

Importancia


Abrir Caja Negra de los Grupos de Auto-Ayuda

Aumento de depósitos y ahorros

Intervención Intervención diseño/Insumo

Actividades

Resultados

Resultado final

Productos Establecer y monitorear

metas propias

Habilidad de enfrentar emergencias financieras

Bajo nivel de ahorro Evaluación de necesidades

Presión social de grupo de ahorro

Grupos de ahorros con Auto-Ayuda

Caja Negra

Importancia


TdC y Etapas de emprendimiento Etapa Rol de la Teoría de Cambio

Identificación del problema Ocurre antes de elaborar Teoría de Cambio.

Investigación inicial en el

campo

Puede ocurrir antes y después de la TdC. Se retoma si la

elaboración de TdC introduce nuevas preguntas para investigar.

Definición del cambio

deseado

Donde TdC realmente empieza; se consensuan los resultados

finales deseados.

Planificación del cambio La TdC incluye una descripción detallada y conceptualmente

rigurosa acerca de los cambios que deben efectuarse

Definición de plan de acción La TdC identifica las intervenciones y estrategias necesarias

Plan de evaluación La TdC funciona como guía a la hora de diseñar indicadores

Postulación a fondos Usarlo para mostrar que el proyecto está bien pensado, es

práctico y el impacto es medible

Implementación de la

intervención

TdC funciona como un tipo de pauta en el monitoreo de la

implementación

Evaluación TdC establece el marco por el cuál se rige la evaluación

Diseminación al público TdC funciona como herramienta para transmitir de forma clara la

complejidad del proyecto

Importancia


En vez de un resumen: Promover desarrollo de teorías ¿Cómo esperas que tu programa resuelva el

problema?

¿Cómo diseñas tu intervención?

¿Cuál es tu explicación si no funciona tu proyecto?

¿Qué quieres medir, y cuándo?

¿Qué conclusiones puedes extraer y comunicar a las partes interesadas?

66

Importancia

¡Gracias!

Anne Thibault

Gerente de Capacitación

J-PAL LAC

[email protected]

Presentación de PowerPoint - a_de... · PDF fileAnálisis...

Documents

Transcript of Presentación de PowerPoint - a_de... · PDF fileAnálisis...