Dietmar Stoian, Ph.D.Dietmar Stoian, Ph.D.CATIE-CeCoEcoCATIE-CeCoEco
Dietmar Stoian, Ph.D.Dietmar Stoian, Ph.D.CATIE-CeCoEcoCATIE-CeCoEco
Evaluación de Impacto Relacionada a los Evaluación de Impacto Relacionada a los Enfoques de Cadenas de ValorEnfoques de Cadenas de Valor
Maestría en Socioeconomía AmbientalCurso "Desarrollo Empresarial Rural " (SA 502A)
29 de septiembre de 2009
ContenidoContenido
1) Consideraciones generales: "evaluación de impacto" vs. impact assessment
2) Retos metodológicos
3) Marcos para evaluar impactos
4) Metodología CATIE-CeCoEco
Planteamiento del problemaPlanteamiento del problema Tendencia a identificar casos exitosos en lugar de
aprendizaje genuino sobre lo que ha dada resultados y lo que no ha funcionado
Trampas antipobreza: áreas de intervención (ej. fondos sociales, microcrédito) que dan resultados rápidos, aunque retardan la creación de capacidades económicas para el desarrollo sostenible ayuda que no ayuda ("unhelpful help")
Trampa conceptual: supuesto que los pobres son emprendedores a quienes solo les falta crédito
Efectos adversos: desplazamiento de bancos locales para PyMEs por ONG de micro-crédito
Ellerman (2007)
El impacto de "evaluaciones de impacto" (1)El impacto de "evaluaciones de impacto" (1) Una evaluación de X implica comparar los
beneficios con los costos de X Los "costos" no solo son un gasto pasado, sino
también un beneficio perdido del uso alternativo de los mismos fondos (costos de oportunidad)
Llamada "evaluación de impacto" de X ignora los costos (explícitos o costos de oportunidad) de X y solo se enfoca en los beneficios o impacto de X
Referencia apropiada sería la comparación entre estos beneficios y los de la mejor alternativa en cuanto al uso de los mismos recursos
Realidad: impacto de la intervención vs. no intervención "evaluaciones" positivas
Ellerman (2007)
Plan A vs. Plan B – Evaluación referencialPlan A vs. Plan B – Evaluación referencial
"Paciente" tiene infección: – Plan A = tomar "aspirina" que alivia síntomas– Plan B = tomar "antibiótico" que cura la infección
"Doctor" tiene prestigio e interés propio en Plan A y controla los fondos de la evaluación
La evaluación de impacto compara el Plan A con no tratamiento e identifica un impacto positivo del Plan A ("reduce la fiebre") evaluación positiva
Sin embargo, al comparar Plan A con Plan B, el resultado hubiera sido a favor del último
Necesidad: evaluaciones genuinas de impacto
Ellerman (2007)
Evaluación de impacto ("Impact assessment")Evaluación de impacto ("Impact assessment")
Definición
Forma de análisis que logra determinar, con margen de error razonable:– impactos de un programa, incluyendo efectos
intencionales y no intencionales– magnitud de los impactos– factores causales de los impactos.
Más allá de la evaluación de impacto, análisis costo-beneficio o costo-efectividad son necesarios para determinar si el impacto medido justifica el costo de la intervención
USAID (2006)
Evaluación de impacto de los enfoques de cadena de valor (1)
Evaluación de impacto de los enfoques de cadena de valor (1)
Definiciones
Enfoque de cadena de valor
Serie de intervenciones por los actores de cadena y/o proveedores de insumos y servicios, con el fin de generar mayor valor agregado y crear relaciones ganar-ganar entre los actores de cadena
Donovan & Stoian (2009)
Evaluación de impacto de los enfoques de cadena de valor (2)
Evaluación de impacto de los enfoques de cadena de valor (2)
Definiciones
Output Efectos inmediatos de una intervención
Outcome Cambios significativos o duraderos en la dotación
de activos, como resultado de una intervención
Impacto Cambios significativos o duraderos en la dotación
de activos, como resultado de una intervención, que conducen a cambios en el bienestar o la seguridad de los medios de vida
Donovan & Stoian (2009)
Retos metodológicosRetos metodológicos Muestreo
tamaño de muestra grupo de control ("vecino más cercano") enfoques alternativos (Plan B, C, …)
Métodos cuantitativos vs. cualitativos registros vs. información de recuerdo individuales vs. colectivos
Atribución relaciones causa-efecto "counterfactual" factores influyentes no exclusivos (causas) econometría/estadísticas
Opciones metodológicasOpciones metodológicasUso de escalas De 1 a 3: ej., bajo, regular, alto De 1 a 5: ej., muy bajo, bajo, regular, alto, muy alto
Ponderación Dando más peso a ciertos indicadores: por ejemplo, multiplicar por 2 (o más)
Evaluación de la interacción Determinar efecto de aumento/disminución sobre otros indicadores: por ejemplo, integración de árboles de sombra en
plantaciones de piña que mejoran los indicadores ambientales y sociales a expensas de los indicadores económicos
Modelo causal: SDE Kenya y Programas FintracModelo causal: SDE Kenya y Programas Fintrac
USAID (2006)
Marco para estudiar
impactos:SDE Kenya
Marco para estudiar
impactos:SDE Kenya
USAID (2006)
Modelo de impacto de ProCGRN, Benin Modelo de impacto de ProCGRN, Benin
GTZ (2007)
CATIE-CeCoEco's methodology for assessing the impact of value chain approaches on poverty and
the environment
CATIE-CeCoEco's methodology for assessing the impact of value chain approaches on poverty and
the environment
Key elements emphasis on asset building focus on upstream elements of the chain (phase 1) complementary tools (phases 2 and 3) mixture between quantitative and qualitative methods no counterfactual (but comparison groups where possible) includes attribution (phase 1) more sophisticated attribution (phases 2 and 3)
Enterprise- level VCA interventions
Community 1 Community 2 Community 3
Project 2 Household- level VCA interventions
Government agency
Collective enterprise
Financial service provider
Buyer 1
Project 1 NGO
Step 1: contextual analysis
Objective: identify key elements of VCA and external environment
Methods• Key informant interviews
• Revision of secondary information
Outputs• Intermediate: inputs for steps 2 and 3
Step 2: household interviews
Objective: identify VCA outputs and outcomes
Methods• Structured household interviews with VCA participates and non-participates
Outputs
• Intermediate: formulation of impact hypotheses
• Final: Output and outcomes measured and attribution assigned
Step 3: focus groups
Objective: identify VCA signature on impacts
Methods• Focus groups among VCA participates, with use of participate research methods
Outputs• Validation of results for outputs and outcomes
• Impacts measured and attribution assigned
Step 4: triangulation
Objective: increase validity of impacts and attribution
Methods• Key informant interviews
Outputs• Validation of results on impacts
Step 1: Context analysis and VCA impact model
Steps 2 and 3: Identify and trace back changes at enterprise and household level
Impa
ct s
ourc
e
Non-VCA
Unclear
VCA
Step 4: Final attribution
Changes in asset endowments and
resilience/vulnerability among enterprises and
households
Impa
ct s
ourc
e
Others
Implementing organizations A + B
Implementing organization A
Non-VCA
Unclear
VCA
ImpactsOutputs Outcomes
Beneficiary enterprises and
householdsInpu
t sou
rce
Non-VCA
VCA
Implementing agents
Contextual factors
VCA activities • Training• Technical
assistance• Grants/Subsidies• Credit
Other factors • Political-legal
framework• Market forces• Internal factors• Other external
interventions
Impacts• Net income• Employment• Gender relations• Environmental
soundness• Reduced
vulnerability
Degree of attribution
High
Medium
Low
Outcomes Changes in:• production systems• processing• business relations• resource use
Outputs related to VCA activities
• Capacities/skills• Liquidity t
Attribution challenges (1)Attribution challenges (1)
Changes (Effects) Influencing factors (Causes)
Measured Observed Value chain approach
Context
Attribution challenges (2)Attribution challenges (2)
Increase in coffee income due to …?
1990 1992 1994 1996 1998 2000 2002 2004 2006 2008
Calender year
40.00
50.00
60.00
70.00
80.00
90.00
100.00
110.00
120.00
130.00
140.00
Av
era
ge
an
nu
al IC
O c
om
po
sit
e p
ric
e f
or
gre
en
co
ffee
(U
S$
)
LiteraturaLiteraturaDonovan, J. & Stoian, D. 2009. Assessing the impact of value chain approaches on rural poverty –Methodological guidelines for development practitioners and private sector representatives. CATIE, Turrialba, Costa Rica.
Ellerman, D. 2007 Social Funds and MicroFinance – and the Role of Impact Evaluations. University of California at Riverside.
GTZ 2007. Value Links Methodology. www.value-links.de/manual/pdf/module_11.pdf
Livelihoods Website: www.livelihoods.org
USAID 2006, 2007, 2008: Impact Assessment Primer Series
Top Related