Post on 13-May-2020
El Uso de Estándaresde Evaluación para la
Generación de la Evidencia
Armando Valdés-
Velásquez
Octubre 2018
- ¿Como aseguramos que la evaluación genere
evidencias sólidas?
- …el uso de estándares para la evaluación
(criterios comunes para homogenizar la práctica
y calidad).
Propósito general
- Teniendo un marco conceptual claro y explícito
de resultados, acciones y supuestos, basado en
estándares
Propósito general
- Biología / Ecología – UPCH
• Investigación en gremios de aves de
sotobosque de la Amazonía (indicadores)
- Biogeografía – U Bonn
• Investigación en colibríes (tierras bajas)
- Ciencias de la Conservación – UPCH
• Conservación de especies (pingüinos, lobos)
• Monitoreo de la biodiversidad (varianzas)
• Estrategias de conservación y su efectividad
• Planificación y evaluación de proyectos y
programas
Algo sobre mi historial “académico”…
Sobre Foundations of Success
Nuestra Estructura
- Organización sin fines de lucro
Nuestra Misión
- Mejorar la práctica de la conservación
Nuestra Estrategia
- Trabajar con profesionales (organizaciones) para mejorar el
diseño, la gestión, el monitoreo y el aprendizaje de los proyectos y
programas de conservación
¿Qué preguntastratamos
realmente de contestar en
conservación?
Pregunta sobre el Estado:¿Cómo están nuestras Especies y Ecosistemas?
?
¿Estamos tomando las acciones de conservación adecuadas para conservarlas?
?
https://www.youtube.com/
Pregunta de Efectividad: ¿Nuestras accionesllevan a los resultados deseados?
?
¿Manejo Adaptativo?
“Hay solamente una cosa más dolorosa que aprender de la
experiencia y eso es NO aprender de la experiencia.”
Archibald MacLeish
¿Manejo Adaptativo?
Es la integración de la planificación, la gestión y el
monitoreo de proyectos o programas para generar un marco
para:
• Poner a prueba supuestos
• Aprender
• Adaptar
Investigación En Más de 220 Sistemas de Medición en Diferentes Disciplinas
En la práctica hay muchas versiones delManejo Adaptativo
Planea
Haz
Monitorea yEvalua
Adapta
El Manejo Adaptativose basa en el Ciclo de Gestión de Proyectos
Conservation Measures Partnership (CMP)
CMP Estándares Abiertos
- Desarrollado por orgs y agencias
- Muchas disciplinas
- Abiertos y lenguaje común
- Uso alrededor del mundo
• Agencias de gobierno
• Entidades privadas
• Financieras / Donantes
• Academia
Los EAPC – operacionalizando el manejoadaptativo
Estándares
Abiertos de la
Alianza para las
Medidas de
Conservación
· Desarrollar plan de trabajo y
cronograma
· Desarrollar presupuestos
· Implementar planes
3. Implementar
acciones y monitoreo
· Documentar el aprendizaje
· Compartir el aprendizaje
· Crear un ambiente de
aprendizaje
5. Capturar y
compartir aprendizaje
· Definir el equipo inicial
· Definir ámbito, visión y objetos
· Identificar amenazas críticas
· Completar análisis situacional
1. Conceptualizar
2. Plan de acción y
monitoreo· Desarrollar objetivos,
estrategias, supuestos y metas
· Desarrollar un plan de monitoreo
· Desarrollar un plan operativo
· Preparar datos para el
análisis
· Analizar resultados
· Adaptar plan estratégico
4. Analizar, usar y
adaptar
Contexto
Plan
ImplementaciónAdaptación
Aprendizaje
Los EAPC Ayudan a Enfocar El Proyecto
Identifica (y califica):• Ámbito
• Objetos de interés
• Amenazas
• Factores
(oportunidades)
• Estrategias
Los EAPC Ayudan a …Identificar y poner a prueba los supuestos
Land use
compatible
with marsh
migration
NRCS
incorporates
conservation
for salt marsh
migration
Priority
landowners
sign up with
NRCS
Priority
landowners
value
incentives
Explore Incentives Program
with NRCS
Salt Marsh Avian Spp.
?
Los EAPC Ayudan a …Definir metas (SMART) e indicadores
Objective: By 2019, the state NRCS
program will incorporate a menu of
practices and scoring that address
salt marsh migration
Indicator: Existence of a
menu of practices and scoring
that address salt marsh
migration
Indicator: % of priority
landowners signed up with
NRCS that manage land for
marsh migration
Land use
compatible
with marsh
migration
NRCS
incorporates
conservation
for salt marsh
migration
Priority
landowners
sign up with
NRCS
Priority
landowners
value
incentives
Explore Incentives Program
with NRCS
Salt Marsh Avian Spp.
?
Objective: At any point in time, at
least 90% of priority landowners
signed up with NRCS manage
land for marsh migration
Partes de una Cadena de Resultados
Resultados preliminares
necesarios para lograr la
reducción de la amenaza
Reducción deseada de
una amenaza específica
que el programa quiere
lograr
Estado deseado del
objeto de interés (BD)
que el programa
quiere lograr
Serie de acciones (con
enfoque común) para
lograr resultados de la
cadena
Intervenciones o
tareas específicas
para lograr uno o más
resultados.
El mapa conceptual
presenta “estado actual del
mundo”
Cadena de
factores
Convertido a
una cadena de
resultados
inicialLas metas están vinculadas a productos específicos
Los objetivos
están vinculados
con objetosLas cadenas de resultados presentan los resultados
esperados – “el estado deseado del mundo”
Sitio A:
Sitio B
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
✓ ✓ ✓ ✓ ✓
✓ X X X✓
El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa
Sitio A:
Sitio B
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
✓ ✓ ✓ ✓ ✓
✓ X X X✓
El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa
¿Estamos logrando un impacto?
Sitio A:
Sitio B
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
✓ ✓ ✓ ✓ ✓
✓ X X X✓
El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa
¿Estamos ejecutando las acciones correctamente?
Sitio A:
Sitio B
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
✓ ✓ ✓ ✓ ✓
✓ X X X✓
El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa
¿Estamos implementando las mejores acciones?
Sitio A:
Sitio B
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
Bosque
nativo
Menos
conversión
de bosque a
agricultura
Comunidad
adopta
actividades
productivas
sostenibles
Promover
alternativas
económicas
sostenibles
Comunidad
obtiene
mayores
beneficios
Comunidad
valora el
bosque en
pie
✓ ✓ ✓ ✓ ✓
✓ X X X✓
El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa
¿Bajo que condiciones una estrategia funciona o no?
¿Cómo nos ayudala CdR para la
evaluación en la gestión de la
conservación?
Partes de una Cadena de Resultados
Resultados preliminares
necesarios para lograr la
reducción de la amenaza
Reducción deseada de
una amenaza específica
que el programa quiere
lograr
Estado deseado del
objeto de interés (BD)
que el programa
quiere lograr
Serie de acciones (con
enfoque común) para
lograr resultados de la
cadena
Intervenciones o
tareas específicas
para lograr uno o más
resultados.
Sirve como marco para evaluar el progreso y los logros
Actividades: Lo que hicieron y
lo que no pudieron hacer y
por qué
Resultados: Lo que
lograron y lo que no
lograron y por qué
Impactos: Lo que
lograron cambiar y
lo que no pudieron
cambiar y por qué
“SEMÁFORO”
Leyenda para el diagrama “semáforo”
Estos símbolos y colores muestran el
progreso de PMT hacia la implementación
de una acción (o la medición de un
indicador)
Estos símbolos y colores indican el
progreso de PMY hacia una meta o un
objetivo
Painted Dog Conservation Project
Painted Dog Conservation Project
Sirve como marco para evaluar el progreso y los logros
Esta estrategia, ¿aún es válida?
¿Los supuestos aún son válidos?
¿Deberíamos cambiar algo en la forma que nos aproximamos a las amenazas, la temática, esta estrategia, EL PROYECTO?
CdR como marco fundamental parael aprendizaje (y la adaptación)
- Los resultados e indicadores (a veces actividades también) identifican
los datos necesarios
• Los supuestos definen las preguntas clave de aprendizaje
Proceso de Aprendizaje usando Cadenas de Resultados
¿Estado de la Meta?
Como Plan:
300 (de 708) grupos comunales están
incidiendo políticamente
¿Estado de la Meta? Como Plan: 100 (de
236) Comités priorizan fondos para
proyectos de caminos con diseño
“ambiental”
Grupos comunales
inciden
políticamente en
las autoridades
locales
Comités locales
priorizan fondos
para “caminos
ambientales”
1. Estado de acciones
2. Estado de monitoreo
3. Estado de metas
4. Supuestos
5. Preguntas
Proceso de Aprendizaje usando Cadenas de Resultados
Grupos comunales
inciden
políticamente en
las autoridades
locales
Comités locales
priorizan fondos
para “caminos
ambientales”
¿Supuestos válidos?
¿Influencia de concienticación
e incidencia comunal u otro
contexto en el resultado?
1. Estado de acciones
2. Estado de monitoreo
3. Estado de metas
4. Supuestos
5. Preguntas
Grupos comunales que
se encuentran
incidiendo políticamente
Comités locales que
priorizan fondos para
“caminos ambientales”
Proceso de Aprendizaje usando Cadenas de Resultados
Definir “Preguntas de Aprendizaje” e información:
¿Si los grupos comunales inciden políticamente,
entonces los comités locales priorizarán fondos?
¿Cuál es la evidencia para este supuesto?
¿Cuál es la incertidumbre en la relación?
¿Cuál es el riesgo de tener un supuesto incorrecto
Etc…
Grupos comunales
inciden
políticamente en
las autoridades
locales
Comités locales
priorizan fondos
para “caminos
ambientales”
1. Estado de acciones
2. Estado de monitoreo
3. Estado de metas
4. Supuestos
5. Preguntas
CdR como marco para guiar lo que vamos a colectarcomo evidencia
41
F-Indicator EG 10.2.6: # de
personas que aplican acciones
legales mejoradas en
conservación.
Variable explicatoria.
Capacidad de control
Variable resultado. Acciones de
control
Pregunta 1. Si hay más
capacidades de vigilancia y control,
¿habrán más acciones de control
por parte de las agencias y grupos?
Indicador 5.3
Confiscaciones,
aprehensiones, y arrestos
resultando del
fortalecimiento de
capacidades por Protect
Wildlife
Indicador 5.1
# de staff del gob. entrenado
en el combate de crimenes
ambientales y de fauna
silvestre
LQ1
Ejemplo de resultados esperados
Pregunta de Aprendizaje. Si existen más capacidades de control y
vigilancia, ¿habrán más acciones de control y vigilancia por parte de las
agencias y grupos de control y vigilancia?
¿Estándares?
- Si…
- El uso de una herramienta que permita guiar:
• Las preguntas de aprendizaje
• Las necesidades de información (indicadores)
- Y a la vez permita planificar:
• Que se quiere lograr,
• Como se quiere lograr
• Que supuestos se están asumiendo…
Gracias
Armando Valdés-Velásquez
armando@fosonline.org / armando.valdes@upch.pe
ESTÁNDARES ReLAC
EVALUACIÓN Y EVIDENCIA
Luis Soberón A.
Noviembre 2018
Decisiones basadas en evidencias
¿La estrategia de intervención está justificada
adecuadamente por antecedentes que aportan
evidencias de su pertinencia y efectividad?
Supuesto: se cuentan con evidencias
Problema: brecha existente
Decisiones basadas en evidencias
¿La estrategia aplicada ha sido efectiva?
¿Qué evidencias confirman su efectividad?
Supuesto: una adecuada implementación
Problema: brechas en la implementación
Responsabilización
Lo que está en juego
Las condiciones de vida y bienestar de las poblaciones comprometidas
El uso de recursos públicos
Sentido de responsabilidad, y rendición de cuentas
Necesidad de marco y gestión institucional
INTERVENCIÓN EVIDENCIAS
Hipótesis
Estrategia
Implementación
Criterios de valor, políticas
INTERVENCIÓN
EVALUACIÓN
EFECTIVA
DE ALTA
CALIDAD
ESTÁNDARES
Estándares identifican los campos críticos a tener en
cuenta para que la evaluación aporte evidencias sobre la
efectividad de la intervención
ReLAC Estándares para AL y C5 Dimensiones y 26 estándares
❑ 1: Evaluación rigurosa (8)
❑ 2: Adecuada evaluabilidad (4)
❑ 3: Evaluación conducida con principios éticos y jurídicos (4)
❑ 4: Adecuada comprensión cultural (3)
❑ 5: Relevancia y utilidad (7)
Evaluación
rigurosa basada /
centrada en
evidencias
CONTEXTODescripción detallada
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
CONTEXTODescripción detallada
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?Claras, pertinentes
CONTEXTODescripción detallada
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?
CONTEXTODescripción detallada
METODOLOGÍA
Válida, confiable
CONCLUSIONESRelevantes
RECOMENDACIONESÚtiles, factibles
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?
CONTEXTODescripción detallada
METODOLOGÍA
Válida, confiable
CONCLUSIONESRelevantes
RECOMENDACIONESÚtiles, factibles
REPORTESComunicación pública efectiva
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?
CONTEXTODescripción detallada
METODOLOGÍA
Válida, confiable
CONCLUSIONESRelevantes
RECOMENDACIONESÚtiles, factibles
REPORTESComunicación pública efectiva
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?
CONTEXTODescripción detallada
METODOLOGÍA
Válida, confiable
CONCLUSIONESRelevantes
RECOMENDACIONESÚtiles, factibles
REPORTESComunicación pública efectiva
POLÍTICAS
Evaluación
rigurosa basada /
centrada en
evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la
intervención
¿PREGUNTAS EVALUATIVAS?
CONTEXTODescripción detallada
METODOLOGÍA
Válida, confiable
CONCLUSIONESRelevantes
RECOMENDACIONESÚtiles, factibles
REPORTESComunicación pública efectiva
POLÍTICAS
Estándar de oro en la
jerarquía de la evidencia
Diseño tipo experimental, contrafactual
Comparación: grupos control e intervención
Asignación aleatoria
Repeticiones confirmatorias
[Banco Interamericana de Desarrollo // Banco Mundial]
Sistemas complejos
A mayor complejidad menor predictibilidad
Mayor exigencia de una gestión adaptativa
Importancia crítica del seguimiento
Necesidad de una evaluación que acompañe el proceso
Investigación
y evaluación
Actores
involucrados
ContextoPolítico, social, económico,
cultural, ambiental
…
Equipo directivo, profesional,
técnicoDecisiones
Gestión basada en evidencias: componentes claves - NESTA
Perspectiva abierta y plural
Asociación Americana de evaluación
BOND - Red de ONG internacionales de Desarrollo
Álianza por una Evidencia Útil
IDRC
Calidad de la evidencia
BOND: Principios / estándares
❑Voz e inclusión
❑Pertinencia
❑ Triangulación
❑ Atribución
Bond (UK) Red de ONG internacionales de Desarrollo
❑ Transparencia
Revisión de los EstándaresPreguntas de reflexión
➢ ¿Incluir la evidencia en el enfoque global de los Estándares?
➢ ¿Incluirla como una dimensión en los Estándares?
➢ ¿Incluirla como un estándar?
➢ ¿Explicitar la evidencia en el tratamiento de los estándares?
➢ ¿Alguna otra opción?
Luis Soberón A.
Profesor principal del Departamento de Ciencias Sociales de la
Pontificia Universidad Católica del Perú - PUCP.
Miembro de EvalPerú e integrante del Grupo de Estándares ReLAC
lsoberon@pucp.pe luis.soberon@Gmail.com
Muchas gracias por
su amable atención