El Uso de Estándares de Evaluación para la Generación de...

El Uso de Estándaresde Evaluación para la

Generación de la Evidencia

Armando Valdés-

Velásquez

Octubre 2018

- ¿Como aseguramos que la evaluación genere

evidencias sólidas?

- …el uso de estándares para la evaluación

(criterios comunes para homogenizar la práctica

y calidad).

Propósito general

- Teniendo un marco conceptual claro y explícito

de resultados, acciones y supuestos, basado en

estándares

Propósito general

- Biología / Ecología – UPCH

• Investigación en gremios de aves de

sotobosque de la Amazonía (indicadores)

- Biogeografía – U Bonn

• Investigación en colibríes (tierras bajas)

- Ciencias de la Conservación – UPCH

• Conservación de especies (pingüinos, lobos)

• Monitoreo de la biodiversidad (varianzas)

• Estrategias de conservación y su efectividad

• Planificación y evaluación de proyectos y

programas

Algo sobre mi historial “académico”…

Sobre Foundations of Success

Nuestra Estructura

- Organización sin fines de lucro

Nuestra Misión

- Mejorar la práctica de la conservación

Nuestra Estrategia

- Trabajar con profesionales (organizaciones) para mejorar el

diseño, la gestión, el monitoreo y el aprendizaje de los proyectos y

programas de conservación

¿Qué preguntastratamos

realmente de contestar en

conservación?

Pregunta sobre el Estado:¿Cómo están nuestras Especies y Ecosistemas?

?

¿Estamos tomando las acciones de conservación adecuadas para conservarlas?

?

https://www.youtube.com/

Pregunta de Efectividad: ¿Nuestras accionesllevan a los resultados deseados?

?

¿Manejo Adaptativo?

“Hay solamente una cosa más dolorosa que aprender de la

experiencia y eso es NO aprender de la experiencia.”

Archibald MacLeish

¿Manejo Adaptativo?

Es la integración de la planificación, la gestión y el

monitoreo de proyectos o programas para generar un marco

para:

• Poner a prueba supuestos

• Aprender

• Adaptar

Investigación En Más de 220 Sistemas de Medición en Diferentes Disciplinas

En la práctica hay muchas versiones delManejo Adaptativo

Planea

Haz

Monitorea yEvalua

Adapta

El Manejo Adaptativose basa en el Ciclo de Gestión de Proyectos

Conservation Measures Partnership (CMP)

CMP Estándares Abiertos

- Desarrollado por orgs y agencias

- Muchas disciplinas

- Abiertos y lenguaje común

- Uso alrededor del mundo

• Agencias de gobierno

• Entidades privadas

• Financieras / Donantes

• Academia

Los EAPC – operacionalizando el manejoadaptativo

Estándares

Abiertos de la

Alianza para las

Medidas de

Conservación

· Desarrollar plan de trabajo y

cronograma

· Desarrollar presupuestos

· Implementar planes

3. Implementar

acciones y monitoreo

· Documentar el aprendizaje

· Compartir el aprendizaje

· Crear un ambiente de

aprendizaje

5. Capturar y

compartir aprendizaje

· Definir el equipo inicial

· Definir ámbito, visión y objetos

· Identificar amenazas críticas

· Completar análisis situacional

1. Conceptualizar

2. Plan de acción y

monitoreo· Desarrollar objetivos,

estrategias, supuestos y metas

· Desarrollar un plan de monitoreo

· Desarrollar un plan operativo

· Preparar datos para el

análisis

· Analizar resultados

· Adaptar plan estratégico

4. Analizar, usar y

adaptar

Contexto

Plan

ImplementaciónAdaptación

Aprendizaje

Los EAPC Ayudan a Enfocar El Proyecto

Identifica (y califica):• Ámbito

• Objetos de interés

• Amenazas

• Factores

(oportunidades)

• Estrategias

Los EAPC Ayudan a …Identificar y poner a prueba los supuestos

Land use

compatible

with marsh

migration

NRCS

incorporates

conservation

for salt marsh

migration

Priority

landowners

sign up with

NRCS

Priority

landowners

value

incentives

Explore Incentives Program

with NRCS

Salt Marsh Avian Spp.

?

Los EAPC Ayudan a …Definir metas (SMART) e indicadores

Objective: By 2019, the state NRCS

program will incorporate a menu of

practices and scoring that address

salt marsh migration

Indicator: Existence of a

menu of practices and scoring

that address salt marsh

migration

Indicator: % of priority

landowners signed up with

NRCS that manage land for

marsh migration

Land use

compatible

with marsh

migration

NRCS

incorporates

conservation

for salt marsh

migration

Priority

landowners

sign up with

NRCS

Priority

landowners

value

incentives

Explore Incentives Program

with NRCS

Salt Marsh Avian Spp.

?

Objective: At any point in time, at

least 90% of priority landowners

signed up with NRCS manage

land for marsh migration

Partes de una Cadena de Resultados

Resultados preliminares

necesarios para lograr la

reducción de la amenaza

Reducción deseada de

una amenaza específica

que el programa quiere

lograr

Estado deseado del

objeto de interés (BD)

que el programa

quiere lograr

Serie de acciones (con

enfoque común) para

lograr resultados de la

cadena

Intervenciones o

tareas específicas

para lograr uno o más

resultados.

El mapa conceptual

presenta “estado actual del

mundo”

Cadena de

factores

Convertido a

una cadena de

resultados

inicialLas metas están vinculadas a productos específicos

Los objetivos

están vinculados

con objetosLas cadenas de resultados presentan los resultados

esperados – “el estado deseado del mundo”

Sitio A:

Sitio B

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

✓ ✓ ✓ ✓ ✓

✓ X X X✓

El Manejo Adaptativo ayuda a planificar mejor, medir la eficacia y aprender de su programa

Sitio A:

Sitio B

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

✓ ✓ ✓ ✓ ✓

✓ X X X✓


¿Estamos logrando un impacto?

Sitio A:

Sitio B

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

✓ ✓ ✓ ✓ ✓

✓ X X X✓


¿Estamos ejecutando las acciones correctamente?

Sitio A:

Sitio B

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

✓ ✓ ✓ ✓ ✓

✓ X X X✓


¿Estamos implementando las mejores acciones?

Sitio A:

Sitio B

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

Bosque

nativo

Menos

conversión

de bosque a

agricultura

Comunidad

adopta

actividades

productivas

sostenibles

Promover

alternativas

económicas

sostenibles

Comunidad

obtiene

mayores

beneficios

Comunidad

valora el

bosque en

pie

✓ ✓ ✓ ✓ ✓

✓ X X X✓


¿Bajo que condiciones una estrategia funciona o no?

¿Cómo nos ayudala CdR para la

evaluación en la gestión de la

conservación?

Partes de una Cadena de Resultados

Resultados preliminares

necesarios para lograr la

reducción de la amenaza

Reducción deseada de

una amenaza específica

que el programa quiere

lograr

Estado deseado del

objeto de interés (BD)

que el programa

quiere lograr

Serie de acciones (con

enfoque común) para

lograr resultados de la

cadena

Intervenciones o

tareas específicas

para lograr uno o más

resultados.

Sirve como marco para evaluar el progreso y los logros

Actividades: Lo que hicieron y

lo que no pudieron hacer y

por qué

Resultados: Lo que

lograron y lo que no

lograron y por qué

Impactos: Lo que

lograron cambiar y

lo que no pudieron

cambiar y por qué

“SEMÁFORO”

Leyenda para el diagrama “semáforo”

Estos símbolos y colores muestran el

progreso de PMT hacia la implementación

de una acción (o la medición de un

indicador)

Estos símbolos y colores indican el

progreso de PMY hacia una meta o un

objetivo

Painted Dog Conservation Project

Sirve como marco para evaluar el progreso y los logros

Esta estrategia, ¿aún es válida?

¿Los supuestos aún son válidos?

¿Deberíamos cambiar algo en la forma que nos aproximamos a las amenazas, la temática, esta estrategia, EL PROYECTO?

CdR como marco fundamental parael aprendizaje (y la adaptación)

- Los resultados e indicadores (a veces actividades también) identifican

los datos necesarios

• Los supuestos definen las preguntas clave de aprendizaje

Proceso de Aprendizaje usando Cadenas de Resultados

¿Estado de la Meta?

Como Plan:

300 (de 708) grupos comunales están

incidiendo políticamente

¿Estado de la Meta? Como Plan: 100 (de

236) Comités priorizan fondos para

proyectos de caminos con diseño

“ambiental”

Grupos comunales

inciden

políticamente en

las autoridades

locales

Comités locales

priorizan fondos

para “caminos

ambientales”

1. Estado de acciones

2. Estado de monitoreo

3. Estado de metas

4. Supuestos

5. Preguntas


Grupos comunales

inciden

políticamente en

las autoridades

locales

Comités locales

priorizan fondos

para “caminos

ambientales”

¿Supuestos válidos?

¿Influencia de concienticación

e incidencia comunal u otro

contexto en el resultado?



3. Estado de metas

4. Supuestos

5. Preguntas

Grupos comunales que

se encuentran

incidiendo políticamente

Comités locales que

priorizan fondos para

“caminos ambientales”


Definir “Preguntas de Aprendizaje” e información:

¿Si los grupos comunales inciden políticamente,

entonces los comités locales priorizarán fondos?

¿Cuál es la evidencia para este supuesto?

¿Cuál es la incertidumbre en la relación?

¿Cuál es el riesgo de tener un supuesto incorrecto

Etc…

Grupos comunales

inciden

políticamente en

las autoridades

locales

Comités locales

priorizan fondos

para “caminos

ambientales”



3. Estado de metas

4. Supuestos

5. Preguntas

CdR como marco para guiar lo que vamos a colectarcomo evidencia

41

F-Indicator EG 10.2.6: # de

personas que aplican acciones

legales mejoradas en

conservación.

Variable explicatoria.

Capacidad de control

Variable resultado. Acciones de

control

Pregunta 1. Si hay más

capacidades de vigilancia y control,

¿habrán más acciones de control

por parte de las agencias y grupos?

Indicador 5.3

Confiscaciones,

aprehensiones, y arrestos

resultando del

fortalecimiento de

capacidades por Protect

Wildlife

Indicador 5.1

# de staff del gob. entrenado

en el combate de crimenes

ambientales y de fauna

silvestre

LQ1

Ejemplo de resultados esperados

Pregunta de Aprendizaje. Si existen más capacidades de control y

vigilancia, ¿habrán más acciones de control y vigilancia por parte de las

agencias y grupos de control y vigilancia?

¿Estándares?

- Si…

- El uso de una herramienta que permita guiar:

• Las preguntas de aprendizaje

• Las necesidades de información (indicadores)

- Y a la vez permita planificar:

• Que se quiere lograr,

• Como se quiere lograr

• Que supuestos se están asumiendo…

Gracias

Armando Valdés-Velásquez

[email protected] / [email protected]

mailto:[email protected]


ESTÁNDARES ReLAC

EVALUACIÓN Y EVIDENCIA

Luis Soberón A.

Noviembre 2018

Decisiones basadas en evidencias

¿La estrategia de intervención está justificada

adecuadamente por antecedentes que aportan

evidencias de su pertinencia y efectividad?

Supuesto: se cuentan con evidencias

Problema: brecha existente

Decisiones basadas en evidencias

¿La estrategia aplicada ha sido efectiva?

¿Qué evidencias confirman su efectividad?

Supuesto: una adecuada implementación

Problema: brechas en la implementación

Responsabilización

Lo que está en juego

Las condiciones de vida y bienestar de las poblaciones comprometidas

El uso de recursos públicos

Sentido de responsabilidad, y rendición de cuentas

Necesidad de marco y gestión institucional

INTERVENCIÓN EVIDENCIAS

Hipótesis

Estrategia

Implementación

Criterios de valor, políticas

INTERVENCIÓN

EVALUACIÓN

EFECTIVA

DE ALTA

CALIDAD

ESTÁNDARES

Estándares identifican los campos críticos a tener en

cuenta para que la evaluación aporte evidencias sobre la

efectividad de la intervención

ReLAC Estándares para AL y C5 Dimensiones y 26 estándares

❑ 1: Evaluación rigurosa (8)

❑ 2: Adecuada evaluabilidad (4)

❑ 3: Evaluación conducida con principios éticos y jurídicos (4)

❑ 4: Adecuada comprensión cultural (3)

❑ 5: Relevancia y utilidad (7)

Evaluación

rigurosa basada /

centrada en

evidencias

CONTEXTODescripción detallada

Evaluación

rigurosa basada /

centrada en

evidenciasOBJETO DE EVALUACIÓNDescripción detallada de la

intervención


Evaluación

rigurosa basada /

centrada en


intervención

¿PREGUNTAS EVALUATIVAS?Claras, pertinentes


Evaluación

rigurosa basada /

centrada en


intervención

¿PREGUNTAS EVALUATIVAS?


METODOLOGÍA

Válida, confiable

CONCLUSIONESRelevantes

RECOMENDACIONESÚtiles, factibles

Evaluación

rigurosa basada /

centrada en


intervención



METODOLOGÍA

Válida, confiable



REPORTESComunicación pública efectiva

Evaluación

rigurosa basada /

centrada en


intervención



METODOLOGÍA

Válida, confiable



REPORTESComunicación pública efectiva

POLÍTICAS

Estándar de oro en la

jerarquía de la evidencia

Diseño tipo experimental, contrafactual

Comparación: grupos control e intervención

Asignación aleatoria

Repeticiones confirmatorias

[Banco Interamericana de Desarrollo // Banco Mundial]

Sistemas complejos

A mayor complejidad menor predictibilidad

Mayor exigencia de una gestión adaptativa

Importancia crítica del seguimiento

Necesidad de una evaluación que acompañe el proceso

Investigación

y evaluación

Actores

involucrados

ContextoPolítico, social, económico,

cultural, ambiental

…

Equipo directivo, profesional,

técnicoDecisiones

Gestión basada en evidencias: componentes claves - NESTA

Perspectiva abierta y plural

Asociación Americana de evaluación

BOND - Red de ONG internacionales de Desarrollo

Álianza por una Evidencia Útil

IDRC

Calidad de la evidencia

BOND: Principios / estándares

❑Voz e inclusión

❑Pertinencia

❑ Triangulación

❑ Atribución

Bond (UK) Red de ONG internacionales de Desarrollo

❑ Transparencia

Revisión de los EstándaresPreguntas de reflexión

➢ ¿Incluir la evidencia en el enfoque global de los Estándares?

➢ ¿Incluirla como una dimensión en los Estándares?

➢ ¿Incluirla como un estándar?

➢ ¿Explicitar la evidencia en el tratamiento de los estándares?

➢ ¿Alguna otra opción?

Luis Soberón A.

Profesor principal del Departamento de Ciencias Sociales de la

Pontificia Universidad Católica del Perú - PUCP.

Miembro de EvalPerú e integrante del Grupo de Estándares ReLAC

[email protected] [email protected]

Muchas gracias por

su amable atención



El Uso de Estándares de Evaluación para la Generación de...

Documents

Transcript of El Uso de Estándares de Evaluación para la Generación de...