Sistema de seguimiento, evaluacion y gestión de la evidencia midis

51
EL SISTEMA DE SEGUIMIENTO, EVALUACIÓN Y GESTIÓN DE LA EVIDENCIA DEL MIDIS Aníbal Velásquez Valdivia Director General de Seguimiento y Evaluación Lima, 14 de mayo de 2013

Transcript of Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Page 1: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

EL SISTEMA DE SEGUIMIENTO, EVALUACIÓN Y GESTIÓN DE LA EVIDENCIA DEL MIDIS

Aníbal Velásquez ValdiviaDirector General de Seguimiento y Evaluación

Lima, 14 de mayo de 2013

Page 2: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Objetivo• Analizar el contexto institucional en el opera el MIDIS.• Comprender el marco conceptual que sustenta el

Sistema de Seguimiento y Evaluación.• Conocer los productos de la DGSE y su uso en la toma

de decisiones de política• Reflexionar respecto de los determinantes para el uso

de la evidencia de las evaluaciones en la acción social• Ejemplo del uso de la evidencia en un programa de

presupuesto por resultados de desarrollo rural

Page 3: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Contexto institucional

Creación del MIDIS

Un Ministerio con rectoría sobre la política social del Estado Peruano, para diseñar, conducir y evaluar las políticas y estrategias encaminadas a reducir la pobreza y la vulnerabilidad, orientando las acciones destinadas a reducir desigualdades y cerrar las brechas que no pueden ser cerradas por las políticas sectoriales.

Page 4: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Política de desarrollo e inclusión social: Ámbito de acción

Política Social (Universal y Permanente)

CIAS

Política de Desarrollo e Inclusión Social (Focalizada y Temporal)

SINADIS: Evidencia

Page 5: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Articulación de la política social

Page 6: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Intervención en tres horizontes temporales

Alivio temporal•Población en pobreza extrema (transferencias)•Condiciones básicas de vida (vivienda, abrigo, alimentación)•Tercera edad

Corto plazo

Mediano plazo

Desarrollo de capacidades•Desarrollo capacidades (trabajo, innovación, gestión y organización)•Acceso a servicios (infraestructura básica, inclusión financiera)

Largo plazo

Generación de oportunidades para la siguiente generación•Salud básica y nutrición•Educación básica

Seguimiento y Evaluación por Resultados

- Disminuir pobreza extrema

- Incrementar hogares con acceso servicios (electricidad, agua, desagüe y telefonía)- Ingreso autónomo

- Disminuir Desnutrición crónica menores de 5 (OMS) - Disminuir la inasistencia de niños de entre 3 y 5 años de edad a Educación Básica Regular

Page 7: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Ejes estratégicos según ciclo de vida

Incrementar el desarrollo físico,cognitivo, motor, emocional y social en la primera infancia

Eje 1: Nutrición Infantil.

Incrementar las competencias para el desarrollo personal,

educativo y ocupacional, de acuerdo a la edad

Incrementar el ingreso autónomo de los hogares

Incrementar el bienestar de los

adultos mayores

Eje 2: Desarrollo Infantil Temprano

Eje 3: Desarrollo Integral de la Niñez y la Adolescencia

Eje 4: Inclusión Económica

Eje 5: Protección del Adulto

Mayor

Reducir la prevalencia de la

Desnutrición Crónica Infantil

Eje

sR

esul

tad

os

Page 8: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Programas sociales del MIDIS

EE1: Nutrición Infantil

EE2: Desarrollo Infantil Temprano EE3: Desarrollo Niñez y Adolescencia

EE4: Inclusión Económica

EE5: Protección Tercera Edad

Pensión 65FONCODES Qali WarmaCuna Más

0-3 años 4-5 años 6-17 años 18-64 años 65+ años

Juntos

Page 9: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Pilares para cumplimiento de metas de la Estrategia Nacional Incluir para Crecer

SEGUIMIENTO Y EVALUACIÓN

Uso de mecanismos coordinados para medir el avance y los resultados de las intervenciones

ARTICULACIÓN

Empleo de instrumentos y espacios para la coordinación intersectorial e intergubernamental

FOCALIZACIÓN

Concordancia de criterios y mecanismos para la selección de ámbitos y población objetivo

Page 10: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Estrategia Nacional Conocer para IncluirConjunto de acciones orientadas a desarrollar un aprendizaje continuo que busca conectar a la población con

los programas sociales, y la evidencia con el diseño e implementación de las políticas públicas.

Focalización

Padrón General de Hogares (SISFOH)

Registro Nacional de Usuarios de

programas sociales

Seguimiento

Listas de chequeo

Tableros de Control

Sistema de Información Geo-

referenciados

Evaluación

Plan Anual de Evaluaciones

Evaluaciones de impacto

Evaluaciones de desempeño

Estuidios pilotoRevisiones

sistemáticas( Tercerizado a

consultoras independientes)

Gestión de Evidencia

Informe de Recomendaciones

Planes de Mejoramiento Continuo ( En algunos casos tercerizados )

Seguimiento a los planes de

mejoramiento continuo

Page 11: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Calidad, oportunidad,

independencia, JUECES

Uso de la evaluación e información

GENERACION DE EVIDENCIA

$$$

Sistemas de seguimiento y evaluación

Page 12: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Sistema de seguimiento y

evaluación convencional

Acompañamiento, institucionalización, y

propuestasThin tank

GESTION DE LA EVIDENCIA

GESTION DE LA EVIDENCIA

GENERACION DE

EVIDENCIA

Evolución del área de seguimiento y evaluación del MIDIS: somos gestores de la evidencia y de la información, ayudamos en la

solución o en sustentar decisiones y defender las buenas políticas y programas

No pretendemos convencer que la evaluación es importante, los decisores nos piden la información que necesitan para ayer

Anibal Velasquez
Page 13: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Aprendimos que lo más importante es el propósito: ¿para qué un sistema de seguimiento y evaluación?

• Conclusión: Para mejorar la calidad, eficiencia, eficacia, equidad de los políticas, programas y servicios

• Con una gestión basada en resultados y evidencias• Y formar parte de la implementación de las decisiones, de las

políticas y de los programas (diseño, coyuntura, operación)• En consecuencia….• El sistema de seguimiento y evaluación no debe organizarse

en función del ciclo de la evaluación• Si no en función del ciclo de los programas, de la política y en

el ciclo del sistema administrativo del Estado y de la coyuntura

Page 14: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Uso de la evidencia

La experiencia nacional e internacional muestra que las políticas y programas sociales diseñados en base a opiniones no probadas y/o inspiradas en ideologías, prejuicios o conjeturas son usualmente ineficaces para generar avances importantes en materia de desarrollo e inclusión social. No obstante, los sistemas de seguimiento y evaluación a nivel mundial han centrado su atención en la producción de evidencia de calidad, olvidando que el uso de la misma no es un evento automático y que la medida de éxito de dichos sistemas está definida por la medida en que la evidencia alimenta la toma de decisiones en materia social.

“La medida del éxito es la utilización”. Keith Mackay

Page 15: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Usos de la evidencia en la acción social

Priorizar resultados

con base en evidencias

Definir ámbitos

geográficos de

intervención

Identificar intervenciones efectivas y

costo-efectivas

Establecer criterios para las metas de

impacto y resultados

Desarrollar tableros de control del desempeño

Evaluar los diseño,

resultados y procesos

Generar recomendacio-nes viables y planes de

mejora

Recomendacio-nes y mejoras

implemen-tadas

Gestión de la información

y la evidencia

Page 16: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Generación de evidencias

Gestión de evidencias

Toma de decisiones basada en evidencias

Por tal motivo, la DGSYE ha desarrollado un sistema de seguimiento y evaluación que, no sólo permite generar evidencia científica rigurosa en forma oportuna, sino que, procura además el uso de la misma en la toma de decisiones, incrementando así la eficiencia, eficacia y equidad de las políticas públicas en materia de desarrollo e inclusión social.

Intervenciones más eficientes, efectivas y de mejor calidad

Page 17: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Marco legal

SINADIS

Evidencia (Sistema de

Seguimiento y Evaluación)

Lineamientos de S,E & GE

• ROF de la DGSYE• Encargado de

implementar el sistema de S&E y gestión de la evidencia

Rector del S, E & GE de la política social nacional

Ley No. 29792 El MIDIS implementará…”un sistema de monitoreo, seguimiento y evaluación con el objeto de comprobar el cumplimiento de las políticas y normas nacionales en materia de desarrollo e inclusión social…”.

Page 18: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Usuarios de información

Implementación del Sistema de Seguimiento y Evaluación

Políticas y programas

sociales MIDIS

Sistemas de seguimiento, tableros de

control

Programas sociales

Otros sectores

GGRR y GGLL

Sistema de seguimiento y

evaluación “Evidencia”

DGSYE

Alta dirección MIDIS y otros

sectores

Autoridades GGRR y GGLL

Direcciones ejecutivas de

programas sociales

Usuarios de los programas

Público en general

Revisiones sistemáticas,

revisiones realistas

Fuentes primarias

(INEI) y evaluaciones

Rector

Fuentes de información

Gestor

Page 19: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Vice Ministerio de Políticas y Evaluación Social

Dirección General de Seguimiento y Evaluación

Roles y funciones

Evaluación y gestión de la evidencia

Seguimiento

Principios y Estándares de

CalidadPrincipios:

Rigurosidad, participación de los programas, recomendaciones

viables entre otros

Estándares de Calidad de evaluaciones y sistemas de

seguimiento

Condiciones básicas y requisitos para evaluaciones

y seguimiento y uso de la evidencia

Procedimientos

Evaluaciones de impacto, procesos, desempeño

Gestión de la evidencia de las evaluaciones y las

recomendaciones de los sistemas de seguimiento

Flujos de información y reportes del sistema de

seguimiento

Institucionalización: Lineamientos de Seguimiento, Evaluación y Gestión de la Evidencia

Page 20: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Resultados y productos del sistema de seguimiento, evaluación y gestión de la evidencia de programas y políticas del MIDIS

Uso de la evidencia e información

Recomendaciones implementadas Mejoras y ajustes realizados en los programas

Gestión de la evidencia y las alertas sobre el desempeñoRecomendaciones viables basadas en la

mejor evidenciaSeguimiento de planes y compromisos de

mejora

Producción de evidencias y seguimiento del desempeñoEVALUACIÓN

Evaluaciones , análisis predictivo y revisiones sistemáticas

SEGUIMIENTO Tableros de control y sistemas geo-referenciados sobre el cumplimiento de

metas y estándares

Page 21: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Producción de evidencias y seguimiento del desempeño

Ubicar a la DGSYE en el ciclo del diseño e implementación de las políticas y programas que conduce el MIDIS.

Establecer el marco normativo e institucional con los roles, estándares y procedimientos para ejercer las funciones de la DGSYE.

Conformar un equipo técnico calificado y productivo con evaluación del desempeño por resultados.

Asignar personal de la DGSYE para apoyar a los programas.

Desarrollar las metodologías, herramientas y sistemas de información.

Page 22: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Gestión de la evidencia y las alertas sobre el desempeño

Desarrollo de estándares de calidad de las recomendaciones de las evaluaciones y formato de presentación.

Desarrollo de una metodología y procedimientos para hacer un análisis de viabilidad de las recomendaciones y elaboración de propuestas para la toma de decisiones.

Asistencia técnica y desarrollo de mecanismos institucionales y propuestas para implementar las recomendaciones de las evaluaciones y la información que proviene de los sistemas de seguimiento.

Page 23: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Medida de éxito: uso de la evidencia e información

Recomendaciones con base en las evaluaciones y evidencias implementadas.

Mejoras o ajustes realizados en los programas a partir de los reportes del sistema de seguimiento

Propuestas de política, programas, intervenciones, metodologías o instrumentos implementadas

Page 24: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Cuadro Resumen de Cumplimiento de las Recomendaciones de la DGSYE respecto de estudios realizados en el 2012

Recomendaciones Realizadas Recomendaciones en marcha

% Recomendaciones que requieren estudios adicionales o coordinación

con otros sectores

% Recomendaciones no ejecutadas

%

23 14 61% 4 17% 5 22%

Cumplimiento a las recomendaciones de los 6 reportes técnicos para los programas del MIDIS

Cuadro Resumen de Cumplimiento de las Recomendaciones de la DGSYE respecto de estudios realizados en el 2012

Programa Tipo de Recomendación Número % Total

Pensión 65 Recomendaciones en marcha 2 100% 2

Cuna Más Recomendaciones en marcha 6 100% 6

Juntos

Recomendaciones en marcha 2 40%

5Recomendaciones que requieren estudios adicionales programados para el 2013 2 40%

Recomendaciones que requieren coordinación con otros sectores no ejecutadas en el 2012 1 20%

FONCODESRecomendaciones en marcha 2 67%

3Recomendaciones que requieren estudios adicionales programados para el 2013 1 33%

PRONAA/QALI WARMARecomendaciones en marcha 2 40%

7Recomendaciones no ejecutadas 5 60%

Page 25: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Tableros de Control• Listas de Chequeo• Auditorias de datos• Inspecciones de Campo

• Plataforma de Seguimiento

• INFOMIDIS• Tableros de Control

• Asistencia Técnica para formulación de programas presupuestales

• Seguimiento al gasto en los ejes de la Estrategia Crecer para Incluir

• Lineamientos para reducción de DCI

• Anuario estadísticos

Planeamiento Priorización presupuestal

GestiónRendición de cuentas

Usos de la información y productos de la Dirección de Seguimiento

Page 26: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Evaluación de procesos• Informe de

recomendaciones• Compromisos de mejora

• Evaluación de impacto• Evaluación de resultados• Seguimiento a

compromisos de mejora

• Definición de metas• Evaluaciones de

impacto

• Evaluaciones de diseño• Revisiones sistemáticas• Lineamientos para

reducción de DCI• Asistencia técnica (ej.

Priorización FONCODES)

Planeamiento Priorización presupuestal

GestiónRendición de cuentas

Usos de la información y productos de la Dirección de Evaluación

Page 27: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Proceso de Desarrollo de la DGSYE - MIDIS

Institucionalización y Diseño Implementación y Aplicación

2012 2013

Normativos:

Oraanizacionales

Instrumentos

Sistemas de información

Plataforma de publicación

Publicaciones y reportes técnicos

Institucionalización de S,E y GE

Enfoque y métodos

AT y Generación de evidencias y recomendaciones para políticas y

programas

Plan de evaluaciones y normas técnicas

Evaluaciones e investigaciones

Reportes trim. de seguimiento

Tableros de control con metas y estándares, planes de mejora

programas y políticas

Policy brief y reportes de evidencias

Líneas de base de eval. de impacto

Sistema integrado de información con MINSA y MINEDU

Comisión QUIPU permanente y QUIPUS regionales

Page 29: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Tablero de Control Nacional y Regional.

Seguimiento del gasto en DCI.

Seguimiento a los ODM.

Mapa distrital de áreas prioritarias para lucha contra la DCI.

Seguimiento a políticas

Page 30: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

InfoMidis Tableros de control Fichas de

seguimiento Listas de chequeo

Seguimiento a programas sociales

Page 32: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Fichas técnicas de las evaluaciones.

Términos de referencia

Notas metodológicas.

Informes finales.

Generación de la Evidencia

Page 33: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Policy briefs: Síntesis.

Informes Técnicos de Recomendaciones.

Compromisos de Mejora.

Documentos normativos.

Gestión de la Evidencia

Page 34: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Evaluaciones de impacto de todos los programas MIDIS.

22 evaluaciones en el 2013.

17 evaluaciones financiadas por el MIDIS y otras fuentes y 5 evaluaciones coordinadas por el MEF.

Ocho evaluaciones de impacto y 14 evaluaciones de desempeño (evaluaciones de procesos, diseño, resultados o específicas)

Page 35: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

¿Cómo lograr que las evaluaciones contribuyan al aprendizaje y rendición de cuentas?

¿Cuáles son los mecanismos institucionales más relevantes para ello?

¿Cómo logramos pasar de la evidencia científica a la acción social?

Page 36: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Determinantes del uso de la evidencia en la política social Factores facilitadores

La cultura de la evaluación existente en la organización La comunicación existente entre las unidades de evaluación y los gestores de

política. La importancia o prioridad de la política evaluada. Enfoque participativo de la evaluación. La pertinencia y oportunidad de la evaluación. La calidad y fiabilidad de los resultados así como la claridad, viabilidad y el sentido

práctico de las recomendaciones. La existencia de una demanda por evaluaciones. El contacto personal entre los investigadores y los políticos que promueva la

confianza en los resultados de la evaluación. Transparencia de los métodos a utilizar y los resultados obtenidos.

Page 37: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

La inestabilidad política o la alta rotación del personal que formula políticas. La desconfianza mutua, incluida la ingenuidad política percibida de los investigadora

como la ingenuidad científica de los responsables políticos. Luchas por el poder y el presupuesto. La falta de voluntad política de la alta dirección para el uso de evidencia en la

formulación o mejora de las intervenciones. Insuficiente difusión de los resultados de las evaluaciones. Formulación de recomendaciones ambiguas y poco viables. Inexistencia de mecanismos y herramientas para el seguimiento de las

recomendaciones la evaluación. La ausencia de un sistema de incentivos para el uso de las recomendaciones que

premie la implementación de cambios y el aprendizaje y desincentive la cultura de mantener el statu quo.

Factores obstaculizadores

Page 38: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Uso de revisiones sistemáticas y revisiones realistas. Desarrollar pilotos experimentales con propuestas para mejorar la eficacia,

eficiencia, calidad y operación de los programas y políticas. Mejorar la calidad de las recomendaciones de las evaluaciones y de los sistemas de

seguimiento. Generar alertas de desempeño. Desarrollar análisis de viabilidad de recomendaciones (económica, política, social,

técnica). Generar recomendaciones desde una instancia con autoridad. Desarrollar propuestas con el análisis de viabilidad y alternativas de costo-beneficio,

costo-efectividad. Conectarse con los que conducen la política y los programas son los que definen el

requerimiento. Estar en la coyuntura. El área de evaluación y seguimiento se inserta en los procesos de diseño,

implementación y coyuntura. Facilitar programas de mejoramiento y acciones de mejora para luego hacer

seguimiento.

Propuesta del MIDIS para mejorar el uso de la evidencia y de la información de los sistemas de seguimiento

Page 39: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Mejorar la calidad de las recomendaciones• Los estándares de las recomendaciones forman parte de los términos de

referencia de cada evaluación.• Las recomendaciones deben ser:

– Firmemente basadas en evidencia– Implicaciones lógicas de los resultados y de las conclusiones– Relevantes para la intervención que está siendo evaluada– Pertinentes a los términos de referencia y los objetivos de la evaluación; – Formuladas de una manera clara y concisa

• Deberán contener un análisis de beneficios, opciones de mejora, propuestas de cambios o ajustes y evitando que sean cerradas o unívocas.

Evidencias que sustentan la recomendación

Implicancias de las recomendaciones en el programa

Requerimientos para hacer viable la recomendación

Texto resumido de las evidencias con referencias bibliográficas

Breve análisis de las implicancias en términos de beneficios y posibles consecuencias si se implementa o no las recomendaciones

Necesidades de información adicional, recursos, costos, arreglos institucionales, cambios normativos

Page 40: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Recomendaciones que fomentan el uso de la evidencia de las evaluaciones

CRITERIO DEFINICIÓN

1. PERTINENCIA La oportunidad, adecuación y/o conveniencia de implementar la acción

2. COMPLEJIDAD La facilidad, dificultad y/o esfuerzo de implementar la acción

3. COSTO El presupuesto y los medios que demanda implementar la acción

4. PERSISTENCIA La duración o el periodo de tiempo que demanda implementar la acción

5. COMPATIBILIDAD CULTURAL

Los valores, percepciones y patrones culturales que apoyan o no la implementación del cambio o acción. La aceptación cultural

Page 41: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Procedimiento para el análisis de viabilidad de las recomendaciones

Elaboración de recomendaciones de la evaluación

• Equipo de evaluadores

• Estándares de calidad de las recomendaciones

• Sistematización de evaluaciones

• Revisiones sistemáticas

Análisis de viabilidad de recomendaciones

• Equipo de gestores y expertos en análisis político, técnico, económico y social

• Revisión de las recomendaciones con el programa evaluado y las autoridades institucionales

Recomendaciones viables y propuesta de mejora, cambio o creación

• Equipo de gestores

• Reporte técnico de la DGSYE con recomendaciones

• Seguimiento de las recomendaciones

Sistematización de evidencias del PIN

infantil

Análisis de viabilidad de las

recomendaciones de las

evaluaciones

Recomendación de la DGSYE con

base en evidenciasReporte técnico No. 6

Page 42: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Planes de Mejoramiento Continúo

Intervenciones más eficientes

y efectivas

Plan Anual de Evaluaciones

Informe de Evaluación de terceros

Análisis de viabilidad de las recomendaciones e

Informe de Recomendaciones DGSYE

Plan de Mejoramiento Continuo (Programa-

DGSYE-Tercero)Uso de la evidencia

Page 43: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Ejemplo: De la evidencia a la acciónEV

IDEN

CIAS 1) El Sub Programa PIN

Infantil del PRONAA no ha cumplido con sus objetivos, no ha llegado a la población que más necesita y no ha tenido impacto en la reducción de la DCI.2) El PRONAA mantiene problemas e irregularidades de gestión y organización.3) Existen intervenciones más efectivas para reducir DCI RE

COM

ENDA

CIÓ

N D

GSY

E La entrega de alimentos para niños menores de 3 años y gestantes no debería ser realizado por un programa de alimentos

PRO

PUES

TA 1) Mapa de inseguridad alimentaria2) Focalización3) El MINSA y el MIDIS desarrollan una propuesta en distritos priorizados y seleccionan las IE más efectivas con base en evidenciasFinanciamiento por prestación realizada a cargo del SIS, equipamiento y sistema de información

Page 44: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Ejemplo: metodología para el diseño de políticas con base en evidencias

¿Por qué , dónde y a quién?

•Análisis situacional del problema y sus factores o determinantes

•Establecer la población objetivo

¿Qué? Revisiones

sistemáticas y validación con expertos para

seleccionar intervenciones

efectivas

¿Para qué?

Establecer finalidad, alcance, objetivos y/o

metas de la política

¿Cómo?

Diseño de instrumentos de la

política :•Normativos,•Metodológicos•operacionales

Decisión de la finalidad, alcance, objetivos y metas

de la política

Recursos/ grupos de

interés/opi-nión pública

Evidencia/ cono-

cimiento

Ideología/ experiencia/a

utoridad

Instrumentos Proceso de implementación de la Política

Planificación/ programación

Operación Evaluación y seguimiento

Normativos Lineamientos de articulación interesctorial e intergubernamental

Directivas técnicas para la entrega de las intervenciones efectivas

Directivas para los proyectos de inversión que implementan intervenciones efectivas

Directivas de seguimiento y evaluación de la política

Metodológicos Guía metodológica para la programación presupuestal multisectorial

Guía metodológica para evaluar restricciones o cuellos de botella para expandir las coberturas de las intervenciones efectivas

Guía metodológica para desarrollar tableros de control del desempeño de la política

Operativos Software para la programación presupuestal

Software para establecer metas de coberturas y resultados

Estudio de costos de las intervenciones efectivas

Manual de operaciones y estándares de calidad de los servicios que entregan intervenciones efectivas

Manual e supervisión de la calidad de la entrega de las intervenciones efectivas

Acuerdos de gestión Fondo de incentivos por el

cumplimiento de resultados

Diseño e implementación de sistemas de información para el seguimiento de usuarios de las intervenciones efectivas

12 meses 24 meses 36 meses

Intervenciones nutricionales generales 21.7% 17.8% 15.5%

Intervención con micronutrientes 10.3% 15.9% 17.4%

Intervenciones control de enfermedades 3.7% 2.9% 2.7%

99% de cobertura de todas las intervenciones 33.1% 35.8% 35.5%

90% de cobertura de todas las intervenciones 31.1% 32.4% 32.1%

70% de cobertura de todas las intervenciones 22.7% 24.1% 23.6%

Reducción relativa de la prevalencia de la desnutrición crónica

Page 45: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Programa Presupuestal con Enfoque en Resultados

• Es un instrumento de programación de actividades de entidades públicas.

• Detalla productos (bienes y servicios) y actividades que tienen por finalidad contribuir al logro de un resultado específico de política social basado en evidencias.

• Asimismo, el programa presupuestal establece metas, indicadores, y el detalle del presupuesto requerido para implementar los productos y actividades.

• El logro de estos resultados es tomado como evidencia sustentatoria para el presupuesto del siguiente periodo.

Page 46: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

Definición del problema

Población objetivo

Construcción de modelo causal

Análisis de alternativas de intervención

Definición de productos,

actividades y tareas

Definición de indicadores

Matriz Lógica Plan de seguimiento y evaluación

Establecimiento de Metas

Programación presupuestal

Procesos del Programa Presupuestal con Enfoque en Resultados

Page 47: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Enunciado del problema específico: Hogares con economías de subsistencia con limitadas oportunidades de acceso a mercados locales, que residen en centros poblados rurales.

• Sustento conceptual– Causas o factores directa o indirectamente asociadas a este

problema• Sustento estadístico

– Pobreza, Educación, Activos físicos, Activos naturales

• Definir criterios de focalización y priorización de la intervención en un marco multianual, para cuantificar la población objetivo de la intervención.– Principales criterios utilizados: ruralidad, pobreza, aglomeración.

Caso “Haku Wiñay”: a) Definición del problema específico de la intervención

Page 48: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• No todas las causas relacionadas al problema identificado pueden ser abordadas por esta intervención

• La definición de la intervención, productos y actividades debe estar sustentada por evidencia, proveniente de estudios que justifiquen las alternativas seleccionadas para intervenir frente a otras opciones.

• La intervención Haku Wiñay básicamente consiste en :– Asistencia técnica orientada a la demanda – Capacitaciones en el campo, de campesino a campesino, utilizando la figura del

Yachachiq (persona de la localidad generalmente que domina determinadas técnicas y conocimientos, así como la cultura local).

– Entrega de pequeños activos productivos que permitan aplicar/consolidar /apropiar los conocimientos transferidos

– Promoción de pequeños emprendimientos mediante concursos de grupos de usuarios

b) Diseño de la intervención, Productos, Actividades y tareas

Page 49: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Dirigido exclusivamente a la población rural más pobre.• Se concibe a partir de experiencias previas con resultados

favorables.• Orientado a la demanda de los usuarios• Operación mixta:

– FONCODES se ocupa de la fase de pre-intervención (Promoción del proyecto, conformación del Núcleo Ejecutor, capacitación de Yachahiqs, y preparación de expedientes técnicos). Finalmente realiza las transferencias presupuestales al Núcleo ejecutor.

– Luego son los usuarios quienes operan a través del Núcleo Ejecutor.– FONCODES acompaña y supervisa todas las acciones y

contrataciones que realiza el Núcleo ejecutor

c) Características de Haku Wiñay

Page 50: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

• Falta de evidencia específica relacionada al portafolio de las tecnologías ofrecidas principalmente:– Tecnologías para la recuperación y manejo de recursos naturales de agua, suelo y

vegetación. – Tecnologías para sistemas sencillos de riego tecnificado presurizado a nivel familiar– Tecnologías para el manejo de cultivos, agroforestería y crianza de animales menores

• Las alternativas de intervención elegidas deberían estar sustentadas en estudios científicos que muestren la validez y consistencia de éstas para solucionar el problema específico.

• Existen diferentes niveles de evidencia (estudios experimentales, cuasi experimentales, revisiones sistemáticas, evidencia cualitativa)– Se encontraron muy pocos estudios que muestren cuantitativamente que las

técnicas/tecnologías transferidas fueran exitosas. – La evidencia presentada fue básicamente cualitativa.– Se toma como evidencia reportes de otras intervenciones similares dentro y fuera del

país.– Es necesario generar nuevas evidencias con esta nueva intervención.

d) Problemas en la formulación del programa presupuestal

Page 51: Sistema de seguimiento, evaluacion y gestión de la evidencia midis

GRACIAS

Anibal Velá[email protected]