GENERACIÓN DE EVIDENCIA PARA LA ACCIÓN SOCIAL: EL SISTEMA DE SEGUIMIENTO Y EVALUACIÓN DEL MIDIS

Aníbal Velásquez ValdiviaDirector General de Seguimiento y Evaluación

Lima, 14 de mayo de 2013

Objetivo• Analizar el contexto institucional en el opera el

MIDIS.• Comprender el marco conceptual que sustenta el

Sistema de Seguimiento y Evaluación.• Conocer los productos de la DGSYE y su uso en la

toma de decisiones de política• Reflexionar respecto de los determinantes para el

uso de la evidencia de las evaluaciones en la acción social

Agenda

• Contexto institucional• Marco conceptual del Sistema Nacional de

Seguimiento y Evaluación del MIDIS• La DGSYE del MIDIS• Reflexiones sobre determinantes para el uso

de la evidencia de las evaluaciones en la acción social

Contexto institucional

Creación del MIDIS

Por primera vez en el Perú se crea un Ministerio, con rectoría sobre la política social del Estado Peruano, con el mandato preciso diseñar y conducir las políticas y estrategias encaminadas a reducir la pobreza y la vulnerabilidad, orientando las acciones destinadas a reducir desigualdades y cerrar las brechas que no pueden ser cerradas por las políticas sectoriales.

Ámbito de acción de la política de desarrollo e inclusión social

Articulación de la política social

Intervención en tres horizontes temporales

Alivio temporal•Población en pobreza extrema (transferencias)•Condiciones básicas de vida (vivienda, abrigo, alimentación)•Tercera edad

Corto plazo

Mediano plazo

Desarrollo de capacidades•Desarrollo capacidades (trabajo, innovación, gestión y organización)•Acceso a servicios (infraestructura básica, inclusión financiera)

Largo plazo

Generación de oportunidades para la siguiente generación•Salud básica y nutrición•Educación básica

Seguimiento y Evaluación por Resultados

- Disminuir pobreza extrema

- Incrementar hogares con acceso servicios (electricidad, agua, desagüe y telefonía)- Ingreso autónomo

- Disminuir Desnutrición crónica menores de 5 (OMS) - Disminuir la inasistencia de niños de entre 3 y 5 años de edad a Educación Básica Regular

Ejes estratégicos según ciclo de vida

Incrementar el desarrollo físico,cognitivo, motor, emocional y social en la primera infancia

Eje 1: Nutrición Infantil.

Incrementar las competencias para el desarrollo personal,

educativo y ocupacional, de acuerdo a la edad

Incrementar el ingreso autónomo de los hogares

Incrementar el bienestar de los

adultos mayores

Eje 2: Desarrollo Infantil Temprano

Eje 3: Desarrollo Integral de la Niñez y la Adolescencia

Eje 4: Inclusión Económica

Eje 5: Protección del Adulto

Mayor

Reducir la prevalencia de la

Desnutrición Crónica Infantil

Eje

sR

esul

tad

os

Programas sociales del MIDIS

EE1: Nutrición Infantil

EE2: Desarrollo Infantil Temprano EE3: Desarrollo Niñez y Adolescencia

EE4: Inclusión Económica

EE5: Protección Tercera Edad

Pensión 65FONCODES Qali WarmaCuna Más

0-3 años 4-5 años 6-17 años 18-64 años 65+ años

Juntos

Pilares para cumplimiento de metas de la Estrategia Nacional Incluir para Crecer

SEGUIMIENTO Y EVALUACIÓN

Uso de mecanismos coordinados para medir el avance y los resultados de las intervenciones

ARTICULACIÓN

Empleo de instrumentos y espacios para la coordinación intersectorial e intergubernamental

FOCALIZACIÓN

Concordancia de criterios y mecanismos para la selección de ámbitos y población objetivo

Decisiones basadas en evidencia

La experiencia nacional e internacional muestra que las políticas y programas sociales diseñados en base a opiniones no probadas y/o inspiradas en ideologías, prejuicios o conjeturas son usualmente ineficaces para generar avances importantes en materia de desarrollo e inclusión social. Por tal motivo, no sorprende que a nivel mundial se esté institucionalizando una cultura de evaluación, orientada a la generación de evidencia rigurosa para la toma de decisiones en materia social.

No obstante, los sistemas de seguimiento y evaluación a nivel mundial han centrado su atención en la producción de evidencia de calidad, olvidando que el uso de la misma no es un evento automático y que la medida de éxito de dichos sistemas está definida por la medida en que la evidencia alimenta la toma de decisiones en materia social.

“La medida del éxito es la utilización”. Keith Mackay

Generación de evidencias

Gestión de evidencias

Toma de decisiones basada en evidencias

Por tal motivo, la DGSYE ha desarrollado un sistema de seguimiento y evaluación que, no sólo permite generar evidencia científica rigurosa en forma oportuna, sino que, procura además el uso de la misma en la toma de decisiones, incrementando así la eficiencia, eficacia y equidad de las políticas públicas en materia de desarrollo e inclusión social.

Intervenciones más eficientes

y efectivas

DGSYE: Usos de la evidencia en la acción socialPriorizar

resultados con base en

evidencias

Definir ámbitos geográficos de intervención

Identificar intervenciones

efectivas y costo-efectivas

Establecer criterios para las metas de

impacto y resultados

Desarrollar tableros de control del desempeño

Evaluar los diseño,

resultados y procesos

Generar recomendacio-

nes viables y planes de

mejora

Recomendacio-nes y mejoras

implemen-tadas

Gestión de la información

y la evidencia

Marco legal

SINADIS

Evidencia (Sistema de

Seguimiento y Evaluación)

Lineamientos de S,E & GE

• ROF de la DGSYE• Encargado de

implementar el sistema de S&E y gestión de la evidencia

Rector del S, E & GE de la política social nacional

Ley No. 29792 El MIDIS implementará…”un sistema de monitoreo, seguimiento y evaluación con el objeto de comprobar el cumplimiento de las políticas y normas nacionales en materia de desarrollo e inclusión social…”.

Aprendizaje continuo: Evidencia

EVIDENCIA

Programas sociales MIDIS

Programas sociales otros sectores (GN)

Programas sociales GGRR y

GGLL

Alcance

Usuarios de información

Implementación del Sistema de Seguimiento y Evaluación

Políticas y programas

sociales MIDIS

Sistemas de seguimiento, tableros de

control

Programas sociales

Otros sectores

GGRR y GGLL

Sistema de seguimiento y

evaluación “Evidencia”

DGSYE

Alta dirección MIDIS y otros

sectores

Autoridades GGRR y GGLL

Direcciones ejecutivas de

programas sociales

Usuarios de los programas

Público en general

Revisiones sistemáticas,

revisiones realistas

Fuentes primarias

(INEI) y evaluaciones

Rector

Fuentes de información

Gestor

Producción de evidencias y seguimiento del desempeño

Ubicar a la DGSYE en el ciclo del diseño e implementación de las políticas y programas que conduce el MIDIS.

Establecer el marco normativo e institucional con los roles, estándares y procedimientos para ejercer las funciones de la DGSYE.

Conformar un equipo técnico calificado y productivo con evaluación del desempeño por resultados.

Asignar personal de la DGSYE para apoyar a los programas.

Desarrollar las metodologías, herramientas y sistemas de información.

Gestión de la evidencia y las alertas sobre el desempeño

Desarrollo de estándares de calidad de las recomendaciones de las evaluaciones y formato de presentación.

Desarrollo de una metodología y procedimientos para hacer un análisis de viabilidad de las recomendaciones y elaboración de propuestas para la toma de decisiones.

Asistencia técnica y desarrollo de mecanismos institucionales y propuestas para implementar las recomendaciones de las evaluaciones y la información que proviene de los sistemas de seguimiento.

Medida de éxito: uso de la evidencia e información

Recomendaciones con base en las evaluaciones y evidencias implementadas.

Mejoras o ajustes realizados en los programas a partir de los reportes del sistema de seguimiento

Propuestas de política, programas, intervenciones, metodologías o instrumentos implementadas

• Tableros de Control• Listas de Chequeo• Auditorias de datos• Inspecciones de Campo

• Plataforma de Seguimiento

• INFOMIDIS• Tableros de Control

• Asistencia Técnica para formulación de programas presupuestales

• Seguimiento al gasto en los ejes de la Estrategia Crecer para Incluir

• Lineamientos para reducción de DCI

• Anuario estadísticos

Planeamiento Priorización presupuestal

GestiónRendición de cuentas

Usos de la información y productos de la Dirección de Seguimiento

• Evaluación de procesos• Informe de

recomendaciones• Compromisos de mejora

• Evaluación de impacto• Evaluación de resultados• Seguimiento a

compromisos de mejora

• Definición de metas• Evaluaciones de

impacto

• Evaluaciones de diseño• Revisiones sistemáticas• Lineamientos para

reducción de DCI• Asistencia técnica (ej.

Priorización FONCODES)

Planeamiento Priorización presupuestal

GestiónRendición de cuentas

Usos de la información y productos de la Dirección de Evaluación

Proceso de Desarrollo de la DGSYE - MIDIS

Institucionalización y Diseño Implementación y Aplicación

2012 2013

Normativos:

Oraanizacionales

Instrumentos

Sistemas de información

Plataforma de publicación

Publicaciones y reportes técnicos

Institucionalización de S,E y GE

Enfoque y métodos

AT y Generación de evidencias y recomendaciones para políticas y

programas

Plan de evaluaciones y normas técnicas

Evaluaciones e investigaciones

Reportes trim. de seguimiento

Tableros de control con metas y estándares, planes de mejora

programas y políticas

Policy brief y reportes de evidencias

Líneas de base de eval. de impacto

Sistema integrado de información con MINSA y MINEDU

Comisión QUIPU permanente y QUIPUS regionales

Portal web de seguimiento

http://www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-evaluacion/direccion-de-seguimiento-de-politicas-sociales

Tablero de Control Nacional y Regional.

Seguimiento del gasto en DCI.

Seguimiento a los ODM.

Mapa distrital de áreas prioritarias para lucha contra la DCI.

Seguimiento a políticas

InfoMidis Tableros de control Fichas de

seguimiento Listas de chequeo

Seguimiento a programas sociales

Portal web de Evaluación http://

www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-evaluacion/direccion-de-evaluacion-de-politicas-sociales

Fichas técnicas de las evaluaciones.

Términos de referencia

Notas metodológicas.

Informes finales.

Generación de la Evidencia

Policy briefs: Síntesis.

Informes Técnicos de Recomendaciones.

Compromisos de Mejora.

Documentos normativos.

Gestión de la Evidencia

Evaluaciones de impacto de todos los programas MIDIS.

22 evaluaciones en el 2013.

17 evaluaciones financiadas por el MIDIS y otras fuentes y 5 evaluaciones coordinadas por el MEF.

Ocho evaluaciones de impacto y 14 evaluaciones de desempeño (evaluaciones de procesos, diseño, resultados o específicas)

Unidad Orgánica, Órganos y Programas del MIDIS

Descripción de la evaluación

Evaluación de impacto del programa (fase diseño).

Evaluaciones de procesos y específicas del programa.

Cuna Más Evaluación del componente comunitario del servicio de Acompañamiento a Familias.

Evaluación específica de la disponibilidad de oferta de servicios de educación y salud en las zonas donde opera Juntos.

Evaluación específica del rol de las madres líderes en la realización de los procesos operativos.

Evaluación de procesos respecto de los mecanismos de convocatoria para los procesos de afiliación.

Evaluación específica de la capacidad del programa para verificar las corresponsabilidades.

Evaluación de impacto del programa (fase segunda medición)Evaluación de impacto del Piloto de los Esquemas Alternativos de Transferencia Monetaria (fase segunda medición)

Sistematización de experiencias (3): Piloto modalidades de medios de pago; Plataformas tecnológicas para la inclusión financiera y veeduría de la calidad de atención al usuario.

Evaluación del Piloto de mensajes nutricionales por celulares.

Evaluación del Piloto de metodologías de educación financiera

FONCODES- Juntos Evaluación de impacto del Piloto de Articulación Juntos - FONCODES

Fondo Nacional de Inclusión Económica en Zonas Rurales- FONIE (DGPE- MIDIS)

Evaluación de impacto del programa (fase diseño).

Actividades en materia de Inclusión Financiera (DGCPS- MIDIS)

Qali Warma

Pensión 65 Evaluación específica respecto del uso de la transferencia económica a los beneficiarios

Juntos

PAE 2013: Evaluaciones financiadas con recursos MIDIS y otras fuentes (17):

PAE 2013: Evaluaciones con recursos priorizados y coordinados por el MEF (5):

Unidad Orgánica, Órganos y Programas del MIDIS

Descripción de la evaluación

Evaluación de impacto del servicio de Acompañamiento a Familias (fase línea de base).

Evaluación de impacto de las reformas realizadas al Servicio de Cuidado Diurno (fase diseño).

FONCODES- Compras MYPerú Evaluación de resultados del programa Compras MYPerú.

Evaluación de impacto de P65 (fase línea de base).

Evaluaciones de Diseño y Ejecución de Intervenciones Públicas (EDEP)

Cuna Más

Pensión 65

Menor frecuencia

Mayor frecuencia

Funcionarios directamente involucrados

Centros de Investigacion

Unidades de Evaluacion

Patrocinadores

Decisores de politica

Reflexiones sobre el uso de la evidencia de las evaluaciones en la acción social

Fig. 1: Desbalance en el uso de la evidencia de las evaluaciones

¿Cómo lograr que las evaluaciones contribuyan al aprendizaje y rendición de cuentas?

¿Cuáles son los mecanismos institucionales más relevantes para ello?

¿Cómo logramos pasar de la evidencia científica a la acción social?

Determinantes del uso de la evidencia en la política social Factores facilitadores

La cultura de la evaluación existente en la organización La comunicación existente entre las unidades de evaluación y los gestores de

política. La importancia o prioridad de la política evaluada. Enfoque participativo de la evaluación. La pertinencia y oportunidad de la evaluación. La calidad y fiabilidad de los resultados así como la claridad, viabilidad y el sentido

práctico de las recomendaciones. La existencia de una demanda por evaluaciones. El contacto personal entre los investigadores y los políticos que promueva la

confianza en los resultados de la evaluación. Transparencia de los métodos a utilizar y los resultados obtenidos.

La inestabilidad política o la alta rotación del personal que formula políticas. La desconfianza mutua, incluida la ingenuidad política percibida de los investigadora

como la ingenuidad científica de los responsables políticos. Luchas por el poder y el presupuesto. La falta de voluntad política de la alta dirección para el uso de evidencia en la

formulación o mejora de las intervenciones. Insuficiente difusión de los resultados de las evaluaciones. Formulación de recomendaciones ambiguas y poco viables. Inexistencia de mecanismos y herramientas para el seguimiento de las

recomendaciones la evaluación. La ausencia de un sistema de incentivos para el uso de las recomendaciones que

premie la implementación de cambios y el aprendizaje y desincentive la cultura de mantener el statu quo.

Factores obstaculizadores

Recomendaciones que fomentan el uso de la evidencia de las evaluaciones

CRITERIO DEFINICIÓN

1. PERTINENCIA La oportunidad, adecuación y/o conveniencia de implementar la acción

2. COMPLEJIDAD La facilidad, dificultad y/o esfuerzo de implementar la acción

3. COSTO El presupuesto y los medios que demanda implementar la acción

4. PERSISTENCIA La duración o el periodo de tiempo que demanda implementar la acción

5. COMPATIBILIDAD CULTURAL

Los valores, percepciones y patrones culturales que apoyan o no la implementación del cambio o acción. La aceptación cultural

Procedimiento para el análisis de viabilidad de las recomendaciones

Elaboración de recomendaciones de la evaluación

• Equipo de evaluadores

• Estándares de calidad de las recomendaciones

• Sistematización de evaluaciones

• Revisiones sistemáticas

Análisis de viabilidad de recomendaciones

• Equipo de gestores y expertos en análisis político, técnico, económico y social

• Revisión de las recomendaciones con el programa evaluado y las autoridades institucionales

Recomendaciones viables y propuesta de mejora, cambio o creación

• Equipo de gestores

• Reporte técnico de la DGSYE con recomendaciones

• Seguimiento de las recomendaciones

Sistematización de evidencias del PIN

infantil

Análisis de viabilidad de las

recomendaciones de las

evaluaciones

Recomendación de la DGSYE con

base en evidenciasReporte técnico No. 6

Ejemplo: De la evidencia a la acciónEV

IDEN

CIAS 1) El Sub Programa PIN

Infantil del PRONAA no ha cumplido con sus objetivos, no ha llegado a la población que más necesita y no ha tenido impacto en la reducción de la DCI.2) El PRONAA mantiene problemas e irregularidades de gestión y organización.3) Existen intervenciones más efectivas para reducir DCI RE

COM

ENDA

CIÓ

N D

GSY

E La entrega de alimentos para niños menores de 3 años y gestantes no debería ser realizado por un programa de alimentos

PRO

PUES

TA 1) Mapa de inseguridad alimentaria2) Focalización3) El MINSA y el MIDIS desarrollan una propuesta en distritos priorizados y seleccionan las IE más efectivas con base en evidenciasFinanciamiento por prestación realizada a cargo del SIS, equipamiento y sistema de información

Gracias