Diagnóstico del Sistema de Monitoreo y Evaluación de...

Diagnóstico del Sistema de Monitoreo y Evaluación de ProgramasDiagnóstico del Sistema de Monitoreo y Evaluación de Programas Sociales y Formulación de un Plan de Acción: Aplicación de la

Herramienta EME/Soc en El Salvador, Honduras y Panamá”

Juan Abreu, Frederic Martin, Patricia Reinosa y Fransesca Lamana

© 2008 IDEA International

Pour un secteur public performantFor public sector performance

Por la excelencia del sector público

1. Contexto: la SISCA y el M&E de programas de protección social en Centroamérica

1. Objetivos y alcance de la SISCA2. M&E: punto débil de la GpR en la región LAC (García López y

García Moreno 2010)García Moreno, 2010)3. Proyecto de la Secretaria de la Integración Social Centro americana

(SISCA) y del Banco mundial: “Fortalecimiento de gestión basada en los resultados en el sector de protección social en América Central”los resultados en el sector de protección social en América Central”

4. Informe concepto de Ray Rist sobre la evaluación de los sistemas de M&E (2009)

5 D rr ll d n h rr mi nt néri p r l In tit t IDEA (I5. Desarrollo de una herramienta genérica por el Instituto IDEA (I-EME) (2009-10)

6. Adaptación al contexto particular de programas de protección social l i i ió d f i l d l SISCA d 3 í ilcon la participación de profesionales de la SISCA, de 3 países piloto:

El Salvador, Honduras y Panamá, del Banco mundial y de IDEA: la herramienta EME/SOC (2010-11)


1. Concepto de la Herramienta de Evaluación del Monitoreo y Evaluación de Programas SocialesMonitoreo y Evaluación de Programas Sociales (EME/Soc)

1. Orientar la realización de un diagnóstico del estado actual del sistema de monitoreo y evaluación (M&E) de programas de protecciónevaluación (M&E) de programas de protección social (individual, categoría, sector)

2. Facilitar la preparación de un plan de2. Facilitar la preparación de un plan de mejoramiento del sistema de M&E

3. Hacer benchmarking y repetir la aplicación de la herramienta cada 3 años (modelo PEFA)


2. EnfoqueHERRAMIENTA DE DIAGNÓSTICO Y MEJORAMIENTO DEL SISTEMA DE MONITOREO Y EVALUACIÓN DE PROGRAMA DE PROTECCIÓN SOCIAL (EME/SOC)

PROGRAMA Programa de Atención Temporal al Ingreso - PATIÓ

Indicadores de desempeño Grado

PARTE 1: DIAGNÓSTICODIMENSIÓN 4 : MONITOREO ACTUAL DEL PROGRAMA

Análisis de los resultados

4 1 E i t i lid d d l

D4 ‐ Desempeño actual del componente de monitoreo del programa

• Práctico• Orientado a

lt d

4.1 Existencia, calidad y uso del monitoreo de la ejecución física del programa

1.4

4.2 Existencia, calidad y uso del monitoreo de la ejecución financiera del programa

2.0

4.3 Existencia, calidad y uso de la supervisión de los ejecutores del programa

1.6

4.4 Existencia, calidad y uso del monitoreo de resultados del programa

1.0

4.5 Existencia, calidad y uso del sistema de información para el monitoreo del programa

0.5

Grado promedio para la dimensión 4 1.30.0

1.0

2.0

3.0

4.1 Existencia, calidad y uso del monitoreo de la ejecución física del

programa

4.2 Existencia, calidad y uso del monitoreo de la ejecución financiera

del programa

4.5 Existencia, calidad y uso del sistema de información para el

monitoreo del programa

resultados• Estructurado y

balanceado

Todos los indicadores de desempeño que tienen grados pordebajo de 1.5 aparecen en rojo e indican áreas prioritarias detrabajo. Los indicadores con grados entre 1.5 y 2.4 aparecenen color amarillo e indican áreas para el fortalecimiento. Losindicadores con grados de 2.5 y más aparecen en color verdee indican áreas que buen desempeño que requieren desostenibilidad.

4.3 Existencia, calidad y uso de la supervisión de los ejecutores del

programa

4.4 Existencia, calidad y uso del monitoreo de resultados del

programa

• Sencillo, rápido y amigable

HERRAMIENTA DE DIAGNÓSTICO Y MEJORAMIENTO DELSISTEMA DE MONITOREO Y EVALUACIÓN DEamigable

• ParticipativoPasos Definiciones

P1 Identificación de las acciones más importantes existentes o planificadas relacionadas con el M&EP2 Identificación de acciones importantes adicionales deseables para mejorar el M&E

Pasos

PROGRAMA DE PROTECCIÓN SOCIAL (EME/SOC)PARTE 2: PLANIFICACIÓN


P3 Selección de las acciones prioritariasP4 Caracterización de las acciones prioritarias

P5 Establecer los objetivos en términos de los resultados esperados de las acciones prioritarias en grados de indicadores MESOC de Protección Social

3. Organización institucional

• Cada país decide de la organización institucional /adecuada para implementar la EME/Soc

• Se sugiere tres (3) tipos de mecanismos• Se sugiere tres (3) tipos de mecanismos institucionales a nivel de cada país: Comité supervisor EME/Socp / Equipo técnico EME/Soc Foro EME/Soc


4. Proceso de implementación

Fase de diagnóstico:1. Conformación institucional2 C it ió d l i té i i ió d l h i t2. Capacitación del equipo técnico y revisión de la herramienta3. Administración de la fase diagnóstico de la EME/Soc por el

equipo técnico EME/Soc y preparación de un diagnóstico preliminar síntesis

4. Reunión del foro EME/Soc en un taller central para discusión y pre-validación del diagnóstico con todos los actoresy pre validación del diagnóstico con todos los actores nacionales (1-1,5 días)

5. Revisión del diagnóstico por el equipo técnico EME/Soc en f n ión d l r lt d d l f rfunción de los resultados del foro

6. Validación oficial de la parte diagnóstico por el comité supervisor EME/Soc de cada país


4. Proceso de implementación (cont…)

Fase de Planificación:7. Preparación de la versión preliminar del plan de

j i d l i d M&E d l dimejoramiento del sistema de M&E del programa mediante un taller técnico

8. Reunión del foro EME/Soc para discusión, busca de p ,consenso y pre-validación del plan de mejoramiento del sistema de M&E

10 R i ió d l l l i é i EME/S10. Revisión del plan por el equipo técnico EME/Soc en función de los resultados del foro

11 Validación oficial del plan de mejoramiento por el comité11. Validación oficial del plan de mejoramiento por el comité supervisor EME/Soc

12. Diseminación de los resultados, lecciones aprendidas y


buenas prácticas entre los países de la región Centroamérica

5. Estructura y enfoque técnico de la EME/Soc

• 5 dimensionesde diagnósticog

• 25 indicadores94 sub-indicadores94 sub-indicadores

• Escala ordinald 1 3de 1 a 3

• 9 casos típicos de preguntas/respuestas


6. Aplicación piloto a 3 Programas sociales de TMC

• Programa de Atención Temporal al Ingreso (PATI) en El g p g ( )Salvador (presentado)

• Programa Bono 10 Mil en Honduras• Programa Red de Oportunidades (RdO) en Panamá

D-2 Marco legal y

• Programa Red de Oportunidades (RdO) en Panamá

mecanismos institucionales


D-1 Precondiciones

D-3 Plan y Presupuesto para el M&Ep

D-4 Monitoreo actual


D-5 Evaluación actual

7. Resumen de los resultados preliminares del diagnostico

• Situación diferente según el país/el programa/el tiempo de ejecución del programa; mejor a nivel técnico para programas con financiamiento exterior; fragilidad institucional

• Línea de base del sistema de M&E baja a baja-mediaLínea de base del sistema de M&E baja a baja media, confirmando el análisis de García López y García Moreno, y reflejando la poca importancia que todavía se acuerda al M&E

• Mejores resultados en monitoreo que en evaluación

• Todavía poca planeación del sistema de M&E• Todavía poca planeación del sistema de M&E

• Etapa actual: crear herramientas y mecanismos, mas que mejorar su calidad y el uso de productos de M&E


j y p

• Pocas capacidades en M&E (niveles estratégico, de gestión, ejecutores, regiones)

8. Lecciones preliminares aprendidas sobre la administración de la EME/Socadministración de la EME/Soc

• Retos:

Desafíos adicionales en el área social de apreciación de Desafíos adicionales en el área social de apreciación de los resultados

Identificación de los evaluadores pertinentes y p yparticipación

Rotación del personal y falta de memoria institucional

Insuficiencia de la cultura de M&E• Aplicabilidad, amigabilidad, y eficiencia de la herramienta• Control de la subjetividad en las respuestas a través de:Control de la subjetividad en las respuestas a través de: Mas caracterización de las respuestas que deben

corresponder a hechos o situaciones predefinidas


Foro amplio de actores/evaluadores combinado a la formulación del plan de acción

Diagnóstico del Sistema de Monitoreo y Evaluación de...

Documents

Transcript of Diagnóstico del Sistema de Monitoreo y Evaluación de...