1

www.coneval.gob.mx

11 FEBRERO DE 2008

Sistema Integral de Monitoreo y Evaluación basado en Resultados

Dirección General Adjunta de Coordinación

2

NUESTRO ORIGEN

La Ley General de Desarrollo Social establece la creación del CONEVAL, entidad sectorizada a la SEDESOL cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de:

Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social

Establecer los criterios para la definición, identificación y medición de la pobreza

3

¿QUIÉNES SOMOS?

4

SISTEMA NACIONAL DE DESARROLLO SOCIAL

COMISIÓNINTERSECRETARIAL

COMISIÓNNACIONAL

CONSEJO CONSULTIVO

• Analizar y proponer programas y acciones que inciden en la Política Nacional de Desarrollo Social

• Proponer partidas y montos de gasto social

• Ordenar la Política Social a nivel Federal

• Coordinación de programas y acciones de dependencias y entidades federales

CONSEJO DE EVALUACIÓN

DEPENDENCIAS Y ENTIDADES

• Operación de los programas, acciones y fondos

• Contratar evaluaciones, bajo la norma del CNEval;

CONSULTIVA POLITICA OPERATIVA TECNICA

5

DIAGNÓSTICO DEL SISTEMA 2002-2006

No existe un enfoque a RESULTADOS

Los programas no estaban 100% preparados internamente

No contaban con sistemas de monitoreo

No siempre hay claridad en la lógica y consistencia interna de cada programa

No se alineaban a objetivos Estratégicos

Hasta el año 2006, las evaluaciones entregadas al H. Congreso de la

Unión estuvieron sujetas a la interpretación del “Acuerdo de Requisitos

Mínimos” (DOF, abril 2002)

Se pedía el mismo tipo de evaluación externa cada año para todos los

programas, cubriendo muchos temas

Términos de Referencia heterogéneos y poco específicos: Reportes largos y

confusos

Mucha información que no se usaba sistemáticamente

6

PRIMER AÑO DE GOBIERNO

Aprovechar inicio de administración para impulsar nuevos mecanismos de planeación ¿Lo que el programa federal ha hecho tiene

sentido, tiene lógica? ¿El programa está acorde con los

planteamientos del nuevo gobierno y con la nueva realidad del país?

Es importante medir avances Gasto, ejercicio, número de servicios entregados Pero sobre todo, medir RESULTADOS FINALES

7

SISTEMA INTEGRAL DE EVALUACIÓN Y MONITOREO

Objetivos Estratégicos

Matriz de Marco Lógico

Sistema de EvaluaciónDel Desempeño (SED)

Resultados Diferentes tipos de Evaluación

Programa Anual de Evaluación

EvaluacionesComplementarias

Programas Nuevos

Gestión para Resultados

Convenio de Compromisos para el Mejoramiento de la Gestión

8

PRINCIPALES ELEMENTOS DE ESTE SISTEMA

“Matriz de Indicadores” (marco lógico). Permite focalizar la atención

y los esfuerzos de una dependencia o entidad, así como apoyar los

procesos de planificación, diseño, monitoreo y evaluación

“Lineamientos generales de evaluación” (DOF, marzo 2007) con

varios tipos de evaluaciones y mayor libertad para temas específicos

Evaluación de programas Federales

Evaluación Estratégica Evaluación de Programas Nuevos

Evaluación de Consistencia y Resultados

Evaluación de Indicadores

Evaluación de ProcesosEvaluación de ImpactoEvaluación Específica

Programa o conjunto de programas en torno a las estrategias, políticas e

instituciones

DiagnósticoMatriz de IndicadoresEvaluación en materia de DiseñoAnálisis del funcionamiento y operación

9

MATRIZ DE INDICADORES

Hoy en día es difícil conocer la lógica interna de los programas federales y por lo tanto saber si su diseño es el adecuado para alcanzar los objetivos planteados (resultados en la población objetivo)

Permite identificar sus objetivos, sus relaciones causales y supuestos o riesgos que pueden influir en el éxito a fracaso del programa

Por otro lado, tenemos que reportar muchos indicadores, no necesariamente útiles para medir el desempeño del programa y tomar decisiones (medición parcial: GESTIÓN)

Permite determinar indicadores de RESULTADOS Cualitativos y cuantitativos De eficacia, eficiencia, calidad y economía

10

MATRIZ DE INDICADORES

Los indicadores más relevantes hoy en día son: El presupuesto asignado a cada programa El % del presupuesto ejercido cada año El número de microcréditos/becas/cursos de

capacitación/litros de leche/metros cuadrados pavimentados/etc.

Pero falta medir RESULTADOS: ¿Aumentó el ingreso/la ocupación de quien recibió el

microcrédito? ¿Los desempleados que recibieron capacitación

encontraron trabajo? ¿Más mujeres se incorporan a trabajar a raíz del programa

de estancias infantiles?

11

¿QUÉ ES LA MATRIZ DE INDICADORES?

La Matriz de Indicadores (matriz de marco lógico) es una herramienta de gestión que ayuda a:

Entender y mejorar la lógica interna Mejorar el diseño de los programas, y Mejorar los indicadores del programa

Comprende la identificación de: Los objetivos de un Programa Sus relaciones causales Los indicadores, y Los supuestos o riesgos que pueden influir en el éxito o

fracaso del mismo. Permite focalizar la atención y los esfuerzos de una

dependencia o entidad, así como apoyar los procesos de planificación, diseño, monitoreo y evaluación.

12

¿QUÉ ES LA MATRIZ DE INDICADORES?

El marco lógico permite:

Presentar en forma resumida y estructurada cualquier iniciativa

Establecer mayor claridad sobre los objetivos y metas que se buscan alcanzar

Hacer más evidentes los riesgos de operación, y Abordar el tema de seguimiento (monitoreo) con mayor

facilidad Establecer una base objetiva para su evaluación

Debe ser consensuado con los principales involucrados

Que NO es: NO es el único instrumento de planeación NO es suficientes para una mejor gestión NO es un instrumento de evaluación NO es un esquema de programación y operación

13

ANTECEDENTES METODOLÓGICOS

La metodología tiene su origen en el desarrollo de técnicas de administración por objetivos de los 60´s

A principios de los 70´s, la USAID comenzó a utilizarla formalmente en la planificación de sus proyectos

Múltiples objetivos, Responsabilidades poco definidas, y Base poco objetiva.

Más tarde, fue adoptada por la GTZ en su método ZOPP (planificación de proyectos orientada a objetivos)

Actualmente es utilizada por: Entidades financieras internacionales como BM, BID y

ADB Organismos Internaciones como la ONU Agencias de cooperación como USAID, CIDA Gobiernos nacionales como Canadá, Estados Unidos,

Chile, Colombia, Perú, la Unión Europera, y actualmente México

14

ESQUEMA PARA LOS PROGRAMAS FEDERALES

Objetivo del Eje de Política Pública del Plan Nacional de Desarrollo:

Objetivo Sectorial, Institucional, Especial o Regional:

Objetivo Estratégico de la Dependencia y/o Entidad:

Resumen Narrativo

Indicadores de Desempeño

Medios de Verificación

SupuestosEnunciado

Fórmula de

Cálculo

Frecuencia de

Medición

Fin:

propósito:

Componentes:

Actividades:

15

OBJETIVOS DEL PROGRAMA

Componentes

Actividades

Propósito

Fin

Imp

lem

en

taci

ón

Resu

ltad

os Contribuir a que la población desempleada

en pobreza tenga un mejor acceso a empleos de calidad Mejorar los conocimientos técnicos de los desempleados en situación de pobreza extrema

1.- Capacitación a individuos en pobreza extrema desempleados2.- Beca de apoyo a familias beneficiadas

- Focalización Geográfica1.1 Identificación y selección de familias en pobreza extrema 2.1 Distribución de las becas de apoyo

16

ES IMPORTANTE PODER MEDIR EL ALCANCE DE LOS OBJETIVOS

Porcentaje de capacitados que obtienen un mejor trabajo

Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados1.- Número de cursos y talleres realizados2.- Número de becas repartidas3.- Monto total de las becas repartidas4.- Porcentaje de desempleados capacitados1.- % del presupuesto ejercido2.- Costo promedio x actividad3.- Costo promedio de distribución de la beca

Componentes

Actividades

Propósito

Fin

Implementación

Resultado

s

17

QUISIERAMOS PASAR DE ESTO…

Componentes

Actividades

Propósito???Im

ple

men

taci

ón

Resu

ltad

os

18

….. A ESTO

Componentes

Actividades

Propósito

Fin

Objetivos Nacionales y

Sectoriales

Resu

ltad

os

19

MÉTODOS COMPLEMENTARIOS: ANÁLISIS DE INVOLUCRADOS

Al estudiar las alternativas de un programa se deben considerar los intereses y expectativas de los involucrados

Dichos intereses pueden ser coincidentes, complementarios o incluso antagónicos

Aprovechar y potenciar el apoyo de involucrados con intereses coincidentes o complementarios al proyecto

Disminuir la oposición de involucrados con intereses opuestos al proyecto

Conseguir el apoyo de los indiferentes

Posibles involucrados: Beneficiarios directos o indirectos Autoridades locales La comunidad en general Los residentes o promotores del proyecto Proveedores Posibles afectados

20

MÉTODOS COMPLEMENTARIOS: ÁRBOL DE PROBLEMAS Y ÁRBOL DE OBJETIVOS

Permite identificar correctamente el problema que se pretende atender, sus causas y efectos, así como las diversas alternativas de atención

Árbol del problema Es un diagrama que sirve para diagnosticar una situación

actual de manera objetiva y basada en evidencia científica

Establece las relaciones de causa-efecto y asegura que las raíces de los problemas y no sólo sus síntomas sean identificados y considerados para su tratamiento

El primer paso consiste en definir el problema central que será atendido por el programa

Enseguida, se deben identificar los efectos generados por el problema central y las causas que lo han generado.

21

PLANEACIÓN Y MATRIZ DE INDICADORES

Política de Desarrollo Social Nivel 1

Programas sectorialesNivel 2

Objetivos de las dependenciasNivel 3

Programas presupuestarios Nivel 4

Objetivos NacionalesEjes política pública

Objetivos y Estrategias

Objetivos de las programas del PND

Estrategias Líneas de acción

Objetivo estratégico de la Dependencia

Fin      Propósito      Componentes      Actividad      

Reglas de operación