www.coneval.gob.mx

Shakirah CossensDirección de Monitoreo de los Programas Sociales

Junio de 2008

Sistema de Monitoreo y Evaluación basado en resultados:Caso México

ANTECEDENTES

• 1990´s: Algunas evaluaciones de programas y nuevas formas de presupuestar

• 2000: Inicio normativo de la evaluación sin una estrategia clara

• 2000-2006: Desarticulación de la evaluación con la mejora en la gestión

− PEF y Acuerdo entre SHCP y SFP− Ausencia de una estrategia de monitoreo− Agenda del Buen Gobierno, e Iniciativas de Innovación y Calidad

Gubernamental− Sistema de Metas Presidenciales

• 2005: Impulso normativo de la evaluación solo en el sector social, pero aún desarticulado con la mejora en la gestión pública

− Creación del Coneval

− Primer impulso normativo al monitoreo

− Vínculo con los temas de pobreza y con la Política de Desarrollo Social

EL CONEVAL

• Ley General de Desarrollo Social establece la creación del CONEVAL, cuyo propósito es revisar el cumplimiento del objetivo social de los programas, metas y acciones a través de:– Normar y coordinar la evaluación de la Política Nacional de Desarrollo Social

– Aprobar los indicadores de resultados, gestión y servicios que serán sometidos a consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF

– Establecer los criterios para la definición, identificación y medición de la pobreza

• El CONEVAL está integrado por 6 investigadores académicos electos democráticamente por la CNDS, a través de una convocatoria pública – También lo integran el Secretario de Desarrollo Social y un Secretario Ejecutivo

designado por el Ejecutivo Federal

• Contribuir a la toma de decisiones de Política de desarrollo Social y combate a la pobreza y rezago social en México– Información útil, objetiva y oportuna

COMITÉ DIRECTIVO

DIAGNÓSTICO - VENTAJAS

• Se ha avanzado en la cultura de la evaluación

• Existen casos particulares de evaluaciones que han apoyado la

toma de decisiones

• Existe un respaldo normativo para institucionalizar un M&E

– Ley General de Desarrollo Social,

– CONEVAL,

– Ley Federal de Presupuesto y Responsabilidad Hacendaria,

– PEF 2007

• Actores principales conscientes de la poca efectividad del

sistema vigente: SHCP, Función Pública, Congreso

• Transición política favorable para la introducción de cambios

• Elementos de M&E desarticulados y no alienados conceptual, metodológica ni operacionalmente

• Alto costo de esquema actual: Cada evaluación cuesta aprox. $1 millón: 170 programas: $170 millones al año.

… y con poca utilidad• Percepción del sistema de M & E como instrumento de fiscalización, y

no de gestión y rendición de cuentas• La medición de Resultados no es una prioridad para el programa o la

dependencia.Mucho énfasis en indicadores de producto y ejercicio del recursoMuchos indicadores que no se usan para una gestión por resultados

• No hay claridad en los objetivos estratégicos de las dependencia• Lineamientos poco flexibles• Seguimiento limitado a las recomendaciones generadas de la

evaluación• Falta de coordinación y uso de resultados por las diferentes

autoridades

DIAGNÓSTICO - RETOS

• CONEVAL (2005)

• SHCP:– Ley de Presupuesto y

Responsabilidad Hacendaria (2006)– SED y planes de una Reforma Fiscal

• SFP:– Programa de Mejoramiento de la

Gestión

• PEF 2007. Cámara de Diputados

NUEVAS REGLAS DEL JUEGO

Lineamientos de

Evaluación y

Monitoreo (Marzo 2007)

Lineamientos de

Evaluación y

Monitoreo (Marzo 2007)

Objetivos EstratégicosObjetivos

Estratégicos

Matriz de Marco Lógico

Matriz de Marco Lógico

Sistema de EvaluaciónDel Desempeño (SED)Sistema de EvaluaciónDel Desempeño (SED)

Resultados

Diferentes tipos de Evaluación

Diferentes tipos de Evaluación

Programa Anual de Evaluación

Programa Anual de Evaluación

Programas NuevosProgramas Nuevos

Seguimiento a los resultados de las evaluaciones

Seguimiento a los resultados de las evaluaciones

SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN

Política de Desarrollo Social Nivel 1

Programas Sectoriales Nivel 2

Objetivos de las dependencias

Nivel 3

Programas presupuestarios Nivel 4

Objetivos NacionalesEjes política

públicaObjetivos y Estrategias

Objetivos NacionalesEjes política

públicaObjetivos y Estrategias

Objetivos de los Programas del PND

Estrategias Líneas de acción

Objetivos de los Programas del PND

Estrategias Líneas de acción

Objetivo estratégico de la

Dependencia

Objetivo estratégico de la

Dependencia

Fin      Propósito      Componentes      Actividad      

Reglas de

operación

Reglas de

operación

PLANEACIÓN INCOMPLETA SI NO SE LLEGA A ROP

Componentes

Actividades

Propósito???Im

ple

men

tació

nR

esu

ltad

os

QUEREMOS PASAR DE ESTO …

Componentes

Actividades

Propósito

Fin

Objetivos Nacionales

Resu

ltad

os

… A ESTO EN EL MEDIANO Y LARGO PLAZO

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

• Evaluación de gabinete que busca medir, de manera homogénea,

el desempeño global de los Programas (gestión y RESULTADOS)

• 100 preguntas distribuidas en 5 temas: diseño, planeación

estratégica, cobertura y focalización, operación, percepción de los

beneficiarios y resultados

– Respuestas específicas, en su mayoría, en esquema binario (SI o NO)

fundamentada con evidencia documental y análisis de la misma (información

con la que cuenta el programa)

– Identificación concisa de fortalezas y oportunidades, debilidades y amenazas

para cada tema de evaluación

• En el 2007, será un “Diagnóstico” de la orientación de los

programas hacia una gestión para RESULTADOS

• En años posteriores, comparación con diagnóstico

Evaluación Externa1. Diseño 8

2. Cobertura y focalización 9

3. Planeación 5

4. Operación 9

5. Resultados 7

6. Percepción de los Beneficiarios 9

SED

2007

Preparación para un SM&E basado en Resultados

2008 2009 …2010 2011

0 < p < 1

Evaluación Externa

1. Diseño 8

2. Cobertura y focalización 93. Planeación 8

4. Operación 5

5. Resultados 7

6. Percepción de los Beneficiarios 9

SE REQUIERE UNA EVALUACIÓN DE

OPERACIÓN

SE REQUIERE UNA EVALUACIÓN DE

PLANEACIÓN

Evaluación de Consistencia1. Diseño2. Cobertura y focalización3. Planeación4. Operación5. Resultados6. Percepción de los Beneficiarios

Evaluaciones Estratégicas

Programa Anual de Evaluación

Diseño del Sistema de Evaluación del Desempeño

(SED-SHCP)

Evaluación de Impacto

Matriz de Marco Lógico

Evaluaciones Temáticas

Evaluación de Consistencia

1. Diseño

2. Cobertura y focalización

3. Planeación

4. Operación

5. Resultados

6. Percepción de los Beneficiarios

Evaluaciones Estratégicas

Programa Anual de Evaluación

Diseño del Sistema de Evaluación del Desempeño

(SED-SHCP)

Evaluación de Impacto

Matriz de Marco Lógico

Evaluaciones Temáticas

Matriz de Marco Lógico

SISTEMA INTEGRAL DE MONITOREO Y EVALUACIÓN

1. Definir claramente la población objetivo 2. Asegurar la existencia personal suficiente y

capacitado para la operación y monitoreo del programa

3. Incentivar la coordinación efectiva para potenciar los beneficios otorgados

4. Mejorar la calidad de los bienes y servicios que otorgan los programas

5. Elaborar ROP que reflejen con mayor claridad los objetivos y la consistencia de los procesos

6. Generar y utilizar sistemas de evaluación y monitoreo con información de Indicadores de Resultados útiles y confiables

RESULTADOS DE EVALUACIÓN 2006-2007

RETOS EN LA EVALUACIÓN

• Implementar pilotos del resto de los tipos de evaluación

• Potenciar los usos de la EC&R

• Fortalecer las capacidades de las Secretarías

• Mejorar los esquemas de generación de información

(monitoreo)

• Mejorar la oferta de evaluadores

• Fortalecer el vínculo con la mejora de la gestión y “adecuar”

la relación con el presupuesto

• Analizar los resultados de políticas específicas

• Mejorar la coordinación entre las “autoridades” y fortalecer

vínculo con la Presidencia

• Fortalecer los esquemas de evaluación a nivel estatal

PRINCIPALES OBSERVACIONES A LA MI

• Se tiene mal definidos los componentes

• Las MI tiene problemas en la definición del Propósito

• El Propósito no implica una contribución significativa al Fin

• Las MI no presenta una clara vinculación del Fin con el OE

• Se presenta algún tipo de duplicidad en niveles de objetivos

• Los supuestos no están bien identificados

RETOS EN LOS INDICADORES

• Continuar analizando y mejorando las matrices

• Impulsar el nivel de “propósito”

• Impulsar capacitación en indicadores y metas (planeación)

• Mejorar la coordinación con las “autoridades”

• Impulsar el tema de monitoreo

• Fortalecer a los estados

• Fortalecer los vínculos internos de las Secretarías

(Evaluación, Planeación y Presupuesto)

• Auditoría Superior de la Federación

• Congreso

• Promover la gestión y evaluación basada en “Resultados”

• Tener un sistema de Evaluación y Monitoreo coordinado y sistematizado

• Menor número de indicadores a reportar, pero de mejor calidad

• Promover el uso sistemático de la información de evaluación y monitoreo– Que el sistema tenga nexos con el proceso presupuestario

– Que la información se utilice para mejorar la gestión de los programas y dependencias

• Que se puedan evaluar políticas en su conjunto, especialmente políticas sociales– Utilizando la evolución de los indicadores de pobreza nacionales,

estatales y municipales

• Reforzar la transparencia y la rendición de cuentas

LO QUE SE ESPERA EN EL MEDIANO PLAZO

www.coneval.gob.mx

Gracias…

scossens@coneval.gob.mx