www.coneval.gob.mx

Evaluación de Políticas y Programas de Desarrollo Social

Base CONEVAL

DIPLOMADO EN FORTALECIMIENTO DE CAPACIDADES EN

TEMAS DE DESARROLLO HUMANO E INCIDENCIA EN

POLÍTICAS PÚBLICAS

Dra. Ma. Cristina Recéndez Guerrero

1970 Primeros programas de evaluación con el respaldo de agencias multilaterales

1980 Programa de inversiones Públicas para el Desarrollo Rural (PIDER)

1990s Introducción de auditorías integrales y conceptos de medición de desempeño por parte de la

nueva contraloría. El sistema Nacional de planeación y la Ley de Planeación exigen la presentación

de indicadores financieros y físicos al Congreso.

1995 El sistema de Evaluación de Desempeño (SED) es concebido como parte de una reforma

presupuestaria

Evaluaciones del Programa de Abasto Social de Leche (LICONSA) , EL Programa de Abasto Rural

(DICONSA) El Programa Nacional de Solidaridad (PRONASOL) otros programas de capacitación

laboral

1996 El Programa de Modernización de la Administración Pública (PROMAP) introduce indicadores de

desempeño, evaluaciones internas y conceptos de “rendición de cuentas”, “gestión basada en

resultados” y “presupuesto basado en resultados”.

ESFUERZOS DISPERSOS DE MEDICION Y EVALUACION

1997 Comienza la evaluación del Programa PROGRESA/OPORTUNIDADES

1998 El Congreso existe que los programas federales que ofrecen subsidios preparen reglas de operación con

información estándar sobre el diseño, objetivos, indicadores de desempeño, beneficiarios y operación.

1999 El Congreso exige que todos los programas con reglas de operación sean evaluadas anualmente por los

evaluadores externos

2000 Se publican los resultados de la evaluación de PROGRESA/OPORTUNIDADES

Se crea el Comité Técnico para la Medición de la Pobreza 8CTMP) para preparar una metodología oficial

para medir la reducción de la pobreza

2001 Creación de la Subsecretaría de Prospectiva, Planeación y Evaluación de SEDESOL

Creación de la nueva Auditoria Superior de la Federación (ASF)

2002 Creación del Instituto nacional para la Evaluación de la Educación

Se sanciona la Ley Federal de Transparencia y Acceso a la Información Pública reforzando el rol de la

evaluación y su difusión pública.

2003 Se crea la Secretaría de la Función Pública (SFP), con responsabilidad por la auditoría de desempeño.

ESTABLECIMIENTO DE UN ROL SISTEMICO PARA LA EVALUACION

Marco institucional de la evaluación en México

Ley General de Desarrollo (2004) Monitoreo y evaluación de programas sociales

Pre

sup

ues

to d

e Eg

reso

s d

e la

Fed

erac

ión

20

07

SHCP SFP

Evaluación de la Política y programas de Desarrollo Sistema de Evaluación del Desempeño (SED) 2006

Evaluación de programas presupuestarios por medio de indicadores estratégicos y de gestión

Lineamientos Generales para la Evaluación de Programas

Federales 2007

•Matriz de Indicadores •Marco lógico •Procedimientos •Métodos estandarizados •Análisis de consistencia •Mecanismos de coordinación de resultados

Ley de Presupuesto y Responsabilidad Hacendaria (2007)

Institucionalización 2005

Leyes de operación

Lineamientos Generales para la Evaluación de los Programas

Regula la evaluación de los programas federales y la elaboración de las

matrices de indicadores, sistemas de monitoreo y objetivos estratégicos.

Evaluación:

• Tipos de evaluaciones

• Elaboración de términos de referencia

• Seguimiento del resultado de las evaluaciones

• Organización y contratación de las evaluaciones y

• Difusión de las evaluaciones

Elaboración del Programa Anual de Evaluación:

CONEVAL, SHCP y SFP

Estas evaluaciones las realizan evaluadores externos con cargo al

presupuesto de la dependencia o entidad responsable del programa federal,

o por el CONEVAL.

Proceso general de elaboración del PAE

Programa Anual de

Evaluación

6. Integración de versión final

7. Publicación del PAE

1. Solicitud de necesidades de

evaluación externa a las

dependencias

2. Revisión y sistematización del listado de evaluaciones

externas

3. Revisión del Plan

Institucional CONEVAL 4. Elaboración

de propuestas: SHCP, SFP y CONEVAL

5. Ajuste y revisión de propuestas

Proceso de elaboración del PAE

¿Cómo se definen las

necesidades?

Horizonte de

Monitoreo y

Evaluación de

Programas Sociales

Historial de

evaluaciones

realizadas 2007-2010

Planeación de la Política Social: Evaluación de Políticas y

Programas

¿Para qué evaluar?

Toma de

mejores

decisiones

Mejora de

políticas y

programas

públicos

Rendición

de cuentas

Resultados: Medir si un programa

resuelve

el (los) problema(s)

por

los que se creó

Seguimiento de Recomendaciones

Evaluación Específica de Desempeño (Valoración de la información del SED)

Planeación

Programas Sectoriales: contribuyen con

el Plan Nacional de Desarrollo

Programas presupuestarios: contribuyen

con los Programas Sectoriales

Programas Presupuestarios con

Indicadores adecuados en la Matriz de

Indicadores

Evaluación

Programa Anual de Evaluación

Evaluación de Consistencia y

Resultados

Evaluación de Políticas

Evaluación de Impacto

Evaluación de Procesos

Progresividad y Cobertura

Diseño del Sistema de M&E

Sistema de Evaluación del Desempeño

Es el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas, bajo los principios de verificación del grado de cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión, para: •Conocer los resultados de la aplicación de los recursos públicos federales y el impacto social de los programas y de los proyectos •Identificar la eficiencia, economía, y la calidad en la APF; •Aplicar las medidas conducentes enfatizando en la calidad de los bines y servicios públicos, la satisfacción del ciudadano y el cumplimiento de los criterios de legalidad, honestidad, eficiencia, eficacia, economía, racionalidad, austeridad, transparencia, control, rendición de cuantas y equidad de genero Los indicadores del SED deberán formar parte del PEF, incorporar sus resultados en la cuanta publica y ser considerados para efectos de la programación, presupuestación y ejercicio de los recursos

Evaluación en materia de Diseño

Objetivos específicos:

Analizar la justificación de la creación y diseño del programa

Identificar y analizar su vinculación con la planeación sectorial y nacional

Analizar la consistencia entre su diseño y la normatividad aplicable

Identificar posibles complementariedades y/o coincidencias con otro programas federales

Objetivo general: Evaluar el diseño del programa con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.

Evaluación en materia de Diseño

Apartados de evaluación y metodología: Evaluar el diseño del programa con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.

Apartado No. de

preguntas

Justificación de la creación y del diseño del

programa 3

Contribución a los objetivos nacionales y a los

sectoriales 3

Población potencia y objetivo 3

Matriz de Indicadores para Resultados MIR 11

Complementariedades y coincidencias con otros

programas 1

Total de preguntas: 21

Evaluación en materia de Diseño

La evaluación se realiza mediante un análisis de gabinete con base en la

información proporcionada por la dependencia o entidad responsable del

programa, así como información adicional que la institución evaluadora considere

necesaria para justificar su análisis.

• 5 preguntas

• Justificación Abiertas

• 16 preguntas

• CRITERIOS

• Justificación Cerradas

Sí, pero sin las características

Sí, con algunas de las características

Sí, con la mayoría de las características

Sí, con toda las características

No

Gestión para la

calidad del gasto

•Vinculación con el PND y sus programas •Objetivos estratégicos de las dependencias y entidades •Programas presupuestarios (Pp) •Matriz de indicadores

•Lineamientos y tipos de evaluación •Programa Anual de Evaluación (PAE) •Sistema de monitoreo y evaluación

Evaluación de

programas

Sistema de evaluación

del desempeño

SED

Presupuesto basado en Resultados (PbR)

•Consideración de los resultados de la evaluación de desempeño en el PEF •Indicadores para resultados •Reglas de operación de los programas

•Programa de mejoramiento y modernización •Evaluación del desempeño institucional

Gestión para resultados

•Convenios de compromiso

Tipo de estudio Diagnóstico de Consistencia y Resultados

Tipo de programas Todos los programas con reglas de operación (modalidad “S”) y otros que se determinen en el PAE

Objetivo Evaluar la consistencia y orientación a resultados del programa con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.

Temas de estudio • Diseño • Planeación y Orientación a Resultados • Cobertura y Focalización • Operación • Percepción de la Población Atendida • Resultados

Resultados Evaluación diagnóstica de los temas a analizar

Evaluación de Consistencia y Resultados

¿El programa está orientado a resultados?

•13 preguntas

• Justificación Abiertas

• 47 preguntas

•CRITERIOS

• Justificación Cerradas

Para este ejercicio de la ECR está programado evaluar a 166 programas federales (ejercicio fiscal 2011) operados por 17 dependencias.

Tema No. Preguntas

Diseño 22

Planeación Estratégica 8

Cobertura y Focalización 4

Operación 16

Percepción de la Población Atendida

2

Resultados 8

Total 51

Evaluación de Consistencia y Resultados 2011-2012

Objetivo Realizar un análisis sistemático de la operación del programa, mediante trabajo de campo y gabinete para conocer las características de sus procesos, examinar sus ventajas y especificar las problemáticas que enfrenta.

Temas de estudio

• Procesos operativos en los distintos ámbitos de operación donde el programa lleva a cabo sus procesos

• Definición de la medida en la que los procesos son eficaces, oportunos, suficientes y pertinentes para el logro de sus objetivos

• Problemas que obstaculizan la operación el programa, así como las buenas prácticas que fortalezcan la capacidad de operación

Resultados

• Flujograma general y específicos de operación • Descripción y ficha narrativa de los procesos del programa • Insumos y productos de cada proceso, así como su valoración • Problemas y buenas prácticas en la operación del programa • Recomendaciones que permitan mejorar la operación del programa

Evaluación de Procesos

¿Los procesos que realiza el programa están dirigidos para cumplir con el Propósito? ¿Está operando el programa adecuadamente? ¿Existen buenas prácticas y cuellos de botella en la operación?

¿Qué tipo de información/recomendaciones brinda la Evaluación de Procesos?

• Información sobre las causas operativas específicas que en alguna medida explican los resultados de un programa.

• Información sobre la opinión de operadores y beneficiarios con respecto a la operación y los servicios que brinda un programa.

• Información sobre la forma en que en la práctica se ejecutan los

procesos previstos en la normatividad y los no previstos, así como sus causas y efectos (incentivos, resultados).

• Información sobre aspectos de la cultura organizacional que limitan o promueven los resultados.

Tipo de estudio • Impacto del programa

Tipo de programas

• De acuerdo con el PAE11 las dependencias y entidades que realicen evaluaciones de impacto deben elaborar un análisis de factibilidad y presentarlo al CONEVAL para determinar si éste cuenta con los elementos suficientes para llevar a cabo una evaluación de impacto.

Objetivo • Identifica con metodologías rigurosas el cambio en los indicadores a

nivel de resultados atribuible a la ejecución del programa federal

Temas de estudio • Medición del impacto de los programas federales en la población

beneficiaria con respecto a un grupo de comparación

Términos de Referencia

• Los programas cuyo análisis de factibilidad tenga un dictamen positivo , deben enviar los términos de referencia de la evaluación un mes después de recibido el dictamen.

Resultados • Medición de los impactos en los indicadores definidos

Evaluación de Impacto

¿ Cuáles son los efectos en los beneficiarios atribuibles al programa?

Proceso de Evaluación de Impacto

Evaluaciones Estratégicas

¿La política responde a la problemática actual? ¿Los instrumentos de gobierno están atendiendo dicha problemática?

• El Ramo 33 en el desarrollo social en México: Evaluación de

ocho fondos de política pública

• Dimensiones de la Seguridad Alimentaria: Evaluación Estratégica de Nutrición y Abasto

Evaluación Específica de Desempeño (EED)

o Cobertura

o Pob.

potencial,

objetivo y atendida

- Informes de Cobertura

- Evaluaciones

Externas

Cobertura

o Aspectos

susceptibles

de mejora

- Documento de Trabajo - Documento institucional

Seguimiento

o Componentes

o Actividades

o Presupuesto

- Indicadores de

Servicios y Gestión - Informes Trimestrales Productos

- Indicadores de Resultados

- Evaluaciones Externas

de Resultados Resultados

o Fin

o Propósito

o Alineación

- Avances de Seguimiento

SED SIEED

La EED es una valoración sintética del desempeño de los programas sociales que se presenta mediante un formato homogéneo. Esta evaluación muestra el avance en el cumplimiento de sus objetivos y metas programadas, a partir del análisis de la información contenida en el SED.

Evaluación Integral del Desempeño

Contar con una valoración general de la temática atendida, a partir de la información analizada, así como del conocimiento experto e informado del evaluador que permita interpretar los resultados encontrados en un contexto más amplio.

Análisis de la Problemática

Análisis de la Pertinencia de los programas

Logros y Fortalezas

Retos y Recomendaciones

Análisis de la información disponible

Clasificación y priorización de

las recomendaciones

Formulación de

instrumentos susceptibles de mejora

Difusión de los instrumentos: •Plan de trabajo •Plan institucional •Posición institucional

Criterios de selección: •Claridad •Relevancia •Justificación •Factibilidad

Niveles de prioridad: •Alta •Media •Baja

Rubros de Clasificación: •Específicos •Institucionales •Interinstitucionales •Intergubernamentales

Mecanismo para el Seguimiento de los Aspectos Susceptibles de Mejora

• Uso efectivo de los hallazgos de las evaluaciones para la mejora de los programas y políticas.

• Mediante este mecanismo las dependencias se comprometen a realizar acciones

concretas para mejorar sus programas.

• Evaluaciones como factor de cambio de la política pública.

Seguimiento a recomendaciones de evaluaciones externas

SEPSEDES

OLSHCP Salud SE

SEMARNAT

SRACONA

CYTSTPS IMSS

SAGARPA

Intergubernamentales 4 4 0 36 0 0 0 0 0 0 0

Interinstitucionales 3 9 4 5 3 0 0 0 1 0 0

Institucionales 22 124 45 10 0 0 0 4 4 0 1

Especificos 274 92 100 17 61 36 35 10 9 11 6

0

50

100

150

200

250

300

350

Nú

me

ro d

e A

SM

No. de programas que participaron en el Mecanismo

Año Programas

2009 91

2010 150

• Indicadores

*La información no incluye los indicadores con información No Disponible (ND)

Indicadores de Resultados

14.6%

52.7%

24.8%

7.9%

0

50

100

150

200

<80 80-120 >120 SD

No

. In

dic

ado

res

Indicadores de Servicios y Gestión

16.8%

58.1%

20.2%

4.9%

0 100 200

300 400

<80 80-120 >120 SD

No

. In

dic

ado

res

Porcentaje de avance respecto de la

meta 2009:

Datos descriptivos de la EED 2009-2010

13%

47%

23%

26%

Nivel de Desagregación de la

Población Atendida

Entidades

Municipios

Localidades

• Cobertura

• El 50.4% de los programas presenta una cobertura (población atendida/objetivo) mayor al 80% (EED 2008: 34.4%)

• Población Objetivo y Atendida

• El 72.4%* de los programas tiene definida su población objetivo y atendida (EED 2008: 54.2%)

• El 74% de los programas integró al SED cifras de población objetivo y de población atendida (EED 2008: 66%), y de ellos:

El 86.6% tiene desagregada la población atendida

geográficamente (EED 2008: 64.9%)

Datos descriptivos de la EED 2009-2010

Año No. Programas

EED 2008-2009 131

EED 2009-2010 127

EED 2010-2011 133

EED por año

Los informes finales de las evaluaciones y las bases de datos están disponibles en la página del CONEVAL:

www.coneval.gob.mx

> Evaluación y Monitoreo de Programas Sociales > Evaluaciones de Programas Federales > Específicas de Desempeño