DIRECCIÓN DE PLANEACIÓN Y NORMATIVIDAD

DE LA POLÍTICA DE EVALUACIÓN

Evaluación de Programas y Políticas Públicas de Desarrollo Social

VI CONFERENCIA DE LA RED DE MONITOREO Y EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE

25 de agosto de 2010

www.coneval.gob.mx

Thania de la Garza

Estructura de la presentación

Evaluación de Programas Sociales : CONEVAL

Marco institucional de la evaluación en México

Lineamientos Generales para la Evaluación de Programas

¿Por qué evaluar?

¿Por qué hay diferentes tipos de evaluación?

Tipos de Evaluación

1

2

3

4

5

6

CONEVAL

• Institución con :

Autonomía técnica y de gestión

Integrado por seis investigadores académicos de universidades y centros de investigación y un Secretario Ejecutivo.

• Función:

Medir la pobreza a nivel nacional, estatal y municipal.

Evaluar la política y los programas de desarrollo social.

• Objetivo:

Proveer información válida y confiable que apoye el análisis de la política de desarrollo social, la mejora continua de los programas, y que contribuya a que las autoridades articulen políticas públicas que brinden resultados deseables.

Contribuir a la transparencia y a la rendición de cuentas al informar a la ciudadanía sobre los resultados de las acciones de política social.

Marco institucional de la evaluación en México

Ley General de Desarrollo

Pre

sup

ue

sto

de

Egr

eso

s d

e

la F

ed

era

ció

n 2

00

7 CONEVAL

SHCPSFP

Evaluación de la Política y programas de Desarrollo

Evaluación de programas presupuestarios por medio de indicadores estratégicos y de gestión

Lineamientos Generales de

Evaluación

•Matriz de Indicadores•Tipos de evaluación•Seguimiento a recomendaciones•Planeación de las evaluaciones (PAE)

Ley de Presupuesto y Responsabilidad Hacendaria

Lineamientos Generales para la Evaluación de los Programas

• Regulan la evaluación de los programas federales y la elaboración de lasmatrices de indicadores, sistemas de monitoreo y objetivos estratégicos.

• Evaluación:

Tipos de evaluaciones

Elaboración de términos de referencia

Seguimiento del resultado de las evaluaciones

Organización y contratación de las evaluaciones y

Difusión de las evaluaciones

Elaboración del Programa Anual de Evaluación: CONEVAL, SHCP y SFP.

¿Por qué evaluar?

• Determinar la eficiencia y efectividad de los Programas dedesarrollo social.

• Contar con evidencia sobre lo que si funciona y cómomejorarlo.

• Mejorar el diseño, la implementación y operación delprograma o política de desarrollo social.

• Entregar información (indicadores y evaluaciones) a diferentesniveles de tomadores de decisiones, para mejorar la calidaddel gasto público.

• Mejorar la Rendición de Cuentas y la Transparencia.

¿Por qué hay diferentes tipos de Evaluación?

•Los programas sociales son evaluados desde varias aristas y en diferentes etapas.

•Hay un menú de instrumentos de evaluación -sustentado en conocimiento científico-que identifican:

•En:

Diseño

Implementación

Operación y desempeño

Resultados

Seguimiento a recomendaciones

Impacto

• Es necesario analizar el conjunto de evaluaciones, puesto que cada evaluación tiene objetivos específicos.

• Se alcanza un diagnóstico adecuado gracias a la complementariedad de todos los tipos de evaluación.

Áreas de MejoraAvances Debilidades Logros

Tipos de Evaluación

Diseño

Consistencia y Resultados

Procesos

• Diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para alcanzar resultados.

• Análisis de los procesos y la gestión del programa para cumplir con objetivos.

Consistencia y lógica interna de los programas

• Consistencia y Lógica Interna de los programas.

Estratégicas • Valoración de las políticas y estrategias de desarrollo social.

Tipos de Evaluación

Indicadores

Específica de Desempeño

Complementarias

Impacto

• Revisión de la pertinencia y el alcance de los indicadores de un programa para el logro de sus resultados.• Trabajo de campo.

• Profundiza sobre aspectos relevantes del desempeño de los programas.• Realizadas por las dependencias.

• Medición de los efectos netos del programa en la población que atiende.

• Evaluación sintética de la información contenida en el SED.

Tipo de programas• Todos los programas con reglas de operación (modalidad “S”) y otros que se determinen en el PAE

Objetivo• Analizar sistemáticamente el diseño y el desempeño global de losprogramas federales para mejorar su gestión y medir el logro de susresultados con base en la matriz de indicadores

Temas de estudio

• Diseño• Planeación estratégica• Cobertura y focalización• Operación• Percepción de la población objetivo• Resultados

Resultados •Evaluación diagnóstico

Modelo de TDR • Primera versión 2007 (SHCP, SFP, CONEVAL)• Versión piloto 2009 (CONEVAL)

Plazo aproximado de ejecución

• 9 meses

Evaluaciones • 106 programas y 13 de diseño

Evaluación de Consistencia y Resultados

TEMAS SUBTEMAS

ECR

Sícuenta

No cuenta

Identificación del problema

Programas que tienen claramente identificado el problema que atienden

71 % 29%

Programas que cuentan con objetivos que corresponden a la solución del problema que atienden

67 % 33%

Población a atender

Programas que tienen un diseño adecuado para alcanzar su propósito y atender a la población objetivo

58 % 42%

Programas que tienen definida a la población total que presenta el problema

47 % 53%

Lógica causal

Programas que tienen claro que el logro de su propósito contribuye a la solución de un problema de desarrollo o la consecución de los objetivos estratégicos de las dependencias y entidades

76 % 24%

Programas que cuentan con una matriz de indicadores clara y válida (lógica vertical)

44 % 56%

Programas que tienen un diseño claramente expresado en la normatividad

66 % 34%

Programas que de los programas definieron bienes y servicios públicos necesarios y suficientes para el logro del su propósito

50 % 50%

Instrumentos de monitoreo

Programas que tienen indicadores claros, relevantes, económicos, monitoreables y adecuados

41 % 59%

Programas que pueden medir el nivel de logro de sus resultados esperados a cada nivel de sus objetivos (lógica horizontal)

35 % 65%

Hallazgos de la Evaluación de Consistencia y Resultados: Tema Diseño

Hallazgos de la Evaluación Consistencia y Resultados: Planeación Estratégica

TEMA SUBTEMAS

ECR

Sí cuentan

No cuentan

Orientación a resultados

Programas que utilizan los resultados de las evaluaciones para mejorar su desempeño

58 % 42%

Programas que tienen metas pertinentes y plazos específicos para sus indicadores de desempeño

51 % 49%

Programas que tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito

49 % 51%

Planes que establecen claramente los resultados que se buscan alcanzar

21 % 79%

Instrumentos de planeación

Programas que cuentan con planes estratégicos a corto, mediano y largo plazo

25 % 75%

Planes que establecen indicadores, metas, estrategias, políticas y programas de trabajo

23 % 77%

Programas que tienen mecanismos para establecer y definir metas e indicadores

27 % 73%

Hallazgos de la Evaluación Consistencia y Resultados: Cobertura y Focalización

TEMA SUBTEMAS

ECR

Sí cuenta

No cuenta

Definición de la Población Objetivo y Estrategia de Cobertura

Programas que cuantifican su población objetivo ypotencial

24 % 76%

Programas que tienen un avance adecuado paracumplir con su propósito

25 % 75%

Programas que cuentan con una estrategia decobertura a corto, mediano y largo plazo

23 % 77%

Programas cuya estrategia de cobertura se considera adecuada

21 % 79%

Hallazgos de la Evaluación Consistencia y Resultados: Operación

TEMA SUBTEMAS

ECR

Sí cuentan

No cuentan

Cumplimiento con normatividad

Programas que cumplen con la normatividad establecida para laentrega de apoyos

84 % 16%

Programas con evidencia documental de cumplimiento con losprocesos de ejecución establecidos

89 % 11%

Eficacia en la operación

Programas con procedimientos adecuados para procesarsolicitudes de apoyo

76 % 24%

Programas q con procesos estandarizados para la selección deproyectos y beneficiarios

72 % 28%

Infraestructura necesaria

Programas con estructura organizacional que permite alcanzarel propósito

80 % 20%

Programas con información sistematizada que permite darseguimiento a la ejecución de obras y/o acciones

80 % 20%

Programas que cuentan con indicadores de eficacia en laoperación

84 % 16%

Programas que cuentan con información sistematizada en laadministración y operación del programa

61 % 39%

Hallazgos de la Evaluación Consistencia y Resultados: Percepción de Beneficiarios

TEMA SUBTEMAS

ECR

Sí cuentan

No cuentan

Medición de la percepción de los

beneficiarios

Programas con instrumentos para medir el grado de satisfacción de la población objetivo

54 % 46%

Programas que presentan información objetiva 37 % 63%

Hallazgos de la Evaluación de Consistencia y Resultados: Medición de Resultados

TEMA SUBTEMASECR

Sícuenta

No cuenta

Información sobre el progreso en el cumplimiento de objetivos

Programas que han demostrado progresopara alcanzar sus objetivos.

36 % 64%

Programas que recolectan informaciónsobre los indicadores que miden sus objetivos.

42 % 58%

Programas que llevaron a cabo evaluaciones externas que le permitan medir su impacto.

26 % 64%

Tipo de estudio • Funcionamiento y operación

Tipo de programas• Programas federales incluidos en el PAE 2009

Objetivo

• Análisis sistemático de la operación del programa, mediante trabajo de campo ygabinete, para conocer las características de sus procesos, examinar ventajas yencontrar problemáticas.

Temas de estudio

• Eficacia, suficiencia y pertinencia de los procesos operativos• Problemas para la operación del programa• Buenas prácticas en la operación

Resultados

• Flujogramas generales y específicos de operación• Descripción y ficha narrativa de los procesos del programa• Insumos y productos de cada proceso• Problemas y buenas prácticas en la operación del programa• Recomendaciones

Modelo de TdR• Primera versión 2009 (SHCP, SFP, CONEVAL)• Versión piloto 2008 (CONEVAL)

Plazo aproximado de ejecución

• 9 meses

Evaluaciones Piloto• PIBAI (CDI), PRONAP (SEP), FONAES (SE), Fondo PYME (SE), PROSOFT (SE), IMSS-Oportunidades (IMSS), Tu Casa (Sedesol) y Coinversión Social (Sedesol)

Evaluación de Procesos

Tipo de programas• Programas federales con análisis de factibilidad (metodología) y TdR revisados y aprobados por la SHCP, SFP y CONEVAL . • Programas con evaluación coordinada por CONEVAL

Objetivo• Identifica el cambio en los indicadores a nivel de resultados atribuibles a laejecución del programa

Temas de estudio• Medición del impacto de los programas en la población beneficiaria con respecto a un grupo control

Resultados• Documento Metodológico de la Evaluación de Impacto• Documento de Resultados de la Evaluación de Impacto

Análisis de Factibilidad

• Versión Actual 2008 (SHCP, SFP, CONEVAL)• Primera Versión 2008

Plazo aproximado de ejecución

• Anual• Multianual

Evaluaciones

• Seguro Popular, FONAES, PRONAFIM, FOMMUR, Fondo PYME, Hábitat, PROMUSAG, FAPPA, Programa Fomento Agropecuario y Pesquero, y Abasto Social de Leche

Evaluación de Impacto

Evaluación de Impacto

Ejemplos

Programa de desarrollo humano OPORTUNIDADES Evaluación Externa 2007-2008

• Objetivo: Conocer los resultados del programa a diez años de su creación, en cuatrotemas: educación, trabajo, nutrición y desarrollo cognitivo.

• Resultados Incremento en los grados de escolaridad alcanzados por los jóvenes (entre 0.6 y 0.9 grados). Existe un efecto del 3.4% en el corto plazo para hombres de incorporación al trabajo formal Efectos positivos en el largo plazo en la renta de los hombres con primaria y secundaria. Los niños entre 24 a 71 meses de edad crecieron en promedio 0.67 cm más

en localidades beneficiarias que los niños de localidades no beneficiarias.

Evaluación de Impacto

Ejemplos

Programa de desarrollo humano OPORTUNIDADES Evaluación Externa 2007-2008

• La evidencia provista por las evaluaciones fue fundamental para hacerajustes al programa:

• Ajustes para mejorar los complementos nutricionales e introducir en fasepiloto nuevos complementos (jarabes, sprinkles)

• Ajustes a los temas y contenidos de pláticas de salud.

• Ampliar paulatinamente el programa de 200 mil familias a más de 5.5millones.

• Ampliar cobertura educativa de educación básica a educación mediasuperior (altos índices de deserción al llegar a media superior) y fomentareducación superior (jóvenes con oportunidades).

•Los resultados han permitido institucionalizar el programa y mejorarlo.

Tipo de estudio• Valoración de políticas públicas por medio de trabajo de campo y de gabinete

Tipos de evaluaciones estratégicas

• Evaluación de Nutrición y Abasto: Valorar la pertinencia y eficacia de las acciones del gobierno federal en materia de nutrición y abasto desde el enfoque de la seguridad alimentaria.

• Evaluación de Ramo 33: Análisis de los fondos que integran el ramo presupuestario 33

Diagnósticos• Diagnóstico de Asistencia Social• Diagnóstico de Programas dirigidos a la población indígena• Diagnóstico de la política de Microcréditos

Plazo aproximado de ejecución

• Anual• Multianual

Evaluaciones Estratégicas

En relación con la disponibilidad de alimentos:

Estimaciones de la FAO muestran que en términos de disponibilidad nacional dealimentos, México no tiene un problema de seguridad alimentaria, ya que seproduce más energía (3,270 kcal/ pers/ por día) de la que se consume (2,350kcal/pers/día).

Dimensiones de la Seguridad Alimentaria: Evaluación estratégica de nutrición y abasto

Resultados

1. Recomendación según los criterios nutricionales del INSP.

•En relación con el consumo de alimentos:

Un bajo porcentaje de los hogares visitados consume alimentos de todos losgrupos en la cantidad y frecuencia recomendadas1. Esta situación es más grave enlos hogares indígenas.

•En relación con el aprovechamiento biológico:

Persisten condiciones desfavorables en la vivienda (falta de agua entubada y piso de tierra) y en acceso a los servicios de salud que afectan el aprovechamiento de los alimentos por parte de los integrantes de los hogares.

En Oaxaca, Guerrero, Chiapas, Veracruz, San Luis Potosí y Puebla más del 15% de los hogares no cuentan con estos servicios de infraestructura básica.

Dimensiones de la Seguridad Alimentaria: Evaluación estratégica de nutrición y abasto

Resultados

Desnutrición

Anemia

Sobrepeso y obesidad

1988 – 2006

• Aguda: de 6% a 1.6% entre

• Cónica: en todas las regiones del país

•Menores de cinco • Indígenas menores

de cinco

1999 – 2006En los grupos de preescolares, adolescentes y mujeres en edad fértil

En escolares de la Región Ciudad de México

•Adultos mayores•Preescolares

•Mujeres en edad fértil

1999 – 2006

En todos los grupos de edad

•Adultos•Zonas urbanas

•Baja California Sur

Grupos afectados

Evaluación Específica de Desempeño

o Cobertura

o Pob. objetivo,

potencial y atendida

- Informes de Cobertura

- Evaluaciones ExternasCobertura

o Aspectos

susceptibles

de mejora

- Documento de Trabajo

- Documento Institucional

-Avances der Seguimiento

o Componentes

o Actividades

o Presupuesto

- Indicadores de Resultados

y Gestión

- Informes Trimestrales

Productos

- Indicadores de Resultados

- Evaluaciones ExternasResultadoso Fin

o Propósito

o AlineaciónSED

SIEED

Evaluación Específica de Desempeño

•La EED 2009-2010 reporta datos del ejercicio fiscal 2009 de los 127 programas federales dedesarrollo social incluidos en el PAE 2009.

•El informe y los reportes ejecutivos constituyen un esfuerzo de síntesis y análisis de presentarinformación útil en un formato homogéneo.

•El informe ejecutivo contiene:

Descripción del programa Principales Resultados

Hallazgos Relevantes Avance en los Indicadores

Avances 2010

Aspectos de mejora derivados de las Evaluaciones Externas

Conclusiones del Evaluador Externo

Fortalezas Retos y recomendaciones

Observaciones CONEVAL

Indicadores

Información de la

Evaluación

Presupuesto

1. UE y UR; otras Selección de los

aspectos susceptibles de

mejora

2. UE y UR; otras UClasificación de los aspectos susceptibles de mejora

3. UE y UR; otras U

Formulación de

instrumentos

susceptibles de

mejora

4. Dependencias (UE)

Difusión de instrumentos

Criterios de selección:• Claridad• Relevancia• Justificación• Factibilidad

Nivel de prioridad:

• Alta

• Media

• Baja

Clasificación de Aspectos:• Específicos• Institucionales• Interinstitucionales• Intergubernamentales

Mecanismo para el seguimiento de los Aspectos Susceptibles de Mejora

Tipo de Aspecto:

• Específico

• Institucional

• Social

TEMA SUBTEMAS

ECR

ASMSí cuentan

No cuentan

Orientación a resultados

Programas que utilizan los resultados de las evaluaciones para mejorar su desempeño

58 % 42% 32%

Programas que tienen metas pertinentes y plazos específicos para sus indicadores de desempeño

51 % 49% 13%

Programas que tienen un número suficiente de indicadores orientados a resultados que reflejen su propósito

49 % 51% 13%

Planes que establecen claramente los resultados que se buscan alcanzar

21 % 79% 4%

Instrumentos de planeación

Programas que cuentan con planes estratégicos a corto, mediano y largo plazo

25 % 75% 31%

Planes que establecen indicadores, metas, estrategias, políticas y programas de trabajo

23 % 77% 19%

Programas que tienen mecanismos para establecer y definir metas e indicadores

27 % 73% 15%

Hallazgos del Seguimiento a Recomendaciones:Evaluación de Consistencia y Resultados

Acciones realizadas para atender los aspectos susceptibles de mejora

• El Programa 3 X1 para Migrantes tomó acciones para modificar los criterios de elegibilidad delos beneficiarios en sus reglas de operación 2009.

• El Programa de Rescate de Espacios Público realizó partir de 2009 un diagnóstico comunitariopara conocer la situación sobre el deterioro físico de los espacios públicos a rescatar y laproblemática social que se presenta en los barrios. Desde 2010 incluye la georreferenciación deespacios.

• El Programa de Fomento a la Innovación y al Desarrollo Tecnológico-Avance tomó accionespara lograr acuerdos con entidades federativas para la ejecución del programa en los estados(Estado de México, Nuevo León y posiblemente Baja California).

• El Programa de Abasto Social de Leche programó en 2009 la construcción de una planta paraproducción de leche ultra-pasteurizada.

• El Programa de Guarderías y Estancias Infantiles para Apoyar a Madres Trabajadoras tomaacciones para aplicar la prueba “Perfil de Tutora Resiliente” para evaluar la vocación para elcuidado infantil de las tutoras. Adicionalmente, con la ayuda de la Cruz Roja Mexicana y otrosorganismos internacionales, capacita a los responsables de las estancias infantiles.

Ejemplos

!Gracias por su Atención!

Thania de la Garza

Directora General Adjunta de Evaluación del CONEVAL

tgarza@coneval.gob.mx