EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE...

6
Página 1 de 6 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS 2011-2012 DEL PROGRAMA DE COINVERSIÓN SOCIAL POSICIÓN INSTITUCIONAL ABRIL DE 2012

Transcript of EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE...

Page 1: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 1 de 6

EVALUACIÓN DE CONSISTENCIA Y

RESULTADOS 2011-2012

DEL PROGRAMA DE COINVERSIÓN SOCIAL

POSICIÓN INSTITUCIONAL

ABRIL DE 2012

Page 2: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 2 de 6

I. Consideraciones generales

De acuerdo al numeral 23 del Programa Anual de Evaluación 2011 y al numeral 26 del Programa

Anual de Evaluación 2012; artículo 74 de la Ley General de Desarrollo Social; numeral décimo sexto y

décimo octavo de los Lineamientos Generales para la Evaluación de los Programas Federales de la

Administración Pública Federal (Lineamientos), se realizó la Evaluación de Consistencia y Resultados

(ECyR) para el ejercicio fiscal 2011 y parte de 2012.

La ECyR tiene por objeto evaluar a través de 51 preguntas la consistencia y orientación a

resultados de los Programa Federales, agrupadas en 6 temas: diseño del programa, planeación y

orientación a resultados, cobertura y focalización del programa, principales procesos operativos,

instrumentos para medir el grado de satisfacción de los beneficiarios, y finalmente resultados del

programa respecto a la atención del problema para el que fue creado.

Dicha evaluación se realizó mediante trabajo de gabinete, con base en información

proporcionada por esta dependencia a través de las entidades o unidades administrativas responsable

del programa, así como información adicional que la instancia evaluadora hubiere considerado

necesaria para justificar su análisis.

El modelo de Términos de Referencia de la ECyR fue establecido por el Consejo Nacional de

Evaluación de la Política de Desarrollo Social (CONEVAL), buscando con ello disponer de

instrumentos homogéneos que permitan realizar un análisis estandarizado de los programas de la

Administración Pública Federal que faciliten la comparación de los resultados.

Al ser la segunda ocasión en que se efectúa una ECyR, la consolidación del proceso de

mejora continua de los programas en los últimos diez años se refleja en los avances que han tenido

éstos como resultado de la atención a las recomendaciones de la primera ECyR efectuada en 2007.

La Secretaría de Desarrollo Social (SEDESOL) a través de la Dirección General de Evaluación

y Monitoreo de los Programas Sociales coordinó y supervisó la realización de estas evaluaciones

mediante un proceso participativo, donde intervinieron tanto las unidades responsables de la

operación de los programas, como otras áreas de la dependencia que coadyuvan en temas de diseño,

planeación, seguimiento, elaboración de padrones, monitoreo y evaluación. En este proceso, se

mantuvo siempre un diálogo respetuoso del punto de vista independiente que deriva del carácter

externo del evaluador, el cual se refleja en las valoraciones que hace del programa durante los

documentos de evaluación.

En este documento se presenta la postura a la ECyR, tanto de la Dirección General de

Evaluación y Monitoreo de los Programas Sociales como del Programa de Coinversión Social, y en su

caso se señalan las posibles diferencias de criterio respecto de las opiniones vertidas por el

evaluador, señalando en todos los casos las razones objetivas que las sustentan, desde el punto de

vista institucional.

Page 3: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 3 de 6

II. Comentarios Específicos Dirección General de Evaluación y Monitoreo (DGEMPS)

La DGEMPS reconoce el esfuerzo realizado por parte del CONEVAL por sistematizar y homogeneizar

el instrumento para la ECyR. También reconoce el esfuerzo de síntesis del evaluador para presentar

sus valoraciones de forma concisa, sin embargo se considera pertinente advertir al lector de los

siguientes aspectos respecto de la evaluación:

• La complejidad de los problemas de desarrollo social requiere de programas cuya

estrategia de atención incluye diversos tipos de apoyo, desde aquellos que demandan

mecanismos de selección a nivel persona u hogar (pisos firmes), los que atienden a las

personas o territorios mediante obras o acciones de carácter comunitario (infraestructura

social) y aquellos para actores sociales intermedios o beneficiarios (como del Programa

de Coinversión Social), según los Lineamientos normativos para la integración del padrón

único de beneficiarios de la SEDESOL. Esta multiplicidad de tipos de apoyo generó

controversias respecto de la interpretación que debe darse a aspectos evaluados, como

las características de los beneficiarios, su cuantificación, los criterios de selección, los

procedimientos de entrega de apoyos y el seguimiento a la ejecución de dichos apoyos. Si

bien el criterio que prevalece en la evaluación es el del evaluador, dicho criterio puede ser

distinto del empleado en otras evaluaciones de programas con características similares.

• Controversias similares se presentaron en conceptos generales para el análisis de

preguntas específicas como “no beneficiarios” o “demanda total”. Las interpretaciones

discutidas vinculaban los conceptos a población potencial o a solicitantes (sean o no

población potencial). Nuevamente se respetó el criterio del evaluador pero puede ser

distinto del empleado en otras evaluaciones.

Page 4: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 4 de 6

II. Comentarios Específicos del Programa de Coinversión Social (PCS)

El Instituto Nacional de Desarrollo Social (Indesol) reconoce el esfuerzo que realizó el evaluador en la

sistematización, emisión de valoraciones y recomendaciones, respecto de la consistencia y

orientación a resultados del Programa. Por otra parte, valora el esfuerzo que realiza el CONEVAL al

sintetizar y homogeneizar los instrumentos para la realización de las evaluaciones de la política de

Desarrollo Social, en específico los Términos de Referencia de la Evaluación de Consistencia y

Resultados. Sin embargo, se reconoce la necesidad de contar con instrumentos flexibles de

evaluación que permitan captar información de Programas con características particulares como es el

caso del PCS; de igual manera se debe considerar que este esfuerzo de síntesis y los criterios de

valoración de la información pueden dejar de lado avances y logros sustanciales del Programa, que el

lector no puede prever en este documento.

Es por ello que el Programa de Coinversión Social considera pertinente puntualizar algunos aspectos

de valoración, avances y logros que el programa ha llevado a cabo y que dentro del formato de la

evaluación no pudieron ser enfatizados:

Características particulares del Programa:

• Dadas las características de operación del Programa, no ha sido posible medir su impacto,

toda vez que el establecimiento de un grupo de control se dificulta.

• El apoyo que otorga el Programa depende tanto de la demanda de los Actores Sociales que

presenten proyectos en cada ejercicio fiscal, es decir del interés que muestren para participar

y el cumplimiento de criterios y requisitos de participación, como del presupuesto disponible

para subsidios en el mismo período, por lo que la determinación de metas y la cobertura de

corto, mediano y largo plazo pueden no coincidir con las mismas características de otros

Programas.

• El Programa de Coinversión Social apoya a Actores Sociales constituidos como

Organizaciones de la Sociedad Civil, Instituciones de Educación Superior y Centros de

Investigación, que por sus características no ha sido posible la conformación de un Padrón

Único de Beneficiarios.

• El Programa considera pertinente subrayar que los mecanismos de verificación de los

procesos se encuentran implícitos dentro de la propia mecánica operativa del Programa, toda

vez que se cuenta con un conjunto de instrumentos y elementos que le permiten validar el

cumplimiento de cada una de las fases para completar cada proceso. Tal es el caso del

procedimiento de selección de beneficiarios que se realiza a través de la dictaminación de

proyectos, cuyo mecanismo de verificación es el “Acta de dictaminación” que si bien no

cumple con todas las características previstas en los términos de referencia de la evaluación

que nos ocupa, no debiera demeritar al propio proceso de selección, el cual se realiza

conforme lo estipulado en Reglas de Operación y ha sido objeto de múltiples reconocimientos

como una fortaleza del Programa en diversas evaluaciones externas. Por otra parte, es

Page 5: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 5 de 6

pertinente aclarar al lector, que la implementación de mecanismos de verificación adicionales

a los procesos, incrementaría el costo eficiencia de operación del programa.

Avances y logros del Programa:

• Actualmente el PCS, cuenta con el documento de Propuesta de Atención, en el cual se

contemplan, las metas y estrategia de cobertura del Programa de corto y mediano plazo.

• Con respecto a la percepción de la población atendida y su seguimiento se tiene registro en el

SIGEPPCS de encuestas aplicadas a las personas encargadas de la operación de los

proyectos durante las visitas de campo, desde 2005 a la fecha.

• Como bien los destaca la institución evaluadora, las características del programa no han

permitido llevar a cabo una evaluación de impacto; sin embargo en su búsqueda de

alternativas para atender esta área de oportunidad se han emprendido diversas acciones; en

el año 2010, llevó a cabo una Evaluación para medir los efectos del Programa en la

Construcción del Capital Social, cuyos resultados principales fueron: que el 30.8% de los

Actores Sociales Apoyados por el PCS tienen el más alto capital social y que el 25.8%

cuentan con el más alto fortalecimiento Institucional; durante el ejercicio fiscal 2011, participó

en el Proyecto de Incubadora de Evaluaciones de Impacto, coordinado por el CONEVAL.

• En un esfuerzo por conformar el Padrón Único de Beneficiarios del PCS, se han atendido las

solicitudes por parte de la Dirección General de Geoestadística y Padrones de Beneficiarios

de la SEDESOL, con la intención de dar cumplimiento a los “Lineamientos Normativos para la

Integración del Padrón Único de Beneficiarios del Programa de Desarrollo Social” publicados

por la Subsecretaría de Prospectiva, Planeación y Evaluación de la SEDESOL el pasado 21

de febrero del presente ejercicio fiscal, en el cual se reconocen las características de la

población objetivo del Programa y se define una estructura oficial. A pesar de esta limitante, el

Programa cuenta con bases de datos, como son el Integra_Todo, que se desprende del

Sistema de Gestión de Proyectos del Programa de Coinversión Social (SIGEPPCS), tal como

lo señala la institución evaluadora, donde se concentra información relevante de los

beneficiarios como: figura jurídica, domicilio fiscal, nombre del Representante Legal, años de

constitución, áreas de incidencia. Adicionalmente se cuenta con una aproximación de las

características socioeconómicas de los Actores Sociales apoyados, a través de las visitas de

seguimiento en campo y a través de evaluaciones externas, como es el caso de la Evaluación

para medir los Efectos del Programa de Coinversión Social en la Construcción del Capital

Social.

• Se comparte la opinión de la institución evaluadora respecto de la conformación de un

documento explícito sobre la vinculación de los objetivos del Programa con las Metas del

Milenio. No obstante, se considera importante aclarar que el PCS ha identificado dicha

vinculación de manera indirecta, a través de las convocatorias que emite y se atenderá

conforme las disposiciones emitidas por las instancias coordinadoras.

Page 6: EVALUACIÓN DE CONSISTENCIA Y DEL PROGRAMA DE …indesol.gob.mx/cms/wp-content/uploads/2015/07/P_Institucional.pdf · solicitudes por parte de la Dirección General de Geoestadística

Página 6 de 6

Finalmente, se agradece a los funcionarios de CONEVAL por los esfuerzos implicados en esta

evaluación, así como al evaluador externo por su dedicación y la retroalimentación aportada. Se

valorarán las debilidades observadas con la perspectiva de continuar trabajando en resolver las

deficiencias, así como de mantener el compromiso de potenciar las fortalezas detectadas.

Los avances reportados dan cuenta del esfuerzo de la Secretaría por consolidar una política social

institucional, orientada a resultados, con transparencia y rendición de cuentas. Contar con una política

social de Estado incentiva a realizar ejercicios similares en los tres niveles de gobierno.