Informe metodológico de la Evaluación Externa 2006 … · La metodología del Marco Lógico ......

Informe metodológico de la Evaluación Externa 2006 del Programa Desarrollo

Local (Microrregiones)

Diciembre de 2006

Informe Metodológico para la evaluación del Programa Desarrollo Local (Microrregiones)

Km 38.5 Carretera México-Texcoco. Texcoco, Edo de México. C.P.56230 Tel. (01 595) 95 2-15-00 ext 5194 E-mail [email protected], [email protected]

CRÉDITOS

Universidad Autónoma Chapingo

UACh

Dra. Myriam Sagarnaga Villegas

Directora de la Evaluación

LEA. Luis Ángel Ortíz Herrera Estadístico y Diseñador de cuestionarios

LEA. Noé Cerero Hernández Analista

IAZ. Maribel Ruiz León Analista



Tabla de contenido 1. Introducción ................................................................................................................ 6

2. Importancia de la evaluación..................................................................................... 7

2.1. Objetivos de la evaluación .................................................................................................. 8 2.1.1. Objetivo general ............................................................................................................ 8 2.1.2. Objetivos específicos ................................................................................................... 8

2.2. Fuentes de información y procesamiento de la información ......................................... 9 3. El Programa para el Desarrollo Local (Microrregiones) ......................................... 9

4. Metodología............................................................................................................... 13

4.1. Diseño .................................................................................................................................. 13 4.1.1. Diagnóstico de la situación inicial ............................................................................ 13 La metodología del Marco Lógico ....................................................................................... 13 4.1.2. Lógica Vertical de la Matriz de Marco Lógico ........................................................ 15 4.1.3. Lógica Horizontal de la Matriz de Marco Lógico .................................................... 19

4.2. Focalización y cobertura ................................................................................................... 19 4.2.1. Focalización del Programa........................................................................................ 19 4.2.2. Cobertura del Programa ............................................................................................ 24

4.3. Operación ............................................................................................................................ 26 4.3.1. Evaluación de procesos............................................................................................. 27 4.3.2. Cumplimiento de metas ............................................................................................. 34 4.3.3 Análisis de costos ........................................................................................................ 36 Costos de operación. ............................................................................................................ 36 Costos de inversión ............................................................................................................... 37 Costo de hacer llegar un peso a manos de los beneficiarios ......................................... 38

4.4. Resultados (beneficios económicos y sociales) ............................................................ 39 4.4.1. Análisis y evaluación sobre la eficacia, eficiencia y calidad del Programa ....... 39 4.4.2. Características de la obra, estado actual, servicios y mantenimiento ............... 41

4.5. Percepción de los actores clave y percepción de beneficiarios.................................. 53 4.6. Fortalezas, Retos y Recomendaciones .......................................................................... 61 5. Plan de trabajo operativo......................................................................................... 62

5.1. Diseño del informe metodológico (del 17 de julio al 14 de agosto del 2006) ........... 62 5.2. Prueba Piloto (del 24 de julio al 14 de agosto del 2006).............................................. 63 5.3. Reporte de la evaluación del diseño, cobertura y focalización (del 01 de Agosto al 27 de Septiembre de 2006) ...................................................................................................... 64 5.4. Informe sobre trabajo de campo (del 15 de Septiembre al 16 de octubre del 2006)...................................................................................................................................................... 65 5.5. Informe de evaluación 2006 (del 01 de octubre al 23 de noviembre del 2006) ....... 66 5.6. Informe final de evaluación 2006 (del 23 de Noviembre del 2006 al 29 de diciembre del 2006)...................................................................................................................................... 67 6. Bibliografía ................................................................................................................ 68

Anexos........................................................................................................................... 69

Índice de cuadros



Cuadro 1. Funcionarios y otros actores del Programa que se entrevistarán........................9

Cuadro 2. Comparativo de indicadores de marginación nacional y de las microrregiones

con datos de INEGI, 2000 ..................................................................................................12

Cuadro 3. Montos de inversión por entidad federativa y grados de marginación para el

2006....................................................................................................................................22

Cuadro 4. Proyectos apoyados por entidad federativa y grados de marginación para el

2006....................................................................................................................................23

Cuadro 5. Montos de inversión por entidad federativa y grados de marginación para el

2006....................................................................................................................................23

Cuadro 6. Cobertura Anual del Programa para el Desarrollo Local (Microrregiones) ¡Error! Marcador no definido. Cuadro 7. Cobertura Acumulada del Programa para el Desarrollo Local (Microrregiones)

por Entidad Federativa 2002 – 2006 ..................................................................................25

Cuadro 8. Metas físicas alcanzadas a nivel nacional el ejercicio 2006 ..............................34

Cuadro 9. Metas físicas alcanzadas por entidad federativa del ejercicio fiscal 2006.........35

Cuadro 10. Metas físicas alcanzadas en los ejercicios fiscales 2002-2005 ............... ¡Error! Marcador no definido. Cuadro 11. Metas financieras alcanzadas a nivel nacional el ejercicio 2006.....................35

Cuadro 12. Metas financieras alcanzadas por entidad federativa del ejercicio fiscal 200635

Cuadro 13. Metas financieras alcanzadas en los ejercicios fiscales 2002-2005........ ¡Error! Marcador no definido. Cuadro 14. Resultados del Programa a nivel de componentes 2002-2006 ......................40

Cuadro 15. Resultados del Programa a nivel de componentes 2002-2006 ......................41

Cuadro 16. Resultados del Programa a nivel de Fin 2002-2006.......................................41

Cuadro 17. Distribución de las vertientes de las obras muestreadas.................................42

Cuadro 18. Tópicos a evaluar por vertiente........................................................................43

Cuadro 19. Variables que conforman el modelo de estimación de la pobreza ..................44

Cuadro 20. Coeficientes de las variables ...........................................................................45

Cuadro 21. Actividades sustantivas y cronograma de trabajo para el diseño del informe

metodológico ......................................................................................................................62

Cuadro 22. Actividades sustantivas y cronograma de trabajo para la prueba piloto..........63



Cuadro 23.Actividades sustantivas y cronograma de trabajo para la evaluación de diseño,

cobertura y focalización......................................................................................................64

Cuadro 24.Actividades sustantivas y cronograma de trabajo para la evaluación de

operaciones y trabajo de campo.........................................................................................65

Cuadro 25. Actividades sustantivas y cronograma de trabajo para la estructuración y

elaboración del informe final del Programa ........................................................................66

Cuadro 26.Actividades sustantivas y cronograma de trabajo para la estructuración y

elaboración del informe final del Programa ........................................................................67

Índice de diagramas

Diagrama 1.Lógica vertical de la MML que ayuda identificar los componentes .................16

Diagrama 2. Lógica vertical de la MML que ayuda a identificar el Propósito .....................17

Diagrama 3. Lógica vertical de la MML que ayuda a identificar el fin.................................18

Diagrama 4. Diagrama de flujo sobre la solicitud de apoyos..............................................28

Diagrama 5. Diagrama de flujo sobre la ejecución de obras ..............................................33


Km 38.5 Carretera México-Texcoco. Texcoco, Edo de México. C.P.56230 Tel. (01595) 95 2-15-00ext5194 E-mail [email protected], [email protected]

5

Siglas y Abreviaturas DGEMPS Dirección General de Evaluación y Monitoreo de los Programas

Sociales

INEGI Instituto Nacional de Estadística Geografía e Informática

MML Matriz de Marco Lógico

PEF Presupuesto de Egresos de la Federación

PND Plan Nacional de Desarrollo 2001-2006

PNDS Programa Nacional de Desarrollo Social 2001-2006

POA Programa Operativo Anual

PDL Programa Desarrollo Local (Microrregiones)

ROP Reglas de Operación del Programa

SEDESOL Secretaría de Desarrollo Social

SHCP Secretaría de Hacienda y Crédito Público

SISEE Sistema de Seguimiento a las Evaluaciones Externas

SIIPSO Sistema de Información Integral de Programas Sociales

SPPE Subsecretaría de Prospectiva, Planeación y Evaluación

UACh Universidad Autónoma Chapingo



6

1. Introducción La administración Federal actual ha tenido como uno de los principales objetivos promover el desarrollo económico en el país basado en un crecimiento con calidad, a fin de contribuir a acrecentar la equidad y la igualdad de oportunidades sobre todo en la población ubicada en las zonas de pobreza.

Para ello, las distintas secretarías de estado a través de un trabajo conjunto, instrumentan diversos programas de fomento, promoción del desarrollo y combate a la pobreza, que responde a los criterios axiales marcados en el Plan Nacional de Desarrollo 2001-2006, referentes a: “Promover el crecimiento con calidad, que conlleve el impulso a la capacidad e iniciativa emprendedora de los ciudadanos para la creación y consolidación de proyectos productivos incluyentes, que aumenten la cohesión social, fomenten la participación de diversos grupos de la sociedad e impulsen un desarrollo regional equilibrado”.

Una de las secretarías que resulta de suma importancia para el logro de estos objetivos es la Secretaría de Desarrollo Social, debido a que su función radica en articular un conjunto de acciones orientadas al combate de la pobreza, por medio de una diversidad de programas que promueven el empleo, la salud, la educación, la alimentación y en general el bienestar de las personas ubicadas en zonas urbanas y rurales situadas en condiciones de pobreza. Para ello canaliza recursos para la articulación de proyectos productivos capaces de contribuir al desarrollo social y económico del país.

Dentro de esta lógica conjunta se ubica el programa Desarrollo Local (Microrregiones) que se encuentra inmerso en la estrategia de Microrregiones, el cual constituye uno de los principales esfuerzos de coordinación institucional de la actual administración para incidir favorablemente en las causas que originan la pobreza de los territorios con los más altos índices de marginación del país.

El Programa incide en las poblaciones más vulnerables del país, teniendo como elemento esencial la participación de los tres órdenes de gobierno, a través de proveer satisfactores básicos, construcción de viviendas, centros de salud, escuelas, certidumbre jurídica y demás servicios que permitan un mejor desarrollo social para las comunidades.

Los resultados que se buscan con este Programa consisten en obtener: Incremento o mejoramiento de la infraestructura social básica de las localidades beneficiarias, incremento o mejoramiento de la infraestructura de servicios de las localidades beneficiarias y una mayor certeza jurídica entre la población más vulnerable.

Todos los elementos expuestos anteriormente, son la base para que tanto la Secretaría de Desarrollo Social y el Congreso de la Unión promuevan la evaluación externa de los programas, a fin de que ésta coadyuve a la toma de decisiones pertinentes, respecto a la continuación, fortalecimiento, rediseño o finiquito de las acciones de política pública, orientadas al combate de la pobreza de las zonas marginadas del país.



7

A partir de esto es que se propone la evaluación de Desarrollo Local (Microrregiones), que a diferencia de evaluaciones anteriores, en esta se pretende emplear la metodología de la Matriz de marco Lógico del Programa, posibilitando un mejor análisis de diseño y de resultados del Programa

En un contexto en donde los recursos son escasos y en donde se exige la rendición de cuentas en los proyectos públicos, la evaluación juega un papel cada vez más importante para mostrar empíricamente los resultados de los programas. Es imperativo convertir a la evaluación en una actividad científica que nos permita responder a preguntas como ¿cuáles son los impactos que está generando o puede generar nuestro programa en la calidad de vida de las personas a las que va dirigido?, o ¿qué podemos hacer para lograr los impactos esperados? Estos enfoques son esenciales para identificar correctamente aquellos proyectos y programas que realmente resulten efectivos. No obstante, instituciones como el Banco Mundial y la CEPAL, aunque tienen mucha experiencia en metodologías de evaluación de programas, reconocen en varios documentos que la evaluación es un proceso difícil que tiende a complicarse más en la parte de medición de impactos y resultados.

Esta institución, reconoce el gran reto que implica realizar el proceso de evaluación del programa, en virtud de que este ejercicio debe concluir en la valoración de los procesos operativos que componen la instrumentación del programa y la cuantificación en la medida de lo posible de los impactos y costos implícitos de la operación de los mismos. El fin último será obtener elementos que contribuyan a identificar si los programas están teniendo los efectos esperados en la población beneficiada.

2. Importancia de la evaluación La evaluación de los programas de fomento, promoción del desarrollo y combate a la pobreza en México es un proceso reciente que ha venido consolidándose y brindando mejores resultados. Las evaluaciones tienen sustento desde el momento que en el Presupuesto de Egresos de la Federación se asignan recursos públicos a determinados programas. Por esta razón, la SEDESOL, lleva a cabo la evaluación externa 2006 de sus programas a los que destina recursos, con el objeto de valorar los procesos operativos y determinar los impactos en la población beneficiaria.

Para este efecto, la evaluación externa es la del Programa Desarrollo Local (Microrregiones). Este programa al igual que otros que están a cargo de la SEDESOL ha sido evaluado desde su inicio de operaciones en el ejercicio 2002. Entre los resultados registrados se encuentran que la cobertura ha sido la adecuada, que el programa se ha apegado a sus reglas de operación y que los beneficios económicos y sociales de sus acciones han resultado ser significativos.

Sin embargo, para el ejercicio presupuestal 2006, la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS), convoca la evaluación externa del Programa bajo otros lineamientos y características. En esta ocasión se utiliza un instrumento nuevo en la evaluación de diseño y de resultados del programa, bajo la metodología de marco lógico, con el cual se pretende dar continuidad en los siguientes ejercicios de evaluación.

Esta evaluación se ubica en un esfuerzo de la SEDESOL por establecer acciones que generen la información necesaria para verificar que los resultados del Programa son



8

los adecuados dados los recursos fiscales involucrados. A partir de este análisis esta secretaría, estará en posibilidades de valorar los resultados de la operación de sus políticas públicas y verificar la magnitud y sentido de sus impactos, así como proponer medidas de reorientación de las acciones, mejorar la funcionalidad de los procesos y, en general, aumentar la efectividad y eficiencia del uso de los recursos públicos.

Por tal motivo, los resultados obtenidos de la evaluación serán enviados por la SEDESOL a la Cámara de Diputados, a más tardar el último día hábil de septiembre del presente, a efecto de que sus resultados sean considerados en el proceso de análisis y aprobación del Presupuesto de Egresos de la Federación para el siguiente ejercicio fiscal.

Ante esto, la UACh, se compromete a respetar cabalmente con los plazos de entrega de los resultados de la evaluación y de utilizar los medios impresos y electrónicos correctos para su entrega final.

2.1. Objetivos de la evaluación

2.1.1. Objetivo general

Analizar el diseño, focalización, cobertura, operación, resultados (beneficios económicos y sociales) y percepción de los actores clave del Programa para el Desarrollo Local (Microrregiones), identificando las fortalezas y retos en cada área, y proponiendo alternativas para mejorar el desempeño del programa.

2.1.2. Objetivos específicos

a) De Diseño Evaluar el diseño del Programa, particularmente su lógica vertical y horizontal conforme a lo establecido en el marco lógico del Programa.

b) De focalización y cobertura Evaluar la cobertura y focalización del Programa en el periodo 2002-2006, utilizando la información al cierre o avances de los ejercicios correspondientes.

c) De operación Evaluar la operación del Programa verificando el cumplimiento de las Reglas de Operación y de las metas físicas, financieras y de resultados en el 2006.

d) Resultados (beneficios económicos y sociales) Evaluar los resultados (beneficios económicos y sociales) del Programa con base en los indicadores identificados en el marco lógico del Programa.

e) Percepción de los beneficiarios



9

Evaluar la percepción de los actores clave sobre la operación y los resultados del Programa.

2.2. Fuentes de información y procesamiento de la información

Para el desarrollo de la evaluación se acudirá a fuentes de información documental, tales como: Reglas de Operación 2003 y 2004 del Programa, Reglas de Operación 2004 de Microrregiones, el Programa Operativo Anual (POA), el Plan Nacional de Desarrollo 2001-2006, el Programa Nacional de Desarrollo Social (PNDS) 2001-2006, el informe de evaluación del Programa en el 2005 y datos oficiales del INEGI. De igual manera, gran parte de la evaluación hará uso de la información proveniente de las entrevistas a representantes de los Comités Comunitarios o de Obras (representantes de beneficiarios y Directores de Obras Públicas), entrevistas a funcionarios normativos y operativos (SEDESOL) y entrevistas a actores clave (personal de las escuelas, de las clínicas de salud, entre otros.

Las entrevistas a funcionarios será de gran relevancia para la integración del apartado de procesos de la evaluación, el número de entrevistas se enlistan a continuación:

Cuadro 1. Funcionarios y otros actores del Programa que se entrevistarán Instrumento Informante autorizado Tamaño de muestra

Entrevistas a operadores a nivel central

Funcionarios de SEDESOL en oficinas

centrales

3

Encuesta a operadores a nivel estatal

Delegado o subdelegado y responsable de la

operación del Programa en el Estado

14

Encuesta a proyectos y municipios con localidades CEC

Presidentes municipales, Directores de Obra o de

Desarrollo Social

29

Encuesta de proyectos 2004 Directores de Obra o de Desarrollo Social y

representantes de los Comités de Obra

556

Fuente: Elaboración Propia con base en los Términos de Referencia 2006.

Los resultados encontrados mediante la aplicación de los diferentes instrumentos de medición se capturarán y analizarán en una base de datos con formato excel, de donde se obtendrán los cuadros de salida para su posterior interpretación en el análisis de la evaluación, tanto para los informes estatales como para el nacional.

3. El Programa para el Desarrollo Local (Microrregiones) El Programa para el desarrollo Local surge como una expresión de la política social del gobierno mexicano, en el marco del fortalecimiento del federalismo, que busca dotar al territorio en el ámbito local de los servicios públicos necesarios y mejorar las condiciones de vida a la población para favorecer el desarrollo humano en las microrregiones y centros estratégicos comunitarios de influencia local.



10

La historia moderna de México ha mostrado al país como un sistema político altamente centralizado en el que la toma de decisiones se concentra en el nivel federal y en la discontinuidad de los programas gubernamentales, se carecía de una estrategia de desarrollo territorial.

A finales de la década de los setentas, se comenzaron a emprender acciones a favor de un desarrollo más balanceado del país que incluyó: mecanismos de coordinación, planeación territorial, una mejor distribución de las responsabilidades y recursos entre los niveles gubernamentales. En 1977 los programas integrados y coordinados por la Coordinación General del Plan Nacional de Zonas Deprimidas y Grupos Marginados (COPLAMAR), fueron los primeros en operar bajo el enfoque territorial, posteriormente en 1994, le siguió el Programa Nacional de Regiones Prioritarias.

La administración federal vigente (2001-2006) promueve el desarrollo regional y estableció para ello, la oficina para la planeación estratégica y el desarrollo regional de la presidencia de la república, que es una estructura que busca poner en práctica procesos de formulación de políticas, en los que el gobierno actual actúe no como actor, sino como promotor del desarrollo. Se han promovido proyectos en áreas denominadas como “mesorregiones” que involucran a varios estados, en el desarrollo regional, con la participación de sus gobernadores, también se busca el desarrollo económico local, como proceso complementario, a través de la Estrategia de Microrregiones.

En febrero de 2001 se anunció la Estrategia de Microrregiones cuyo objetivo principal es el de la coordinación institucional de la administración 2001-2006, para incidir en las causas que originan la pobreza y marginación.

Para el desarrollo de esta estrategia, se tomaron como referencia dos concepciones de desarrollo con enfoque territorial, la visión de desarrollo de los EUA y la visión de desarrollo de los países europeos. La primera se fundamenta en la construcción y mantenimiento de las vías de comunicación, principalmente de las carreteras, para detonar procesos de desarrollo con esta infraestructura. La visión europea considera el fortalecimiento de polos autosuficientes que irradien impactos en una determinada área de influencia, esta visión es la que tiene mayor compatibilidad con la Estrategia de Microrregiones, que opera en México.

La Estrategia de Microrregiones se diseñó como un instrumento de coordinación institucional cuyas principales líneas de acción son: la identificación territorial de la marginación, el establecimiento de prioridades de demanda social en los territorios identificados, el impulso de Centros Estratégicos Comunitarios (CEC), la conformación de una oferta institucional articulada, la realización de acciones bandera blanca y la evaluación continua.

En esta Estrategia se promueve la participación del gobierno federal, los gobiernos estatales, los gobiernos municipales, la sociedad civil, las instituciones académicas y la iniciativa privada y se coordina el esfuerzo de los programas federales que llegan a los municipios de muy alta y alta marginación, con el fin de incentivarlos para concretar acciones en las localidades CEC de manera articulada con 68 programas de 14 Secretarías del gobierno federal.

El gobierno federal ha diseñado diferentes programas de apoyo para el combate a la pobreza, los cuales consisten en el otorgamiento de subsidios, de microcréditos, de



11

obras de infraestructura social básica (pavimentación, agua entubada, electrificación, centros de salud, educación, etc.), entre los más importantes.

El Programa denominado Programa de Microrregiones en 2002 y Programa para el Desarrollo Local (Microrregiones) desde 2003 a la fecha, se ha convertido en la herramienta principal de la Estrategia de Microrregiones y en el instrumento de negociación de la SEDESOL para fomentar la inversión de los distintos programas de las Secretarías de gobierno en las Microrregiones.

El origen del Programa es la atención de las localidades marginadas del país que carecen de servicios básicos y de esta manera coadyuvar a su desarrollo. El Programa para el Desarrollo Local forma parte de las políticas sociales con enfoque territorial, que parten del conocimiento de la marginación de las localidades, que se manifiesta mediante el rezago de grandes extensiones del País en las que existe una carencia o insuficiencia de infraestructura social básica y de apoyo a las actividades económicas.

La diversidad de vertientes de apoyo del Programa obedece en gran parte a que son varias las acciones que tienen que realizarse en las localidades más remotas, para incidir en su desarrollo. Los factores que contribuyen a la marginación de las localidades son su dispersión territorial y la complejidad orográfica en la que generalmente están inmersos, que dificulta la accesibilidad, la comunicación y la dotación de servicios básicos.

En México, en los 31 estados existe una población de 19.9 millones de habitantes localizados en 263 microrregiones, en 1,338 municipios de los cuales, 1,295 municipios son de alta y muy alta marginación. También se tienen identificados 27 municipios con 40 por ciento o más de hablantes de lengua indígena. En 99,891 localidades se identifican 62,238 localidades con menos de 50 habitantes.

El Programa para el Desarrollo Local (Microrregiones) contribuye al desarrollo del enfoque de la Estrategia de Microrregiones para su actuar, con sus principales líneas de acción. De 2002 a 2004, su área de atención eran las localidades de alta y muy alta marginación de las Microrregiones definidas por la SEDESOL, actualmente en 2005, estas áreas de acción son las localidades identificadas como Centros Estratégicos Comunitarios, que son las localidades que tienen una confluencia natural respecto de otras localidades aledañas.

La operación del Programa en las Microrregiones se explica en gran parte, porque en ellas se ubican municipios y localidades de de alta y muy alta marginación, donde existen condiciones de analfabetismo, educación, vivienda e ingreso con menores índices respecto al ámbito nacional. El siguiente cuadro muestra un comparativo de los indicadores de marginación nacional y de las Microrregiones.



12

Cuadro 2. Comparativo de indicadores de marginación nacional y de las microrregiones con datos de INEGI, 2000

Indicador Nacional Micro rregiones

Población total 97.4 mill. 19.9 mill.Población analfabeta de 15 años o más 9.5 % 23.2 %Población sin primaria completa de 15 años o más 28.5 % 51.9 %Ocupantes con viviendas sin servicio de drenaje ni servicio sanitario exclusivo 9.9 % 27.5 %Ocupantes en viviendas sin servicio de energía eléctrica 4.8 % 15.4 %Ocupantes en viviendas sin agua entubada 11.2 % 30.3 %Viviendas con algún nivel de hacinamiento 45.9 % 62.1 %Ocupantes de viviendas con piso de tierra 14.8 % 41.5 %Población que vive en localidades con menos de 5,000 habitantes 31.0 % 77.8 %Población ocupada con ingreso de hasta dos salarios mínimos 51.0 % 76.4 %Fuente: www.microrregiones.gob.mx, con base en datos del Censo Nacional de Población y vivienda 2000.

Esta situación implica que las condiciones de mayor marginación son las de las Microrregiones, objeto de acción del Programa para el Desarrollo Local.



13

4. Metodología La metodología de trabajo para la evaluación del Programa, plantea como se abordaron los aspectos de diseño, cobertura y focalización, operación, los resultados (beneficios económicos y sociales) y la percepción de los actores clave.

4.1. Diseño

Los términos de Referencia para la evaluación externa solicitaron el análisis de tres principales temas de la evaluación del Diseño del Programa: el diagnóstico de la situación inicial, y el análisis de la Matriz de Marco Lógico, su lógica vertical y su lógica horizontal mediante la metodología que a continuación se explica.

4.1.1. Diagnóstico de la situación inicial

En este punto se solicitó al investigador que se indagara sobre la existencia de un diagnóstico inicial del Programa, con la finalidad de darle respuesta a los siguientes cuestionamientos:

- ¿El problema o necesidad que da origen al Programa está bien identificado?

- ¿La población objetivo ha sido bien definida en función del problema / necesidad que

dio origen al Programa?

- ¿Es pertinente la incorporación del enfoque de género?; de ser así, ¿se le incorporó

en la definición de la población potencial y objetivo, según corresponda?

La metodología para darle respuesta a los cuestionamientos anteriores se basó en la aplicación de entrevistas no estructuradas a los funcionarios directivos del Programa y en la revisión de información documental sobre el historial del Programa y de la Estrategia de Microrregiones, considerando la relación cercana que guardan. La información documental que se revisó fueron las Reglas de Operación 2002, 2003 y 2005, los lineamientos específicos para la operación de los Programas de la Secretaría de Desarrollo Social y Humano y la Estrategia de Microrregiones. Para la investigación sobre la pertinencia del enfoque de género se analizaron las bases de datos para evaluar las tendencias del género de los beneficiarios y con la ayuda de las bases de datos de la aplicación de las encuestas a éstos, se pudo contar con información para analizar este tema. Mediante estos instrumentos se obtuvieron los elementos suficientes para realizar el análisis de lo solicitado y dar cumplimiento a lo solicitado en los Términos de Referencia.

La metodología del Marco Lógico Para la evaluación del Diseño del Programa se utilizó la metodología del Marco Lógico de programas o proyectos que a continuación se explica de manera breve.



14

La Metodología del Marco Lógico es utilizada por organismos internacionales de financiamiento tales como el Banco Interamericano de Desarrollo (BID), el Banco de Desarrollo Asiático y el Banco Mundial; por agencias cooperantes como la Empresa Alemana de Cooperación Internacional para el Desarrollo Sostenible, la Agencia Australiana para el Desarrollo Internacional, o la Agencia Canadiense para el Desarrollo Internacional; han utilizado parte de la metodología del Marco Lógico para la preparación y evaluación de proyectos y programas. Esta metodología también puede ser utilizada para la evaluación de resultados e impactos (Aldunate, 2004). La metodología del Marco Lógico coadyuva a evitar tres problemas del diseño de los proyectos y programas:

1. La existencia de múltiples objetivos en un proyecto o programa y la inclusión de actividades de no conducentes al logro de éstos.

2. Fracaso en la ejecución por no estar claramente definidas las responsabilidades y no contar con el adecuado seguimiento y control.

3. Inexistencia de una base objetiva y consensuada para comparar lo planificado con los resultados efectivos.

La Matriz de Marco Lógico (MML) es el producto final de esta metodología. La MML permite presentar en forma resumida cualquier iniciativa de inversión. Mediante su elaboración se permite identificar la finalidad que se persigue con la ejecución del Programa, el impacto que se espera alcanzar, los bienes o servicios que deben ser producidos, las actividades para la producción de dichos bienes y su costo, la medición del alcance de los objetivos y la identificación de los factores externos que pueden comprometer el éxito del Programa. La MML es una tabla sencilla de cuatro columnas por cuatro filas en la cual se registra información sobre un programa. Las filas de la matriz presentan la información acerca de los cuatro distintos niveles de objetivos del Programa: Fin, Propósito, Componentes y Actividades.

Resumen narrativo

Indicadores Medios de verificación

Supuestos

Fuente: Elaboración Propia con base en los Términos de Referencia 2006. La primera fila de la MML corresponde al “Fin” del Programa y describe la situación esperada una vez que el proyecto ha estado funcionando por algún tiempo. La segunda fila corresponde al “Propósito” del Programa y presenta la situación esperada al concluir su ejecución. La tercera fila corresponde a los “Componentes” del Programa, es decir, lo que debe ser producido durante la ejecución o al término de ésta.

Actividades

Fin

Propósito

Componentes



15

La cuarta fila corresponde a las “Actividades” que deberán ser realizadas durante la ejecución del proyecto para producir los componentes. Las columnas de la MML se utilizan para registrar la siguiente información: A la primera columna se le denomina “Resumen narrativo” y sirve para registrar los objetivos del Programa y las actividades que serán necesarias para el logro de éstos. La segunda columna detalla los “Indicadores” que nos permitirán controlar el avance del Proyecto y evaluar los logros alcanzados. La tercera columna presenta los “Medios de verificación” o fuentes de información a los que se pueden recurrir los datos necesarios para calcular los indicadores definidos en la segunda columna. La cuarta columna llamada “Supuestos” sirve para anotar los factores externos cuya ocurrencia es importante para el logro de los objetivos del Programa. Otros dos aspectos importantes en la MML son la “lógica vertical” y la “lógica horizontal” del Programa. Estos dos elementos se utilizaron para dar respuesta a las interrogantes planteadas en los Términos de Referencia de la evaluación externa respecto al análisis del Marco Lógico.

4.1.2. Lógica Vertical de la Matriz de Marco Lógico La lógica horizontal se refiere a las relaciones de causalidad entre los distintos niveles de objetivos de la MML (Actividades, Componentes, Propósito y Fin) y relaciona éstas con los factores externos que pueden afectar los resultados del Programa es decir, los Supuestos. Esta lógica vertical se refleja mediante el análisis de la primera y la última columna de la MML.

El esquema de la lógica vertical del Marco Lógico del Programa es el siguiente:

De esta forma, se analizaron los resumenes narrativos y los supuestos planteados en la MML diseñada por la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS) y la Unidad de Microrregiones. Esta MML se presenta de manera completa en el Anexo A de este documento ya que para efectos de análisis, la MML se desglosó por cada nivel del enunciado del resumen narrativo, es decir, primero se analizó la correspondencia entre las actividades y los componentes,

Actividades Supuestos

Componentes Supuestos

Propósito Supuestos

Fin



16

después, entre los componentes y el propósito y finalmente, entre el propósito y el Fin del Programa.

Los Términos de Referencia solicitaron dar respuesta a la interrogante sobre:¿Son las actividades diseñadas las suficientes y necesarias para producir los componentes (productos) del Programa, con esto, se analizó la correspondencia entre las actividades y los componentes, mediante el siguiente diagrama:

Diagrama 1.Lógica vertical de la MML que ayuda identificar los componentes

Actividades: 1.1 Emitir Reglas de Operación 1.2 Asignar techos

presupuestales 1.3 Firmar Acuerdos de

Coordinación 1.4 Autorizar recursos 1.5 Priorizar y consensuar las

obras y proyectos a realizar, con autoridades locales considerando los Diagnósticos Situacionales

1.6 Emitir opinión normativa a nivel central

1.7 Remitir casos de excepción al Comité Central de Validación

1.8 Aprobar y ejecutar las obras

Supuestos: •Los recursos presupuestarios aprobados están disponibles de acuerdo a la ministración. •La SEDESOL cuenta con el personal suficiente para la operación del programa •Los estados y la federación firman los acuerdos de coordinación oportunamente •Las delegaciones y la Dirección General de Seguimiento realizan el monitoreo y verifican el avance físico y financiero de las obras para la entrega oportuna de recursos conforme al avance •El COPLADE da el visto bueno a las obras o acciones a ejecutar en tiempo y forma •El ejecutor de las obras o acciones realiza sus actividades en tiempo y forma •El Comité de Validación Central decide sobre las excepciones propuestas oportunamente

Productos o Componentes: 1.-Centros Estratégicos Comunitarios (CEC) y sus áreas de influencia, dotados de servicios; infraestructura social; y acciones de tipo productivo (infraestructura, apoyo o capacitación) indispensable para su desarrollo.

A partir de la información del diagrama se realizó un análisis minucioso que estableciera el nivel de correspondencia entre cada una de las actividades con los componentes a producir, tomando en cuenta los factores externos al Programa para su realización (los supuestos). En este nivel, los supuestos corresponden a acontecimientos, decisiones o condiciones que tienen que suceder para que sea posible completar los componentes de acuerdo con lo planificado.

Para establecer el nivel de correspondencia se realizó un análisis de cada argumento planteado que fue enriquecido mediante la aplicación de entrevistas a funcionarios y la revisión documental antes mencionada. También se analizaron las bases de datos del Programa para determinar en qué términos es suficiente el presupuesto del Programa.

Otra interrogante planteada en los TDR fue: ¿Son los componentes (productos) del Programa los necesarios y suficientes para el logro del resultado (propósito)?. Mediante ésta pregunta se sugirió un análisis sobre la correspondencia entre los componentes y el Propósito, la cual se analizó mediante el siguiente diagrama:



17

Diagrama 2. Lógica vertical de la MML que ayuda a identificar el Propósito


Supuestos: • El Congreso aprueba un

Techo Presupuestal igual o superior al del ejercicio anterior.

Propósito: Rezagos de servicios, Infraestructura social, y de tipo productivo abatidos en las Microrregiones, con la corresponsabilidad de la población.

De esta manera se realizó una reflexión sobre si la producción de los componentes eran los suficientes para el alcance del propósito del Programa. En este nivel, los supuestos correspondieron a acontecimientos, condiciones o decisiones que tienen que ocurrir para que los componentes del Programa alcancen el Propósito.

Otra pregunta planteada en los TDR para darle solución mediante la metodología del Marco Lógico fue la siguiente: ¿El resultado (propósito) del Programa está lógicamente alineado con el fin (impacto)?.

De la misma manera que los niveles anteriores, se analizó la correspondencia entre el logro del propósito y su contribución al Fin del Programa. En este caso, los supuestos se refieren a acontecimientos, condiciones o decisiones que tienen que ocurrir para que el Propósito del Programa contribuya significativamente al Fin.

Para este análisis, se utilizó el diagrama que se presenta a continuación:



18

Diagrama 3. Lógica vertical de la MML que ayuda a identificar el fin


Supuestos: • Las condiciones sociales y

económicas del país son estables y garantizan el desarrollo del programa.

• Los programas

complementarios orientados a la atención subsidiada de las personas continúan operando en estos territorios.

Fin: Contribuir a impulsar, bajo un enfoque territorial, el desarrollo social y humano de las personas que habitan los territorios con mayores índices de marginación.

Para este apartado de la evaluación, el análisis se reforzará con la información del SIIPSO y de las entrevistas a los beneficiarios y operadores del Programa.

A nivel de Fin, los supuestos deben corresponder a acontecimientos, condiciones o decisiones para la sustentabilidad de los beneficios generados por el Programa. Este análisis no se realizó en este sentido con base en la correspondencia que existe entre las políticas sociales, de tal manera que se analizó la relación entre el fin del Programa y el Programa Nacional de Desarrollo Social (PNDS), mediante la revisión documental.

En esta revisión documental se hizo una exhaustiva revisión de los objetivos del Programa y de los del PNDS.

Para el análisis de la lógica vertical del Programa según Aldunate, debe tomarse en cuenta algunos aspectos importantes sobre los Supuestos, los cuales se describen a continuación:

Cuando exista algún Supuesto cuya ocurrencia es crítica para el éxito del Programa y no hay forma de controlar el riesgo con un componente y actividades adicionales, el equipo y la entidad promotora pueden decidir que el riesgo es demasiado alto y abandonar la iniciativa (supuesto fatal).

Durante la ejecución, el equipo del proyecto debe identificar los factores asociados a los Supuestos para tratar de anticipar su ocurrencia, influir en los involucrados relacionados y preparar planes de contingencia si el supuesto si el supuesto no se cumple.

Los Supuestos tienen la virtud de obligar a quienes formulan el proyecto a explicitar los riesgos y a quienes lo ejecutan a estar pendientes de ellos.

Finalmente, mediante el análisis de vertical de la MML y si el programa está bien diseñado, se pudo constatar la verdad de lo siguiente:



19

Las actividades detalladas son las necesarias y suficientes para producir cada componente.

Los componentes son los necesarios y suficientes para lograr el Propósito del Programa.

Si se logra el propósito del Programa, ello debe resultar en una contribución significativa al logro del Fin.

4.1.3. Lógica Horizontal de la Matriz de Marco Lógico

La lógica horizontal establece como se controlará y medirá el logro de cada nivel de objetivos y de dónde se obtendrá la información necesaria para ello. Constituye la base para el seguimiento, el control y la evaluación del Programa. La lógica horizontal se refleja en las primeras columnas de la MML que ya fueron explicadas de manera breve en el apartado anterior.

El análisis de la lógica horizontal de la MML se realizó con base en la correspondencia de su resumen narrativo con sus indicadores respectivos, el análisis del cálculo de dichos indicadores y la identificación de medios de verificación adecuados para obtener la información que se define para dicho cálculo.

Considerando que los indicadores son fundamentales para una buena administración de la ejecución del Programa y para la evaluación de sus resultados e impactos, los TDR solicitaron un análisis de este tipo, mediante la solución del siguiente cuestionamiento:

¿Existen indicadores adecuados para medir el desempeño del Programa a nivel de impactos, resultados y productos?

En este sentido, el equipo evaluador realizó un análisis de correspondencia con la finalidad de que los indicadores efectivamente midieran el logro de los objetivos planteados en la MML. También se realizó una reflexión sobre la pertinencia de incorporar el enfoque de género para el Programa en los beneficios y la operación mediante el uso del Anexo B como apoyo.

Después del análisis de los indicadores se evaluó la pertinencia de cada uno de los medios de verificación con la finalidad de corroborar que cada uno de éstos proporcionara la información necesaria y suficiente para el cálculo de los indicadores de la MML.

Finalmente, se realizó un análisis de reflexión sobre la lógica tanto vertical como horizontal de la MML en donde se emitió una opinión general sobre su validación con base en la visión externa del equipo evaluador.

4.2. Focalización y cobertura

4.2.1. Focalización del Programa

Una parte del análisis de la evaluación debe reflejar la orientación de las acciones del Programa, de manera que permita verificar si realmente se está atendiendo la población objetivo.



20

El análisis de la focalización ayuda a identificar en que medida los recursos y las acciones del Programa se han dirigido a la población en condiciones de pobreza y de marginación tal como lo establece el Artículo 56 del PEF.

Para el análisis de focalización de los recursos del Programa para el Desarrollo Local (Microrregiones) durante le periodo 2002-2006 es necesaria la base que contenga las obras apoyadas por el Programa en el periodo correspondiente con sus montos totales de inversión federal y sus respetivas claves oficiales de estado, municipio y localidad. También se requiere de bases de otras fuentes de información como los grados de marginación a nivel localidad y municipal para las 32 entidades del país, así como los factores de crecimiento para las localidades en cada estado y las proyecciones de población estimadas por CONAPO para el año 2000.

También es necesario contar con la relación de localidades CEC misma que fue obtenida de la página de microrregiones (http://www.microrregiones.gob.mx/map.htm).

Otra fuente de información es la base que contiene el total de localidades que conforman las microrregiones con su población respectiva para el año 2000 (“locsmicro”) proporcionada por la Unidad de Microrregiones y que se incluye en “Bases de datos de otras fuentes de información” de los anexos correspondientes.

Se debe realizar la integración de la base con sus respectivos grados de marginación de las localidades y municipios apoyados con su población respectiva en el año 2000 de acuerdo a estimado por el CONAPO, así como las proyecciones de población para los municipios atendidos; identificar las localidades CEC, las microrregiones y realizar la conversión de pesos corrientes de cada año a precios reales con base en el índice de precios implícitos en el producto interno bruto en el año 2005.

Una vez integrada la base es necesario realizar los cálculos de crecimiento de población a nivel localidad a partir de la población en el año 2000, multiplicado esta cifra por el factor de crecimiento del estado proporcionado por el CONAPO para cada año a partir de l 2002 hasta el 2006.

Para determinar la focalización de los recursos del Programa a nivel municipal y a nivel de localidad se considerará la inversión asignada en el total de acciones reportada en las bases de datos de la población beneficiada por el Programa para el ejercicio 2006 y compararlo con los resultados del periodo 2002–2005, con el fin de realizar un análisis retrospectivo de la evolución de la focalización, además se utiliza el índice de marginación del Consejo Nacional de Población (CONAPO 2000). Los datos para este análisis se expresan en las tablas 1 y 2 del anexo de esta propuesta técnica.

El número de municipios y localidades atendidos por el Programa son tomados de la información oficial (DGS) reportada hasta el 15 de noviembre para el ejercicio 2006, clasificándola por nivel de marginación en las cuatro categorías correspondientes de acuerdo a su grado de marginación1; del global de población de los municipios o localidades de cada categoría se toma la porción beneficiada por el programa durante el año.

Para realizar el comparativo 2002-2006 se toma en cuenta la información oficial del Programa, de tal manera que no se tenga discrepancias en las cifras de inversión de 1 De acuerdo a la clasificación del CONAPO los grados de marginación son: muy alto, alto, medio, bajo y muy bajo.



21

los años correspondiente, del total de la inversión ejercida para cada año se calculará el monto ejercido correspondiente para cada categoría de marginación y el concentrado para el periodo 2002-2006. Además se calcula la inversión per cápita para cada año y cada categoría; dividiendo el monto de inversión ya calculado entre el total de población beneficiada para cada año para los municipios y localidades atendidas.

Para cuestiones del análisis por categoría de marginación se encuentran una parte de información no disponible debido a que para algunos proyectos no se cuenta con la clave asignada por SEDESOL de la localidad o el municipio en cuestión aun cuando INEGI les tiene asignada una clave oficial. Esta situación dificulta en cierta medida el análisis de la focalización en varios aspectos.

Análisis de focalización de acuerdo al grado de marginación a nivel municipal y localidad 2002- 2006 (Cuadros 1 y 2) Número de municipios y localidades atendidos(as) Se considera el total de municipios y localidades atendidos(as) por el Programa en cada ejercicio fiscal, contemplados en el periodo 2002-2006. Porcentaje población en municipios y localidades atendidos(as)

[ ] 100*/% PTPBPB = Donde: PB = Población beneficiada (total de población de los municipios y localidades atendidas por el Programa) PT = ∑ población total de municipios o localidades atendidas (para cada año, se estima la población total por municipios y localidades con base en las reportadas por el CONAPO. La nota metodológica de focalización incluida en los anexos de este informe detalla la metodología aquí descrita, sobre como completar la información del análisis de focalización de los recursos del Programa por categoría de marginación a nivel localidad o municipal. Análisis de la inversión real ejercida 2002-2006 Monto de inversión anual Real MIij = ∑ montos de inversión para el año i de la categoría de marginación j Donde: MIij = Monto de inversión para el año i de la categoría de marginación j (obtenido de la base de datos del ejercicio anual correspondiente) i = 2002, 2003, 2004,2005 y 2006 j = Muy alta, alta, media, baja y muy baja y No disponible (ND) Porcentaje de inversión anual



22

[ ] 100*/MIij% MTIijMIij=

Donde: MIij = Monto de inversión para el año i de la categoría de marginación j MTIij = ∑ montos de inversión para el año i de la categoría j Inversión real per cápita de acuerdo al grado de marginación IPij = MIij/PTj Donde: IPij = Inversión per cápita para el año i de la categoría j MIij = Monto de inversión para el año i de la categoría de marginación j PTj = Población total de la categoría de marginación j i = 2002, 2003, 2004, 2005 y 2006 j = Muy alta, alta, media, baja y muy baja y No disponible (ND)

Inversión ejercida por entidad federativa de acuerdo al grado de marginación a nivel localidad en el año 2006

Considera los montos de inversión nominal de acuerdo a los términos de referencia, para cada estado se calculo el monto asignado a cada categoría de marginación de cuerdo al grado de marginación de la localidad apoyada por el Programa.

IEij = MIij Donde: IEij = Inversión ejercida en el estado i correspondiente a la categoría de marginación j en el año 2006 MIij = Montos de inversión de cada proyecto en el estado i correspondiente a la categoría de marginación j i = Aguascalientes……Zacatecas j = Muy alta, alta, media, baja y muy baja y No disponible (ND)

Cuadro. Montos de inversión por entidad federativa y grados de marginación para el 2006

Grados de marginación Entidad Federativa Muy alta Alta Media Baja y muy baja

Aguascalientes

…

Zacatecas Total Fuente: Elaboración propia. Con base en la información proporcionada por la Dirección General de Seguimiento.



23

Cuadro 3. Número de acciones por entidad federativa y grados de marginación para el 2006

Entidad Federativa

Grados de marginación

Muy alta Alta Media Baja y muy baja Aguascalientes

…..


Focalización de los recursos entre localidades CEC y no CEC 2002-2006

Para calcular cuantos recursos se ha destinado a las localidades CEC y no CEC en el 2006, es necesario considerar los montos de inversión del grupo de localidades CEC y los de las localidades no CEC; para ambos grupos sumar la inversión ejercida por grado de marginación en cada estado.

Cuadro 4. Montos de inversión por entidad federativa y grados de marginación para el 2006

Localidades CEC Grados de marginación

Entidad Federativa

Muy alta Alta Media Baja y muy baja Aguascalientes

….

Zacatecas Total

Localidades no CEC Aguascalientes

…..




24

4.2.2. Cobertura del Programa

Para el análisis de cobertura del Programa para el Desarrollo Local requiere de una base de datos integrada que contenga el número total de obras apoyadas por el Programa durante el periodo 2002-2006 con sus respectivas claves oficiales de estado municipio y localidad, para poder ingresarle el dato de población a nivel de localidad proporcionado por el CONAPO y la población a nivel municipal con sus respectivas proyecciones proporcionadas por el CONAPO.

Una vez integrada la base es necesario realizar los cálculos de crecimiento de población a nivel localidad a partir de la población en el año 2000, multiplicado esta cifra por el factor de crecimiento del estado proporcionado por el CONAPO para cada año hasta el 2006.

La cobertura del Programa se analiza considerando como población objetivo a la población total en las 263 microrregiones, que corresponde a las 2,966 localidades CEC y sus respectivas áreas de influencia. La principal fuente de información para determinar la población objetivo es la base que contiene el total de localidades que conforman las microrregiones con su población respectiva para el año 2000 (“locsmicro”) proporcionada por la Unidad de Microrregiones y que se incluye en “Bases de datos de otras fuentes de información” de los anexos correspondientes.

Los beneficiarios efectivos son la suma de beneficiarios que han sido apoyados por el Programa; considerando como dato la cifra máxima de beneficiaros de cada localidad beneficiada para cada año o periodo, debido a la forma de operar del Programa, ya que de acuerdo a la vertiente de apoyo o al tipo de obra apoyada el número de beneficiarios considerado por el Programa varía, pudiendo en algunos casos considerar a los mismos beneficiarios que comprende la cifra mayor de la misma localidad. Éste dato es sencillo de obtener, ya que se deriva de las bases de datos reportados por la Unidad Administrativa Responsable del Programa.2

Número de acciones e inversión por entidad federativa en el periodo 2002-2006 La suma de acciones incluye el total de obras y acciones realizadas cada ejercicio fiscal en cada año. Cuadro 1. Número de acciones realizadas por entidad federativa en el periodo 2002-

2006 Número de acciones realizadas por entidad federativa Entidad

Federativa 2002 2003 2004 2005 2006 Aguascalientes Baja California

.

.

2 Los beneficiarios registrados por SEDESOL en las obras apoyadas en algunos casos parecen estar sobreestimados, tal es el caso de Michoacán, donde se presentan 35 proyectos donde se consideró a casi toda la población del municipio donde se realizó la obra, lo cual puede ser subjetivo y complica el análisis de algunos parámetros importantes del Programa.



25

Zacatecas Total Nacional

Fuente: Elaboración Propia con base en los Términos de Referencia 2006. La inversión para cada año considera los montos invertidos en cada una de las acciones en cada estado en términos reales con base 2005=100.

Cuadro 2. Distribución de la inversión por entidad federativa 2002-2006 Distribución de la inversión por entidad federativa Entidad

Federativa 2002 2003 2004 2005 2006 Aguascalientes Baja California

.

. Zacatecas

Total Nacional Fuente: Elaboración Propia con base en los Términos de Referencia 2006. Cobertura Acumulada del Programa para el Desarrollo Local por Entidad Federativa 2002-2006

Otra parte fundamental de este análisis es la determinación de la cobertura acumulada del Programa por entidad federativa durante el período 2002-2006. Este se ilustra en el siguiente cuadro.

CP2002-2006 i = BE/PO *100

Donde:

CP2002-2006 i = La cobertura del Programa durante el periodo 2002-2006 para cada estado BE2002-2006 i = ∑ del total beneficiarios de las cifras máximas de beneficiarios por localidad para cada estado en cada ejercicio fiscal o periodo PO2006 i = ∑ Población objetivo en el año 2006 de cada estado

Cuadro 3. Cobertura Acumulada del Programa por entidad federativa 2002-2006 Entidad

Federativa Población Objetivo

2006 (PO)

BeneficiariosEfectivos3

2006

Cobertura en el 2006

BeneficiariosEfectivos 2002-2006

(BE)

Cobertura del Programa 2002-2006

BE/PO x100 Aguascalientes Baja California

.

. Zacatecas

3 Se considerará como beneficiarios efectivos a la suma total de beneficiarios de las cifras máximas por localidad en cada estado que se han apoyado por el Programa durante un ejercicio fiscal correspondiente o periodo correspondiente, con el fin de evitar elevar la cifra total de beneficiarios efectivos y sumar beneficiarios que ya han sido contemplados en otros proyectos apoyados pro el Programa en el mismo año y la misma localidad.



26

Total Nacional Fuente: Elaboración Propia con base en los Términos de Referencia 2006 e informe metodológico

Cobertura del Programa a nivel microrregiones por entidad federativa 2002-2006 La cobertura a nivel microrregiones considera el total de microrregiones atendidas por el Programa en cada ejercicio fiscal y sus respectivos porcentajes comparado con el total de microrregiones existentes en cada entidad federativa. Además de su total nacional que refleja de manera general el alcance del Programa a este nivel.

Cuadro 4. Cobertura del Programa a nivel de localidades CEC por entidad federativa 2002- 2006

Localidades CEC atendidas por año y % de Cobertura Estado Total de CEC 2002 % 2003 % 2004 % 2005 % 2006 %

Aguascalientes . .

Zacatecas Total Nacional

Fuente: Elaboración Propia con base en los Términos de Referencia 2006 e informe metodológico Cobertura del Programa a nivel de localidades CEC por entidad federativa 2002-2006 La cobertura a nivel de localidades CEC considera el total de localidades CEC atendidas por el Programa en cada ejercicio fiscal y sus respectivos porcentajes comparado con el total de microrregiones existentes en cada entidad federativa. Además de su total nacional que refleja de manera general el alcance del Programa a este nivel. Cuadro 5. Cobertura del Programa a nivel de microrregiones por Entidad Federativa

2002 – 2006

Microrregiones atendidas por año y % de Cobertura Estado Total de

Microrregiones 2002 % 2003 % 2004 % 2005 % 2006 % Aguascalientes

.

. Zacatecas

Total Nacional Fuente: Elaboración Propia con base en los Términos de Referencia 2006.

4.3. Operación

Este apartado de la evaluación incluyó el análisis de los procesos de operación del Programa, del cumplimiento de metas físicas y financieras, los costos de operación y de la corrección de los retos identificados en evaluaciones anteriores.



27

4.3.1. Evaluación de procesos

En este apartado el evaluador examinó el proceso operativo del Programa con la finalidad de detectar los problemas más relevantes para proponer las medidas correctivas. Se analizaron las siguientes etapas del proceso operativo: la solicitud de apoyos, la selección de proyectos, la contraloría social, la ejecución de obras y/o apoyos, la participación de los distintos actores y el seguimiento y evaluación de las acciones. La evaluación de procesos se realizó principalmente con el uso de las entrevistas plicadas a los principales actores que intervienen en el proceso operativo, es decir, los funcionarios directivos de las oficinas centrales de SEDESOL, los funcionarios operativos de las delegaciones federales de SEDESOL (Coordinadores estatales de Microrregiones), representantes del municipio y los representantes de los comités de obras. El instrumento de medición principal para la evaluación de los procesos fue la aplicación de entrevistas a estos informantes.

Solicitud de apoyos

Para identificar el circuito operativo de las solicitudes del Programa y mediante el apoyo de la información de las entrevistas a los funcionarios y los beneficiarios, se organizó un flujograma operativo como el que se muestra a continuación:



28

Diagrama 4. Diagrama de flujo sobre la solicitud de apoyos

Las localidades

Municipios Obras públicas Desarrollo Económico

Recibe la solicitud

Prioriza las obras

Integra el expediente

Recibe la solicitud el Gobierno del Estado a través del COPLADE

La solicitud es enviada a la Delegación Federal de SEDESOL

Revisa el expediente

Recibe la solicitud y también revisa el expediente

La solicitud es dictaminada por el Programa

La solicitud es capturada en el SIIPSO y es enviada al sistema central

Solicitud de apoyos

Existencia de información sistematizada

Para identificar la existencia de información sistematizada del Programa se indagó mediante las entrevistas a los operadores en las Delegaciones y de los funcionarios de las oficinas centrales de la Secretaría para conocer los sistemas de información sistematizada para conocer la demanda total de apoyos. Se evaluó la pertinencia del SIIPSO como sistema para identificar dicha demanda. Se indagó también sobre la existencia de sistemas similares al SIIPSO y las diferencias que existen en la operación del Programa en cada entidad federativa.

Cumplimiento de los lineamientos para recibir y procesar solicitudes de apoyo estipuladas en las ROP

Para desarrollar este punto, se entrevistó a los funcionarios operativos de la SEDESOL sobre el cumplimiento de los lineamientos para recibir y procesar solicitudes de apoyo. Esta información se contrastó con la información de las encuestas aplicadas a los representantes de los municipios y los Comités de Obra.



29

A los funcionarios se les preguntó si ¿La cobertura establecida en las ROP es adecuada y si requiere una mayor definición? ¿Si, se está atendiendo adecuadamente la población objetivo? ¿Las solicitudes de apoyo responden a iniciativas de los Comités de Obra o de otro órgano de representación ciudadana? ¿Los beneficiarios de las obras aportan mano de obra o materiales? ¿La característica de los apoyos responde a lo planteado en las ROP?. Estas preguntas fueron incluidas en los guiones de entrevistas y en las encuestas respectivas. Sobre la existencia de procedimientos estandarizados y adecuados para la resolución de las solicitudes de apoyo

Sobre este aspecto se entrevistó a los representantes de los municipios y a algunos integrantes de los Comités de Obra, de tal manera que sean ellos, los explicaran a detalle cuáles los procedimientos para la resolución de las solicitudes de apoyo. El equipo evaluador revisó los expedientes correspondientes a los proyectos apoyados, verificando las fechas de solicitudes, la fecha de aceptación de la obra, fecha de inicio de ejecución, fecha de fin de ejecución y fecha de entrega recepción. Se obtuvo la información necesaria para identificar los principales problemas operativos. FECHA DE SOLICITUD DE LA VIVIENDA /_______/ /______/ /________/

DÍA MES AÑO

FECHA DE ACEPTACIÓN DEL PROYECTO DE VIVIENDA /_______/ /______/ /________/ DÍA MES AÑO

FECHA DE INICIO DE EJECUCIÓN DE LA VIVIENDA /_______/ /______/ /________/ DÍA MES AÑO

FECHA DE FIN DE EJECUCIÓN DE L PROYECTO DE VIVIENDA /_______/ /______/ /________/ DÍA MES AÑO

FECHA DE ENTREGA RECEPCIÓN /_______/ /______/ /________/

DÍA MES AÑO

Selección de proyectos Cumplimiento con los criterios de elegibilidad y requisitos establecidos en las ROP Se entrevistó a los funcionarios operativos sobre los principales criterios de apoyo de las solicitudes, para identificar cuales son éstas y realizar inferencias en la operación a nivel nacional. Se obtuvo información que permitió conocer que tanto se cumple con los criterios de elegibilidad y requisitos establecidos en las ROP. Existencia de procedimientos para la selección de proyectos Para determinar la existencia de procedimientos estandarizados y adecuados para la selección de proyectos, se entrevistó a los coordinadores de microrregiones para identificar los procedimientos para la selección de los proyectos. También se indagó sobre la participación del COPLADE en los procesos de planeación estatal y la manera en la que contribuye el Programa a dicho proceso.



30

Contraloría social

Para el desarrollo de este apartado se calcularon los índices de Contraloría Social mediante la información que se obtuvo de los cuestionarios aplicados a los integrantes de los Comités de Obras, los beneficiarios de proyectos productivos y de vivienda y a los representantes del gobierno municipal. Las actividades que se identificaron son las siguientes: adecuada comunicación de las acciones desarrolladas por el Programa, rendición de cuentas y transparencia en los procedimientos administrativos y operativos, interés de los beneficiarios directos, actitudes lejanas a la complicidad, al cohecho y a cualquier forma de corrupción entre los servidores públicos y la ciudadanía, evitar que la información se quede en ciertos líderes locales y sea manipulada en perjuicio de la población objetivo. Se identificó si existen actividades de información respecto a las reglas de operación, estándares de los servicios, características específicas de las obras, acciones y proyectos, tipos y montos de apoyos económicos, los medios institucionales existentes para resolver dudas y canalizar sugerencias, quejas y denuncias.

Además se evaluó la existencia de mecanismos de contraloría social establecidos en las ROP. Por otra parte se verificó si están cumpliéndose los compromisos de mantenimiento, conservación, vigilancia y operación establecidos en las Actas de Entrega Recepción.

Todos estos puntos se desarrollaron en los cuestionarios que se aplicaron a los informantes ya mencionados, con los cuales se calcularon y se analizarán los índices de contraloría social y transparencia explicados y retomados del Anexo D de los Términos de Referencia (Anexo D: Indicadores de Contraloría Social).

Los indicadores que se calcularon fueron: (ICSTd e ICSTp1, ICSTp2, ICSTp3,). Las preguntas que ayudaron a construirlos se exponen a continuación:

SOBRE LOS OBJETIVOS Y REQUISITOS DEL PROGRAMA CIRCULE CUANDO LA RESPUESTA

SEA “SI” 3 ¿SABE USTED CUÁLES SON LOS OBJETIVOS DEL PROGRAMA

DESARROLLO LOCAL? .

4 ¿CUÁLES SON? CIRCULE LAS OPCIONES QUE CORRESPONDA

4.1

IDENTIFICAR CENTROS ESTRATÉGICOS COMUNITARIOS E IMPULSARLOS, A TRAVÉS DE LA DOTACIÓN DE SERVICIOS, INFRAESTRUCTURA SOCIAL Y ACCIONES DE TIPO PRODUCTIVO, FOMENTANDO LA CONCURRENCIA DE ESFUERZOS Y RECURSOS DE LOS TRES ÓRDENES DE GOBIERNO, QUE PERMITAN POTENCIAR LOS RESULTADOS Y PROMOVER LA NO DUPLICIDAD DE ACCIONES

1

4.2

PROMOVER QUE LOS BENEFICIARIOS APORTEN MANO DE OBRA O MATERIALES PARA LA EJECUCIÓN DE LAS OBRAS O ACCIONES, ASÍ COMO SU PARTICIPACIÓN EN EL SEGUIMIENTO Y MANTENIMIENTO DE LAS MISMAS

2

5 ¿SABE CUÁLES SON LOS REQUISITOS PARA ACCEDER AL PROGRAMA?

CIRCULE CUANDO LA RESPUESTA SEA “SI”



31

.


6.1

LAS LOCALIDADES SUSCEPTIBLES DE RECIBIR APOYO DEBERÁN ESTAR UBICADAS EN LAS MICRORREGIONES, IDENTIFICADAS COMO CEC O ÁREAS DE INFLUENCIA. LOS BENEFICIARIOS DEL PROGRAMA SON LOS HABITANTES DE LOS ESPACIOES TERRITORIALES SEÑALADOS

1

6.2 LLENAR UNA SOLICITUD SOCIOECONÓMICA, PRESENTAR COMPROBANTE DE DOMICILIO, ACTA DE NACIMIENTO, CURP, ENTRE OTROS DOCUMENTOS.

1

SOBRE LOS TIPOS DE OBRAS Y PROYECTOS

CIRCULE CUANDO LA RESPUESTA SEA “SI” 7 ¿CONOCE LOS TIPOS DE OBRAS O PROYECTOS QUE PUEDEN

REALIZARSE CON EL APOYO DE DESARROLLO LOCAL? .

8 ¿CUÁLES SON LOS TIPOS DE OBRAS Y/O ACCIONES QUE OFRECE EL PROGRAMA?

CIRCULE LAS OPCIONES QUE CORRESPONDA

8.1 ACCESIBILIDAD 1

8.2 INFRAESTRUCTURA SOCIAL 2

8.3 DESARROLLO COMUNITARIO 3

8.4 SALUD, EDUCACIÓN Y DEPORTE 4

8.5 VIVIENDA 5

8.6 CENTROS COMUNITARIOS DE APRENDIZAJE (CCA) 6

8.7 ABASTO Y ACOPIO 7

8.8 INFRAESTRUCTURA Y FOMENTO A LA PRODUCCIÓN Y PRODUCTIVIDAD 8

8.9 TELEFONÍA 9

8.10 PROMOCIÓN SOCIAL 10

8.11 EQUIPAMIENTO INTERMUNICIPAL 11

8.12 IDENTIDAD JURÍDICA 12

SOBRE LOS DERECHOS Y OBLIGACIONES

1 ¿A QUE SE COMPROMETIÓ AL ENTRAR AL PROGRAMA? CIRCULE LAS OPCIONES QUE CORRESPONDA

1.1 PROPORCIONAR LA INFORMACIÓN QUE LA SEDESOL SOLICITE 1

1.2 REALIZAR TAREAS PARA EL MUNICIPIO 2

1.3 REALIZAR TAREAS COMUNITARIAS 3

1.4 APORTAR RECURSOS 4

1.5 AFILIARSE A UNA ORGANIZACIÓN 5

1.6 NADA 6

1.7 A DAR MANTENIMIENTO O CUIDADO DEL APOYO 7

1.8 OTROS, EXPLIQUE: 8 CIRCULE CUANDO LA RESPUESTA

SEA “SI” 2 ¿CONOCE USTED CLARAMENTE SUS DERECHOS Y OBLIGACIONES COMO BENEFICIARIO DEL PROGRAMA? .


DERECHOS



32

3.1 RECIBIR POR PARTE DE LA SEDESOL UN TRATO DIGNO, RESPETUOSO Y EQUITATIVO 1

3.2 SOLICITAR Y RECIBIR INFORMACIÓN DE LOS APOYOS 2

3.3 RECIBIR LOS APOYOS CONFORME A LAS DISPOSICIONES NORMATIVAS DEL PROGRAMA 3

OBLIGACIONES

3.4 MANIFESTAR SUS DATOS PERSONALES CUANDO LE SEA REQUERIDO 4

3.5 DE UTILIZAR LOS APOYOS PARA LOS FINES CON QUE FUERON AUTORIZADOS 5

3.6 DE INFORMAR A LA SEDESOL SOBRE LA APLICACIÓN DE LOS MISMOS, O EN SU CASO, INFORMAR LOS MOTIVOS POR LOS QUE LOS RECURSOS NO FUERON EJECUTADOS

6

SOBRE LA CONTRALORÍA SOCIAL

NO DESCRIPCIÓN

1 ¿QUÉ ES CONTRALORÍA SOCIAL? CIRCULE LAS OPCIONES QUE

CORRESPONDA

1.1 PARTICIPACIÓN DE LOS BENEFICIARIOS EN EL CUIDADO DE LOS RECURSOS/OBRAS/PROYECTOS 1

1.2 SUPERVISAR/REVISAR/VIGILAR LOS APOYOS/PROYECTOS DEL PROGRAMA 2

1.3 VIGILAR QUE EL DINERO/RECURSOS SE MANEJEN ADECUADAMENTE 3

1.4 COMITÉ/PERSONAS QUE VIGILAN 4

1.5 PRESENTAR QUEJAS Y DENUNCIAS 5

1.6 PARTICIPAR EN ASAMBLEAS 6

1.7 UNA OFICINA/ORGANISMO 7

1.8 OTRA. EXPLIQUE 8

1.9 NO SABE 9 CIRCULE CUANDO LA RESPUESTA

SEA “SI” 2 ¿EXISTE UNA COMISIÓN/COMITÉ/CONSEJO/ DE CONTRALORÍA SOCIAL? (COMITÉ DE OBRA, CONSEJO MUNICIPAL DE DESARROLLO RURAL, ETC) .

3 ¿QUIÉNES PARTICIPAN EN LA COMISIÓN, COMITÉ, CONSEJO/ DE CONTRALORÍA SOCIAL?


3.1 LA GENTE DE LA COMUNIDAD 1

3.2 PRESIDENTE MUNICIPAL 2

3.3 LA CONTRALORÍA DEL GOBIERNO DEL ESTADO 3

3.4 LA SEDESOL 4

3.5 OTRO EXPLIQUE: 5

3.6 NO SABE 6

4 ¿SABE QUÉ ACTIVIDADES REALIZA LA COMISIÓN/VOCAL DE CONTRALORÍA SOCIAL?


4.1 VIGILAR OBRAS Y RECURSOS 1

4.2 CONVOCAR Y ORGANIZAR ASAMBLEAS 2

4.3 PROPORCIONAR A LA COMUNIDAD INFORMACIÓN DE LAS OBRAS 3

4.4 PROMOVER LA CONTRALORÍA SOCIAL 4

4.5 REPRESENTAR A LA COMUNIDAD 5

4.6 TRAMITAR PAPELERÍA 6

4.7 ORGANIZAR FAENAS 7

4.8 OTRO EXPLIQUE: 8



33

5

EN SU OPINIÓN, LA INFORMACIÓN QUE SE PROPORCIONA ACERCA DE LA CONTRALORÍA SOCIAL ¿QUÉ TANTO CONTRIBUYE A INCREMENTAR LA PARTICIPACIÓN DE LA COMUNIDAD?

CIRCULAR SOLO UNA OPCION

5.1 MUCHO 1

5.2 POCO 2

5.3 NADA 3

Ejecución de obras y/o apoyos

La evaluación de este apartado se realizó tomando en cuenta el siguiente diagrama de flujo:

Diagrama 5. Diagrama de flujo sobre la ejecución de obras

SIIPSO

Delegación Federal de SEDESOL

Por medio del sistema se obtiene un número de expediente

Notifica al Gobierno del Estado que las obras solicitadas fueron aprobadas

Emite un oficio de notificación sobra la solicitud de las obras Gobierno del Estado

Municipio Se solicita el número de cuenta para el depósito del recurso del ramo 20

Se integra un Comité de Obra

Ejecuta la obra a través de un contratista

Interviene las instancias normativas (CFE, SCT, CNA, etc)

Ejecución de las obras

Se firma el acta de entrega-recepción

A partir de este diagrama se identificó la principal problemática de la ejecución de los proyectos, también se fortaleció este apartado con los resultados encontrados en la aplicación de encuestas por parte del equipo evaluador mediante la observación directa.

Seguimiento a la ejecución de las obras y/o apoyos

En los estados se verificó si se cuenta con información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o apoyos, si existe concordancia entre la



34

situación real de la obra y los registros oficiales del Programa. Se visitó a las Delegaciones de SEDESOL para supervisar si tienen sistemas de información, que tipo de uso se le da y si este sistema de seguimiento es eficiente.

Congruencia en la ejecución de obras y/o apoyos con las ROP

Para evaluar este punto se entrevistó a los funcionarios de las Delegaciones federales de la SEDESOL, a los responsables de las direcciones de obras públicas, desarrollo social o dirección encargada de llevar a cabo las obras en los municipios y a los beneficiarios. De estas preguntas se obtuvo información respecto a la medida en que, tanto la ejecución de obras, como los apoyos son consistentes con las ROP.

El evaluador identificó en que medida las obras se están ejecutando de acuerdo a los criterios estipulados en las ROP.

4.3.2. Cumplimiento de metas En este apartado se verificó el nivel de cumplimiento de las metas físicas y financieras del Programa en el ejercicio 2006. Para estimar dicho cálculo se contrastó la información de los Acuerdos de coordinación a los cuales se les consideró como metas programadas, tanto físicas como financieras. Las metas físicas se consideraron respecto al número de proyectos programados, mientras que a las financieras, al presupuesto. Las metas alcanzadas fueron consideradas con base en los datos del SIIPSO, al 15 de noviembre de 2006 de las cuales se consideró que no tendrían variación significativa respecto al cierre.

También como parte del apartado de cumplimiento de metas, se evaluó las metas de resultados del programa.

Cumplimiento de metas físicas Como se mencionó anteriormente, se contrastó el número de proyectos programados en los Acuerdos de Coordinación con las metas alcanzadas reportadas en el SIIPSO al 15 de noviembre de 2006. El análisis ser apoyó mediante la utilización de cuadros similares a los que a continuación se muestran.

Cuadro 5. Metas físicas alcanzadas a nivel nacional el ejercicio 2006 Realización de metas físicas Número de proyectos

Programadas Comprometidas Porcentaje de realización Fuente: Elaboración Propia con base en los Términos de Referencia 2006.



35

Cuadro 6. Metas físicas alcanzadas por entidad federativa del ejercicio fiscal 2006 Estado Metas

programadas (Proyectos)

% Metas alcanzadas (Proyectos)

% Tasa de crecimiento

Aguascalientes

. . .

Zacatecas Total General Fuente: Elaboración Propia con base en los Términos de Referencia 2006. Cumplimiento de metas financieras

Para la cuantificación de las metas financieras se aplicó el mismo procedimiento al utilizado para el cálculo de las metas físicas. El equipo evaluador se auxilió del esquema de los anteriores cuadros, tal y como se ilustran a continuación.

Cuadro 7. Metas financieras alcanzadas a nivel nacional el ejercicio 2006 Metas financieras Monto

Presupuesto federal programado Presupuesto federal ejercido Tasa de incremento Fuente: Elaboración Propia con base en los Términos de Referencia 2006.

Cuadro 8. Metas financieras alcanzadas por entidad federativa del ejercicio fiscal 2006

Estado Presupuesto programado

% Presupuesto ejercido

% Tasa de crecimiento

Aguascalientes

. . .

Zacatecas Total Asignación

Fuente: Elaboración Propia con base en los Términos de Referencia 2006. Metas de resultados

Sobre este aspecto, la evaluación externa de 2005 concluyó que el PDL “no cuenta con metas de resultados, sino que sólo se establecen metas de desempeño.”

Con base en el planteamiento anterior, el equipo evaluador del ejercicio 2006 idagó sobre la existencia de metas de resultados o desempeño que le permitan al Programa guiar su



36

operación en función de cómo mejorar las condiciones de vida de la población, y no solamente en términos de ejercicio del gasto y número de beneficiarios, además de la existencia de metas de resultados a nivel nacional y estatal, los procesos mediante los cuales fueron determinados, y su congruencia con las metas financieras y físicas del Programa.

Mediante la aplicación de entrevistas a funcionarios de oficinas centrales de la Unidad de Microrregiones, se dio respuesta a las siguientes preguntas, planteadas en los TDR:

¿El programa cuenta con un Plan Operativo Anual (POA) u otro documento similar donde se establezcan metas de resultados o desempeño (nacionales y estatales)?

¿Las metas financieras, físicas y de resultados son realistas y congruentes entre sí? (i.e. ¿es posible alcanzar los resultados esperados dado el nivel de recursos asignados y los planes de operación?)

¿Cuáles son los mecanismos utilizados para dar seguimiento al cumplimiento de metas de resultados?

¿Cuál es el grado de cumplimiento de las metas de resultados?

4.3.3 Análisis de costos El costo total del Programa está compuesto por los gastos de operación y el monto total de los recursos invertidos en el impulso de las obras o proyectos. Los gastos de operación están compuestos por gastos de administración, gastos de seguimiento de las acciones y los gastos invertidos en la participación de los comités de obra y validación. El análisis se dividió en tres: costos de operación, costos de inversión y costo de hacer llegar un peso a manos de los beneficiarios.

Costos de operación Para el análisis de costos se consideraron los proyectos de la apertura programática U9 que son los gastos de operación. Se desglosaron también por tipo de gasto de operación en: Administración, adquisiciones, evaluación y seguimiento, estudios y proyectos y otros gastos. Mediante el manejo de las bases de datos del Programa del periodo 2002-2006 se calcularon los costos de operación mediante la clasificación de la apertura programática considerando a dichos gastos como U9. Se relacionaron los costos de operación con los totales para identificar cual era el porcentaje de éstos respecto al tota, mediante el uso del siguiente cuadro:



37

Cuadro 9. Costos de operación del Programa en el periodo 2002-2006 Año Costo total (A) Gastos de

operación U9 (B)

Gastos de inversión ( C)

% Porcentaje del costo

respecto al total= A/B

2002 2003 2004 2005 2006 Total del periodo Fuente: Elaboración Propia con base en los Términos de Referencia 2006. Como se mencionó anteriormente, los costos de operación del Programa se desglosaron para su análisis de tal manera que se pudiera identificar cuales fueron los mayores rubros en los que se gastaron los recursos. Este análisis fue apoyado mediante el cuadro siguiente:

Cuadro 10. Desglose de los gastos de operación por tipo de concepto, periodo 2002-2006

Desglose de los gastos de operación por tipo de concepto

Año

Des

glos

e de

los

gast

os

de o

pera

ción

del

Pr

ogra

ma

Estu

dios

y

proy

ecto

s

%

Adm

inis

trac

ión

%

Serv

icio

s

%

Adq

uisi

cion

es

%

Eval

uaci

ón y

se

guim

ient

o

%

Otr

os g

asto

s

%

2002 2003 2004 2005 2006 Fuente: Elaboración Propia con base en los Términos de Referencia 2006.

Costos de inversión El análisis de costos de inversión del Programa se abordó relacionando el monto total de recursos asignados al impulso de los proyectos en proporción al total de recursos ejercidos por el Programa de manera que nos permita observar el porcentaje total de recursos del programa que se destina al impulso de proyectos para el periodo 2002-2006. Relación de los recursos asignados al impulso de proyectos respecto del monto total del Programa.



38

100*⎟⎠⎞

⎜⎝⎛=

RIPTEPRIPEP

Dónde: RIPEP = Porcentaje del monto total destinado al impulso de proyectos TEP = Total de recursos ejercidos por el Programa RIP = Total de recursos asignados al impulso de proyectos Para fortalecer este análisis, se calculó el costo de inversión por entidad federativa. También se calculó por tipo de vertiente, considerando: Vivienda, proyectos productivos, infraestructura social, carreteras, y otros, mediante la clave de apertura programática correspondiente, en coordinación con la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS). Para cada tipo de vertiente mencionada se calcularon promedios, máximos y mínimos, con la finalidad de identificar aquellos proyectos que ocupan la mayor parte del gasto y los de menor inversión.

Costo de hacer llegar un peso a manos de los beneficiarios El segundo nivel del análisis de costos está básicamente orientado a identificar cuanto le cuesta al Programa para hacer llegar un peso a manos de los beneficiarios finales (miembros de la comunidad). Para ello se relacionarán los costos operativos y el monto de inversión total destinado al impulso de proyectos, incluyendo las aportaciones de otros participantes. La información para elaborar éste indicador se obtendrá, al igual que el indicador anterior, de los avances financieros. De esta manera el indicador queda como sigue: Indicador del costo del Programa por hacer llegar un peso a los beneficiarios

⎟⎠⎞

⎜⎝⎛=

MTEPMTCOP

Dónde: COP: Costo real del Programa por hacer llegar un peso a manos de los beneficiarios MT: Monto total de recursos destinados a la operación del Programa MTEP: Monto total de inversión del Gobierno Federal para el impulso de proyectos Este indicador muestra que por cada peso que invierte el Programa a favor de la construcción y/o ampliación de una obra (MTEP), representa un costo X de operación para el Programa (MT).



39

La información resultante se concentró en un cuadro resumen de este costo por año, con la finalidad de mostrar la tendencia de este rubro. El cuadro utilizado es similar al que se presenta a continuación:

Cuadro 11. Costos de hacer llegar un peso a manos de los beneficiarios, periodo 2002-2006

Año Gasto total (A)

Gastos de operación (B)

Gastos de

inversión ( C)

Costo de hacer llegar un peso a manos de los beneficiarios =

B/C

2002 2003 2004 2005 2006 Total Fuente: Elaboración Propia con base en los Términos de Referencia 2006.

Retos operativos señalados en evaluaciones anteriores

Para este apartado se realizó una revisión minuciosa de las evaluaciones realizadas anteriormente y verificar si las debilidades identificadas por las entidades evaluadoras fueron incorporadas al diseño del Programa. Además, el equipo evaluador analizó si estas medidas correctivas propuestas fueron adecuadas y si se implementaron de acuerdo a lo planeado, mediante la aplicación de entrevistas a los funcionarios de la Unidad de Microrregiones.

4.4. Resultados (beneficios económicos y sociales)

En este capítulo de la evaluación se valorarán los indicadores de resultados descritos en la matriz de marco lógico de acuerdo a las fuentes de información que nos permitan obtener dichos indicadores (Tabla 5). Además se analizarán los indicadores de acuerdo a su contribución a los objetivos del resumen narrativo del marco lógico (Anexo A).

Por otra parte, por medio de las encuestas a instalaciones 2004 se valorarán los beneficios económicos y sociales, poniendo énfasis sobre el mantenimiento, la utilización y calidad de los servicios y acciones complementarias, costo de los servicios y cumplimiento de pago, el estado físico de la infraestructura, disponibilidad de equipo y personal de acuerdo con las normas establecidas por el ente rector. Para cada tipo de obra se diseñará un cuestionario diferente adaptado a las condiciones y necesidades particulares del tipo de infraestructura y servicio del que se trate.

4.4.1. Análisis y evaluación sobre la eficacia, eficiencia y calidad del Programa

En este apartado se evaluará el desempeño del Programa a nivel de Componentes, a nivel de Propósito y a nivel de Fin. En cada punto del resumen narrativo se valorará la



40

eficacia y la calidad del Programa por medio de los indicadores de resultados propuestos por la DGEMPS.

Desempeño del Programa en cuanto a la generación de componentes

Para este punto el equipo evaluador propone la construcción de un cuadro de resultados que debe ser un auxiliar al análisis de los indicadores propuestos en la MML del Programa.

Cuadro 12. Resultados del Programa a nivel de componentes 2002-2006 Año Productos o

componentes Descripción

2002 2003 2004 2005 2006 Localidades CEC y áreas de influencia atendidas

Número de proyectos en localidades CEC y áreas de influencia

% de localidades CEC atendidas por el Programa

Centros Estratégicos Comunitarios (CEC) y sus áreas de influencia, dotados de servicios; infraestructura social; y acciones de tipo productivo (infraestructura, apoyo o capacitación) indispensable para su desarrollo.

% de áreas de influencia atendidas por el Programa


De cada uno de estos indicadores el evaluador emitirá su opinión respecto a la viabilidad de éstos y sus medios de verificación, de tal manera que se pueda lograr el objetivo de valorar los resultados del programa a nivel de componentes.

Desempeño del Programa a nivel de propósito

En este apartado se valorará la aplicación y el alcance de cada uno de los indicadores propuestos en la MML. El equipo evaluador para ello, será crítico y objetivo respecto a sus comentarios respecto a éstos, además de proponer que otro tipo de indicadores podrían ser de utilidad para la medición de los resultados del Programa.



41

Cuadro 13. Resultados del Programa a nivel de componentes 2002-2006 Año Propósito Descripción 2002 2003 2004 2005 2006

Número de banderas blancas levantadas en Microrregiones mediante acciones del Programa/Número total de banderas blancas levantadas

Banderas blancas levantadas en Microrregiones mediante acciones del programa

Aportaciones de los habitantes en localidades beneficiadas

Rezagos de servicios, infraestructura social, y de tipo productivo abatidos en las Microrregiones, con la corresponsabilidad de la población

Aportaciones de los estados y municipios participantes


Desempeño del Programa a nivel de Fin

En este último apartado se hace referencia al fin del Programa y al indicador propuesto en la MML, además de las fuentes de verificación, para ello, la institución evaluadora propondrá en la encuesta a instalaciones las preguntas correspondientes que permitan valorar este punto.

Cuadro 14. Resultados del Programa a nivel de Fin 2002-2006 Fin Descripción Número

Loc. Atendidas que hayan reducido su IML, respecto del año 2000 Loc. CEC atendidas que hayan reducido su IML, respecto del año 2000

Contribuir a impulsar, bajo un enfoque territorial, el desarrollo social y humano de las personas que habitan los territorios con mayores índices de marginación

Obras concluidas que cuentan con mantenimiento de acuerdo a las normas establecidas después de 2 años


4.4.2. Características de la obra, estado actual, servicios y mantenimiento

Este apartado será abordado mediante la aplicación de 556 encuestas a instalaciones 2004, que comprende 18 vertientes de apoyo. Por las características de cada vertiente se agruparon varias de ellas en un solo tipo de cuestionario (Producción y productividad), tal caso ocurrió con Protección y preservación ecológica, Fomento a la producción y productividad, Desarrollo de áreas de riego, apoyo a la producción primaria, Desarrollo de áreas de temporal, Infraestructura pecuaria, Protección de áreas y cauces federales y Abasto y Comercialización. Otras vertientes que quedaron agrupadas en solo tipo de cuestionario (obras), son las de Agua potable, Alcantarillado, Urbanización, Electrificación, Caminos Rurales y Carreteras alimentadoras. En el caso de los proyectos de vivienda, Infraestructura educativa, Centros de salud e Identidad jurídica, tendrán su propio cuestionario.



42

Cuadro 15. Distribución de las vertientes de las obras muestreadas Vertientes Número Tipo de

cuestionario Informante

clave Protección y preservación ecológica 1 Fomento a la producción y productividad 154 Desarrollo de áreas de riego 2 Apoyo a la producción primaria 20 Desarrollo de áreas de temporal 7 Infraestructura pecuaria 12 Protección de áreas y cauces federales 1 Abasto y comercialización 1

Producción y productividad

Beneficiarios del apoyo

Total 198 Agua potable 19 Obras Alcantarillado 10 Obras Urbanización 6 Obras Electrificación 25 Obras Infraestructura educativa 31 Educación Centros de salud 8 Educación Caminos rurales 6 Carreteras alimentadoras 1 Asistencia social y servicios comunitarios 69 Obras

Vivienda 183 Vivienda Beneficiarios del apoyo

Total general 556

Los principales puntos que se analizarán en este apartado de la evaluación son el mantenimiento, utilización calidad, costos, estado físico de la obra, disponibilidad del equipo y personal.



43

Cuadro 16. Tópicos a evaluar por vertiente

Concepto Vivienda Educativos Salud Urbanización (alumbrado y

pavimentación)

Alcantarillado (drenaje y plantas)

Identidad jurídica Ccas

Mantenimiento

¿realiza?¿quién?¿qué?¿cada cuándo? Reparaciones mayores ¿porqué no?





Pláticas o trámites subsecuentes


Utilización

Personas por habitación en piso firme

Alumnos por aula

consultas diarias por médico

porcentaje de calles atendidas

Porcentaje de población, calles o casas con acceso al drenaje. Porcentaje de utilización de la planta

% de personas atendidas

Horas máquina utilizadas con servicio de Internet

Calidad acceso a servicios

canchas (juegos), ludoteca o computadoras o biblioteca

Pláticas

arbotantes por cuadra; guarnición y banqueta

Uso del agua tratada. Destino del drenaje

Tiempo de trámite y efectividad. Utilidad de la plática

dotación del CCA

COSTO y para qué se utilizó

Valor de renta o venta

cuota de inscripción o mantenimiento

cuota de consulta

¿Quién paga el alumbrado público y la limpieza de calles? ¿Está al corriente?

¿El agua tratada se vende? ¿Se cobró la conexión a red domiciliaria?

cuota por documento

costo de servicio y de consumibles

Estado físico

Características de la Vivienda en general y del apoyo en particular

baños, aulas y equipamiento en general y del apoyo en particular

local, consultorios y equipamiento en general y del apoyo en particular

funcionamiento del alumbrado; no tenga baches y esté a nivel

funcionamiento de la planta; no fugas y no se tape el alcantarillado

NA Local, equipo y antena

Disponibilidad del equipo y personal

bienes de la vivienda

maestros y bancas

médicos, medicinas y equipo

bombillas y repuestos

Plantas: responsable y equipo; alcantarillas por km.

Prestadores del servicio Promotor

Nota: Se anexa la matriz utilizada para calcular los indicadores.

Cada uno de los resultados de las vertientes, según apliquen los puntos señalados en los Términos de Referencia se compararán entre si, con la finalidad de obtener resultados homogéneos. Por ejemplo, el estado físico de las obras se comparará entre los resultados de Agua potable, Alcantarillado, Urbanización, Electrificación, Vivienda, Infraestructura Educativa, Centros de Salud, Asistencia Social y Servicios Comunitarios, Caminos Rurales y Carreteras Alimentadoras. El resto de las obras no son comparables por las mismas características de éstas, sin embargo, para estas se determinarán otros indicadores de relevancia, que permitan valorar las condiciones de estos proyectos.

Características del hogar



44

Las obras de vivienda serán analizadas mediante la aplicación de cuestionarios a beneficiarios del Programa de esta vertiente4. Como parte de esta evaluación se hará un ejercicio de medición de nivel de pobreza de los hogares de esta vertiente, mediante la aplicación de la metodología propuesta por la Subsecretaría de Prospectiva, Planeación y Evaluación (SPPE). 5

El modelo estadístico que se empleará es el Análisis Discriminante, el cual permite hacer comparaciones con base en la información de variables que definen las características de cada individuo del grupo y al mismo tiempo proporciona un marco probabilístico que considera las variaciones interpersonales entre el ingreso y distintas variables que se refieren a las esferas de los funcionamientos y capacidades.

El empleo de esta herramienta permitirá por una parte aplicar criterios homogéneos de selectividad a los beneficiarios potenciales de los programas y por otra parte será un instrumento que aporte elementos para verificar la correcta aplicación de los programas en los distintos sectores de la población (SPPE).

Como resultado de la aplicación del modelo discriminante se obtendrá la ecuación discriminante. Esta ecuación asigna a cada una de las variables un peso relativo, que es su coeficiente6, y que representa la magnitud con la que estas variables definen la condición de pobreza o no pobreza de la población a la que se aplica este modelo. En este caso la ecuación está conformada por las variables contenidas en el cuestionario de vivienda, las cuales se enuncian a continuación:

Cuadro 17. Variables que conforman el modelo de estimación de la pobreza Variable Nombre

1. Tipo de localidad de residencia RURAL 2. Material del piso de la vivienda PISO 3. Tenencia del servicio sanitario en la vivienda BAÑO 4. Jefe del hogar sin escolaridad ESCOLAR 1 5. Jefe del hogar con primaria incompleta ESCOLAR 2 6. Jefe del hogar con secundaria incompleta ESCOLAR 3 7. Edad del jefe del hogar EDAD 8. Índice de dependencia demográfica DEPDEM 9. Índice de hacinamiento HACINA 10. Tenencia de video casetera VHS 11. Tenencia de estufa de gas ESTUFA 12. Tenencia de refrigerador REFRI 13. Tenencia de lavadora LAVA 14. Tenencia de vehículo VEHI 15. Sexo del jefe del hogar SEXOJ

4 Es importante aclarar que la aplicación de cuestionarios entre los beneficiarios de esta vertiente no es representativo de viviendas atendidas por el Programa. 5 Norma para la Asignación de los Niveles de Pobreza de los Hogares Beneficiarios de los Programas de la Secretaría de Desarrollo Social. Subsecretaría de Prospectiva, Planeación y Evaluación (SPPE). 6 Dicho coeficiente está determinado por una línea de pobreza. En el cual se tomó como base las mediciones establecidas por el Comité Técnico para la Medición de la pobreza, que hace referencia a la Canasta Básica de Alimentos definida por el estudio de INEGI-CEPAL (Ver documento: Norma para la la Asignación de los Niveles de Pobreza de los Hogares Beneficiarios de los Programas de la Secretaría de Desarrollo Social).



45

16. Algún miembro cuenta con seguridad social SS 17. Niños entre 5 y 15 años que no asisten a la escuela NOASISTEN 18. Niños entre 12 y 15 años que trabajan (trabajan) TRABAJAN 19. Niños menores de 12 años (niños) NIÑOS

Los coeficientes de las tres ecuaciones obtenidas de acuerdo al análisis del Comité Técnico para la medición de la pobreza son las siguientes:

Cuadro 18. Coeficientes de las variables Coeficiente Variable Nacional Rural Urbano

1. Tipo de localidad de residencia 0.687 2. Material del piso de la vivienda 0.454 0.419 0.2513. Tenencia del servicio sanitario en la vivienda 0.067 0.017 -0.2954. Jefe del hogar sin escolaridad 0.46 0.335 0.8995. Jefe del hogar con primaria incompleta 0.266 0.357 0.7116. Jefe del hogar con secundaria incompleta 0.005 0.275 0.5097. Edad del jefe del hogar 0.012 0.006 -0.0038. Índice de dependencia demográfica 0.15 0.192 0.1739. Índice de hacinamiento 0.119 0.151 0.33810. Tenencia de video casetera 0.091 0.319 0.3911. Tenencia de estufa de gas 0.741 0.547 -0.23712. Tenencia de refrigerador 0.625 0.492 0.37113. Tenencia de lavadora 0.141 0.319 0.23114. Tenencia de vehículo 0.246 -0.3 0.70515. Sexo del jefe del hogar -0.121 -0.068 -0.43416. Algún miembro cuenta con seguridad social 0.388 0.689 0.48717. Niños entre 5 y 15 años que no asisten a la escuela 0.295 0.159 0.274

18. Niños entre 12 y 15 años que trabajan (trabajan) 0.009 0.089 -0.39819. Niños menores de 12 años (niños) 0.268 0.26 0.302

Adicionalmente la ecuación discriminante cuenta con un término independiente. Con las variables antes descritas y sus coeficientes se conforma la ecuación discriminante que permite asignar el nivel de pobreza de la población.

Para aplicar esta metodología se incluyeron en los cuestionarios de vivienda preguntas que permitieran construir la ecuación discriminante.7

Una vez que se cuenta con esta información en el cuestionario y para alimentar el modelo de asignación de la pobreza es necesario tomar en consideración las siguientes transformaciones y generación de variables.

La pregunta de material del piso se debe convertir a los siguientes valores: Si tiene piso de tierra se debe codificar como (1) y si es diferente de tierra se debe codificar (0).

7 Para mayor información consultar el cuestionario de vivienda en el anexo de este informe metodológico.



46

La pregunta de acceso a servicios de seguridad social se debe codificar con (1) si alguno de los miembros del hogar tiene acceso a servicios de seguridad social y (0) si ninguno de los miembros del hogar tiene acceso a los servicios de seguridad social.

La pregunta sobre el sexo del jefe del hogar se debe codificar como (1) si el jefe es mujer y como (0) si el jefe es hombre.

El índice de hacinamiento se debe calcular como el cociente entre el número de ocupantes de la vivienda y el número de cuarto que se utilizan para dormir. El índice de dependencia demográfica se calcula como el cociente del total de personas del hogar menores de 15 años y mayores de 64 entre el total de personas entre 15 y 64 años de edad.

A partir de la escolaridad del jefe del hogar se deben crear tres variables:

Escolar1 que se codifica como (1) si el jefe no tiene escolaridad y con (0) en cualquier otro caso.

Escolar2 que se codifica como (1) si el jefe del hogar tiene primaria incompleta como último grado aprobado y con (0) en cualquier otro caso Escolar3 que se codifica como (1) si el jefe del hogar tiene secundaria incompleta como último grado aprobado y con (0) en cualquier otro caso Para todas las demás variables se deberán tomar los valores tal como están presentados en el cuadro anterior.

Mantenimiento

Este apartado es muy importante, porque de ello depende el estado actual de las obras. Para ello, en el apartado del cuestionario se establece una batería de preguntas sobre el mantenimiento, con el cual se crearán frecuencias sobre la opinión vertida por los beneficiarios del Programa. En el caso de la vertiente vivienda la batería de preguntas es la siguiente:



47

1. SOBRE EL MANTENIMIENTO CIRCULE CUANDO LA RESPUESTA SEA “SI”

1 ¿REALIZA ACTIVIDADES DE MANTENIMIENTO EN SU VIVIENDA? (NO PASE A LA PREGUNTA 31.6)

.

2 ¿QUIÉN REALIZA EL MANTENIMIENTO? OPCIONES MÚLTIPLES EL PADRE 1 LA MADRE 2 EL HIJO 3 CONTRATA A UN VECINO 4 OTRO: 5 3 ¿QUÉ ACTIVIDADES DE MANTENIMIENTO REALIZAN? OPCIONES MÚLTIPLES PINTAR PAREDES Y TECHOS 1 RESANAR HOYOS Y GRIETAS EN LOS PISOS Y PAREDES 2 ELIMINAR MALEZAS Y ÁRBOLES QUE CRECEN CERCA DE LA CASA 3 CUBRIR LOS TECHOS CON IMPERMEABILIZANTES O CUBRIR AGUJEROS EN LAS LÁMINAS 4 OTRO, EXPLIQUE: 5 4 ¿CADA CUANDO REALIZAN EL MANTENIMIENTO? CIRCULAR UNA SOLA OPCIÓN MENOS DE UNA VEZ AL AÑO 1 UNA VEZ AL AÑO 2 DOS VECES AL AÑO 3 TRES VECES AL AÑO 4 MÁS DE TRES VECES AL AÑO 5 OTRO 6 5 ¿CUÁNDO NECESITA REALIZAR REPARACIONES MAYORES COMO: CAÍDA DEL TECHO, DE

PAREDES, ETC QUE SEA POR CAUSAS DE DESASTRE NATURAL O DE OTRO TIPO, QUIÉN LAS REALIZA? (PASE A LA PREGUNTA 32)

CIRCULAR LAS OPCIONES QUE CORRESPONDAN

EL MUNICIPIO 1 EL GOBIERNO DEL ESTADO 2 LOS BENEFICIARIOS 3 OTRO, EXPLIQUE 4 6 PARA LOS BENEFCIARIOS QUE NO REALIZAN MANTENIMIENTO ¿CUÁLES SON LAS RAZONES

POR LAS QUE NO SE HACE EL MANTENIMIENTO CIRCULAR UNA SOLA OPCIÓN

NO LO NECESITA 1 NO EXISTEN RECURSOS 2 NO EXISTE INTERÉS 3 OTRO: 4

Infraestructura disponible y estado actual de las instalaciones

En este apartado se evaluará los apartados que apliquen de acuerdo a la vertiente analizada. De manera general se evaluará las características de la infraestructura actual, materiales utilizados, estado actual y adecuado funcionamiento de servicios complementarios (agua potable, electricidad, etc). Cada vertiente tendrá un apartado de batería de preguntas, debido a que cada uno de ellas presenta características diferentes.

A manera de ejemplo se expone como se evaluará la vertiente educativa:



48

1. VOY A PREGUNTARLE SOBRE LAS CARACTERÍSTICAS DE LAS AULAS DE CLASE ANTES Y DESPUÉS DEL PROYECTO ¿CUÁNTOS SALONES DE CLASE TENÍA Y CUÁNTOS TIENE ESTA ESCUELA?

CIRCULAR UNA SÓLA OPCIÓN 1

ANTES DEL PROYECTO DESPUÉS DEL PROYECTO UNO 1 1 DOS 2 2 TRES 3 3 CUATRO 4 4 CINCO 5 5 SEIS 6 6 SIETE 7 7 OCHO 8 8 NUEVE 9 9 DIEZ O MÁS 10 10

CIRCULE LA OPCIÓN SI LA RESPUESTA ES “SI” 2 ¿EL NÚMERO DE SALONES DE CLASE SON SUFICIENTES? .

¿EL SALÓN DE CLASES CUENTA CON CIRCULAR UNA SÓLA OPCIÓN

3

ANTES DEL PROYECTO DESPUÉS DEL PROYECTO PUERTAS? 1 1 VENTANAS? 2 2

¿DE QUE ESTÁ CONSTRUIDO LA MAYOR PARTE DE LOS TECHOS DE LAS AULAS DE CLASE? CIRCULAR UNA SÓLA OPCIÓN

4

ANTES DEL PROYECTO DESPUÉS DEL PROYECTO LÁMINA DE CARTÓN 1 1 LÁMINA DE ASBESTO O METÁLICA 2 2 TEJA 3 3 PALMA O MADERA 4 4 LOSA DE CONCRETO, TABIQUE, LADRILLO O TERRADO CON VIGUERÍA 5 5 OTRO: 6 6 5 ¿DE QUE MATERIAL ES LA MAYOR PARTE DEL PISO DE ESTA AULA DE CLASE?

CIRCULAR UNA SÓLA OPCIÓN ANTES DEL PROYECTO DESPUÉS DEL PROYECTO

TIERRA 1 1 CEMENTO O FIRME 2 2 MOSAICO, MADERA U OTROS RECUBRIMIENTOS 3 3

¿DE QUÉ MATERIAL ES LA MAYOR PARTE DE LAS PAREDES DE ESTAS AULAS DE CLASE? CIRCULAR UNA SÓLA OPCIÓN

6

ANTES DEL PROYECTO DESPUÉS DEL PROYECTO LÁMINA DE CARTÓN 1 1 LÁMINA DE ASBESTO O METÁLICA 2 2 ADOBE 3 3 MADERA 4 4 CARRIZO, BAMBÚ O PALMA 5 5 EMBARRO O BAJARETE 6 6 TABIQUE, LADRILLO, BLOCK, PIEDRA, CANTERA, CEMENTO O

CONCRETO 7 7

Del anterior cuadro se obtendrán tablas de frecuencia que permitan determinar en que condiciones se encuentran las obras de la vertiente educativa antes y después del apoyo, de tal manera que se pueda obtener el dato que refleje un mejoramiento en la infraestructura de las escuelas a partir del apoyo recibido.

Disponibilidad de mobiliario, equipo y abastecimiento de materiales

En este apartado se evaluará la disponibilidad, estado actual e institución proveedora/donadora, para cada una de las vertientes donde aplique estos puntos, tales como: agua potable, electrificación, infraestructura educativa, proyectos de salud y asistencia social y servicios comunitarios.



49

Para cada una de estas vertientes se tienen establecidas baterías de preguntas dentro del cuestionario de obras en los cuales se obtendrá información de cada uno de los puntos establecidos en los TDR.

En el caso de las obras de Centros de Salud se evaluará mediante la siguiente batería de preguntas:

1. PROPORCIONE INFORMACIÓN SOBRE EL EQUIPO Y PERONAL 1 El centro de salud cuenta con: Número (se puede

registrar el número 0, sino se cuenta con el equipo)

Suficientes (circule la opción si la res puesta es “SI”)

Sillas para los pacientes . Básculas . Camillas . Escritorio para la enfermera . Mesa o escritorio para el doctor Camas . Medicinas . Silla de ruedas . 2 Del siguiente personal, por favor indíqueme, con

cuántos cuenta el Centro de Salud Número (se puede registrar el número 0, sino se cuenta con el equipo)


Médicos generales . Médicos especialistas . Médicos residentes . Dentistas . Enfermeras Auxiliares de enfermera Parteras Psicólogos Trabajadores sociales Administrativos Personal de intendencia Vigilancia Otro .

En los proyectos educativos se establecen las siguientes preguntas:



50

1. PROPORCIONE INFORMACIÓN SOBRE LA DISPONIBILIDAD DE EQUIPO Y PERSONAL 1 De los siguientes materiales, me puede decir, con

cuántos cuenta la escuela y si son suficientes… Número (se puede registrar el número 0, si no se cuenta con el equipo)


Bancas o sillas por aula . Pizarrones por aula . Rotafolios . Botiquín de primeros auxilios . Escritorio para el profesor . Escritorio para personal administrativo . Computadoras al servicio del personal académico y

administrativo .

2 El tamaño del personal académico y administrativo de la escuela es

Número (se puede registrar el número 0, sino se cuenta con el equipo)


Maestros (sin contar al Director) . Trabajadora social . Personal administrativo . Personal de intendencia . Otro .

De estos cuadros se obtendrán tablas de frecuencia que permitan identificar sobre la disponibilidad de mobiliario y equipo en las obras, además de poder obtener el dato si son suficientes, dado el tamaño de la infraestructura de éstas.

Nivel de utilización El nivel de utilización valorará en que medida se está utilizando las obras a su máxima capacidad, para ello esta institución evaluadora propone evaluar este apartado partiendo del número actual de usuarios o beneficiarios, capacidad máxima de utilización, razones de subutilización o sobre utilización.

Por ejemplo para las obras de vivienda se propone evaluar este apartado por el número de personas por habitación en piso firme, en las obras educativas por el número de alumnos por aula, en los centros de salud por el número de consultas diarias por médico, en las obras de urbanización por el porcentaje de calles atendidas, en las obras de alcantarillado por el número de calles o casas con acceso al drenaje, entre otros puntos necesarios para obtener el grado de utilización.

A continuación se exponen los apartados del cuestionario de obras que permiten identificar la utilización:

1. PROPORCIONE INFORMACIÓN SOBRE EL NÚMERO DE ALUMNOSNO. DESCRIPCIÓN ANTES DEL PROYECTO DESPUÉS DEL PROYECTO 1 NÚMERO DE ALUMNOS EN LA ESCUELA 2 NÚMERO DE ALUMNOS POR AULA DE CLASES 3 NÚMERO DE AULAS (VERIFICAR LA

RESPUESTA CON LA PREGUNTA 30.1)



51

1. PROPORCIONE INFORMACIÓN SOBRE EL NÚMERO DE CONSULTASNO. DESCRIPCIÓN ANTES DEL PROYECTO DESPUÉS DEL PROYECTO 1 NÚMERO DE CONSULTORIOS 2 NÚMERO DE CONSULTAS DIARIAS 3 NÚMERO DE MÉDICOS QUE ATIENDEN DIARIO

1. PROPORCIONE INFORMACIÓN SOBRE EL NÚMERO DE CALLES ATENDIDAS ANTES Y DESPUÉS DEL PROYECTO NO. DESCRIPCIÓN ¿QUÉ PORCENTAJE DE CALLES DE

LA LOCALIDAD CONTABAN CON… DESPUÉS DEL PROYECTO ¿QUÉ PORCENTAJE DE CALLES DE LA

LOCALIDAD CUENTAN CON… 1 CALLES CON ALUMBRADO 1. PROPORCIONE INFORMACIÓN SOBRE EL NÚMERO DE CALLES ATENDIDAS ANTES Y DESPUÉS DEL PROYECTO NO. DESCRIPCIÓN ¿QUÉ PORCENTAJE DE CALLES DE

LA LOCALIDAD CONTABAN CON… DESPUÉS DEL PROYECTO ¿QUÉ PORCENTAJE DE CALLES DE LA

LOCALIDAD CUENTAN CON… 1 CALLES PAVIMENTADAS 1. PROPORCIONE INFORMACIÓN SOBRE EL PORCENTAJE DE POBLACIÓN ATENDIDA ANTES Y DESPUÉS DEL PROYECTO TIPO DESCRIPCIÓN ANTES DEL PROYECTO

% DESPUÉS DEL PROYECTO %

ALCANTARILLADO CUADRAS CON ALCANTARILLADO PLANTA DE TRATAMIENTO

VIVIENDAS CON SALIDA A LAS PLANTAS DE TRATAMIENTO

AGUA POTABLE VIVIENDAS CON AGUA POTABLE

De este conjunto de batería de preguntas se obtendrá un indicador que permita identificar cual es el grado de utilización o sobre utilización de las obras.

Ingreso y empleo

El ingreso y el empleo se calculan únicamente en aquellas vertientes que tengan la característica de ser proyectos productivos. Para ello se utiliza el cuestionario denominado producción y productividad, el cual presenta apartados especiales para los proyectos que son actividades no agropecuarias, agrícolas y pecuarias. A parte del impacto en el ingreso y en el empleo, se determina el impacto en los costos y actividades de posproducción8.

Para el caso de las actividades no agropecuarias el ingreso se calcula mediante el siguiente conjunto de preguntas:

1. PROPORCIONE LA SIGUIENTE INFORMACIÓN SOBRE LA ACTIVIDAD NO AGROPECUARIA EN QUE SE APLICÓ EL APOYO: NO GIRO VALOR DE LAS VENTAS ANUALES

($) CÓDIGO NOMBRE ANTES DEL APOYO PRIMER AÑO

DESPUÉS DE RECIBIDO EL APOYO

ACTUALMENTE

(2006)

8 Ver cuestionario Producción y productividad en los anexos de este Informe Metodológico.



52

TABLA DE RAMAS Y GIROS NO AGROPECUARIOS

Código Rama

Rama de Actividad

Código Giro Giro Código

Giro Giro Código Rama

Rama de Actividad

Código Giro Giro

1 Artesanías 5 Panadería 9 Abarrotes

2 Costura 6 Derivados lácteos 10 Otras (especificar)

3 Herrería 7 Tortillería 11 Restaurantes

4 Madera 8 Otras (especificar) 12 Otras (especificar)R

TRA

NSF

OR

MA

CIÓ

N

P

Q

CO

MER

CIO

OTR

AS

AC

TIVI

DA

DES

En los costos de producción se valorará si producto del apoyo del Programa se incurrió en un menor costo unitario, esta pregunta es en el afán de obtener el dato si los beneficiarios se hicieron más eficientes.

1. IMPACTOS DEL APOYO EN LOS COSTOS DE PRODUCCIÓN: No. Descripción 1 Debido al apoyo de Desarrollo Local, los costos unitarios de producción

en la principal actividad no agropecuaria.1 Circule solo una opción

1.1 Se incrementaron 1 1.2 Permanecen iguales 2 1.3 Se redujeron 3 1.4 No sabe 4 1.5 No aplica (proyectos nuevos) 5

1 NOTA: POR EJEMPLO LOS COSTOS PARA PRODUCIR UNA SILLA, UNA ARTESANÍA, ETC, SE INCREMENTARON, PERMANECEN IGUALES, SE REDUJERON. ESTA PREGUNTA DEBE HACERSE EN EL CONTEXTO DEL APOYO RECIBIDO.

En el caso del empleo se establecieron preguntas sobre el número de jornales creados, tanto familiares como contratados, que se generaron a partir del apoyo recibido.

1. SEÑALE POR FAVOR CUÁNTOS JORNALES SE EMPLEARON AL AÑO EN LA ACTIVIDAD NO AGROPECUARIA EN QUE SE APLICÓ EL APOYO:

NO Tipo de trabajador Total de jornales antes del apoyo

(a)

Total de jornales en el primer año después de recibido el apoyo

(b)

Total de jornales actualmente (2006)

(c)

Contratado

1

Familiar

NOTA: UN JORNAL SON OCHO DIARIAS DE TRABAJO Y AL AÑO SON 270 JORNALES.

Equidad, la igualdad y la no discriminación de las mujeres, jóvenes e indígenas

En este apartado de la evaluación se obtendrá información sobre la equidad, la igualdad y la no discriminación de las mujeres, jóvenes e indígenas. Para esto se tienen apartados



53

de los cuestionarios que permiten identificar el acceso de este grupo de personas a los apoyos del PDL.

Con este cuadro se identifica si las acciones del Programa están encaminadas a promover el desarrollo de los grupos más marginados y si se fomenta la equidad, la igualdad y la no discriminación.

1. LA SOLICITUD SE PRESENTO A TRAVÉS DE GRUPO A. SI ( ) B. NO ( ) 2. NÚMERO DE INTEGRANTES DEL GRUPO 3. EL APOYO SE SOLICITÓ COMO UN GRUPO DE:

A. MUJERES

( )

B. JÓVENES

( )

C. INDÍGENAS

( )

D. PERSONAS CON DISCAPACIDAD

( )

E. PERSONAS DE LA TERCERA EDAD

( )

F. NINGUNO DE LOS ANTERIORES

( )

Otra parte del cuestionario que permite evaluar este apartado es quien recibió el apoyo, si el hombre o la mujer, en este caso el evaluador identificará en campo si el recurso solicitado lo hizo un grupo de mujeres y en la práctica lo utiliza el esposo u otro integrante de la familia o de la comunidad.

También el evaluador identificará si el beneficiario corresponde a algún grupo indígena. Este pregunta ayudad a identificar en que medida el Programa atiende a las regiones de presencia indígena, sobre ciertos grupos no considerados en este renglón.

1. SEXO 1. HOMBRE 2. MUJER

1. ¿HABLA USTED ALGUNA LENGUA AUTÓCTONA? SI NO 2. ¿CUÁL?

4.5. Percepción de los actores clave y percepción de beneficiarios

Para cuestión de análisis de la presente evaluación se entiende como actores clave a las autoridades municipales, debido a la función que desempeñan como gestores y ejecutaros de la obras apoyadas por el Programa. Se realizó una fase de campo para recabar información en torno a la percepción que tienen los informantes clave y los beneficiarios a cerca de la operación del Programa, este proceso consistió en entrevistar a 29 informantes clave, entre los que se encuentran: presidentes municipales, directores de obras públicas y directores de desarrollo social, entre otros. Además se entrevistó a 157 beneficiarios entre los que se encuentran los responsables de escuelas, centros de salud, CCA, comisariados ejidales o cualquier otro informante que conoce de los apoyos otorgados por el Programa en la localidad correspondiente, considerados como informantes clave. Las preguntas realizadas a los actores clave se referían a la manera de operar del Programa en el año 2006, y las preguntas a beneficiarios fueron en torno a su percepción de la operación del Programa en las obras apoyadas en el año 2004.



54

La información recabada fue capturada y procesada con el paquete computacional SPSS. La muestra conformada por ambos grupos de informantes no es representativa, ya que es solo una parte de la muestra calculada para fines estadísticos de la estimación de los resultados y se realizó con el fin de considerar la percepción de los beneficiarios a manera de sondeo, por lo cual los cálculos se realizaron sin ponderador. El informe solicitado a SPSS fue el de estadística descriptiva, considerando como información de salida las medias, mínimos, máximos y tabla de frecuencias para cada parámetro evaluado, partiendo de los índices descritos más adelante. Acceso al Programa Para conocer cómo consideran los beneficiarios el acceso al Programa, primero es importante conocer el mecanismo por el cual se enteraron del mismo, si saben cómo opera, si conoce los requisitos para participar, si conoce los apoyos que otorga y si antes de participar les hicieron de su conocimiento sus derechos y obligaciones. En la encuesta se les preguntó a los beneficiarios su percepción sobre el acceso al Programa, planteando la pregunta de la siguiente manera:

¿Cómo considera usted el acceso al Programa? Opciones de respuesta

Muy fácil Fácil Difícil Muy difícil

Fuente: Elaboración Propia con base en los Términos de referencia 2006.

Con las respuestas del cuadro anterior se elaboró el indicador “índice de acceso al Programa” de tal manera que mida la magnitud de respuesta del beneficiario del Programa. Considerando las posibles respuestas de la pregunta planteada:

a).- Muy fácil ( ) b).-fácil ( ) c).- difícil ( ) d).- Muy difícil ( ) El Índice de acceso al Programa queda así:

NNIAP i /)(= Donde:

∑=

=iN

jiji xN

1=i-ésimo total de beneficiarios que respondieron la pregunta a ó b ó c ó d;

i=1,2,3,4; j=1,…,Ni

==1iX Respuestas en la opción a) Muy fácil ==2iX Respuestas en la opción b) fácil



55

==3iX Respuestas en la opción c) difícil ==4iX Respuestas en la opción d) Muy difícil

N = Total de beneficiarios entrevistados, tal que NNii =∪ =4

1 Por el teorema de probabilidades se sabe que si Ai es el i-ésimo evento de ser elegido en la preguntas a ó b ó c ó d entonces:

( ) )()()()( 43214321 APAPAPAPAAAAP +++=∪∪∪ =1

Siempre que iA , sean eventos ajenos. Con lo expuesto anteriormente, se puede relacionar probabilísticamente la ocurrencia de contestación; entonces:

== )( iAPIAP N

xiN

jij )(

1∑=

Es la i-ésima Probabilidad de contestación de la pregunta en el inciso (a) ó (b) o (c) ó (d) Para definir un rango de tal manera que IABP quede clasificado acorde a la tendencia de respuesta de cada inciso de la pregunta; planteemos el siguiente juego de hipótesis: Juego de Hipótesis:

:oH ”La percepción de acceso ES MUY DIFÍCILI vs. :1H ”La percepción de acceso NO ES MUY DIFÍCIL” Regla de decisión:

No Rechazar Ho si )()( 4 iAPAP > , ∀ i≠ 4. Note que: Es claro que si no rechazamos Ho, indica que )( 4APIAP = y la percepción de acceso es muy mala; en caso de rechazar la hipótesis nula, se tendrá que platear una nueva sub-hipótesis la cual tendrá el siguiente juego de hipótesis a contrastar: Juego de Hipótesis:

:oH ”La percepción de acceso ES DIFICIL” vs. :1H ”La percepción de acceso NO ES DIFICIL” Regla de decisión:

No Rechazar Ho si )()( 3 iAPAP > , ∀ i≠ 3 Juego de Hipótesis:

:Ho “La percepción de acceso es FÁCIL” vs. :1H “La percepción de acceso es MUY FÁCIL”



56

Regla de decisión:

No rechazar :0H si )()( 2 iAPAP > , ∀ i≠ 2 Resumen: En resumen queda definido nuestro índice IAP como sigue:

Si IAP= )()( 4 iAPAP > , ∀ i≠ 4 Entonces La percepción de acceso ES MUY DIFICIL

Si IAP= )()( 3 iAPAP > , ∀ i≠ 3 Entonces La percepción de acceso ES DIFÍCIL

Si IAP= )()( 2 iAPAP > , ∀ i≠ 2 Entonces La percepción de acceso ES FÁCIL

Si IABP= )()( 1 iAPAP > , ∀ i≠ 1 Entonces La percepción de acceso ES MUY FÁCIL

Donde == )( iAPIAP N

xiN

jij )(

1∑=

Atención recibida Para evaluar la atención que reciben los beneficiarios se plantearon en la encuesta las siguientes interrogantes ¿cuál es su percepción con respecto de la información provista por el Programa sobre los requisitos y criterios de elegibilidad para la obtención de apoyos, así como los motivos de la aceptación o rechazo de la solicitud y si fue clara y completa?, y ¿cuál es su percepción en relación a la atención recibida por parte de los operadores del Programa a lo largo del trámite y entrega del apoyo?, de ésta última pregunta se elaborará el siguiente indicador: Esta ultima pregunta está acompañada de la siguiente respuesta: a).- Muy Buena ( ) b).-Buena ( ) c).- Mala ( ) d).- Muy Mala ( ) Con la pregunta anterior se elabora un indicador, de tal manera que mida la magnitud de respuesta del beneficiario del programa, el cual se expresa de la manera siguiente. Índice de atención a los beneficiarios del Programa (IABP)

NNIABP i /)(= ; i=1,2,3,4



57

Donde:

∑=

=iN

jiji xN

1

=i-ésimo total de beneficiarios que respondieron la pregunta a ó b ó c ó d;

i=1,2,3,4; j=1,…,Ni

==1iX Respuestas en la opción a) Muy buena ==2iX Respuestas en la opción b) Buena ==3iX Respuestas en la opción c) Mala ==4iX Respuestas en la opción d) Muy Mala

N = Total de beneficiarios entrevistados, tal que NNii =∪ =4

1 Por el teorema de probabilidades se sabe que si Ai es el i-ésimo evento de ser elegido en la preguntas a ó b ó c ó d entonces:

( ) )()()()( 43214321 APAPAPAPAAAAP +++=∪∪∪ =1

Siempre que iA , sean eventos ajenos. Con lo expuesto anteriormente, se puede relacionar probabilísticamente la ocurrencia de contestación; entonces:

== )( iAPIABP N

xiN

jij )(

1∑=

Es la i-ésima Probabilidad de contestación de la pregunta en el inciso (a) ó (b) o (c) ó (d) Para definir un rango de tal manera que IABP quede clasificado acorde a la tendencia de respuesta de cada inciso de la pregunta; se plantea el siguiente juego de hipótesis:

:oH ”La percepción de atención ES MUY MALA” vs. :1H ”La percepción de atención NO ES MUY MALA” Regla de decisión:

No Rechazar Ho si )()( 4 iAPAP > , ∀ i≠ 4.

Es claro que si no rechazamos Ho, indica que )( 4APIABP = y la percepción de atención es muy mala; en caso de rechazar la hipótesis nula, se tendrá que platear una nueva sub-hipótesis la cual tendrá el siguiente juego de hipótesis a contrastar:

:oH ”La percepción de atención ES MALA” vs. :1H ”La percepción de atención NO ES MALA” Regla de decisión:



58

No Rechazar Ho si )()( 3 iAPAP > , ∀ i≠ 3 Juego de Hipótesis:

:Ho “La percepción de atención es BUENA” vs. :1H “La percepción de atención es MUY BUENA” Regla de decisión:

No rechazar :0H si )()( 2 iAPAP > , ∀ i≠ 2 Resumen: En resumen queda definido nuestro índice IABP como sigue:

Si IABP= )()( 4 iAPAP > , ∀ i≠ 4 Entonces La percepción de atención ES MUY MALA

Si IABP= )()( 3 iAPAP > , ∀ i≠ 3 Entonces La percepción de atención ES MALA

Si IABP= )()( 2 iAPAP > , ∀ i≠ 2 Entonces La percepción de atención ES BUENA

Si IABP= )()( 1 iAPAP > , ∀ i≠ 1 Entonces La percepción de atención ES MUY BUENA

Donde == )( iAPIABP N

xiN

jij )(

1∑=

Tiempo en trámites o entrega de apoyos Para conocer si la respuesta del Programa a los trámites de la solicitud fue oportuna, se les preguntó a los responsables de la gestión del apoyo en el Municipio, lo siguiente:

Percepción de los beneficiarios respecto a los tiempos de trámites de los Apoyos Descripción Días

¿Cuánto tiempo transcurre desde la presentación de la solicitud hasta que es aceptada por la institución responsable?

¿Cuánto tiempo transcurre desde que es presentado el proyecto hasta que se aprueba?



59

¿Cuánto tiempo transcurre desde que se aprueba el proyecto hasta que se inicia la ejecución de la obra?

¿Cuánto tiempo transcurre desde que se inicia la obra hasta que se hace la entrega recepción? ¿Cuánto tiempo transcurre desde que se presenta la solicitud del apoyo hasta que se hace la entrega de la obra?

Fuente: Elaboración Propia con base en los Términos de referencia 2006.

Con los resultados del cuadro anterior se elaboró un indicador sobre la oportunidad de los apoyos y se obtuvo una tabla de frecuencias sobre los tiempos que tarda el solicitante en tramitar el apoyo. De igual manera, se les interrogó a los beneficiarios respecto a la entrega oportuna de los apoyos. Apoyos obtenidos El punto de interés a evaluar en este apartado se refiere al cumplimiento del objetivo general y específicos, del Programa. En este afán, se incorporaron en la encuesta a beneficiarios cada uno de los objetivos del Programa, los cuales fueron leídos por el evaluador con la finalidad de que el responsable de la gestión de apoyos ante la SEDESOL o el director de obras públicas o de desarrollo social opine sí se está cumpliendo. Se realizó el análisis de frecuencias de las respuestas encontradas y se calculó el porcentaje de respuesta para cada caso. Transparencia y rendición de cuentas

Para este apartado el equipo evaluador se auxilió de los indicadores de contraloría social propuestos por la DGEMPS, los cuales a continuación se enuncian amanera de pregunta:

5. ¿Sabe usted si se pueden presentar quejas, denuncias o sugerencias sobre el programa? 6.1 ¿Sabe usted cómo y dónde se pueden presentar quejas, denuncias o sugerencias sobre el programa? Para ambos casos se obtubvieron las siguientes respuetas: 1cuando el informante respondió si y 2 cuando respondió no. Se calculó el porcentaje de personas entrevistadas que respondieron afirmativamente a la pregunta planteada

N5= Número de personas que responden sí. B5=N5/ Número total de beneficiarios entrevistados

6.2 ¿A dónde debe acudir para presentar quejas, denuncias o sugerencias? Para este caso se realizó la pregunta abierta y se marco con un 1 en cada opción que el entrevistado contestó afirmativamente



60

a. Ayuntamiento o municipio _____| b. Representante de la organización _____| c. Comisión de contraloría social _____| d. Programas de atención ciudadana _____| e. Delegación de SEDESOL _____| f. Otro Explique:_______________________ _____| g. No sabe _____|

Para analizar la información se define que una persona sabe dónde expresarse respecto al programa si contestó que si sabe y menciona al menos dos opciones entre “a” y “e” correctamente Se obtuvo el número de entrevistados que saben dónde expresarse respecto al Programa y se calculó el porcentaje. V5 = Beneficiarios que saben dónde expresarse respecto al Programa = Número de entrevistados que saben dónde expresarse respecto al Programa/ Número total de beneficiarios entrevistados

6.3 ¿Cómo se pueden presentar quejas, denuncias o sugerencias? Para este caso se realizó la pregunta abierta y se marco con un 1 en cada opción que el entrevistado contestó afirmativamente a. Personalmente _____| b. Teléfono _____| c. Fax/Internet _____| d. Carta/Oficio _____| e. Buzón _____| f. No contestó _____| Para analizar la información se define que una persona sabe cómo expresarse respecto al Programa si contestó que si sabe y mencionó al menos una opción entre “a” y “e” correctamente De igual manera al anterior se obtuvo el porcentaje de beneficiarios que respondieron afirmativamente. V6 = Beneficiarios que saben cómo expresarse respecto al programa = Número de entrevistados que saben cómo expresarse respecto al Programa/ Número total de beneficiarios entrevistados



61

4.6. Fortalezas, Retos y Recomendaciones

En este apartado esta institución evaluadora presentará las fortalezas, retos y recomendaciones a que conduce su evaluación para cada uno de los componentes generales, utilizando los formatos electrónicos (Sistema de Seguimiento a las Evaluaciones Externas, SISEE) y de presentación (Anexos E y F contenidos en los TDR del Programa).

Se especificará cada fortaleza y reto en forma concisa incluyendo la evidencia que la sustenta e indicando la fuente de análisis (gabinete u otra), así como la página y el párrafo del documento final en donde se encuentra el desarrollo de la idea. Además, para cada reto se indicará la recomendación para solventarla.

Esta institución evaluadora se compromete a que las recomendaciones vertidas estén enfocadas al ámbito de acción y decisión del Programa, además de que estén cuidadosamente analizadas para garantizar su viabilidad y efectividad.



62

5. Plan de trabajo operativo

5.1. Diseño del informe metodológico (del 17 de julio al 14 de agosto del 2006)

Cuadro 19. Actividades sustantivas y cronograma de trabajo para el diseño del informe metodológico

Mes Actividad

Julio Agosto

Fecha limite

• Reuniones con los responsables de la evaluación de la SEDESOL para afinar detalles de la evaluación

• Planeación de entrevistas a los responsables del Programa en oficinas centrales

• Confirmación, modificación y/o adecuación del tamaño de la muestra con información reciente del Programa

• Colecta, revisión y análisis de la información documental para la planeación de la metodología de evaluación

• Retroalimentación con los responsables de la SEDESOL sobre los cuestionarios propuestos para aplicar a representantes de los comités de obra

24/07/2006

• Diseño de las entrevistas a aplicar a los responsables operativos y normativos del Programa

• Redacción del informe metodológico • Entrega del informe metodológico1 24/07/2006 • Revisión y análisis del informe por la DGEMPS • Ajustes al informe por las observaciones derivadas de la revisión 14/08/2006 1 El informe metodológico se entregará en forma impresa y una versión electrónica a través del SISEE



63

5.2. Prueba Piloto (del 24 de julio al 14 de agosto del 2006)

Cuadro 20. Actividades sustantivas y cronograma de trabajo para la prueba piloto Mes Fecha

limite Actividad

Agosto • Retroalimentación con los responsables de la SEDESOL

sobre la metodología y otros aspectos de la evaluación

• Selección del tamaño de la muestra para la prueba piloto 19/07/06 • Elaboración, revisión y verificación de los cuestionarios 24/07/06 • Planeación de la fase de campo para levantar la prueba

piloto 24/07/06

• Ajustes y/o confirmación de la prueba piloto (definición de beneficiarios a entrevistar, estados, localidad, tipo de apoyo, etc.)

24/07/06

• Capacitación a encuestadores 25/07/06 • Recolección de la datos (encuestas a representantes de

beneficiarios) de la prueba piloto 31/07/06

• Diseño del sistema para la digitalización de la información de los cuestionarios

• Procesamiento de datos Clasificación, Numeración y Archivo Codificación Digitalización de datos Validación y consistencia Expansión de la muestra al Universo y estimaciones de las variables Tabulación

Análisis de resultados

• Entrega del informe de la Prueba Piloto 14/08/2006 • Presentación de los resultados de la prueba piloto



64

5.3. Reporte de la evaluación del diseño, cobertura y focalización (del 01 de Agosto al 27 de Septiembre de 2006)

Cuadro 21.Actividades sustantivas y cronograma de trabajo para la evaluación de diseño, cobertura y focalización

Mes Actividad Agosto Septiembre

Fecha limite

• Retroalimentación con los responsables de la SEDESOL sobre la metodología y otros aspectos de la evaluación

• Colecta, revisión y análisis de la información documental para el análisis del diseño del programa1

• Curso para evaluadores impartido en la Sedesol • Diagnóstico de la situación inicial del Programa • Lógica Vertical de la Matriz de Marco Lógico • Lógica Horizontal de la Matriz de Marco Lógico • Colecta y revisión de información para el análisis de cobertura y

focalización3

• Cálculo de los índices de migración a nivel localidad y municipal • Análisis de la focalización considerando inversión por vertiente de

apoyo y distribución de acciones a nivel localidad y municipio durante el periodo 2002-2006

• Análisis de cobertura considerando numero de proyectos, localidades beneficiadas, beneficiarios y montos de inversión

• Entrega del reporte de la evaluación del diseño, cobertura y focalización

04/09/2006

• Revisión y análisis del informe por la DGEPS y la DGMS • Presentación de los resultados del análisis • Ajustes al informe por las observaciones derivadas de la revisión • Entrega del reporte de la evaluación del diseño, cobertura y

focalización 25/09/2006

1 Plan Nacional de Desarrollo 2001-2006, Programa Nacional de Desarrollo Social 2001-2006, Estrategia de Micro regiones, evaluaciones pasadas del Programa, experiencias de otros programas sujetos de presupuesto y de otros programas evaluados en otros países. 2 Se considerará como elementos clave: objetivos del programa, población objetivo, apoyos, etc. 3 Las fuentes serán las bases de beneficiarios del programa durante el periodo 2002-2006 y la relación de grados de marginación de las localidades y municipios publicados por CONAPO



65

5.4. Informe sobre trabajo de campo (del 15 de Septiembre al 16 de octubre del 2006)

Cuadro 22.Actividades sustantivas y cronograma de trabajo para la evaluación de operaciones y trabajo de campo

Mes Fecha limite

Actividad Septiembre Octubre


• Entrevistas a los directores de la Dirección Central de la SEDESOL

• Entrevistas a los delegados estatales y a operativos del Programa • Entrevistas a beneficiarios • Encuestas de instalaciones a • Entrevistas a gente de COPLADE • Procesamiento de datos de procesos • Redacción del reporte de evaluación de procesos de operaciones

e informe sobre trabajo de campo

• Entrega del reporte sobre trabajo de campo 16/10/2006 a Encuestas dirigidas a los representantes de obras públicas del Gobierno Municipal, Junta Local de caminos del Gobierno del Estado, Comisión Federal de Electricidad y Luz y Fuerza del Centro.



66

5.5. Informe de evaluación 2006 (del 01 de octubre al 23 de noviembre del 2006)

Cuadro 23. Actividades sustantivas y cronograma de trabajo para la estructuración y elaboración del informe final del Programa

Mes Actividad

Octubre Noviembre Fecha limite


• Integración de cada uno de los componentes de la evolución al informe final a

• Análisis de fortalezas, debilidades y recomendaciones de cada uno de los componentes de la evaluación b

• Conclusiones y recomendaciones globales y conclusión y prospectiva del Programa

• Integración de Bibliografía y anexos al informe final • Diseño y consideraciones finales del informe • Entrega de la versión preliminar 23/11/2006 a Diseño, operación (excepto cumplimiento de metas físicas y financieras), resultados y percepción de los beneficiarios. Los componentes de Cobertura, Focalización y cumplimiento de metas físicas y financieras se realizarán con la información proporcionada a principios de diciembre. b Se utilizarán los formatos provistos por la DGEMPS



67

5.6. Informe final de evaluación 2006 (del 23 de Noviembre del 2006 al 29 de diciembre del 2006)

Cuadro 24.Actividades sustantivas y cronograma de trabajo para la estructuración y elaboración del informe final del Programa

Mes Actividad

Noviembre Diciembre

Fecha limite

• Integración de cada uno de los componentes de la evolución al informe final a

• Análisis de fortalezas, debilidades y recomendaciones de cada uno de los componentes de la evaluación b

• Conclusiones y recomendaciones globales y conclusión y prospectiva del Programa

• Integración de Bibliografía y anexos al informe final • Diseño y consideraciones finales del informe • Presentación de los resultados Por definir • Revisión y análisis del informe por la DGEPS y la DGMS • Ajustes al informe final por las observaciones derivadas

de la revisión

• Entrega de la información disponible del ejercicio 2006 10/12/2006 • Revisión de los capítulos de Cobertura, Focalización y

cumplimiento de metas físicas y financieras 28/12/2006

• Entrega de la versión final del informe de la evaluación 29/12/2006 a Diseño, focalización y cobertura, operación, resultados y percepción de los beneficiarios b Se utilizarán los formatos provistos por la DGEMPS



68

6. Bibliografía 1. Banco Interamericano de Desarrollo, Oficina de Evaluación (EVO), Evaluación:

Una herramienta de gestión para mejorar el desempeño de los proyectos.

2. CEPAL. Instituto Latinoamericano y del Caribe de Planificación Económica y

Social. Metodología del Marco Lógico. Boletín 15, octubre, 2004.

3. Instituto Nacional de Estadística, Geografía e Informática. 2005.

4. Judy L. Baker (2000). Evaluación del impacto de los proyectos de desarrollo en

la pobreza, manual para profesionales, Banco Mundial, Washington, D.C.

5. Programa Nacional de Desarrollo Social. Superación de la pobreza: Una tarea

Contigo.

6. SEDESOL (2004). Evaluación del Programa Desarrollo Local 2004.

7. SEDESOL (2004). Evaluación del Programa Desarrollo Local 2005.

8. SEDESOL (2006). Reglas de Operación del Programa Desarrollo Local

(Microrregiones).

9. SEDESOL (2006). Términos de Referencia para la Evaluación del Programa

Desarrollo Local (Microrregiones).

10. SEDESOL (2006). Norma para la Asignación de los Niveles de Pobreza de los

Hogares Beneficiados de los Programas de la Secretaría de Desarrollo Social.

Subsecretaría de Prospectiva, Planeación y Evaluación (SPPE).



69

Anexos



70

TABLA 1 Focalización de los Recursos del Programa entre los Municipios con diferentes Niveles de Marginación 2002-2006

Inversión Ejercida (millones de pesos)

Inversión per cápita (pesos)

2002 2003 2004 2005 2006 2002-06

2005

2006 Promedio 2002-2006

Clasificación Municipal de Marginación

Número de Municipios 2006

% de Población 2006

$ % $ % $ % $ % $ % $ % Muy Alta Alta Media Baja y Muy Baja TOTAL FUENTE: (Especificar vertientes utilizadas)

TABLA 2 Focalización de los Recursos del Programa entre las Localidades con diferentes Niveles de Marginación 2002-2006


Inversión per Cápita (pesos) Clasificación de

Marginación a Nivel Localidad

Número de Localidades 2006

% de Población 2006

2002 2003 2004 2005 2006 2002-06

2005

2006 Promedio

$ % $ % $ % $ % $ % $ % Muy Alta Alta Media Baja y Muy Baja TOTAL FUENTE: (Especificar vertientes utilizadas)



71

Nota metodológica de focalización

Metodología Comentarios Cuadro 1 Número de Municipios 2006

Se debe especificar el número de los municipios atendidos por el Programa en el año 2006 correspondiente a cada uno de los Grados de Marginación

El Índice de Marginación utilizado es el reportado por CONAPO en el año 2000 a nivel municipal. Integrado en la carpeta denominada “Bases de datos de otras fuentes de información” Además se puede encontrar en: http://www.conapo.gob.mx/00cifras/2000.htm

La categoría “No Disponible” corresponde al número de municipios atendidos en ese año que no están incluidos en esta clasificación, ya sea porque carecen de clasificación de marginación o porque no existían como tal en el año 2000.

Se consideran todos los municipios atendidos por el Programa sin importar el tipo de acción, cuando un mismo municipio se beneficie con dos o más obras en el mismo año, se le contabiliza solamente una vez.

Porcentaje de Población 2006

Utilizando las proyecciones de población 2006 de CONAPO para cada municipio, en esta columna se especifica el porcentaje de la población total en los municipios atendidos en 2006 según el Grado de Marginación Municipal.

Se utilizan las Proyecciones de la Población por municipio para el año 2006 las cuales se pueden encontrar en: la carpeta denominada “Bases de datos de otras fuentes de información” y en la página http://www.conapo.gob.mx/00cifras/2000.htm


Se especifica, para cada uno de los años indicados, la inversión real ejercida (en millones de pesos del 2005) por el Programa en los municipios atendidos, considerando los distintos grados de marginación. Es necesario deflactar las cifras de inversión anual con el Índice de Precios Implícitos del Producto Interno Bruto para convertirlas a pesos del 2005. Se especifica a qué porcentaje corresponde esa inversión con respecto al total invertido en ese año.

Se incluye la inversión real acumulada durante el periodo de operación del Programa. Sumando los montos de cada

Los deflactores del Índice de Precios Implícitos del PIB que deberán utilizarse para obtener la inversión real se anexan en la carpeta denominada “Bases de datos de otras fuentes de información”

http://www.conapo.gob.mx/00cifras/2000.htm�



72

grado de marginación de los años 2002, 2003, 2004, 2005 y 2006.

Se calcula el porcentaje de inversión acumulada en el periodo considerado según el nivel de marginación.

Inversión Real Per Cápita (pesos)

Calcular para cada uno de los años indicados, la inversión real per cápita para los distintos Grados de Marginación. Se debe dividir el monto de inversión real anual por grado de marginación entre el total de la población en los municipios atendidos en ese año según el nivel de marginación Ejemplo: Para obtener la inversión real per capita en 2002 en los municipios de muy alta marginación se debe realizar la siguiente división: Inversión ejercida en “muy alta marginación”/ Suma de la Población (según la proyección de CONAPO en el 2002 en cada uno de los municipios de muy alta marginación atendidos en 2002) .

Utilizar las Proyecciones de la Población CONAPO por municipio. http://www.conapo.gob.mx/micros/proymunloc/index.html

Cuadro 2 Todas las columnas Utilizar la misma metodología de la Tabla No. 1 pero a nivel

localidad Para las proyecciones de población a nivel localidad, clasificar las localidades atendidas por el programa según el tamaño de la misma en el año 2000, Posteriormente, deberá multiplicar el número de habitantes de cada localidad en el 2000 por el factor de crecimiento que le corresponda, según el año para el cual se está haciendo la proyección, el tamaño de la localidad y la entidad federativa a la que pertenece.

El Índice de Marginación a utilizar es el reportado por CONAPO en el año 2000 a nivel localidad. , incluido en “Bases de datos de otras fuentes de información” de estos anexos. La fila titulada “No Disponible” corresponde al número de localidades atendidas en el 2006 que no están incluidas en esta clasificación, ya sea porque carecen de clasificación de marginación o porque no existían como tal en el año 2000.

http://www.conapo.gob.mx/micros/proymunloc/index.html�



73

Anexo A: Matriz de Marco Lógico del Programa Desarrollo Local

(Microrregiones) establecer las metas y líneas de base Resumen Narrativo Indicadores Medios de Verificación Supuestos

Fin: Contribuir a impulsar, bajo un enfoque territorial, el desarrollo social y humano de las personas que habitan los territorios con mayores índices de marginación.

1. Porcentaje de Loc. atendidas que hayan reducido su IML, respecto del año 2000. 2. Porcentaje de Loc. CEC atendidas que hayan reducido su IML, respecto del año 2000. 3. Porcentaje de obras concluidas que cuentan con mantenimiento de acuerdo a las normas establecidas después de 2 años

1. Índices de marginación de CONAPO (2000, 2005 y futuros) 2. Índices de marginación de CONAPO (2000, 2005 y futuros) 3. Encuesta de evaluación externa

• El programa de D.L.,

forma parte de una Política Social de Estado.


1. Número y Porcentaje de banderas blancas levantadas en Microrregiones mediante acciones del programa, respecto al total de banderas blancas levantadas en 2006 es x% mas que en 2002 2. Número de banderas blancas levantadas en Microrregiones mediante acciones del programa, aumenta de x en 2002 a y en 20069 3. El porcentaje de aportación de habitantes en localidades beneficiadas en relación con la aportación federal del programa es x% en 2006 comparado con y% en 2002

1. SIBAB SIIPSO 2 SIBAB SIIPSO 3 SIIPSO Cierres de ejercicio 4 SIIPSO Cierres de ejercicio

• Las condiciones

sociales y económicas del país son estables y garantizan el desarrollo del programa.

• Los programas

complementarios orientados a la atención subsidiada de las personas continúan operando en estos territorios.

9 Es importante observar que el costo promedio de el levantamiento de una bandera puede variar de un año a otro debido a la composición de los proyectos financiados



74

4. El porcentaje de aportación de las estados y municipios participantes en relación con la aportación federal del programa es x% en 2006 comparado con y% en 2002 (ver cuadro 1.4)


1.1 El número de localidades CEC y áreas de influencia atendidas con el programa es de Y en 2006. 1.2 El número de acciones o proyectos de infraestructura social y productiva en localidades CEC y áreas de influencia atendidas con el programa es de x en 2006 1.3 El porcentaje de localidades CEC atendidas con el programa respecto del total de localidades CEC es de Y% en 2006. 1.4 El porcentaje de áreas de influencia atendidas con el programa respecto del total de áreas de influencia es de Y% en 2006.

1.1 SIIPSO www.microrregiones.mx 1.2 SIIPSO www.microrregiones.mx 1.3 SIIPSO www.microrregiones.mx 1.4 SIIPSO www.microrregiones.mx

• El Congreso aprueba un Techo Presupuestal igual o superior al del ejercicio anterior.

Actividades: 1.1 Emitir Reglas de

Operación 1.2 Asignar techos

presupuestales 1.3 Firmar Acuerdos de

Coordinación 1.4 Autorizar recursos 1.5 Priorizar y

consensuar las obras y proyectos a realizar, con autoridades locales considerando los Diagnósticos Situacionales

1.6 Emitir opinión normativa a nivel

Producto 1: XX

millones (gasto de

inversión)

SIIPSO

•Los recursos presupuestarios aprobados están disponibles de acuerdo a la ministración. •La SEDESOL cuenta con el personal suficiente para la operación del programa •Los estados y la federación firman los acuerdos de coordinación oportunamente •Las delegaciones y la Dirección General de Seguimiento realizan el monitoreo y verifican el



75

central 1.7 Remitir casos de

excepción al Comité Central de Validación

1.8 Aprobar y ejecutar las obras

avance físico y financiero de las obras para la entrega oportuna de recursos conforme al avance •El COPLADE da el visto bueno a las obras o acciones a ejecutar en tiempo y forma •El ejecutor de las obras o acciones realiza sus actividades en tiempo y forma •El Comité de Validación Central decide sobre las excepciones propuestas oportunamente



76

Anexo D: Indicadores de Contraloría Social

Antecedentes En el Manual Ciudadano 2005 de la SEDESOL se menciona que los programas sociales constituyen uno de los campos de mayor atención para evitar que sean utilizados a favor de intereses ajenos al beneficio común y garantizar que se cumplan con transparencia, calidad y honradez.

La transparencia implica por un lado la apertura y divulgación de la información y por otro, el compromiso y la participación de todos los miembros de la sociedad como interlocutores que analicen con pensamiento crítico esa información y la utilicen para constatar lo que sucede, exijan la rendición de cuentas y se expresen al respecto. La transparencia se constituye en un instrumento de la rendición de cuentas, entendida como la capacidad y obligación de los gobernantes y servidores públicos de responder, explicar, justificar y dar cuentas de sus actos y decisiones a los gobernados quienes analizan, verifican y juzgan con su reconocimiento o rechazo el actuar de su gobierno. La contraloría social es el ejercicio de los derechos ciudadanos de toda democracia, para vigilar y exigir cuentas sobre la actividad pública y el manejo de los recursos. Debido a que la evaluación de los programas sociales es una herramienta indispensable para la rendición de cuentas sobre el cumplimiento de los objetivos de los programas, su adecuada operación, y su impacto en el bienestar de la población, las evaluaciones externas 2006 plantean un análisis de contraloría social y transparencia en los capítulos de Operación y Percepción de beneficiarios: La sección de contraloría social de la evaluación externa 2006 se enfoca en la organización de los mecanismos de contraloría social y en el análisis de los índices de contraloría social y transparencia. Estos índices se construyen a partir de una serie de preguntas enfocadas a responder si el beneficiario del programa sabe qué es contraloría social; y qué tan informado está de los objetivos, requisitos, tipos de apoyo y sus derechos y obligaciones. Estas preguntas son parte fundamental en la definición de contraloría social. Por otro lado, la definición de transparencia indica que los beneficiarios deben ser capaces de analizar la información, verificar, juzgar y expresarse al respecto. Por esto, no basta con que los beneficiarios opinen sobre la información recibida y que la rendición de cuentas cambie las condiciones de vida de la población; hace falta analizar si los beneficiarios conocen los mecanismos para expresarse y si los utilizan. Con el objeto de tener una metodología de análisis de contraloría social y transparencia más completa y comparable entre programas para las evaluaciones de 2006 se revisó la metodología que la Secretaría de la Función Pública (SFP) utiliza para evaluar este tema. La SFP ha realizado algunas encuestas de opinión de contraloría social para distintos programas del gobierno federal y en específico los programas de la SEDESOL que se enlistan a continuación:

• Programa de Atención a Jornaleros Agrícolas



77

• Programa de Empleo Temporal • Programa 3x1 para Migrantes • Programa de Opciones Productivas • Programa de Desarrollo Humano Oportunidades • Programa para el Desarrollo Local (Microrregiones)

Las preguntas generales de esta encuesta se refieren a los siguientes temas:

1. Información que recibe el beneficiario (qué, cómo, le ha servido, para qué, lo ha motivado a participar)

2. Contraloría (qué es, cómo le informaron, qué tanto contribuye la información de contraloría a la participación)

3. Comités comunitarios y figuras de control y vigilancia (existen, qué actividades realizan, cómo)

4. Quejas, denuncias, sugerencias y reconocimientos (cómo y dónde presentarlos, es adecuada la forma de presentarlos, presentación de quejas y respuestas recibidas)

En la Evaluación Externa 2006, se retomarán algunas preguntas de estas encuestas y las recomendaciones de la SFP para el análisis del tema de contraloría social.

Metodología En la evaluación externa 2006 el evaluador deberá incluir una batería de preguntas de contraloría social que son transversales a todos los programas pero con el enfoque del programa correspondiente. Estas preguntas se realizarán a los beneficiarios del programa y no es necesario mantener el orden en que se enlistan en esta nota, pero si deberán estar contenidas en los cuestionarios que serán previamente aprobados por la DGEMPS. Estas preguntas integrarán un índice de contraloría social y transparencia (ICST) que deberá ser calculado siguiendo la metodología que se explica en esta nota. A continuación se describe la información que deberá levantarse en campo para el análisis. Las preguntas relevantes al tema de contraloría social se presentan en color azul. Las instrucciones para el encuestador o entrevistador aparecen en color negro. En rojo se comenta sobre las adecuaciones que debe hacer el evaluador para el análisis del programa en cuestión. Finalmente en verde se explica el método de procesamiento de la información para integrar el ICST. En la segunda sección se describe los cálculos que son necesarios para integrar el índice de contraloría social. SECCIÓN 1. Preguntas de contraloría Social. CONOCIMIENTO DEL PROGRAMA 1.¿Sabe usted cuáles son los objetivos del Programa de Desarrollo Local? (Entrevistador: Anote 1 si, o 2 No) _____|

El evaluador obtendrá: N1= Número de personas que responden sí. B1=N1/ Número total de beneficiarios entrevistados

Si el entrevistado contesta que SI 1.1¿Cuáles son?



78

(Para cada programa se debe revisar los objetivos en las reglas de operación y enlistarlos) (Entrevistador: realice la pregunta abierta y marque con un 1 cuando lo que contesta el entrevistado indica conocimiento del tema.) Ejemplo: Identificar Centros Estratégicos Comunitarios (CEC) e impulsarlos, _____| Promover que los beneficiarios aporten mano de obra o materiales para la ejecución de las obras o acciones _____| Promover que los beneficiarios participen en el seguimiento y mantenimiento de las obras o acciones _____|

Para analizar la información se define que una persona conoce los objetivos si contesta que los conoce y menciona al menos uno correctamente. El evaluador obtendrá:

Número de entrevistados que conocen los objetivos V1 = Beneficiarios que conocen los objetivos = Número de entrevistados que conocen los objetivos/ Número total de beneficiarios entrevistados

2. .¿Sabe cuáles son los requisitos para acceder al programa? (Entrevistador: Anote 1 si, o 2 No) _____|


Si el entrevistado contesta que SI 2.1 ¿Cuáles son? (Para cada modalidad del programa se deben revisar los requisitos en las reglas de operación y enlistarlos) (Entrevistador: realice la pregunta abierta y marque con un 1 cuando lo que contesta el entrevistado indica conocimiento de ese requisito.) Ejemplo para Crédito Social: Localidades ubicadas en las microrregiones, _____| Beneficiarios que habitan en las microrregiones, _____|

Para analizar la información se define que una persona conoce los requisitos si contesta que los conoce y menciona al menos uno correctamente. El evaluador obtendrá: Número de entrevistados que conocen los requisitos V2 =Beneficiarios que conocen los requisitos del programa = Número de entrevistados que conocen los requisitos/ Número total de beneficiarios entrevistados

3. ¿Conoce los tipos de obras que pueden realizarse con el apoyo de Desarrollo Local? (Entrevistador: Anote 1 si, o 2 No) _____| Si el entrevistado contesta que SI

El evaluador obtendrá:



79

N3= Número de personas que responden sí. B3=N3/ Número total de beneficiarios entrevistados

3.1¿Cuáles son los tipos de obras que ofrece el programa? (Para cada programa se debe revisar los tipos de apoyo en las reglas de operación y enlistarlos) (Entrevistador: realice la pregunta abierta y marque con un 1 cuando lo que contesta el entrevistado indica conocimiento del tema.) Obras de construcción, ampliación, rehabilitación, conservación y mejoramiento de vías de comunicación que permitan una mayor integración económica y social. _____| Construcción, ampliación y rehabilitación de redes de energía eléctrica; de agua y alcantarillado; la construcción y el empedrado o pavimentación de calles, urbanización, construcción de letrinas, fosas sépticas, plantas de tratamiento de aguas, acciones para la conservación del medio ambiente y estudios y proyectos ejecutivos o de preinversión, entre otros _____| Realización de obras de construcción, ampliación, remodelación y rehabilitación de espacios públicos de asistencia social, esparcimiento, cultura y recreación, entre otras. _____| Obras de construcción, ampliación, rehabilitación y equipamiento de escuelas, clínicas, hospitales, centros de salud y espacios deportivos. _____| Rehabilitación y ampliación de vivienda y dotación de piso firme. _____| Establecer y/o equipar unidades de capacitación, con el propósito de brindar oportunidades de desarrollo personal y comunitario a los habitantes de las microrregiones _____| Establecer los mecanismos y acciones de apoyo para la distribución y comercialización de productos de abasto. _____| Apoyar la construcción y rehabilitación de la infraestructura agrícola, forestal y pecuaria, el cultivo de productos, así como el establecimiento de talleres de orientación y capacitación en materia productiva, entre otras. _____| Impulsar una red rural de comunicaciones, mediante la construcción de redes telefónica _____| Actividades de la Sedesol en apoyo a las localidades objetivo tales como apoyo a las actividades de organización comunitaria, de coordinación con los órdenes de gobierno, estudios, investigaciones y promoción del programa en las microrregiones _____| Apoyar la conformación de lotes de maquinaria y equipo que doten a los municipios de mayor capacidad de ejecución y fomenten la utilización de mano de obra local. _____|



80

Acciones y actividades orientadas a brindar identidad y certeza jurídica a la población objetivo, como lo son actas de nacimiento, matrimonio, defunción, divorcio, Clave Unica de Registro Poblacional (CURP), Registro Federal de Contribuyentes (RFC), certificado de estudios, sucesiones testamentarias y por herencia legítima, testimonios de bienes muebles e inmuebles, entre otras. _____|

Para analizar la información se define que una persona sabe los tipos de apoyos/proyectos que ofrece el programa si contesta que los conoce y menciona al menos dos correctamente para el caso en que el programa ofrece más de un tipo de apoyo. El evaluador obtendrá: Número de entrevistados que saben que tipo de apoyos/proyectos ofrece el programa V3 = Beneficiarios que conocen los tipos de apoyo = Número de entrevistados que saben que tipo de apoyos/proyectos ofrece el programa/ Número total de beneficiarios entrevistados

4. ¿Conoce usted claramente sus derechos y obligaciones como beneficiario del Programa? (Entrevistador: Anote 1 si, o 2 No) _____| Si el entrevistado contesta que SI


4.1¿Cuáles son? (Para cada programa se debe revisar derechos de los beneficiarios en las reglas de operación y enlistarlos) (Entrevistador: realice la pregunta abierta y marque con un 1 cuando lo que contesta el entrevistado indica conocimiento del tema.) Derechos Recibir por parte de la SEDESOL un trato digno, respetuoso y equitativo _____| Solicitar y recibir información de los apoyos _____| Recibir los apoyos conforme a las disposiciones normativas del Programa. _____| Obligaciones Manifestar sus datos personales cuando le sean requeridos _____|

Para analizar la información se define que una persona sabe sus derechos y obligaciones si contesta que los conoce y menciona al menos un derecho y una obligación correctamente El evaluador obtendrá: Número de entrevistados que conocen sus derechos y obligaciones V4 = Beneficiarios que conocen sus derechos y obligaciones= Número de entrevistados que conocen sus derechos y obligaciones/ Número total de beneficiarios entrevistados

CONTRALORÍA y TRANSPARENCIA



81

5. ¿Sabe usted si se pueden presentar quejas, denuncias o sugerencias sobre el programa? (Entrevistador: Anote 1 si, o 2 No) _____| Si el entrevistado contesta que SI 6.1 ¿Sabe usted cómo y dónde se pueden presentar quejas, denuncias o sugerencias sobre el programa? (Entrevistador: Anote 1 si, o 2 No) _____|


6.2 ¿A dónde debe acudir para presentar quejas, denuncias o sugerencias? (Entrevistador: Realice la pregunta abierta y marque 1 en cada opción que conteste el entrevistado) (Para cada programa se debe revisar en las reglas de operación las posibles opciones y enlistarlas) a. Ayuntamiento o municipio _____| b. Representante de la organización _____| c. Comisión de contraloría social _____| d. Programas de atención ciudadana _____| e. Delegación de SEDESOL _____| f. Otro Explique:_______________________ _____| g. No sabe _____|

Para analizar la información se define que una persona sabe dónde expresarse respecto al programa si contestó que si sabe y menciona al menos dos opciones entre “a” y “e” correctamente El evaluador obtendrá: Número de entrevistados que saben dónde expresarse respecto al programa V5 = Beneficiarios que saben dónde expresarse respecto al programa = Número de entrevistados que saben dónde expresarse respecto al programa/ Número total de beneficiarios entrevistados

6.3 ¿Cómo se pueden presentar quejas, denuncias o sugerencias? (Entrevistador: Realice la pregunta abierta y marque 1 en cada opción que conteste el entrevistado) a. Personalmente _____| b. Teléfono _____| c. Fax/internet _____|



82

d. Carta/Oficio _____| e. Buzón _____| f. No contestó _____|

Para analizar la información se define que una persona sabe cómo expresarse respecto al programa si contestó que si sabe y menciona al menos una opción entre “a” y “e” correctamente El evaluador obtendrá: Número de entrevistados que saben cómo expresarse respecto al programa V6 = Beneficiarios que saben cómo expresarse respecto al programa = Número de entrevistados que saben cómo expresarse respecto al programa/ Número total de beneficiarios entrevistados

El último bloque de preguntas deberá aparecer en el análisis de contraloría social pero no forman parte del índice. 11. ¿Qué es contraloría social? _____|

a. Participación de los beneficiarios en el cuidado de los recursos/obras/proyectos b. Supervisar/revisar/vigilar los apoyos/proyectos del programa c. Vigilar que el dinero/recursos se manejen adecuadamente d. Comité/personas que vigilan e. Presentar quejas y denuncias f. Participar en asambleas g. Una oficina/organismo h. Otra. Explique:_______________________ i. No sabe

La contraloría social es el ejercicio de los derechos ciudadanos de toda democracia, para vigilar y exigir cuentas sobre la actividad pública y el manejo de los recursos. Si el entrevistado contestó b o c se considera que sabe qué es contraloría social. El evaluador analizará: Número de entrevistados que saben que es contraloría social V7= Beneficiarios que saben que es contraloría = Número de entrevistados que saben que es contraloría social/ Número total de beneficiarios entrevistados

12. ¿Existe una comisión/comité/consejo/figura (vocal) de Contraloría Social? (Entrevistador: Anote 1 si, o 2 No) _____| 12.1 ¿Quiénes participan en el comisión/comité/consejo/ de Contraloría Social? (Entrevistador: Realice la pregunta abierta y marque 1 en cada opción que conteste el entrevistado)



83

(Para cada programa se debe revisar en las reglas de operación las posibles opciones y enlistarlas) a. La gente de la comunidad _____| b. Presidente municipal _____| c. La Contraloría del gobierno del estado _____| d. La SEDESOL _____| e. Otro Explique:_______________________ _____| f. No sabe _____| 12.2. ¿Sabe qué actividades realiza la comisión/vocal de contraloría social? (Para cada programa se debe revisar en las reglas de operación las posibles opciones y enlistarlas) a. Vigilar obras y recursos _____| b. Convocar y organizar asambleas _____| c. Proporcionar a la comunidad información de las obras _____| d. Promover la contraloría social _____| e. Representar a la comunidad _____| f. Tramitar papelería _____| g. Organizar faenas _____| h. Otro Explique:_______________________ _____| i. No sabe _____| 13. En su opinión, la información que se proporciona acerca de Contraloría Social ¿qué tanto contribuye a incrementar la participación de la comunidad? _____|

a. Mucho b. Poco c. Nada

SECCIÓN 2. Metodología para integrar el ICST en el Programa de Desarrollo Local En la sección en la que se analiza la información de contraloría social y transparencia el evaluador deberá calculará a partir de las encuestas las siguientes variables descritas en la sección anterior denominadas B Y V para la integración de los índices de contraloría social y transparencia (ICTS). Las variables B siguen la metodología de la SFP. Las variables V profundizan en el análisis. Se integrarán dos índices de contraloría social y transparencia, el primero es un índice duro que replica la metodología de la SFP y es suficiente saber si el beneficiario conoce los temas, pero no es necesario evaluar que los conozca (ICSTd); el segundo es un índice profundo que evalúa el conocimiento de los temas (ICSTp). Para calcular el ICSTd se obtiene un promedio simple de las variables B y este promedio se multiplica por 100, para tener un porcentaje promedio de respuestas



84

afirmativas a las preguntas de interés. Es decir, todas las preguntas reciben el mismo peso o tratamiento en este índice. Para calcular el ICSTp se procederá de tres formas. La primera, ICSTp1, da igual peso a las variables V1 a V4, es decir, evalúa el conocimiento pero sigue los mismos cálculos que ICSTd. La segunda, ICSTp2, incluye sólo las preguntas comunes a todos los programas en su forma profunda (V1 a V6) es decir, pero evaluando el conocimiento.. La tercera, ICSTp3, da igual peso a estar informado y a expresarse respecto al programa, es decir sigue un procedimiento de cálculo distinto. El ICSTd se calcula sumando los valores de B1, B2, B3 y B4. El resultado de la suma se divide entre el número de variables B esto es entre cuatro. Y el resultado de la división se multiplica por 100. Es decir:

ICSTd =

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛∑4

4

1

B x 100

El ICSTp1 se calcula sumando los valores de V1, V2, V3 y V4. El resultado de la suma se divide entre el número de variables V esto es entre 4. Y el resultado de la división se multiplica por 100. Es decir:

ICSTp1 =

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛∑4

4

1V

x 100

El ICSTp2 se calcula sumando los valores de V1, V2, V3, V4, V5 y V6. El resultado de la suma se divide entre seis. Y el resultado de la división se multiplica por 100. El ICSTp2 por su construcción es comparable entre programas, pues no incluye preguntas específicas. Es decir:

ICSTp2 =

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛∑6

6

1V

x 100

El ICSTp3 se calcula en tres partes. En la primera parte sume los valores de V1, V2, V3 y V4. El resultado de la suma se divide entre cuatro. Para obtener la segunda parte sume los valores de V5 y V6. El resultado de la suma se divide entre 2. En la tercera parte, sume los resultados de las dos partes, divida entre 2 y multiplique por 100. Es decir:



85

ICSTp3= 100*2

24

6

5

4

1

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛

+

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛ ∑∑ VV

Este índice también es comparable entre programas pero da igual peso a conocer la información del programa y a saber utilizarla para expresarse al respecto. Finalmente, el evaluador deberá analizar los valores de cada ICST respecto al ideal que sería 100, es decir el 100 por ciento de los beneficiarios bien informados y que sabe como expresarse respecto al programa. Es decir todos los beneficiarios con conocimientos suficientes para el ejercicio de los derechos ciudadanos de toda democracia, para vigilar y exigir cuentas sobre la actividad pública y el manejo de los recursos. Todos los beneficiarios con capacidad de analizar, verificar y juzgar con su reconocimiento o rechazo el actuar de su gobierno.



86

Matriz utilizada en el cálculo de indicadores

Apartado General Vivienda Centros Comunitarios de Aprendizaje (CCA) Desarrollo Comunitario

Sostenibilidad de las obras en general

Sostenibilidad de las obras de vivienda Sostenibilidad de los CCA´s

Sostenibilidad de las casas ejidales, mercados y comedores

% de obras de vivienda que existen y funcionan

% de CCA´s que existen y funcionan % de casas ejidales, mercados

y comedores que existen y funcionan Sostenibilidad

(Poderador * número de obras de vivienda que existen y funcionan)/(ponderador * número de obras de vivienda)

(Poderador * número de CCA´s que existen y funcionan)/(ponderador * número de CCA´s) (Poderador * número de casas

ejidales, mercados y comedores que existen y funcionan)/(ponderador * número de casas ejidales, mercados y comedores)



87


Características del apoyo recibido (p.25.1,25.2,25.3,25.4 y 25.5)

Características del local del CCA (p.26)

Características de la vivienda antes y después del apoyo(p.27)

Características del equipo del CCA (p.27)

Número de habitaciones de la vivienda antes y después del apoyo (p.28)

Estado físico

Características de la cocina antes y después del apoyo (p.29)

Disponibilidad de equipo y personal

Información socioeconómica y legal de los hogares beneficiados (p.26)

Características del personal del CCA (p.29)



88


Calidad

Servicios con los que contaba la vivienda antes y después del apoyo (p.30)

Servicios ofrecidos por el CCA (p.31)

Actividades realizadas por las casas ejidales, mercados y comedores (33.3)

Indice de hacinamiento

Utilización

Se calcula como el cociente entre el número de ocupantes de la vivienda y el número de cuartos que se utilizan para dormir (p. 26.1 y p.28.2)

Porcentaje de personas con acceso a computadoras (p.30)

Financiamiento a la operación

Pago de cuotas por acceso al servicio (p.28)

Mantenimiento Mantenimiento de las obras en general

Mantenimiento en las obras de vivienda (p.31.1)

Mantenimiento en las obras de CCA (p.32.1)

Mantenimiento en las obras de Desarrollo Comunitario (p.35.1)



89


Porcentaje de obras de vivienda que reciben mantenimiento

Porcentaje de CCA´s que reciben mantenimiento

Porcentaje de obras de Desarrollo Comunitario que reciben mantenimiento

(Poderador * número de obras de vivienda que reciben mantenimiento)/(ponderador * número de obras de vivienda)

(Poderador * número de CCA´s que reciben mantenimiento)/(ponderador * número de CCA´s)

(Poderador * número de obras de Desarrollo Comunitario que reciben mantenimiento)/(ponderador * número de obras de Desarrollo Comunitario)

Responsable de realizar el mantenimiento (p.31.2)





90


Actividades de mantenimiento realizadas (p.31.3)



Frecuencia del mantenimiento (p.31.4)



Reparaciones mayores (p.31.5) Reparaciones mayores (p.32.5) Reparaciones mayores (p.35.5)

Razones por las que no se realiza el mantenimiento (p.31.6)



Características de los grupos apoyados (p.4, 5 y 6)

Bienestar, la equidad, la igualdad y la no discriminación de las mujeres, jóvenes e indígenas

Sexo del jefe del hogar (p.26.6, 26.7 y 26.8)

Apartado Identidad jurídica y

capacitación Dotación de herramientas Infraestructura educativa electrificación (rural y urbano electrificación no

convencional



91

Sostenibilidad

Sostenibilidad de las obras educativas

Sostenibilidad de las obras de electrificación

Sostenibilidad de las obras de electrificación no convencionales

% de obras educativas que existen y funcionan

% de obras de electrificación que existen y funcionan

% de obras de electrificación no convenciionales que existen y funcionan

(Poderador * número de obras educativas que existen y funcionan)/(ponderador * número de obras educativas)

(Poderador * número de obras de electrificación que existen y funcionan)/(ponderador * número de obras de electrificación)

(Poderador * número de obras de electrificación no convencionales que existen y funcionan)/(ponderador * número de obras de electrificación no convencionales)

Estado físico

Características de las aulas de clase antes y después del apoyo (p.42)

Suficiencia en el número de postes, de transformadores y de hogares con acceso al servicio (p.50.2)

Suficiencia en el número de páneles, acumuladores y reguladores (p.56.2)



92

Características de los baños de la escuela antes y después del apoyo (p.43)

Aspectos desfavorables de las obras de electrificación (p.51) Aspectos desfavorables de las

obras de electrificación no convencionales (p.57)


Escolaridad del personal encargado de realizar trámites y de capacitar (p.36)

Características del personal y del equipo de la escuela (p.44)

Calidad Tipo de trámites y servicios realizados (p.37)

Actividades realizadas y beneficios generados (p.40 y 41)

Acceso a servicios adicionales en la escuela (p.45)

Servicios de electrificación de las obras (p.52)

Servicios de electrificación de las obras no convencionales (p.58)

Utilización

Porcentaje de personas atendidas en trámites y capacitaciones (p.38)

Número de alumnos en las aulas de clase antes y después del apoyo (p.46)

Porcentaje de usuarios en las obras de electrificación (p.53)

Porcentaje de usuarios en las obras de electrificación no convencionales (p.59)


Pago de cuotas por los trámites y servicios realizados (p.39)

Pago de cuotas por acceso al servicio (p.47) Costo del servicio (p.54)



93

Mantenimiento en las obras educativas (p.48.1)

Mantenimiento en las obras de electrificación (p.55.1)

Mantenimiento en las obras de electrificación no convencionales (p.60.1)

Porcentaje de obras educativas que reciben mantenimiento

Porcentaje de obras de electrificación que reciben mantenimiento

Porcentaje de obras de electrificación no convencionales que reciben mantenimiento

(Poderador * número de obras educativas que reciben mantenimiento)/(ponderador * número de obras educativas)

(Poderador * número de obras de electrificación que reciben mantenimiento)/(ponderador * número de obras de electrificación)

(Poderador * número de obras de electrificación no convencionales que reciben mantenimiento)/(ponderador * número de obras de electrificación no convencionales)

Mantenimiento






94







Reparaciones mayores (p.48.5) Reparaciones mayores (p.55.5) Reparaciones mayores (p.60.5)




Apartado Centros de salud Alumbrado público Construcción de calles Alcantarillado y agua potable

Sostenibilidad

Sostenibilidad de las obras de centros de salud

Sostenibilidad de las obras de alumbrado público

Sostenibilidad de las obras de construcción de calles

Sostenibilidad de las obras de alcantarillado y agua potable



95

% de obras de centros de salud existen y funcionan

% de obras de alumbrado público existen y funcionan

% de obras de construcción de calles que existen y funcionan

% de obras de alcantarillado y agua potable que existen y funcionan

(Poderador * número de obras de centros de salud que existen y funcionan)/(ponderador * número de obras de centros de salud)

(Poderador * número de obras de alumbrado público que existen y funcionan)/(ponderador * número de obras de alumbrado público)

(Poderador * número de obras de construcción de calles que existen y funcionan)/(ponderador * número de obras de construcción de calles)

(Poderador * número de obras de alcantarillado y agua potable que existen y funcionan)/(ponderador * número de obras de alcantarillado y agua potable)

Estado físico Características de los centros de salud, condiciones y suficiencia (p.61)

Suficiencia en el alumbrado público (p.69)

Características favorables y desfavorables de las calles apoyadas (p.72)

Suficiencia en el número de equipo de agua potable y alcantarillado (p.80)

Disponibilidad de equipo y personal Características del personal y

del equipo de las clínicas de salud (p.62)

Suficiencia en el equipo encargado de la limpieza de las calles (p.73)



96

Calidad

Uso del agua tratada y destino del drenaje (p.81)

Utilización Consultas diarias antes y después del apoyo(p.63)

Calles atendidas antes y después del apoyo (p.68)

Calles atendidas antes y después del apoyo (p.74)

Población atendida antes y después del apoyo (p.79)


Pago o cooperación por consulta (p.64)

Pago o cooperación por el alumbrado (p.70)

Pago o cooperación por la limpieza de las calles (p.75)

Mantenimiento en las obras de centros de salud (p.65.1)

Mantenimiento en las obras de alumbrado público (p.71.1)

Mantenimiento en las obras de construcción de calles (p.76.1)

Mantenimiento en las obras de alcantarillado y agua potable (p.82.1)

Mantenimiento

Porcentaje de obras de centros de salud que reciben mantenimiento

Porcentaje de obras de alumbrado público que reciben mantenimiento

Porcentaje de obras de construcción de calles que reciben mantenimiento

Porcentaje de obras de alcantarillado y agua potable que reciben mantenimiento



97

(Poderador * número de obras de centros de salud que reciben mantenimiento)/(ponderador * número de obras de centros de salud)

(Poderador * número de obras de alumbrado público que reciben mantenimiento)/(ponderador * número de obras de alumbrado público)

(Poderador * número de obras de construcción de calles que reciben mantenimiento)/(ponderador * número de obras de construcción de calles)

(Poderador * número de obras de alcantarillado y agua potable que reciben mantenimiento)/(ponderador * número de obras de alcantarillado y agua potable)













Reparaciones mayores (p.65.5) Reparaciones mayores (p.71.5) Reparaciones mayores (p.76.5) Reparaciones mayores (p.82.5)



98





Apartado Caminos rurales, carreteras alimentadoras y puentes Proyectos no agropecuarios Proyectos agrícolas Proyectos pecuarios

Sostenibilidad de las obras de caminos rurales, carreteras alimentadoras y puentes

Sostenibilidad de los proyectos productivos no agropecuarios

Sostenibilidad de los proyectos productivos agrícolas

Sostenibilidad de los proyectos productivos pecuarios

Sostenibilidad

% de obras de caminos rurales, carreteras alimentadoras y puentes que existen y funcionan

% de proyectos productivos no agropecuarios que existen y funcionan

% de proyectos productivos agrícolas que existen y funcionan

% de proyectos productivos pecuarios que existen y funcionan



99


(Poderador * número de obras de caminos rurales, carreteras alimentadoras y puentes que existen y funcionan)/(ponderador * número de obras de alcantarillado y agua potable)

(Poderador * número de proyectos productivos no agropecuarios que existen y funcionan)/(ponderador * número de obras de proyectos productivos no agropecuarios)

(Poderador * número de proyectos productivos agrícolas que existen y funcionan)/(ponderador * número de obras de proyectos productivos agrícolas)

(Poderador * número de proyectos productivos pecuarios que existen y funcionan)/(ponderador * número de obras de proyectos productivos pecuarios)

Características favorables y desfavorables de los caminos, carreteras alimentadoras y puentes (p.83,84 y 85)

Características del apoyo recibido (p.25.1, 25.2 y 26

Características del apoyo recibido (p.25.1, 25.2 y 26

Características del apoyo recibido (p.25.1, 25.2 y 26 Estado físico

Situación del proyecto en que se aplicó el apoyo (p.28)





100


Situación de las ventas antes y después del apoyo (p.29)

Situación de los cultivos antes y después del apoyo (p.33 y 34)

Situación del proyecto antes y después del apoyo (p.41)

Impacto del apoyo en los costos de producción (p.30)




Calidad

Impacto del apoyo en la creación de jornales (empleo) (p.31)



Utilización Números de vehículos que circulaban antes y después del apoyo (p.86)

Situación actual del apoyo (p.27)




pago de alguna cuota por acceso al servicio (p.88)



101


Mantenimiento en las obras de caminos rurales, carreteras alimentadoras y puentes (p.89.1)

Mantenimiento en proyectos productivos no agropecuarios (p.49)

Mantenimiento en proyectos productivos agrícolas (p.49)

Mantenimiento en proyectos productivos pecuarios (p.49)

Porcentaje de obras de caminos rurales, carreteras alimentadoras y puentes que reciben mantenimiento

Porcentaje de proyectos productivos no agropecuarios que después de recibir el apoyo la organización continúa vigente (p.49.3)

Porcentaje de proyectos productivos agrícolas que después de recibir el apoyo la organización continúa vigente (p.49.3)

Porcentaje de proyectos productivos pecuarios que después de recibir el apoyo la organización continúa vigente (p.49.3)

Mantenimiento

(Poderador * número de obras de caminos rurales, carreteras alimentadoras y puentes que reciben mantenimiento)/(ponderador * número de obras de caminos rurales, carreteras alimentadoras y puentes)

(Poderador * número de proyectos productivos que después de recibir el apoyo continúan vigentes)/(ponderador * número de proyectos productivos no agropecuarios)

(Poderador * número de proyectos productivos que después de recibir el apoyo continúan vigentes)/(ponderador * número de proyectos productivos agrícolas)

(Poderador * número de proyectos productivos que después de recibir el apoyo continúan vigentes)/(ponderador * número de proyectos productivos pecuarios)



102





Reparaciones mayores (p.89.5)





Bienestar, la equidad, la igualdad y la no discriminación de las mujeres, jóvenes e indígenas

Información socioeconómica de los beneficiarios (p.9,10,11,12 y 13)



Informe metodológico de la Evaluación Externa 2006 … · La metodología del Marco Lógico ......

Documents

Transcript of Informe metodológico de la Evaluación Externa 2006 … · La metodología del Marco Lógico ......