Evaluación de la Estrategia de Microrregiones · En su diseño y operación, la Estrategia combina...

Calle del Puente 222 Colonia Ejidos de Huipulco México, D.F. C.P. 14380

Evaluación de la Estrategia de Microrregiones

Reporte metodológico (versión final)

Coordinador general de la evaluación Jorge Mario Soto Romero

Coordinador técnico

José Carlos Ramírez Sánchez

Responsable del Reporte de diseño Jorge Mario Soto Romero

Responsable del Reporte de operación

Eduardo Zelaya de la Parra

Responsable del Reporte de impacto Andrés Zamudio Carrillo

Responsable del Reporte de estudios de caso

Jorge Silva Riquer

Colaboradores para la elaboración del Reporte metodológico Fernando Butler Silva

Omar de Jesús Ceballos Barragán Jorge Alberto Jiménez Ruiz

Juan Eduardo Lozano Ortega Enrique Eliseo Minor Campa

Sergio Iván Velarde Villalobos Andrés Zamudio Carrillo

Teléfono: 5483-2230 Fax: 5671-8121 Correo-e: [email protected]

Centro de Estudios EstratégicosCampus Ciudad de México


Calle del Puente 222 Colonia Ejidos de Huipulco México, D.F. C.P. 14380 Teléfono: 5483-2230 Fax: 5671-8121 Correo-e: [email protected]

3

Tabla de contenidos

1. Diseño general de la evaluación............................................................................................... 4 1.1. Descripción de la Estrategia de Microrregiones............................................................... 4 1.2. Objetivos y requerimientos de la evaluación..................................................................... 4 1.3. Actividades previas para la definición de la metodología de la evaluación ..................... 5

1.3.1. Reuniones de trabajo ................................................................................................. 5 1.3.2. Revisión de los documentos de diseño y operación.................................................. 5 1.3.3. Conociendo el terreno: la investigación exploratoria en campo ............................... 7 1.3.4. La Matriz de Marco Lógico ...................................................................................... 8

1.4. Preguntas, variables e indicadores de la evaluación ........................................................ 9 1.4.1 Preguntas principales .............................................................................................. 11 1.4.2 Variables e indicadores principales......................................................................... 12

1.5. Estrategia metodológica y características de la evaluación ........................................... 15 1.5.1 Investigación evaluativa mixta: métodos cuantitativos y cualitativos .................... 15 1.5.2 Enfoque cuasi-experimental.................................................................................... 16 1.5.3 Estudios de caso ...................................................................................................... 17

2. Metodologías específicas para la evaluación ........................................................................ 19 2.1 Metodología para la evaluación de diseño...................................................................... 19

2.1.1 Análisis de consistencia interna y congruencia lógica. ........................................... 19 2.1.2 Análisis del modelo conceptual de la EM............................................................... 19 2.1.3 Modelos teóricos y evidencias empíricas que sustentan a la EM y modelos teóricos y experiencias alternativas a la EM .......................................................................................... 26 2.1.4 Cambio y continuidad: la EM en la perspectiva histórica....................................... 28

2.2 Metodología para la evaluación de operación ................................................................ 31 2.2.1 Evaluación de la coordinación institucional............................................................ 32 2.2.2 Evaluación de la participación comunitaria ............................................................ 37 2.2.3 Evaluación de la sustentabilidad de proyectos y acciones. ..................................... 39

2.3 Metodología para la evaluación de impacto ................................................................... 44 2.3.1 Impactos a nivel de municipios............................................................................... 44 2.3.2 Estimación de impacto a nivel de localidades con datos de censo y conteo ........... 50 2.3.3 Estimación de impacto a nivel de localidades con encuestas propias ..................... 66

3. Técnicas e instrumentos utilizados en la evaluación. .......................................................... 71 3.1 Herramientas cuantitativas.............................................................................................. 71

3.1.1 Diseño metodológico para la encuesta en hogares beneficiarios ............................ 71 3.1.2 Encuestas de proyectos y beneficiarios de elaboración propia. .............................. 72

3.2 Herramientas cualitativas................................................................................................ 80 3.2.1 Entrevistas semi-estructuradas y a profundidad...................................................... 82 3.2.2 Grupos de enfoque .................................................................................................. 88 3.2.3 Observación en sitio................................................................................................ 93 3.2.4 Análisis documental ................................................................................................ 97

3.3 Estudios de caso .............................................................................................................. 97 3.3.1 Investigación etnográfica para elaborar estudios de caso ....................................... 98 3.3.2 Metodología ............................................................................................................ 99 3.3.3 Criterios para la selección de los casos ................................................................. 102

4. Bibliografía básica ................................................................................................................ 104




4

1. Diseño general de la evaluación

1.1. Descripción de la Estrategia de Microrregiones La Estrategia de Microrregiones (EM) ha sido uno de los principales instrumentos de la política de desarrollo social en México, que tuvo como fin mejorar las condiciones estructurales de marginación en los municipios del país con mayores rezagos. La EM se propuso establecer y consolidar un piso básico de infraestructura, servicios y capital social que promueva el desarrollo integral de la población rural marginada, a través de la concurrencia de programas y políticas públicas. En su diseño y operación, la Estrategia combina los enfoques de coordinación interinstitucional, participación social y convergencia territorial. Por un lado, se ha buscado sumar e impulsar los esfuerzos de los tres niveles de gobierno, de las instituciones académicas, de la sociedad civil y de las propias comunidades, para la realización de proyectos y acciones de infraestructura, servicios sociales, promoción económica y organización comunitaria. Por otro lado, se busca concentrar las intervenciones en unidades geográficas prioritarias denominadas como microrregiones, que incluyen a los municipios de muy alta y alta marginación así como a los de marginación relativa y con población predominantemente indígena. Dentro de las microrregiones, las intervenciones a su vez se concentran en localidades consideradas como Centros Estratégicos Comunitarios (CEC), que presentan condiciones iniciales adecuadas y son de confluencia natural para otras más pequeñas y dispersas.

1.2. Objetivos y requerimientos de la evaluación La evaluación de la EM se propuso cumplir cabalmente con los objetivos y requerimientos establecidos en las bases de participación y los términos de referencia respectivos. Se buscó que la evaluación fuera un instrumento útil para la toma de decisiones, al identificar las fortalezas, debilidades y áreas de oportunidad de la EM y sugerir las medidas para consolidar o modificar dichas situaciones, facilitando así la adaptación de las intervenciones y mejorando sus resultados. La evaluación involucró el compromiso de ofrecer un panorama integral del funcionamiento de la EM y—de conformidad con lo establecido en las Bases de Participación, los Términos de Referencia y la Demanda Específica Sectorial respectivos—se abocó a las siguientes tareas principales:

i. Estudiar el diseño de la EM desde la perspectiva de la evidencia teórica y empírica existente sobre desarrollo local.

ii. Analizar en qué medida la EM ha promovido la coordinación institucional y la participación de los beneficiarios y otros actores claves en el proceso de desarrollo local; así como el grado de sostenibilidad física y operativa de las inversiones realizadas

iii. Evaluar en qué medida la EM ha contribuido a mejorar el bienestar de los hogares y promovido el capital territorial y el desarrollo local de las zonas de mayor marginación; también se analizará el efecto de la EM en los patrones migratorios dentro y fuera de las microrregiones, la dispersión poblacional y la confluencia hacia las comunidades CEC.




5

Además de las especificaciones contenidas en documentos antes citados, durante el desarrollo de los trabajos, el equipo evaluador del Tecnológico de Monterrey tomó en consideración los criterios, orientaciones y sugerencias de carácter más específico acordadas con el Consejo Nacional de Ciencia y Tecnología (CONACYT), la Dirección General de Evaluación y Monitoreo de Programas Sociales (DGMEPS) y la Unidad de Microrregiones de la Secretaría de Desarrollo Social (Sedesol). La evaluación comprendió tres etapas. La primera cubrió de mayo a diciembre de 2005, en la que se realizó la investigación exploratoria, y se detallaron las metodologías y técnicas específicas de cada apartado. Asimismo, se elaboraron los primeros esbozos de actividades para el levantamiento de información en campo así como las propias de la evaluación de diseño. La segunda etapa, que inicialmente estaba planteada para el periodo enero a junio de 2006 y se extendió hasta noviembre del mismo año1 se abocó principalmente al trabajo de campo de corte cuantitativo (encuestas) y cualitativo (estudios de caso), para los trabajos correspondientes a la evaluación de operación. En la última, de noviembre de 2006 a marzo de 2007, los trabajos se enfocaron fundamentalmente hacia la evaluación de impacto con base en datos censales, y a integrar las versiones finales de cada apartado que se incluyeron en el reporte final. Es importante resaltar que las fechas que se plantearon en el documento original, sufrieron modificaciones de acuerdo a la información y cuestiones logísticas de distinta naturaleza. Dichas modificaciones, fueron pactadas y acordadas con los organismos responsables.

1.3. Actividades previas para la definición de la metodología de la evaluación

1.3.1. Reuniones de trabajo A partir de la adjudicación de la evaluación, los integrantes del equipo del Tecnológico de Monterrey sostuvieron una serie de reuniones con los responsables del proyecto por parte de la DGEMPS y la Unidad de Microrregiones, así como con los miembros del equipo asesor integrado para apoyar técnicamente los trabajos. Estas reuniones sirvieron para especificar algunos aspectos contenidos en la demanda del proyecto, aclarar y enfatizar las expectativas por parte de Sedesol, así como para revisar y discutir diversos documentos que el equipo evaluador presentó como parte de los trabajos hacia la elaboración del presente reporte.

1.3.2. Revisión de los documentos de diseño y operación Desde el inicio de los trabajos, el equipo evaluador se abocó a revisar un conjunto amplio de documentos que establecen las principales características de diseño de la EM, que definía sus 1 Hubo retrasos en el desarrollo de esta etapa debido fundamentalmente a que no se pudo realizar el trabajo de campo en los tiempos originalmente establecidos para ello. La razón fundamental tiene que ver con la sugerencia que girara el Instituto Federal Electoral a las dependencias y entidades federales para que no se realizaran actividades en campo que pudieran considerarse como o confundirse con electorales o promocionales, pues justamente coincidió con el periodo electoral. En virtud de lo anterior, se decidió realizar el levantamiento hasta después de las elecciones de 2006, considerando un lapso un poco más amplio para que el trabajo no fuera afectado por la situación post-electoral. Adicionalmente, los datos de nuevo Censo de Población y Vivienda a nivel de localidad fueron entregados por el INEGI hasta finales del mes de octubre, en lugar del mes de mayo, que era la fecha originalmente planteada para ello.




6

formas de operación y especifican los avances y resultados de 2001 a la fecha. El propósito era entender mejor, desde una perspectiva explícita y formal, qué es, cómo funciona y qué ha logrado la EM, a efecto de poder establecer las preguntas a responder e hipótesis iniciales a probar por medio de la evaluación. El principal documento de diseño consultado fue el libro México desde sus microrregiones (SEDESOL 2004a). En el libro se presenta a la marginación rural crónica como el problema a resolver y el entendimiento básico del mismo a partir de la dispersión poblacional en vastos y frecuentemente agrestes territorios; con base en lo anterior, se plantea entonces una aproximación teórico-metodológica a partir de la convergencia territorial de las intervenciones en torno de los CEC, para promover el desarrollo tanto de estas localidades como de otras dentro de su área de influencia. Se expone también la importancia de que las comunidades se empoderen y se apoderen de su propio desarrollo, así como la necesidad de articular los esfuerzos de los tres niveles de gobierno en forma horizontal y vertical, justificando así los enfoques de participación social amplia y coordinación institucional descentralizada que caracterizan a la EM. Además, si bien se reconoce que la lucha contra la marginación rural incluía un espectro más extenso, en el documento se propusieron una serie de acciones y proyectos prioritarios denominados banderas blancas, a través de las cuales se pretendió establecer y consolidar un piso básico de infraestructura y servicios. A lo largo del libro y especialmente al final, se narran diversas experiencias de la aplicación y funcionamiento de la EM en diversas regiones y localidades del país. Otros documentos internos relacionados con el diseño que el equipo evaluador consultó incluyeron el Modelo conceptual de la Estrategia de Micro Regiones (SEDESOL 2004b), y el portal de Internet de la EM.2 En lo referente al diseño operativo, el equipo evaluador revisó las Bases de Colaboración y Coordinación Intersecretarial, en sus ediciones establecidas en de 2001 y 2004 y publicadas en el Diario Oficial de la Federación en 2002 y 2005 respectivamente. Estos documentos fueron muy relevantes para evaluar los apartados de coordinación institucional y participación social, ya que definen los criterios y mecanismos a través de los cuales las diversas dependencias federales y los gobiernos estatales y municipales deberán articular sus esfuerzos, así como las formas y espacios para la participación de las comunidades y los sectores privado y académico en la estrategia. Además, en las Bases se identifican las microrregiones, los municipios y las localidades CEC consideradas dentro de la EM. Otro documento importante para el diseño operativo revisado por el equipo evaluador fue el Manual Microrregiones (Sedesol 2004c). Para efectos de poder apreciar mejor los resultados de la EM, se consultó el Sistema de Información de Banderas Blancas (SISBAB) para conocer las acciones bandera blanca en las localidades CEC y los avances de la EM en términos de la inversión, el alcance territorial, la tipología y población beneficiaria de las intervenciones, así como para tener una visión más clara de la información necesaria y disponible para evaluar el apartado de sostenibilidad de proyectos establecido en la evaluación. Es importante señalar que en un principio se propuso utilizar también la información del Registro de Acciones en las Microrregiones (RAM), sin embargo quedó descartada dado que sólo reportaban estadísticos sobre las inversiones y beneficiarios a

2 Página principal de la Estrategia Microrregiones en URL: http://www.microrregiones.gob.mx

http://www.microrregiones.gob.mx/




7

nivel de los municipios microrregión entre el año 2002 y 2005, haciendo imposible la comparación hacia dentro y fuera de las localidades por un lado, y las acciones hechas antes y después de las estrategia por el otro.

1.3.3. Conociendo el terreno: la investigación exploratoria en campo Como complemento de la revisión y análisis de los documentos y bases de datos principales de la EM, de finales de mayo a mediados de octubre el equipo evaluador realizó diversas visitas de campo exploratorias, a efecto de obtener una mejor y más completa apreciación sobre la operación real de la Estrategia de Microrregiones, con datos preliminares de observación y recopilación directa. De esta forma, se realizaron un total de 7 jornadas de trabajo dentro y fuera de las microrregiones, visitando un total de 11 municipios en los estados de Guerrero, Estado de México, Hidalgo, Guerrero, Michoacán y Yucatán, contando siempre con el apoyo y/o acompañamiento de personal de nivel central y de las delegaciones de Sedesol. Los estados, microrregiones, municipios y localidades fueron elegidos considerando la variabilidad de condiciones relevantes y la conveniencia logística. Durante estas jornadas, las unidades básicas de observación fueron los proyectos y acciones en localidades CEC y sus contrapartes fuera de las microrregiones, lo cual incluyó no sólo verlos físicamente sino también seguir los procesos en torno de su realización, desde el nivel de la comunidad hasta el de la autoridad estatal. Las herramientas principales para recolección de datos fueron las entrevistas semiestructuradas con actores clave, la observación en sitio no participante y la revisión de documentos además de la ya citada base de datos del SISBAB.3

Así, se tuvo contacto directo con diversos tipos de actores relevantes para la operación de los proyectos y acciones, tanto de los tres niveles de gobierno como de la comunidad, incluyendo los siguientes:

• Funcionarios de las delegaciones estatales y residentes en las microrregiones de SEDESOL;

• funcionarios de SEDESOL del gobierno estatal o la instancia equivalente; • funcionarios municipales, incluyendo presidentes municipales, regidores y directores de

obras y servicios públicos o equivalentes; • operadores o responsables de los proyectos, tales como directores de escuela, encargado

de los Centros Comunitarios de Aprendizaje (CCA), enfermeras de los centro de salud, y residentes u operadores para las obras de infraestructura, entre otros;

• líderes de la comunidad; y • jefes de familia y amas de casa de hogares beneficiarios.

3 Las metodologías básicas para el tratamiento y estudio de las observaciones fueron el seguimiento de procesos y el análisis situacional.




8

Los datos se recabaron de acuerdo a guías específicas4, para propiciar una mayor integralidad de las observaciones y facilitar las comparaciones entre municipios y localidades así como entre los proyectos y acciones. Los procesos básicos que se exploraron fueron los siguientes:

• Coordinación institucional vertical y horizontal para la identificación, propuesta, selección, implementación y seguimiento de proyectos;

• participación de la comunidad en la planeación y ejecución de proyectos, y satisfacción acerca de los mismos;

• cantidad, inversión, cobertura, calidad, mantenimiento, utilización y sustentabilidad de los proyectos; e

• impacto de los proyectos de infraestructura y servicios públicos, e importancia relativa, tanto para las localidades CEC y de influencia como entre distintos tipos de proyectos.

El trabajo exploratorio sirvió, en efecto, para informar el diseño metodológico de la evaluación. A pesar de ser limitada, esta inmersión de campo en la realidad cotidiana de la EM ayudó evidentemente a mejorar las preguntas e hipótesis de investigación, así como a mejorar la combinación de los elementos cualitativos y cuantitativos para estructurar los estudios de caso. La exploración sirvió también para valorar y confirmar la evaluabilidad de las variables e indicadores básicos a captar por medio del trabajo en campo (encuestas, grupos de enfoque, entrevistas profundas, etc.), así como para identificar y valorar los posibles problemas operativos, logísticos y de información para el trabajo de campo, a manera de adecuar las actividades e instrumentos correspondientes.

1.3.4. La Matriz de Marco Lógico La definición de las preguntas, variables e indicadores de la evaluación—el “qué”— fue un paso fundamental para establecer la metodología—el “cómo”. En principio, todas las intervenciones sociales deben tener una forma de medir lo que están haciendo y logrando, un mecanismo básico para poder comparar su desempeño real frente al esperado. La EM, en efecto, cuenta con un sistema de indicadores para registrar los avances en la inversión y la acción pública contra la marginación rural en las microrregiones; sin embargo, dicho sistema estuvo diseñado para el monitoreo de la misma y no propiamente para su evaluación.5 Además, el alcance de los objetivos contenidos así como la rigurosidad y precisión de algunos requerimientos técnicos específicos, hacen necesario que se utilice un conjunto de indicadores que debe ser muy amplio en número pero al mismo muy claro, preciso y correcto en la definición de cada uno de ellos.

4 Todas y cada una de ellas se pueden consultar el Anexo metodológico. 5 En sentido estricto, los sistemas de información de la EM—i.e., el Registro de Acciones en las Microrregiones (RAM) y el Sistema de Información no permite evaluar los impactos o fines ni los resultados o propósito de la EM, sino solamente los productos o componentes—entendiendo por ellos los bienes y servicios sociales que se entregan, y que en este caso se refieren a las acciones y proyectos de los diversos programas que forman parte de la estrategia y se ejecutan en las localidades CEC y en sus áreas de influencia.




9

En función de lo anterior, la DGEMPS, la Unidad de Microrregiones y el equipo evaluador, decidieron que se hiciera una Matriz de Marco Lógico6 para la EM. En la matriz se especificó una jerarquía de objetivos para cada intervención en los niveles de fines, propósito, componentes y actividades, así como una serie de indicadores, medios de verificación y supuestos de sustentabilidad a través de los cuales se puede apreciar con certeza el logro o no de dichos objetivos.7 La realización de la Matriz de Marco Lógico se propuso con el efecto de ayudar en la verificación tanto la consistencia lógica, solidez teórica y congruencia normativa del esquema de intervención, así como su aplicabilidad en el contexto actual de las localidades y población objetivo. Cabe mencionar que durante la evaluación de diseño la Matriz de Marco Lógico fue progresivamente mejorando hasta alcanzar su forma definitiva, tal como se presenta a continuación. La matriz se desarrolló a partir de una propuesta inicial por parte del equipo evaluador, que fue discutida y mejorada a través de sucesivas rondas de discusión presencial y a distancia con los responsables de la evaluación por parte de la DGEMPS, del equipo de asesores de la evaluación, así como del personal directivo de la Unidad de Microrregiones.

1.4. Preguntas, variables e indicadores de la evaluación Adicionales al trabajo de construcción de metodología y la generación del Marco Lógico de la EM, se desarrollaron preguntas, variables e indicadores para las evaluaciones de operación e impacto—y en menor medida para la de diseño—mismas que serán a su vez la base para la especificación de los diversos modelos e instrumentos por aplicar. El conjunto de actividades previas para la definición de la metodología y en particular la generación del marco lógico preliminar, cumplieron con los objetivos específicos de esta etapa del trabajo. Además, sus resultados han sido útiles para desarrollar las preguntas, variables e indicadores principales para las evaluaciones de operación e impacto—y en menor medida para la de diseño—mismas que serán a su vez la base para la especificación de los diversos modelos e instrumentos por aplicar. Cabe señalar que no todas las variables e indicadores que aparecen en la matriz fueron considerados para los fines de la evaluación, muchos de ellos por tanto quedando fuera. Entre las principales razones que justificaron este proceder se encontró que:

1. Algunos de los posibles impactos y resultados atribuibles a la EM estuvieron sujetos a efectos de nivel (masas críticas), de aglomeración (concurrencia) o maduración (tiempo transcurrido) de las intervenciones, lo que hace muy difícil capturar y aislar variaciones significativas en las variables e indicadores relevantes

6 Esta herramienta facilitó el proceso de conceptualización, diseño y evaluación de las estrategias, programas y proyectos sociales. La Matriz de Marco Lógico ha sido adoptada por las principales agencias e instituciones de desarrollo, pues ha demostrado ser uno de los instrumentos más sólidos para este tipo de análisis. 7 Para mayor detalle respecto de la Matriz de Marco Lógico, véase: BID (1997); Camacho et al (2001) y DIPRES, 2001.




10

2. Algunas de las fuentes de información disponibles resultan inadecuadas, insuficientes

o no están actualizadas como para reflejar con validez y exactitud los posibles cambios en los valores de las variables e indicadores de interés.

3. Una limitación de orden práctico fue la necesidad de establecer prioridades de

investigación, considerando tanto la importancia relativa de los temas a explorar como las restricciones temporales y de recursos de la evaluación.

Un ejemplo que refleja las limitaciones a las que está sujeta la evaluación es el de la dinámica demográfica territorial. Existen razones de orden lógico y teórico para esperar impactos de la EM en términos de dispersión poblacional, aislamiento y emigración nacional e internacional, ya que, asumiendo que la EM efectivamente lograra mejorar las condiciones estructurales de marginación y establecer un piso básico de infraestructura, servicios y capital social en las localidades CEC, podría haber un efecto gradual y de largo plazo sobre la decisión de movilidad territorial de los hogares y sus miembros. Sin embargo, sería muy difícil poder apreciar y aislar adecuadamente estos efectos en el periodo de esta evaluación, que es—en el mejor de los casos y considerando sólo a municipios y localidades donde la EM empezó a operar de forma inmediata—menor a 4 años. Por otro lado, dado lo pequeño de las posibles variaciones observables durante el periodo, sería necesario contar con bases de datos muy amplias y con información muy precisa sobre las variables e indicadores de movilidad territorial, que fueran representativos a nivel de los municipios y localidades. Desafortunadamente, los censos y conteos de población y vivienda no contienen las preguntas que permitirían hacer inferencias descriptivas y causales válidas sobre la movilidad territorial de los hogares y sus miembros, al menos en los términos pertinentes para esta evaluación. Así, a pesar de que la Demanda Específica Sectorial para el proyecto indicaba explícitamente analizar los cambios en indicadores de migración y dispersión poblacional entre 1995 y 2005 con base en los censos y conteos, en una consideración conjunta del personal de la DGEMPS, la Unidad de Microrregiones, el equipo asesor y el equipo evaluador, se decidió que en el presente trabajo no se estimaran cuantitativamente estos impactos a nivel de los municipios y las localidades. Las valoraciones correspondientes fueron fundamentalmente de orden cualitativo a partir del trabajo de campo de la evaluación, nutridos con datos de las encuestas propias, de fuentes secundarias y de otras investigaciones y trabajos académicos. De esta forma, la evaluación consideró, dentro del universo de posibles preguntas, de variables e indicadores de evaluación, sólo el conjunto de aquéllas que fueron más relevantes en términos de los fines y propósito de la EM, y que pudieran derivarse o relacionarse lógicamente con sus intervenciones, y que es factible identificar y valorar adecuadamente a partir de la información disponible y las metodologías cuantitativas y cualitativas a emplear. Dichas preguntas, variables e indicadores se especifican a continuación.




11

1.4.1 Preguntas principales

1.4.1.1 Nivel de fines (impacto)

• ¿Cuál es la contribución de la EM al mejoramiento de las condiciones estructurales de marginación en los municipios que conforman las microrregiones?

1.4.1.2 Nivel de propósito (resultados)

• ¿Cuál es la contribución de la EM al establecimiento un piso básico de infraestructura,

servicios y capital social en las localidades CEC? ¿Cómo y en qué medida dicho piso básico atribuible a la EM ha promovido el desarrollo integral en las localidades CEC?

• ¿En qué medida la EM ha mejorado el acceso a la infraestructura y servicios por parte de las localidades en el área de influencia de los CEC? ¿Cómo y en qué medida esto a su vez ha promovido el desarrollo de dichas localidades?

1.4.1.3 Nivel de componentes (productos)

1.4.1.3.1 Convergencia territorial

• ¿En qué medida la EM ha direccionado una mayor cantidad de proyectos, acciones e

inversiones de infraestructura, servicios y fomento económico hacia las microrregiones, y particularmente hacia las localidades CEC?

• ¿Cómo y en qué medida la EM ha contribuido a mejorar la calidad y sostenibilidad de dichos proyectos, acciones e inversiones?

1.4.1.3.2 Capital social

• ¿Cómo y en qué medida las comunidades se han apropiado de los proyectos y acciones de

la EM? • ¿Cómo y en qué medida la EM ha contribuido a que las comunidades se apoderen del

proceso de desarrollo local?

1.4.1.4 Nivel de actividades (acciones y procesos)

1.4.1.4.1 Planeación

• ¿Qué tan adecuados y pertinentes resultan los criterios para la selección de las microrregiones, las localidades CEC y las localidades de influencia? ¿Cómo y en qué medida fueron realmente utilizados dichos criterios?

• ¿Qué tan adecuados y pertinentes son los programas institucionales participantes en la EM, en función de los objetivos de la misma? ¿Qué tan adecuados y pertinentes son los proyectos y acciones “bandera blanca”?

1.4.1.4.2 Coordinación institucional




12

• ¿En qué medida la EM ha contribuido a que los diversos organismos y dependencias

federales hagan una planeación conjunta con enfoque territorial, para redireccionar proyectos y acciones de infraestructura, servicios y fomento económico hacia las microrregiones, y particularmente hacia las localidades CEC? ¿En qué medida se ha facilitado la gestión e implementación de dichos proyectos y acciones?

• ¿En qué medida la EM ha contribuido a que los tres niveles de gobierno (federal, estatal y municipal) hagan una planeación conjunta con enfoque territorial, para redireccionar proyectos y acciones de infraestructura, servicios y fomento económico hacia las microrregiones, y particularmente hacia las localidades CEC? ¿En qué medida se ha facilitado la gestión e implementación dichos proyectos y acciones?

1.4.1.4.3 Participación

• ¿Cómo y en qué medida han participado los hogares beneficiarios, las organizaciones

sociales y los liderazgos locales en la realización de proyectos y acciones de infraestructura, servicios y fomento económico?

1.4.1.4.4 Contexto

• ¿Cómo y en qué medida la heterogeneidad de condiciones políticas, económicas, sociales,

culturales, del medio físico y administrativas de los estados y municipios afectan la coordinación entre los tres niveles de gobierno para realizar proyectos y acciones en las microrregiones, y particularmente las localidades CEC

• ¿Cómo y en qué medida la heterogeneidad de condiciones políticas, económicas, sociales, culturales y del medio físico de las localidades afectan la participación de los hogares, las comunidades, las organizaciones de la sociedad civil, la iniciativa privada y las instituciones académicas en la realización de dichos proyectos y acciones?

1.4.2 Variables e indicadores principales

Para poder responder a las preguntas anteriores expuestas, en esta sección se listan una serie de variables e indicadores principales cuyos valores—ya sea de carácter cuantitativo o cualitativo—pudieron identificarse y medirse adecuadamente con base en la información disponible para la evaluación. La mayoría de dichas variables e indicadores son de uso común o de comprensión sencilla y no ameritan mayor explicación; en cambio, otros son menos conocidos y algunos incluso tendrán que ser diseñados especialmente para esta evaluación, debiendo desarrollarse posteriormente.

1.4.2.1 Nivel de fines (impacto)

• Marginación: índice absoluto de marginación, y componentes individuales (coberturas de agua, drenaje y servicio sanitario, piso de tierra y energía eléctrica).

1.4.2.2 Nivel de propósito (resultados)




13

• Rezago estructural: índice de rezago estructural (indicador principal de la evaluación en las localidades CEC).

• Accesibilidad: índice de accesibilidad (indicador principal de la evaluación en las localidades de influencia)

• Infraestructura básica: disponibilidad, cobertura y utilización agua potable, electricidad, drenaje y tratamiento de aguas residuales.

• Conectividad: índices de densidad de telefonía pública, de penetración de Internet público y de accesibilidad terrestre.

• Servicios esenciales: disponibilidad, cobertura y utilización de la educación básica, paquete básico de salud y abasto rural.

• Condiciones de las viviendas: cobertura de piso firme y letrinas. • Capital social: índices e indicadores cualitativos de colaboración y asociacionismo,

cultura y participación cívica, participación electoral y actitudes políticas, etc. • Activos y oportunidades económicas: índices de penetración financiera (ahorro y

préstamo bancario y popular) y de inversión productiva (proyectos públicos, privados y sociales).

1.4.2.3 Nivel de componentes (productos)

1.4.2.3.1 Convergencia territorial

• Cantidad, tipo, monto de gasto e inversión y beneficiarios directos de proyectos y

acciones de infraestructura y servicios en las localidades CEC. • Suficiencia técnica, operación, mantenimiento y satisfacción lograda de proyectos y

acciones de infraestructura y servicios en las localidades CEC. • Cantidad, tipo, monto de gasto e inversión y beneficiarios directos de proyectos y

acciones de fomento económico en las localidades CEC y de influencia. • Suficiencia técnica, rentabilidad y satisfacción lograda de proyectos y acciones de

fomento económico en las localidades CEC y de influencia.

1.4.2.3.2 Capital social • Conocimiento, control, aprovechamiento, percepción y actitudes de los hogares y las

comunidades respecto de los proyectos y acciones de infraestructura, servicios y fomento económico de la EM.

• Fortaleza de liderazgos, capacidad de gestión y acción colectiva, actitudes cívicas y participación política y electoral de las comunidades en las localidades CEC y de influencia, particularmente en relación con los procesos de desarrollo local.

1.4.2.4 Nivel de actividades (acciones y procesos)

1.4.2.4.1 Planeación:

• Adecuación, pertinencia y utilización de los criterios para la selección de las

microrregiones, las localidades CEC y las localidades de influencia.




14

• Adecuación y pertinencia de programas institucionales participantes en la EM. • Adecuación y pertinencia de proyectos y acciones “bandera blanca”.

1.4.2.4.2 Coordinación institucional

• Conocimiento y apropiación de los principios y funcionamiento de la EM por parte de los

distintos actores clave del gobierno federal. • Cumplimiento y seguimiento de compromisos de colaboración y coordinación

intersecretarial del gobierno federal. • Cantidad y monto de gasto e inversión en proyectos y acciones de infraestructura,

servicios, fomento económico y otras relacionadas de programas federales en las microrregiones y en las localidades CEC.

• Tiempos y condiciones para la identificación, selección, diseño, dictaminación técnica, autorización, ejecución, operación, mantenimiento y monitoreo de proyectos y acciones.

• Conocimiento y apropiación de los principios y funcionamiento de la EM por parte de los distintos actores clave de los gobiernos estatales y municipales.

• Cumplimiento y seguimiento de compromisos de colaboración y coordinación entre los tres niveles de gobierno.

• Cantidad y monto de gasto e inversión en proyectos y acciones de infraestructura, servicios, fomento económico y otras relacionadas estatales y municipales en las microrregiones y en las localidades CEC.

• Tiempos y condiciones para la identificación, selección, diseño, dictaminación técnica, autorización, ejecución, operación, mantenimiento y monitoreo de proyectos y acciones.

1.4.2.4.3 Participación

• Nivel, tipo y calidad de la participación de los hogares beneficiarios, organizaciones

sociales y liderazgos locales en asambleas y reuniones para la planeación y seguimiento de proyectos y acciones.

• Nivel, tipo y calidad de la corresponsabilidad y aportaciones de los hogares, organizaciones y liderazgos para la implementación, mantenimiento y contraloría social de proyectos y acciones.

• Satisfacción y percepción de los hogares, organizaciones y liderazgos respecto de su participación en la realización de proyectos y acciones.

1.4.2.4.4 Contexto

• Partido político, nivel de marginación, vocación económica, configuración étnica,

dinámicas migratorias, características del medio físico y capacidad gubernamental de los estados y municipios.

• Nivel de marginación, vocación económica, configuración étnica, características del medio físico, capital social, actitudes cívicas y políticas y capacidad de acción colectiva de las comunidades en las localidades CEC y las de influencia.




15

1.5. Estrategia metodológica y características de la evaluación La estrategia metodológica de la evaluación consideró tres elementos clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo largo del estudio, y la utilización de estudios de caso. Las características y relevancia de estos elementos de diseño se desarrollan a continuación.

1.5.1 Investigación evaluativa mixta: métodos cuantitativos y cualitativos Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar, es necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno de ellos. El propósito fue asegurar que podamos obtener y examinar apropiadamente todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se ubica dentro las evaluaciones de métodos mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y adecuada para evaluar a la Estrategia Microrregiones.8 Este tipo de investigación evaluativa permitió integrar no sólo aquellos datos y observaciones cuantitativas comúnmente utilizadas en la evaluación de programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y observaciones cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor y describir en profundidad dichos fenómenos.9

En la evaluación de la EM, los análisis a partir de datos y técnicas tanto cualitativas como cuantitativas se diseñaron con el mismo rigor lógico y metodológico buscando maximizar su validez para hacer inferencias descriptivas y causales en torno de los fenómenos, variables y condiciones que se busca apreciar y entender. Las dos grandes vertientes metodológicas que se emplearon para las evaluaciones de impacto y operación fueron la cuantitativa (más adecuada para observaciones relativamente abundantes o “números grandes”, orientada principalmente hacia la medición y valoración de la acción social y sus efectos), y la cualitativa con el fin de tener observaciones relativamente escasas o “números pequeños”. Segundo, derivado de lo anterior, estas vertientes se encuentran en los extremos opuestos del compromiso—en el sentido de trade-off—que cualquier investigación con tiempo y recursos limitados se ve obligada a que hacer en cuanto a amplitud y profundidad de las observaciones. Tercero, la vertiente cuantitativa se, mientras que la cualitativa sirvió para describir los contextos en que estos ocurren y entender los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y el rediseño de las intervenciones sociales.

8 Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling and Sharp (1997). En el caso mexicano, uno de los ejemplos más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Educación, Salud y Alimentación (Progresa) y del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas. 9 Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).




16

En lo que toca particularmente a la evaluación de la EM, se pretendió que las metodologías cuantitativas y cualitativas no sólo se complementaran funcionalmente hablando—en el sentido de que lo que no se hiciera o lograra con unas se consiguiera con las otras—sino que además se integraran—en el sentido de que lo que se logre o consiga con unas informe, extienda y ayude a mejorar lo obtenido a través de las otras. Dicha complementación e integración se hará de manera formal y explícita tanto en los estudios de caso como en los modelos estadísticos, en las formas específicas que se describen más ampliamente en secciones subsecuentes.

1.5.2 Enfoque cuasi-experimental Otra característica fundamental de la estrategia metodológica es que, en su conjunto y especialmente respecto de los principales temas de la operación e impacto de la EM, la evaluación implementó un enfoque cuasi-experimental.10 Con este enfoque, no sólo se estimaron y apreciaron los valores de las variables de impacto y las condiciones de operación relevantes en presencia de la EM, sino también compararlos con los que se hubieran dado en ausencia de la misma—esto es, el escenario contrafactual – y que en la evaluación se conocen mejor por Quasi-CEC o Q-CEC y sus quasi-Áreas de Influencia o Q-INF. La intención fue la de identificar y apreciar mejor las diferencias que se pueden atribuir propiamente a la EM, y a reserva de que se especifiquen en otros capítulos de este documento, los modelos cuasi-experimentales utilizados aquí implementados fueron las series temporales y los grupos de comparación no equivalentes.11

Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis de operación o procesos con base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la que proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de datos en particular, y dicha lógica simplemente debe ser explicada y formalizada de manera clara y precisa.12 Los estudios de caso—que implicaron sustancial trabajo cualitativo— fueron diseñaron con un enfoque comparativo (incluyendo casos de tratamiento y casos de control) así también como el procurar que la lógica y procedimientos de selección de los casos replicase en lo posible lo que se esperaría en las vertientes cuantitativas de la evaluación. En este caso en particular, siempre persistió el problema de la validez externa y la capacidad de generalizar hacia toda la EM a partir

10 Sobre detalles sobre el enfoque cuasi-experimental en la investigación social, véase: Trochim (1986). Para ejemplos aplicados a la evaluación de programas sociales, véase: IFPRI (2000); y Jalan and Ravallion (1998 y 2000). Para una revisión breve sobre los modelos cuasi-experimentales en la evaluación de programas y proyectos, véase: Baker (2000, pp. 3-7); y Cohen y Franco (1992, pp. 132-134). Para una mayor elaboración, véase: Glazerman, Levy & Myers (2002). 11 Aquí se aplicaron además técnicas tales como las regresiones de discontinuidad (regression discontinuity design), las de doble diferencia (difference-in-difference), y el apareamiento por propensión (propensity score matching). Las fuentes de información principales para este análisis fueron los censos y conteos de población y vivienda, los registros administrativos y de inversión así como las diversas encuestas propias a levantar especialmente para la evaluación. 12 Como soporte de esta argumentación, véase: Sherman and Strang (2004, p. 5); y King, Keohane & Verba (1994, pp. 3-7).




17

de los resultados de unos pocos estudios de caso, situación que pudo superarse una vez obtenido el diagnóstico de la situación en municipios y localidades, tanto para aquellas donde aplicó la EM como en los que no. La utilización del enfoque cuasi-experimental como se propuso para la evaluación de la EM es consistente con las tendencias contemporáneas en la investigación social, y especialmente en la evaluación de programas y proyectos.13 Partiendo de un diseño metodológico y de técnicas apropiadas, fue posible aplicar el enfoque cuasi-experimental más ampliamente a lo largo de la evaluación, sin detrimento de otros enfoques utilizados para algunos indicadores particulares según hubiese sido el caso. Las metodologías, técnicas y fuentes específicas a utilizar para cada aspecto de la evaluación se detallan en los capítulos subsecuentes.

1.5.3 Estudios de caso La evaluación se caracterizó también por un uso amplio de estudios de caso a profundidad en municipios y localidades dentro y fuera de las microrregiones, a efecto de obtener una visión más comprensiva y detallada de la operación e impacto de la EM, así como de las condiciones que afectan su desempeño. Dentro de las localidades, el análisis se enfocó primordialmente a captar el impacto de los proyectos, pero también considerando el contexto local y municipal que tuvo incidencia en la realización de los mismos. En total se realizaron tres estudios de caso, para los cuales se realizaron visitas en 6 municipios todos ellos representativos de la heterogeneidad geográfica y cultural del país, ubicados en las entidades federativas del Estado de México, Guerrero y Zacatecas.14 Las microrregiones, municipios y localidades específicas a estudiar fueron seleccionadas considerando una variabilidad de condiciones relevantes para el funcionamiento de la EM, siendo las unidades básicas de análisis las localidades CEC y de influencia así como sus contrapartes fuera de las microrregiones o localidades Q-CEC y de Q-INF. Los estudios de caso buscaron combinar e integrar diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los actores, procesos y condiciones a analizar. Entre las herramientas empleadas se incluyó, por la parte cuantitativa, el análisis de datos de los censos y conteos de población y vivienda, de registros administrativos y de inversión, así como de diversas encuestas propias; por la parte cualitativa, utilizaron grupos de enfoque, entrevistas semi-estructuradas con actores clave, así como la observación en sitio. En todos los estudios se utilizaron las mismas herramientas para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la 13 Como señala Trochim (1986) en un libro ahora clásico sobre el tema: (Los investigadores) se han movido más allá del pensamiento tradicional sobre los cuasi-experimentos como una colección de diseños y amenazas específicas a la validez, hacia una visión más integrada, sintética de la cuasi-experimentación como parte de un marco general lógico y epistemológico para la investigación... La imagen amplia que emerge es que toda cuasi-experimentación hace juicios. Está basada en múltiples y variadas fuentes de evidencia, debe ser multiplística en su realización, tiene que atender al proceso tanto como al resultado, es mejor cuando se guía por la teoría, y lleva últimamente a múltiples análisis que intentan contener el efecto de los programas dentro de un rango razonable. (pp. 1-7). 14 La selección de estados municipios y localidades se realizó en conjunto con la DGEMPS y la Unidad de Microrregiones, sobre el tema, véase el apartado correspondiente a la metodología de Estudios de Caso.




18

información posible, esto con algunas variaciones según lo ameritaron las condiciones particulares y de acuerdo a la metodología sugerida. El enfoque de los estudios fue etnográfico, explicativo, comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas con la operación y el impacto de la EM, tanto entre distintos municipios y localidades en las microrregiones—i.e., casos de tratamiento—como entre éstos y las no-microrregiones—i.e., casos de control. Un mayor desarrollo de los estudios de caso se presenta en el tercer capítulo de este documento




19

2. Metodologías específicas para la evaluación

2.1 Metodología para la evaluación de diseño La evaluación de diseño se divide en tres etapas primordiales; como se mencionó anteriormente, en un primer momento, se desarrolló una Matriz de Marco Lógico para la revisión de la consistencia interna y congruencia lógica. En una segunda etapa se revisaron los modelos teóricos y conceptuales en los que se basa la EM como modelo para el desarrollo. Finalmente, se realizó un análisis histórico para conocer las distintas estrategias de gobiernos anteriores y compararlas con la EM.

2.1.1 Análisis de consistencia interna y congruencia lógica. En un primer momento de la evaluación de diseño, se enfocó en la consistencia interna y congruencia lógica de la EM. Para ello se desarrolló una Matriz de Marco Lógico, técnica que ha sido adoptada por las principales agencias e instituciones internacionales de desarrollo para hacer este tipo de análisis. Así, en la matriz especificaron los objetivos, indicadores, medios de verificación y supuestos que sustentan la Estrategia, en cada uno de los correspondientes niveles de fines, propósitos, componentes y actividades. Esto nos permitirá verificar tanto la consistencia lógica, solidez teórica y congruencia normativa del esquema de intervención, como su aplicabilidad en el contexto actual de las localidades y población objetivo.

2.1.2 Análisis del modelo conceptual de la EM En este apartado de la evaluación, se buscará hacer un desglose de los supuestos y cuerpos teóricos sobre los que la EM está estructurada. Primero que nada, se dejará patente cuál es la problemática que la EM quiere enfrentar. No obstante, las causas que la EM encuentra para este problema son varias, por lo que además de señalar la problemática fundamental, en este caso la marginación rural, se harán explícitas la causalidad que la EM designa para la marginación. En función de estas causas, el diseño de una política pública debe contemplar la adopción de intervenciones que las contrarresten o encaucen en una forma distinta para prevenirlas, erradicarlas, desviarlas o atenuarlas. Como se aprecia en la vida cotidiana, ante las causas de una problemática difícilmente existe una sola alternativa para su solución. Para una problemática social, la situación es análoga: pueden existir diversas alternativas para atacarla. Por ello, parte de esta sección de la evaluación contemplará las otras posibles alternativas a la problemática de la marginación que pudieron haber sido adoptadas en vez de la EM. Siguiendo la argumentación anterior, cada una de las posibles alternativas de solución a las causas de una problemática tienen ventajas y desventajas en función de costos, tiempo, esfuerzo, entre otras variables; por lo que antes de la adopción de una alternativa de solución se debe hacer una análisis ponderado de la inversión de recursos (en el sentido amplio de la palabra) que cada una de ellas conlleva, así como de las condiciones de posibilidad y probabilidad de éxito o fracaso que cada una tenga. Dicho en otra forma, se deben sopesar las posibles ventajas y desventajas que cada uno de los enfoques tiene.




20

Finalmente y para completar esta sección de análisis, se hará una revisión de algunas experiencias contemporáneas nacionales internacional que han partido ya sea desde la misma conceptualización del problema del que parte la EM o desde otras distintas y los resultados que han obtenido, ya sean éstos exitosos o infructuosos.

2.1.2.1 Descripción de la Matriz de Marco Lógico El marco lógico es una técnica adoptada por las principales agencias e instituciones internacionales de desarrollo para hacer este tipo de análisis y cuya finalidad es especificar los objetivos, indicadores, medios de verificación y supuestos que sustentan la EM en cada uno de los niveles correspondientes: fines, propósitos, componentes y actividades. El marco lógico propone una matriz conceptual para organizar y visualizar la interacción de los distintos elementos de cualquier proyecto entre sí y con su entorno. Los conceptos claves de esa matriz son: recursos, actividades, productos, objetivos, indicadores supuestos o factores externos. Esta herramienta permite facilitar el proceso de conceptualización, diseño, ejecución y evaluación de proyectos. Su propósito es brindar una estructura coherente al proceso de planificación, diseño y ejecución del proyecto, a la vez que permitir la comunicación de la información esencial de éste. Dicho marco puede utilizarse en todas las etapas relativas al diseño, ejecución y evaluación de proyectos: programación, identificación, análisis, revisión, ejecución ex-ante, evaluación ex-post, etc. Una buena planificación estratégica es requisito fundamental para que cualquier proyecto se pueda llevar a cabo de forma exitosa y eficiente. Si no están claros los objetivos, si no se analizan posibles factores externos o no se integran a los posibles beneficiarios (perjudicados) del proyecto, se corre el riesgo de que obtengamos un rotundo fracaso de dicho proyecto. Debido a esta necesidad de planificar, el método del marco lógico nos sirve para estructurar los principales elementos de un proyecto. Los pasos a seguir dentro del análisis son los siguientes:

• Análisis de los actores involucrados. • Análisis de los problemas • Análisis de los objetivos • Análisis de las alternativas • Diseño de la matriz del proyecto

2.1.1.1.1 Análisis de los actores involucrados.

Antes de empezar a trabajar en el terreno, se identificaron primeramente a las instituciones, grupos y personas que fueron afectadas positiva o negativamente por los problemas, o que lo hubieran sido por las intervenciones, a afecto de integrarlos adecuadamente en el proceso de toma de decisiones e implementación de las mismas. De no hacer esto, se corre el riesgo de propiciar apatías o generar resistencias que disminuyan la viabilidad y los resultados esperados de las intervenciones.




21

2.1.1.1.2 Análisis de los problemas La teoría en que se fundamenta una política o un programa constituye un modelo que detalla relaciones causa-efecto y muestra las conexiones entre los insumos, los procesos y los resultados. En suma, la teoría muestra cómo la política o el programa desembocan en ciertos objetivos o cómo sus medios se ligan con sus fines. Construir una secuencia causal de eventos requiere de hacer explícitos los supuestos del programa o la política, lo cual tiene que ver con identificar las condiciones que deben estar presentes para que el programa tenga el impacto esperado. Las políticas o programas públicos pueden fallar en el alcance de sus objetivos por diferentes razones relacionadas con su diseño. En primer lugar, puede ser que la adecuación con la teoría en que se fundamenta sea incorrecta; es decir, que la política o el programa en realidad no está relacionado causalmente con los resultados anticipados (hipótesis erróneas), lo cual frecuentemente se debe a que las causas verdaderas del problema no fueron correctamente identificadas. Puede ser también que la adecuación, aun siendo correcta, no haya sido comprendida lo suficiente como para permitir el desarrollo de una política o un programa que efectivamente logre activar la relación causal, de la intervención a los resultados. Finalmente, puede ser que la política o el programa no estén apropiadamente enfocado hacia su población objetivo debido a que no se identificaron los beneficiarios potenciales. Estas posibles fallas originadas en el diseño son diferentes a las fallas de la operación del programa o política; por ejemplo: el deterioro del tratamiento durante la implementación, la insuficiencia de recursos, o el cambio de condiciones del programa piloto al programa a escala completa. Por lo tanto, al evaluar el diseño de un programa las preguntas centrales que deben plantearse son las siguientes:

− ¿Las causas del problema han sido correctamente identificadas?, − ¿las relaciones causa-efecto, de la intervención a los resultados, han sido suficientemente

desarrolladas?, y − ¿los beneficiarios principales corresponden a la población objetivo?

La respuesta a estas preguntas se generará mediante una comparación del diseño conceptual del programa o política sujeto a evaluación con otras políticas similares derivadas de la misma teoría y con otras de teorías distintas, así como con otras estrategias aplicadas con anterioridad en México. La comparación deberá estar estructurada de acuerdo a un conjunto de categorías analíticas, las cuales se identificarán al revisar la teoría de acción del programa y el análisis deberá estar guiado por las preguntas planteadas arriba (posibles causas de las fallas de diseño). De esta forma, el análisis conducirá a la identificación de congruencias o incongruencias en las categorías analíticas seleccionadas, entre la política sujeta a evaluación y las políticas derivadas de las




22

teorías relevantes al caso y las experiencias de su aplicación. El cuadro 2.1 es un esquema simple del planteamiento anterior.

Cuadro 2.1 Sistematización para la evaluación del diseño de una política pública

Política sujeta a

evaluación

Política derivada

de la teoría 1 y

experiencias prácticas

Política derivada

de la teoría 2 y experiencias

prácticas

→

Política derivada

de la teoría n y experiencias

prácticas

Categoría analítica 1

Categoría analítica 2

↓ Categoría analítica n

La Unidad de Microrregiones definió como su principal problemática a atender la marginación en el ámbito rural tomando como base la definición que de ella hizo el Consejo Nacional de Población. A este problema, que identificamos aquí como focal, se le atribuyeron unas causas específicas en donde la EM busca generar sus impactos a través de sus intervenciones. Así, en este ejercicio, basado en la metodología del marco lógico, se harán explícitas las líneas de causalidad directa y lineal que la EM designa para explicar el problema de la marginación, a través de la elaboración de un árbol de problemas. Una vez identificado el problema focal, los problemas específicos y sus causas próximas, se estableció el estado deseable de esas problemáticas (objetivos) y adoptar intervenciones que las contrarresten o encaucen en una forma distinta para prevenirlas, erradicarlas, desviarlas o atenuarlas. Para ello, hay que considerar que para una problemática social pueden existir diversas alternativas para enfrentarla. Cada una de las posibles soluciones a las causas de una problemática tiene ventajas y desventajas en función de costos, tiempo, esfuerzo, probabilidad de éxito, entre otras variables. Debido a lo anterior dichas ventajas y desventajas deben ser valoradas antes de la adopción de una alternativa de solución. El árbol de problemas que se presenta adelante, parte de la situación que se pretendía resolver, esto es del problema focal; paralelamente las causas específicas y directas del problema focal se colocaron debajo de éste. La lógica que se siguió para la evaluación del diseño de la EM (ver esquema 2.2.a y 2.2.b) tuvo 6 niveles, que aquí identificamos con diferentes colores para hacer más comprensible su lectura:

1) Los efectos son causados por el problema focal. 2) El problema focal es causado por los problemas específicos.



3) Los problemas específicos son causados por las causas próximas. 4) Las causas próximas están causadas por las causas subyacentes. 5) Las causas subyacentes están causadas por los enfoques de intervención.

Gráfico 2.1

Gráfico 2.2


23



2.1.1.1.3 Análisis de objetivos (situaciones deseadas)

Una vez que se identificó la problemática y sus causas, el paso siguiente fue su conversión en estados positivos que les den solución; es decir, las relaciones de causalidad que anteriormente se habían descrito en el árbol de problemas tienen que ser sustituidas por su opuesto, es decir, por el estado deseable. No obstante, en este proceso se procuró el cuidado debido para no invertir simplemente el sentido de los problemas, pues en algunos casos resultó inviable la solución (particularmente, con situaciones naturales o problemáticas políticas ancestrales) o no resulta razonable. Las relaciones de causalidad que había anteriormente ahora se convierten en teleológicas, se transforman de causa-efecto a medios-fines. Si en el paso anterior la pregunta fundamental fue el ¿qué?, en este caso, la pregunta es ¿cómo?

Gráfico 2.3 Árbol de objetivos


24



2.1.1.1.4 Análisis de alternativas de intervención (operativo)

Se identificaron los estados deseables de la problemática, siguiendo entonces la elección entre distintas alternativas que permitían alcanzarlos. En este proceso, se eligieron aquellas intervenciones que resultaron ser las más viables basándonos en variables como el grado de certidumbre, costo total, recursos disponibles, tiempos, beneficios para los grupos prioritarios, grados de riesgo, posibles externalidades, entre otras. Cabe destacar que este proceso procuró en la medida de lo posible ser objetivo, ya que en él intervienen las preferencias de las instituciones y de los funcionarios participantes. De esta manera, puede prevalecer alguno de los diferentes criterios a la hora de seleccionar la alternativa, como pueden ser:

• Criterios Técnicos: Idoneidad, uso de recursos locales, adecuación del mercado, etc.

• Criterios Económicos y Financieros: Costos, viabilidad financiera, rendimiento económico, costo/eficacia, etc.

• Institucionales: Capacidad, asistencia técnica, etc. • Sociales y de distribución: Preferencia al distribuir los beneficios a minorías,

etc. • Ambientales: Efectos y costos ambientales.

2.1.1.1.5 Diseño de la Matriz de Marco Lógico

Una vez ya identificada la problemática, la situación deseable y se han seleccionado las intervenciones, el paso siguiente es la operacionalización, lo cual corresponde a la elaboración de la matriz del marco lógico. Como parte de la evaluación de diseño, se propuso la elaboración de una Matriz de Marco Lógico, a efecto de ayudar en la verificación tanto de la consistencia lógica, solidez teórica y congruencia normativa del esquema de intervención como de su aplicabilidad en el contexto actual de las localidades y población objetivo. La Matriz de Marco Lógico es una herramienta que facilita el proceso de conceptualización, diseño y evaluación de las estrategias, programas y proyectos sociales. Ha sido adoptada por las principales agencias e instituciones de desarrollo, pues ha demostrado ser uno de los instrumentos más sólidos para este tipo de análisis. En la matriz se especificó una jerarquía de objetivos para cada intervención en los niveles de fines, propósito, componentes y actividades, así como una serie de indicadores, medios de verificación y supuestos de sustentabilidad a través de los cuales se puede apreciar con certeza el logro o no de dichos objetivos.15 Se puede leer la matriz en forma vertical u horizontal16. La lógica vertical se refiere a las relaciones de causalidad entre los diferentes objetivos del proyecto.

15 Para mayor detalle respecto de la Matriz de Marco Lógico, véase: BID (1997); Camacho et al (2001) y DIPRES, 2001. 16 ILPES (2004) La Matriz del Marco Lógico, Boletín del Instituto, 15 de octubre.


25



• La primera fila corresponde a los “fines”, que es el objetivo superior a cuyo logro la EM contribuyó de manera significativa para lograrlo. Por lo general, la contribución se materializa siempre y cuando el proyecto haya estado funcionando de manera prolongada.

• La segunda fila corresponde a los “propósitos”, que es el resultado esperado ahí donde se ejecutó el proyecto.

• La tercera fila corresponde a los “componentes”, que son los productos o servicios que deben emanar del proyecto, como por ejemplo la construcción de escuelas, carreteras, drenajes y servicios sanitarios entre otros.

• Y la cuarta fila corresponde a las “actividades”, que son las tareas y acciones que se debieron de llevar a cabo para poder contar con los “componentes”.

La lógica horizontal establece el cómo se controló y midió el logro de cada nivel de objetivos y de dónde se obtendrá la información necesaria para ello:

• La primera columna es el “resumen narrativo” o “columna de objetivos”. En el proyecto, cada nivel fue necesario y suficiente para lograr el siguiente, esto es, asumiendo que con las actividades se lograrían los componentes, con éstos el propósito y dicho propósito nos permitirá alcanzar el fin.

• La segunda columna es la de “indicadores”, que son indispensables para una buena administración, ejecución y seguimiento de la Estrategia, posibilitaron el análisis de la eficacia y eficiencia del proyecto en sí, pero también en su operación y ejecución.

• La tercera columna es la de “medios de verificación”, que fueron las fuentes de información que vamos a usar para obtener los datos necesarios para calcular los indicadores.

• La cuarta columna es la de “supuestos” o “factores externos”. Se esperaba que no todos los supuestos definidos en la EM se fueran a cumplir, ya que al ser efectos externos al proyecto no se pueden controlar, por tanto pudiendo elevar su costo, demorarlo, alcanzando sus objetivos sólo parcialmente y, en el peor de los escenarios, que fracasara rotundamente el proyecto. Las externalidades más comunes se esperaba fueran las crisis económicas, los cambios en la estructura organizacional de los gestores del proyecto, inestabilidad política, problemas presupuestales, inestabilidad social, conflictos internacionales, desastres naturales y profundos cambios tecnológicos.

2.1.3 Modelos teóricos y evidencias empíricas que sustentan a la EM y

modelos teóricos y experiencias alternativas a la EM En un segundo momento, la evaluación de diseño se centra en la propia EM, en ver cuál es el modelo conceptual que le subyace—es decir, el conjunto de líneas de causalidad y supuestos bajo los cuáles opera. Para lograr sus objetivos, la EM combina el enfoque territorial, la identificación de localidades CEC, participación comunitaria y coordinación


26



interinstitucional.17 Estos cuatro ejes o enfoques fundamentales resumen un conjunto de teorías y experiencias que sustentan el diseño y operación de la EM, y le confieren una visión de sistema y redes para, en conjunción con los actores privados y sociales, integrar y complementar las acciones y recursos de los diferentes niveles de gobierno, con objeto de atacar las condiciones estructurales que dan origen a la marginación en las localidades de las microrregiones.18 En la evaluación se presenta el esquema teórico-lógico en el que se basan—esto es, la forma en que describen y explican su problemática, las intervenciones que sugieren y los efectos a los que teóricamente conlleva su aplicación. Una vez que se desarrollaron los modelos conceptuales que se utilizaron para el diseño de la EM, se presentan algunas visiones críticas a dichos modelos así como otros alternativos que podrían servir para lograr los mismos o similares objetivos que la EM. El objetivo de esta parte es analizar el problema que la EM se ha planteado desde perspectivas distintas, con opciones de intervención y efectos diferentes. Con lo anterior, pretendemos identificar y valorar mejor las ventajas y desventajas que el diseño de la EM presenta ante posibles alternativas y críticas, así como el potencial que éstas tienen para mejorar el diseño de la EM. Para aterrizar la teoría en la práctica, se presentaron algunas experiencias internacionales de intervenciones que tienen objetivos y ejes de acción similares al de la EM, especificando cuáles han sido sus logros y limitaciones. Asimismo, se buscaron enfoques teóricos alternativos para cada componente y sus respectivas críticas para mostrar las recomendaciones y matices que los expertos proponen y finalmente sopesar igualmente sus logros y limitaciones. Una vez que se analizaron cada uno de los ejes o enfoques fundamentales, se analizaron algunas experiencias internacionales que los sustentan o los recuperan para reducir los rezagos estructurales. Las experiencias que se analizaron son a saber:

• Los casos de Extremadura y el País Vasco en el marco de la iniciativa LEADER • Los pactos territoriales y el caso de Siena en Italia • El caso de Kecamatán • El caso de China • El caso de Sudáfrica • Ajial de Quiles y Cerro Blanco en Chile • El caso de Brasil

Finalmente, se hace un análisis comparativo de los modelos teóricos y experiencias empíricas relevantes que sustentan a la EM y de aquellas alternativas. El propósito del análisis fue el de identificar las ventajas y desventajas que presenta el actual modelo

17 En el presente trabajo los ejes de convergencia territorial e impulso al potencial de las localidades CEC se consideran como uno sólo, que denominamos enfoque territorial, cuestión que se explica a fondo en el Reporte de Diseño 18 Ver SEDESOL 2004, México desde sus Microrregiones.


27



conceptual, a efecto de hacer recomendaciones para mejorar el diseño de la EM como instrumento para abatir la marginación en el medio rural. Algunos de los criterios para el análisis serán el costo por beneficiario, costos de ejecución, cobertura, riesgos sociales, impacto ambiental, viabilidad, entre otros. Algunos de los temas a analizar fueron el tipo de infraestructura y/o servicio, su impacto en la formación de capital social y en las actitudes cívicas y políticas, la capacidad institucional necesaria, entre otros.

2.1.3.1 Fuentes de información disponibles Entre las fuentes que se utilizaron para este apartado se encuentran Por supuesto, los documentos que avalan y describen las características de los enfoques de la EM. Asimismo, publicaciones de la OCDE, el Banco Mundial, el PNUD, entre otros; y estudios realizados por instituciones de investigación nacionales y extranjeras y revistas especializadas.

2.1.4 Cambio y continuidad: la EM en la perspectiva histórica En un tercer momento, la evaluación de diseño se abocó a realizar un recorrido histórico para conocer las distintas estrategias que los gobiernos anteriores adoptaron para combatir la marginación rural. Como el título del apartado lo menciona, el objetivo es conocer los cambios y las continuidades en el tiempo de la lucha contra la marginación rural es decir, saber cuáles fueron los antecedentes que llevaron al actual gobierno a escoger a la EM. Una vez vistas las anteriores estrategias, el estudio aterrizará en la EM, para conocer su génesis y desarrollo. Antes de concluir este primer momento, se señalarán algunas observaciones y comentarios preliminares de acuerdo a la información que se haya obtenido frente a los datos históricos. Asimismo, se marcarán los métodos y técnicas a utilizar y las fuentes de información disponibles. Esta sección se hizo con el objetivo de plantear una revisión histórica de las políticas, programas y proyectos que se han implementado en México durante las décadas recientes para enfrentar la marginación en el medio rural, y describir la forma en que surgió y se ha desarrollado la EM. El propósito siempre fue el entender mejor la evolución del combate a la marginación rural (qué se ha logrado, qué factores han influido en los cambios, por qué persiste el problema, y como se ha llegado hasta la definición actual), a efecto de poder extraer lecciones útiles para mejorar el diseño de la EM. La EM se ha planteado como la mejor alternativa para combatir la marginación en el medio rural en comparación a los esfuerzos del pasado. El libro México desde sus Microrregiones menciona “Durante casi un siglo se regaron centenares de miles de millones de pesos en lo que son las 263 microrregiones actuales, pero hay escasos resultados: sigue la marginación, la pobreza, la ignorancia y el derrotismo […]”19. Posteriormente, reafirma la anterior idea: 19 Sedesol, 2004, México desde sus Microrregiones, pp.38


28



[…] aunque nadie cuestiona la buena fe detrás de anteriores programas de ayuda, ha sido necesario analizar el porqué de su poca eficacia. La Estrategia de Microrregiones es producto de este análisis —profundo y complejo—, y para no caer en los mismos baches, ha procurado subsanar las deficiencias más serias de los pasados esfuerzos mientras aprovecha las ventajas naturales que ofrecen las comunidades mismas, como las sinergias que diversos organismos gubernamentales pueden generar.20

Si lo mencionado anteriormente era cierto, resultó imprescindible conocer el esquema bajo el cual operaron las anteriores estrategias así como las causas de su fracaso, ello para verificar si efectivamente la EM extrajo y sistematizó dichas lecciones para considerarlas en su diseño. Parte fundamental de este análisis fue la observación de cómo se han modificado conceptos básicos que gravitan alrededor de la EM y cómo fueron aplicados a lo largo del tiempo en las distintas iniciativas dedicadas a combatir la marginación. Ejemplo de estos conceptos fueron la ruralidad, coordinación institucional, el territorio, la participación ciudadana, etc. La EM no fue el primer esfuerzo en México para promover el desarrollo económico y social en el ámbito regional de las áreas rurales de alta y muy alta marginación. Desde la cuarta y quinta décadas del siglo pasado se crearon un buen número de programas regionales de orientación rural en distintas dependencias, desde las Secretarías encargadas de la agricultura y los recursos hidráulicos hasta en muchas otras instancias gubernamentales. Algunas políticas fueron de carácter emergente para resolver problemáticas concretas derivadas de conflictos sociales o de desastres naturales. Entre ellos los que se pueden destacar son: Marcha al Mar, Plan de la Cuenca del Temascaltepec, Plan Lerma, Plan Chontalpa, la Comisión para el Desarrollo del Río Balsas y Plan Puebla. Estos proyectos generaron toda una serie de visiones y perspectivas desde las cuales fue posible reconfigurar muchas de las concepciones del desarrollo rural así como de sus complejidades y problemáticas. Algunos de ellos partieron desde enfoques completamente basados en una visión meramente sustentadas en la ingeniería expansiva para el desarrollo basado en obras públicas de gran tamaño (presas, canales de riego, carreteras, plantas de hidroeléctricas, extensión de cultivos intensivos, ganaderización, etc.), sin ningún tipo de integración de enfoques sociales o de participación de las comunidades de una forma estructurada. Este tipo de iniciativas tuvieron como consecuencia desplazamientos y relocalizaciones de población para cumplir sus objetivos. No obstante sus resultados a veces exitosos y otras veces más desiguales en las zonas en las que se aplicaron, fueron la base fundamental desde la cual se fincó toda una visión y esquemas de intervención para atacar los problemas de desarrollo en las áreas rurales del país. 20 Ídem, pp. 73.


29



Estas experiencias resultan útiles en cuanto a las lecciones para la creación de diseños e implementación de políticas para combatir la pobreza rural, además de comprender sus fortalezas y los elementos sustanciales que hoy día pueden ser rescatados e incluso reelaborados para complementar las acciones que emprendió la EM. Asimismo, sirven para entender cuáles fueron algunos de sus errores para no cometerlos nuevamente en el futuro. En este apartado se realiza una un estudio exhaustivo sobre los esfuerzos de lucha contra la marginación rural en México anteriores a 1970, el Programa de Inversiones Públicas para el Desarrollo (PIDER), la Coordinación General del Plan Nacional de Zonas Deprimidas y Grupos Marginados (COPLAMAR), el Programa Nacional de Solidaridad (PRONASOL) y finalmente se realiza un análisis de las lecciones, implicaciones y reflexiones para el diseño y rediseño de la Estrategia.

2.1.4.1 Métodos y técnicas empleadas. Estos análisis se llevaron a cabo mediante un comparativo entre los diferentes programas y esfuerzos a fin de identificar los supuestos que subyacían a las otras estrategias y compararlos con los de la EM. También se trata de dimensionar sus éxitos y fracasos de acuerdo al contexto en que cada una se vio inmersa. De esta forma, se busca saber qué lecciones de estas iniciativas fueron integradas en el diseño de la EM y por qué es que se argumenta que es efectivamente superior en su diseño a las estrategias que le precedieron. El análisis se realizó empleando las herramientas de evaluación de diseño que muestran los aspectos teóricos, técnicos y metodológicos de las iniciativas anteriores.

2.1.4.2 Fuentes de información disponibles Afortunadamente, la mayor parte de las iniciativas tuvieron un buen seguimiento por parte de expertos nacionales e internacionales, quienes dejaron un buen número de documentos que exponen su conceptualización, diseño e implementación así como algunas evaluaciones. En el caso del PIDER, el Banco Mundial produjo un número importante de reportes evaluando las distintas facetas del mismo además de estudios de caso de donde operó el mismo. Por el lado de COPLAMAR, se generaron toda una serie de estudios metodológicos muy completos además de que ha seguido la discusión en varios medios académicos acerca de la pertinencia del enfoque, así como de la perspectiva a partir de la cual se conceptualiza la pobreza y la cobertura de las denominadas necesidades esenciales. Estos documentos básicos, así como en un momento entrevistas con algunos de sus operadores y diseñadores, algunos en retiro pero otros aún trabajando en diversas instancias del sector público, serán esenciales para complementar una visión que analice la EM y la ponga en contexto con las afluentes de otras iniciativas previas que tuvieron éxitos en diversos grados.


30



2.2 Metodología para la evaluación de operación Para evaluar la operación de la EM en las diversas vertientes detalladas en los términos de referencia—i.e., coordinación institucional, participación de la comunidad en el desarrollo local y sostenibilidad física y operativa de los proyectos—utilizaremos técnicas tales como la revisión de informes y reportes operativos, el análisis de procesos, el muestreo de catálogos y registros, la estadística descriptiva y la comparada (mediante la técnica más específica de “análisis exploratorio y gráfico de datos” creada por Tukey), así como la evaluación cualitativa. Lo anterior requerirá hacer uso de diversas fuentes de información tanto internas como de campo. Entre las primeras se incluyen: el sistema de indicadores, los reportes de seguimiento y autoevaluación, los registros de operación del programa en específico, el RAM, SISBAB, documentación interna de los Centros Estratégicos Comunitarios (CEC). Entre las segundas, contemplamos la realización de encuestas a miembros clave de la operación de los programas de la EM, entrevistas a profundidad con funcionarios del nivel central y la observación en sitio. Adicionalmente, nuestra evaluación de la operación usará la información relevante que aparezca en los resultados de evaluaciones internas y externas anteriores (como la del Programa de Desarrollo Local), así como de aquélla que se extraiga de diversas investigaciones académicas sobre desarrollo rural que son abundantes en nuestro país y que, sin ser evaluaciones formales o estudios estadísticos representativos, puedan arrojar datos e interpretaciones valiosas para esta evaluación. Las técnicas y fuentes de información arriba señaladas fueron útiles para analizar de forma específica el cumplimiento de las reglas y normas, el desarrollo de los principales procesos, el desempeño de las diversas unidades de operación, los criterios para el arranque y aprobación de nuevos programas y obras y la organización respecto de otros organismos y entidades con las que la EM tiene relación. Por otro lado, en este apartado también se evaluaron los sistemas de información (RAM y SISBAB, entre otros) que permiten llevar un seguimiento y control internos del programa e identificar las posibles deficiencias en su operación. Para ello se verificó la existencia, diseño, utilización, confiabilidad, suficiencia de recursos y adecuación de dichos sistemas, en principio mediante trabajo de gabinete y validándose en campo cuando sea factible. Además, se elaborará un diagrama de flujo que identifique los principales procesos y actores que intervienen en el programa, señalando también las entradas y salidas de información para el seguimiento y control internos, este diagrama se encuentra también articulado al método de Marco Lógico.


31



2.2.1 Evaluación de la coordinación institucional

Como parte del presente estudio, es fundamental analizar la medida en que la EM ha logrado sinergias y convergencias de los distintos 68 programas de los tres niveles de gobierno puestos en marcha en las microrregiones, y en especial, en las localidades CEC, estableciendo tanto acuerdos de colaboración entre organismos y dependencias operadoras de programas federales, para la realización de proyectos y acciones de infraestructura, servicios, fomento económico y organización comunitaria en las microrregiones, como acuerdos entre el gobierno federal y los gobiernos estatales y municipales, para la realización de proyectos y acciones de infraestructura, servicios, fomento económico y organización comunitaria en las localidades CEC y de influencia. Para esto, se analizará la complementariedad o duplicidad de actividades con otros programas sociales operados por los tres órdenes de gobierno, por medio de la revisión y comparación de las reglas de operación, ámbitos de intervención, poblaciones objetivos, estructuras operativas y procesos de la Estrategia de Microrregiones frente a dichos programas. En este análisis se desagregó el tipo de gasto, los proyectos y las acciones, y para ello se utilizaron el Sistema de Seguimiento de Banderas Blancas (SISBAB) en el cual se presentó la información desagregada hasta el nivel de de las localidades. Con el objetivo de extraer experiencias sobre el grado y forma en que la coordinación institucional acontecida entre las dependencias federales a nivel central, entrevistamos a funcionarios del Gobierno federal encargados de un total de 12 programas concurrentes en la EM, los cuales consideramos representativos del proceso de planeación conjunta que debía de darse para redireccionar proyectos y acciones de infraestructura, servicios y fomento económico hacia las microrregiones, y particularmente hacia las localidades CEC21. En particular, entrevistamos a los responsables de los programas:

1. Caminos Rurales y Alimentadores, de la Secretaría de Comunicaciones y Transportes (SCT);

2. Empleo Temporal de la SCT; 3. Construcción y Rehabilitación de Sistemas de Agua Potable y Saneamiento

en Zonas Rurales, de la Comisión Nacional del Agua (CNA); 4. Programas de Educación Comunitaria operados por el Consejo Nacional de

Fomento Educativo (CONAFE), de la Secretaría de Educación Pública (SEP); 5. Programas Compensatorios, de la SEP; 6. Salud y Nutrición para los Pueblos Indígenas, de la Secretaría de Salud (SS); 7. Abasto Rural, a cargo de Diconsa;

21 Originalmente se giraron oficios a distintas dependencias para obtener la información requerida, sin embargo nunca pudo obtenerse de forma suficiente en tiempo, forma, calidad y comparabilidad. En ausencia de ello, se hicieron por ello las entrevistas a profundidad con el guión de entrevistas a funcionarios que se encuentra en el Anexo del Reporte Metodológico.


32



8. Desarrollo Humano Oportunidades, de la Secretaría de Desarrollo Social

(Sedesol); 9. Abasto Social de Leche (PASL), a cargo de Liconsa; 10. Desarrollo Local Microrregiones, de la Sedesol; 11. Desarrollo Rural (Alianza Contigo), de la Secretaría de Agricultura,

Ganadería, Desarrollo Rural, Pesca y Alimentación (SAGARPA); y 12. Apoyos Directos al Campo (Procampo), de la SAGARPA.

Por otro lado, con el objeto de conocer el grado en que se ha mejorado o no la coordinación institucional horizontal y vertical entre las distintas Secretarías en el terreno de acción de la Estrategia de Microrregiones, efectuamos visitas en sitio y aplicamos entrevistas a residentes de la EM, delegados de los programas federales concurrentes en la Estrategia, funcionarios estatales y municipales, operadores de instalaciones y líderes comunitarios. En particular, efectuamos ‘estudios de caso’22 en doce localidades de los estados de Guerrero, Estado de México y Zacatecas; a través de éstos hemos captado, entre otros aspectos, información relevante para verificar el grado en que la EM ha marcado un cambio en la forma de planear de manera conjunta o no las acciones y obras entre las dependencias federales y entre los distintos órdenes de gobierno en las microrregiones, como resultado de una mayor y mejor coordinación interinstitucional. Finalmente, aplicamos entrevistas a grupos de enfoque de residentes de Microrregiones en los estados de Campeche, Chiapas, Guerrero, Tabasco, Yucatán y Veracruz en el sur y sureste de México; Chihuahua, Coahuila, Durango, San Luis Potosí y Tamaulipas, en el norte; y Estado de México, Guanajuato, Querétaro e Hidalgo, en el centro. Los residentes nos compartieron sus experiencias acerca de la forma de operar de la Estrategia en sus microrregiones y localidades CEC, así como la forma en la que desde su punto de vista se ha dado la coordinación interinstitucional en el terreno. Entre otros aspectos, esto nos ha permitido identificar los escenarios bajo los cuáles dicha coordinación ha sido exitosa y bajo qué otras no.

2.1.1.1 Metodología para determinar el efecto de la EM sobre convergencia territorial: comportamiento de la inversión pública

Dado que la EM tiene como misión:

articular programas y políticas públicas y privadas de alcance rural para incrementar de forma acelerada equilibrada y sustentable el capital territorial (capital humano, social, físico y financiero) y apoyar subsidiariamente a los actores locales de los municipios rurales, a fin de acrecentar su capacidad para detonar, orientar y sostener procesos endógenos de

22 En particular, a través de la técnica de Estudios de Caso el objetivo fue conocer aspectos relacionados con la heterogeneidad de condiciones, la participación, la coordinación institucional, la planeación, la convergencia territorial, la dinámica poblacional, el capital social y, el impacto de la EM en general.


33



desarrollo económico, social y humano, en aras de contener y revertir la brecha de desigualdad que los margina del resto de los municipios del país23,

lo cual, debería producir, en principio, un incremento sustancial de la inversión pública en las localidades CEC dado que uno de los dos objetivos fundamentales de la EM busca “el equipamiento de una red de casi 3,000 localidades rurales que funcionen como puntos de apoyo del desarrollo territorial al operar como centros prestadores de servicios sociales básicos y como nodos de comunicaciones físicas y virtuales; tales localidades se han denominado Centros Estratégicos Comunitarios”24. Por lo anterior, la Evaluación de EM analizó la ejecución del gasto federal, estatal y municipal por municipio antes y después de la Estrategia (1995-2004), comparando aquéllos que participan en la EM y un grupo de control. Las preguntas críticas que se busca responder con este análisis son:

• ¿En qué medida la EM ha promovido una mayor convergencia de programas (federales, estatales y municipales) en las microrregiones (particularmente las localidades CEC)?

• ¿En que medida los recursos estatales y municipales se han reorientado hacia localidades no-CEC como resultado de la operación de a EM?

• ¿Cuál ha sido el efecto de la EM en el nivel de inversión pública en las microrregiones (particularmente las localidades CEC)?

• ¿Se ha promovido una mayor complementariedad de acciones, reduciendo la duplicación de esfuerzos?

• ¿Cuál es la dinámica de la inversión pública tanto agregada como por diferentes tipos de proyectos en las localidades CEC?

En principio muchas dinámicas de la inversión pública total son compatibles con la EM. Si bien en principio, la lógica de la EM esperaría que como consecuencia del accionar de la Estrategia se observara un incremento de la inversión estatal y municipal en las comunidades CEC (y que eventualmente se produjera un importante incremento de la inversión privada en dichas localidades), es decir, un efecto “gravitacional” de las acciones de los tres órdenes de gobierno en dichas localidades y sus áreas de influencia, esto no es necesariamente cierto dado las restricciones e incentivos políticos que enfrenan las autoridades municipales y estatales, pueden ser en principio diferentes de las de los encargados de la EM25. Comportamientos pasivos, o incluso de decrecimiento de la

23 Modelo Conceptual de la Estrategia Microrregiones. Dirección General Adjunta de Planeación Micro Regional. Noviembre de 2004, pp.. 2-3. 24 Ibid, p. 3. 25 En este análisis estamos suponiendo que la inversión publica federal total esta controlada (o influenciada en un grado significativo) por la EM. Sin embargo, si bien a nivel federal existe una coordinación de política a través del Comité Intersecretarial para Microrregiones los diferentes incentivos y restricciones políticas a las


34



inversión estatal y municipal en las localidades CEC son posibles frente a la operación de la EM. Para estudiar el comportamiento real de la inversión pública total, federal, estatal y municipal en las diferentes localidades, generado por el efecto de la EM, se revisaron las series históricas de la inversión pública en los diferentes municipios con y sin cobertura de la EM. Con base en la información obtenida, se estimó el efecto de la EM analizando las trayectorias de los diferentes tipos de inversión pública en los municipios y localidades antes y después de la entrada en vigor de la EM. A nivel federal, se analizó la ejecución del gasto y las acciones realizadas a nivel municipal de las Secretarías participantes en la EM, considerando la naturaleza diferenciada de las funciones de cada una (i.e. creación de infraestructura vs. provisión de servicios), y desagregando el tipo de gasto (subsidios, inversión, gasto corriente, etc.) y de proyectos o acciones. Las bases de datos que se utilizaron serán el Sistema de Registro de Acciones en Microrregiones (RAM), el Sistema de Seguimiento de Banderas Blancas (SISBAB) y otros que contengan información de gasto público y acciones realizadas. Por otro lado, a nivel Estatal se utilizara la información que esté disponible en los Comités de Planeación del Desarrollo (COPLADES) de los diferentes estados, y en lo que respecta a los municipios se analizaron los datos disponibles en sus archivos, en especial, los correspondientes a sus Direcciones de Obra Pública26. El tipo de análisis es común para bases de datos de series de tiempo, donde el efecto de algún suceso exógeno se evalúa analizando cambios en las trayectorias para los períodos en que ocurrieron los sucesos27. Asimismo, dado que es posible que las trayectorias de la inversión pública en todos los municipios, tanto de marginación alta o muy alta, sean muy parecidas o estén sujetos a los mismos choques exógenos, debe establecerse un grupo de control el cual consistirá en los municipios y localidades “similares” a las sujetas a análisis, las cuales no deben ser objeto de cobertura de la EM. En este caso, es conveniente comparar las trayectorias de la inversión pública de los municipios con grado de marginación alta y muy alta con las trayectorias en algunos otros municipios de marginación media. La estimación se podría llevar a cabo estimando los modelos de series de tiempo para cada grupo de municipios, o bien juntando las bases de datos y utilizar diferentes variables dicotómicas para separar a los dos tipos de municipios28. que están sujetos las secretarias y organismos del gobierno federal no tienen porque, en principio, alinear totalmente las preferencias de las mismas con las de los responsables de la EM. 26 En principio se buscaran obtener cifras correspondientes a la inversión de los tres diferentes órdenes de gobierno en las diferentes localidades que integran a los municipios y por los diferentes tipos de proyectos de bandera blanca efectuados. Sin embargo, en caso de no encontrarse la información de la inversión pública desagregada a dichos niveles el análisis del comportamiento de la inversión pública y sus componentes solo se llevará a cabo a nivel municipal. 27 Hamilton, J. (1994) “Time Series Análisis”. Primera Edición. Princeton University Press. 28 El análisis, en caso de que los datos de inversión pública estén disponibles a nivel localidad y/o tipos de proyectos, podría realizarse a dichos niveles, para lo cual se compararía el comportamiento de esta variable en las localidades CEC ubicadas en municipios de alta y muy alta marginación, y las localidades casi-CEC


35



El problema de cambio de régimen de la inversión pública en las localidades CEC como producto de la entrada en operación de la EM puede modelarse de la siguiente forma: para los datos de la inversión pública previos al año 2000 un modelo utilizable seria:

ttt yy εμφμ +−=− − )( 111 (1) mientras que para los datos de la inversión pública posteriores al año 2000, donde podría observarse un efecto “gravitacional” en la inversión pública, el modelo podría ser:

ttt yy εμφμ +−=− − )( 212 (2)

donde presumiblemente 12 μμ > . Aunque las especificaciones (1) y (2) pueden ser satisfactorias como representaciones de series de datos donde esta presente un cambio de régimen, no son satisfactorias como un modelo de series de tiempo de las mismas, porque al no tomar en cuenta la probabilidad de cambio de régimen no resultan convenientes para pronóstico. Por lo anterior, la representación de series de tiempo adecuada para el estudio de las series de tiempo de inversión pública en las diferentes localidades y municipios, es la que permite a una variable dada seguir diferentes procesos de series de tiempo sobre diferentes periodos. Por ejemplo, consideremos el proceso autorregresivo de primer orden en el cual, tanto el término constante como el coeficiente autorregresivo pueden diferir en diferentes periodos de tiempo:

ttststt ycy εφ ++= −1

donde tε ~ i.i.d. N(0, ). El propósito es modelar el régimen como un resultado de una cadena de Markov no observada de N-estados donde es independiente de

2σ ts

ts τε para todo t yτ 29. Esta modelización empleando cadenas de Markov resulta particularmente útil para describir el proceso que genera los cambios en los regimenes. Por ejemplo, supongamos que el cambio de régimen es un evento permanente30. Esto puede ser modelado utilizando una cadena de Markov de dos estados donde el estado 2 es un estado absorbente (entrada del ubicadas en municipios de grado de marginación medio. Para más información en tormo a las localidades casi-CEC ver la sección 3.2.1 sobre el Diseño metodológico para la encuesta en hogares beneficiarios. 29 Esto puede generalizarse a procesos en los cuales la probabilidad de que =j depende no solo de los

valores de sino también de un vector de otras variables observadas. ts

1−ts30 Debe observarse que la modelación de Series de Tiempo vía Cadena de Markov también permite modelar cambios de régimen de carácter temporal.


36



municipio a la EM). La ventaja de la especificación vía cadena de Markov sobre una especificación determinística es que permite generar pronósticos significativos antes de que suceda el cambio de régimen, que toman en cuenta la posibilidad de cambio del mismo. Adicionalmente, la modelación utilizando la cadena de Markov es muy flexible ya que permite especificar una ley de probabilidad consistente con un amplio rango de diferentes resultados, y escoger parámetros particulares exclusivamente sobre la base de los datos disponibles31.

2.2.2 Evaluación de la participación comunitaria Como ya se ha señalado, la EM conjuga el enfoque territorial con la participación social y el desarrollo que de ella deriva “[…] debe responder a una necesidad local, y aprovechar la energía, el entusiasmo y la creatividad también locales.” Como en toda política social que busca optimizar su eficiencia e impacto, esta participación comunitaria debe ser institucionalizada por la EM ya que “[…] La cogestión de destinatarios y prestadores de servicios exige mecanismos ágiles de interlocución, para lo cual hay que tomar en cuenta las redes de cooperación existentes en las comunidades.”32

Al respecto, la evaluación de la EM buscó analizar la participación comunitaria en la operación de la misma buscando aislar en los posible mediante la información cualitativa y cuantitativa, el grado de participación local y los diferentes mecanismos a través de los cuales las comunidades participan en la realización y mantenimiento de proyectos y acciones de infraestructura, servicios, fomento económico y organización comunitaria en las localidades CEC y de influencia, así como evaluar la participación de las organizaciones de la sociedad civil, la iniciativa privada e instituciones académicas en la realización y mantenimiento de los mismos. Para evaluar el impacto de la EM sobre la participación comunitaria de las comunidades beneficiadas, se hicieron encuestas con cuestionarios que incluyeron un capítulo específico sobre la apreciación de aspectos como la identificación de la Estrategia Microrregiones así como el entendimiento de la forma en que operan; la satisfacción, el tipo de apoyos que se otorgan; la accesibilidad del programa en términos de la difusión de información, cercanía de los CEC, el grado de participación de la comunidad en la planeación, construcción y mantenimiento de las obras de infraestructura, la presencia, generación y/o modificación de los diferentes mecanismos sociales de participación (asamblea comunitaria o ejidal, mesas de trabajo del COPLADEMUN, etc.), el posible efecto de estigmatización social por el acceso a los beneficios, entre otros. Las principales herramientas empleadas fueron aquí las encuestas dirigidas a habitantes de localidades beneficiadas y no beneficiadas por la EM en su sección sobre participación comunitaria, auxiliada y ampliada por otras como las

31 Véase Diebold F., Lee J. y Weinbach G. (1996). 32 Véase Cohen E. y Franco R. (2005).


37



entrevistas a profundidad, las visitas y observación in situ, grupos focales y sesiones participativas, así como el análisis sobre el antes y después de (los) proyecto(s) de los diversos programas secretariales. Por otro lado, se buscó establecer la existencia o no de algún trato diferencial o discriminatorio hacia los beneficiarios de los programas en el momento en que se presentan a obtener los beneficios del mismo, y apreciar si esto pudo haber desincentivado la adhesión, el grado de participación comunitaria, la presencia de agentes pivotes que controlen los resultados o la agenda de los mecanismos de participación, además de molestias y/o insatisfacción al beneficiario por mal manejo o dirección de los operadores de la EM y los programas secretariales que lo conforman. Finalmente, cabe señalar que la evaluación de operación utilizó los diferentes instrumentos mencionados para obtener información cualitativa sobre las dinámicas económicas, sociales y culturales que afectan la percepción de los beneficiarios en torno de microrregiones. En este apartado sobre la participación de los sujetos en el desarrollo de sus localidades, fue importante la aproximación cualitativa ya que brindó al equipo evaluador el conocimiento sobre el contexto de realización de los proyectos y sus impactos locales, así mismo lo necesario para explicar las causas y consecuencias que facilitaron y/o impidieron la consecución de los resultados esperados. Esta aproximación de tipo cualitativa a los componentes sociales, culturales y políticos cobró pertinencia en tanto la EM fue evaluada más allá de proyectos y acciones puntuales, conociéndola y sopesándole a la luz de una mirada crítica a los procesos sociales generados por los protagonistas y verdaderos agentes del desarrollo local, es decir, los actores sociales, políticos e institucionales que confluyen en distintos ámbitos territoriales33. Adicionalmente, se examinó la forma en que las comunidades fueron involucradas y/o consultadas en el proceso de toma de decisiones para la selección de obras y acciones en su localidad, así como la forma en que éstas han respondido a sus prioridades34. La EM buscó ir más allá del componente participativo y busca la creación de capital social en las comunidades en las que opera la misma. La generación de capital social se fundamenta en actitudes basadas en vínculos de solidaridad, confianza y cooperación más allá de la participación temporal en la creación de las obras y proyectos. El objetivo entonces fue el de crear lazos más firmes de cohesión social y actitudes cívicas dentro de las comunidades para así superar relaciones sociales utilitarias o de búsqueda de beneficios inmediatos que proporcionan los programas que coordina la EM. 33 En forma específica, los actores políticos y sociales como los integrantes del COPLADE y COPLADEMUN, autoridades municipales (presidentes municipales, regidores, concejales, etc.) y los funcionarios de las diversas delegaciones de las dependencias del gobierno federal en los estados. 34 En lo que tocó a la evaluación de los Centros Estratégicos Comunitarios o CEC, con base en el análisis de información interna de la EM y en los datos recabados en el trabajo de campo, se determinó el número de unidades existentes por año de inicio, diferenciando por los tipos de servicio que prestan, el uso y demanda de los servicios por parte de la población objetivo, así como la factibilidad de inclusión de servicios adicionales.


38



El capital social se pudo medir mediante observaciones cualitativas haciendo uso de las herramientas cualitativas ya mencionadas, apreciándose el desarrollo de vínculos solidarios y de confianza más allá de una participación inmediata con el fin de hacerse de bienes y/o servicios; así como el desarrollo de vínculos de cooperación a participar en actividades y organizaciones fuera de las comunidades locales. Por otra parte, fue posible captar el capital social y medirlo de forma cuantitativa mediante una construcción de indicadores, todo ello a partir de variables que se reportaron en el instrumento de la encuesta.35

2.2.3 Evaluación de la sustentabilidad de proyectos y acciones.

La evaluación de la Estrategia de Microrregiones (EM) contempla una serie de levantamientos de información en campo, tanto cuantitativa como cualitativa, a efecto de entender mejor y proporcionar evidencia sobre el impacto y la operación de dicha intervención. El levantamiento de información cuantitativa incluye dos encuestas con representatividad nacional y una no representativa, a continuación:

• Encuesta a hogares en las localidades CEC y Q-CEC, que se dirige a aquéllos considerados como beneficiarios de proyectos y acciones del tipo bandera blanca en sus localidades, en los rubros de agua, electricidad, salud, educación, CCA, caminos y piso firme;

• Encuesta a hogares en las localidades INF y Q-INF, que se centra sobre aquéllos que han sido presuntamente beneficiarios de proyectos y acciones bandera blanca realizadas en las localidades CEC, pero sólo en los rubros de salud, educación, CCA y caminos—esto es, aquéllos a los que pueden tener acceso directo; y

• Encuesta de proyectos en localidades CEC y Q-CEC, que se centra sobre el diseño, utilización, uso, calidad, operación y mantenimiento de los proyectos y acciones del tipo bandera blanca que se han realizado en estas localidades de 2002 a junio de 2006.

El levantamiento de información cualitativa incluyó grupos de enfoque con beneficiarios de acciones y proyectos, entrevistas semi-profundas con autoridades locales, líderes comunitarios y con Residentes de la EM. También, se han utilizado estudios de caso para documentar y ampliar el contexto sobre las acciones. Como ya se estableció en los indicadores para la evaluación, los temas más importantes a explorar fueron los siguientes: impacto y percepción de impacto (rezago estructural,

35 Este instrumento permite que el capital social pueda ser captado con observaciones más amplias que representen a la población bajo la EM y generar variables que son posibles de ser sujetas a un análisis estadístico. El diseño de los instrumentos tanto cuantitativos como cualitativos se describen el apartado 3 de “Técnicas e instrumentos” abajo en el documento.


39



accesibilidad, desarrollo integral y dinámica demográfica); participación comunitaria y capital social (participación, aportación, apropiación, apoderamiento y civilidad); y convergencia territorial (cantidad, calidad y utilización de proyectos y acciones). Los valores a estimar fueron principalmente los promedios sobre indicadores y escalas específicas de las variables relevantes en las localidades CEC y sus localidades de influencia (INF) que constituyeron el grupo de tratamiento, mismos que luego se apreciaron a la luz de los valores obtenidos para las localidades Q-CEC (quasi-CEC, que son aquellas localidades que tienen la probabilidad de ser CEC, fuera de las microrregiones)36 y Q-INF (quasi-influencia que son las localidades de influencia de las Q-CEC) que constituyen el grupo de comparación. Siguiendo los lineamientos del diseño cuasi-experimental con aparejamiento con propensión propuesto para la evaluación de impacto, el marco muestral para las encuestas tuvo como referencia al grupo de localidades CEC previamente aparejadas con sus respectivos Q-CEC, así como las localidades INF y Q-INF identificadas para cada una de ellas. De esta manera, se procuró mantener consistencia entre las estimaciones que se realizaron con base en datos del Censo 2000 y el Conteo 2005, y aquéllas hechas a partir de información primaria recabada en campo específicamente para la evaluación.

2.2.3.1 La selección de proyectos y acciones bandera blanca. Una vez que fueron seleccionadas las localidades para realizar el trabajo de campo, el equipo evaluador consideró necesario priorizar un conjunto de proyectos y acciones bandera blanca, a efecto de asegurar que contemos con suficientes observaciones para realizar las estimaciones correspondientes, así, como de levantar adecuadamente la información. Debido a la disparidad en la cantidad de proyectos y acciones realizadas entre las distintas banderas, como a la diversidad de proyectos y acciones específicos que contemplan algunas de ellas, se propuso realizar el procedimiento de selección que a continuación se describe.

a) Selección de banderas blancas En una decisión conjunta entre la DGEMPS, la Unidad de Microrregiones y el equipo evaluador, del conjunto total de 14 banderas se seleccionaron 7 banderas que se consideraron como más importantes. Para ello, se aplicaron dos criterios distintos y complementarios, uno de frecuencia y otro de carácter conceptual. Primeramente se tomaron las 5 banderas con mayor número de acciones, siendo éstas las de piso firme, CCA, educación, energía eléctrica y agua potable. Seguidamente, se añadieron 2 banderas más, las de salud y caminos, en virtud de su importancia dentro del marco de las condiciones estructurales de la marginación rural. Así, la suma de estas siete banderas representa el 69% del total de acciones llevadas a cabo por la EM.

36 El concepto relacionado a la selección de localidades se encuentra detallado en el apartado de la Evaluación de impacto.


40



Cabe señalar que dentro del conjunto de las 121 localidades CEC incluidas en la muestra para las encuestas a beneficiarios, 25 de ellas no registran proyectos y acciones bandera blanca durante el periodo 2002-200537. Si bien en primera instancia podría pensarse en no considerarlas dentro de la muestra y reemplazarlas, hay dos razones para mantenerlas en el levantamiento. La primera es que es de esperarse que existan localidades Q-CEC en la muestra correspondiente que tampoco han ejecutado este tipo de proyectos y acciones en el periodo de referencia, por lo cual no hay motivos para pensar que las estimaciones presenten sesgos, al menos de inicio. Por el contrario, si se excluyeran estas localidades CEC que no registran proyectos y acciones sí se puede esperar que hubiera sobre-estimaciones de impactos y efectos, puesto que, en ausencia de información detallada sobre los proyectos y acciones en las Q-CEC, no podríamos eliminar de la muestra a aquellas que tampoco las registran. La segunda razón es que el hecho de que en estas localidades no se hayan realizado proyectos y acciones es de sí mismo un resultado de la EM, y la encuesta puede entonces arrojar información valiosa acerca de algunos de los factores y condiciones que ayudan a explicar esta situación.

Cuadro 2.1 Distribución de proyectos y acciones bandera blanca 2002-2005

(fuente: SISBAB)

Tipo de bandera blanca Número de proyectos y acciones %

Telefonía 106 1.1 Plan de Desarrollo Local 204 2.2 Impulso a la Actividad Productiva

385 4.1

Salud 452 4.8 Identidad Jurídica 476 5.0 Saneamiento 479 5.1 Patrimonio Rural 543 5.7 Camino 689 7.3 Abasto 722 7.6 Agua potable 757 8.0 Energía Eléctrica 796 8.4 Educativa 935 9.9 CCA 1,440 15.2 Piso Firme 1,460 15.5 Total 9,444 100.0

37 El equipo evaluador sólo recibió información del 19% de las localidades solicitadas, lo que equivale al 3% de las localidades Q-CEC y 31% de las localidades CEC. Asimismo, sólo pudo establecerse contacto con los estados de: Campeche, Chiapas, Durango, Guerrero, Hidalgo, Morelos, Nayarit, Oaxaca, Puebla, Tabasco, Tlaxcala, Veracruz y Yucatán, faltando los datos de contacto de los estados de: Chihuahua, Guanajuato, Jalisco, Estado de México, Michoacán, Querétaro, Quintana Roo, San Luis Potosí, Sinaloa, Sonora, Tamaulipas y Zacatecas.


41



b) Selección de proyectos y acciones Además del número total de localidades a visitar y de entrevistas a realizar, el levantamiento presenta otras restricciones relevantes:

i. el promedio de proyectos y acciones por localidad CEC, es de 3.9; ii. la heterogeneidad de las posibles combinaciones de banderas blancas específicas en

las localidades CEC; iii. la dispersión geográfica y física de los proyectos y acciones dentro de cada

localidad CEC; y iv. la duración promedio de aplicación que tiene cada módulo para proyectos y

acciones, que es de 7 minutos; Con el propósito de obtener la mayor información posible dentro de las restricciones logísticas propias del levantamiento, se propone tomar 2 banderas blancas de las 7 preseleccionadas, cada una con 1 proyecto y acción, que servirán como ejes del levantamiento en cada localidad. Esto no afectaría el número de encuestas, pero sí aumentaría el número de localidades, de proyectos y acciones sobre los cuales podemos obtener información de cada bandera blanca en particular. Cuando en alguna localidad hubo un sólo proyecto o acción, se levantó información solamente éste, y cuando sólo hubo una bandera blanca pero con más de un proyecto u acción, se procuró levantar entonces al menos 2 de ellos. Asimismo, cuando un hogar entrevistado a partir de uno de los proyectos y acciones que sirven como ejes dentro de la localidad, sea también beneficiario de un proyecto o acción perteneciente a otra bandera blanca distinta, se podrá aplicarle el módulo respectivo. Así, en cada localidad CEC y Q-CEC se levantó hasta un máximo de 3 proyectos y acciones de las 7 banderas blancas seleccionadas. La cantidad de proyectos y acciones de cada tipo a levantar fueron determinadas entonces por el peso específico que tienen las respectivas banderas. Como se mencionó anteriormente, esperábamos que algunos de los proyectos y acciones ejecutados en los CEC no beneficiaran realmente a los hogares que están en otras localidades dentro de su área de influencia, al menos de manera directa y evidente. Por ello, los cuestionarios para las entrevistas en las localidades INF y Q-INF no incluyeron módulos para las banderas blancas de piso firme, energía eléctrica y agua potable, y por ello tampoco se visitaron este tipo de las localidades cuando sólo se hubieran levantado este tipo de banderas en las CEC y Q-CEC. De realizar lo anterior, tendríamos entonces que la cantidad de localidades sobre las que se obtendría información para una determinada bandera blanca podría duplicarse, mientras la cantidad de encuestas en localidades CEC es la misma. En lo que respecta a las localidades de influencia estas aumentarían debido a que al combinar los diferentes tipos de banderas blancas se tendría que visitar localidades de influencia para las banderas de salud, camino,


42



y CCA en donde se combinaran con acciones de piso firme, agua potable y energía eléctrica. Así, las estimaciones básicas para el levantamiento de las encuestas a beneficiarios son las siguientes:

Cuadro 2.2

* Muestra la cantidad máxima de localidades de influencia, encuestas a realizar o encuestas adicionales en localidad CEC a realizar para completar el total de 2,530 encuestas a hogares de tratamiento, las cuales al ser aplicadas también al grupo de control nos dan un total de 5,060 encuestas.

Banderas blancas

Localidades CEC Entrevistas Localidades

INF Entrevista

s

Entrevistas adicionales en

CEC Salud 8 a 16 120 8 64 0 Camino 12 a 24 180 12 96 0 Agua potable* 13 a 26 195 13* 104* 104* Electricidad* 13 a 26 195 13* 104* 104* Educativa 16 a 32 240 16 128 0 CCA 24 a 48 360 24 192 0 Piso Firme* 24 a 48 360 24* 192* 192* Total general 110 1650 110 880 400

Para la recopilación de las inversiones en las localidades Q-CEC, se sugirió el siguiente procedimiento: 1. Debido a que una parte importante de las inversiones realizadas en la localidad es hecha

por el municipio, se solicita se envié el oficio correspondiente al municipio solicitándole las inversiones realizadas en la localidad o a alguna entidad similar que cuente con dicha información.

2. Otra parte de las inversiones realizadas en la localidad es llevada a cabo por el gobierno

del estado, por lo que se sugiere enviar oficio a la Secretaría de Planeación del estado o a la Secretaría correspondiente que lleve el registro de las inversiones hechas en la localidad por parte del gobierno estatal.

3. Por otro lado, la delegación de la Sedesol tiene los registros de inversión realizados en

la localidad Q-CEC a través de los programas sociales que operan en el estado, por lo que se requiere que dicha base de datos los contenga.

4. Por último se solicita si existe la información las inversión realizada por otras

dependencias federales como son la SAGARPA, SCT, CDI, entre otras, ya sea hechas en conjunto con la Sedesol, gobierno estatal u otro.


43



2.3 Metodología para la evaluación de impacto

2.3.1 Impactos a nivel de municipios El objetivo de esta parte del estudio consistió en determinar en qué medida la EM contribuyó a mejorar las condiciones estructurales de marginación en los municipios del país que conforman las microrregiones. Debe observarse que la evaluación de impacto se propuso en un principio utilizar como indicador básico no al índice de marginación (IM) sino al índice absoluto de marginación (IAM), también elaborado por CONAPO. La diferencia fundamental estriba en que el primer método cambia cada 5 años los ponderadores específicos de los 9 componentes individuales, por lo que los valores resultantes no son estrictamente comparables a través del tiempo—salvo para apreciar cambios en las posiciones relativas entre los municipios. En contraste, el segundo método fija los ponderadores de los componentes del índice, asignando un valor igual de 1/9 para cada uno, permitiendo así apreciar variaciones a través del tiempo. Sin embargo, por insuficiencia de datos, no se utilizó el Índice de Marginación Absoluto de la CONAPO sino que se estimó una versión basada en siete de los nueve componentes de este índice. Los componentes que se incluyeron son los siguientes:

1) el porcentaje de analfabetas entre la población de 15 años o más, 2) el porcentaje de individuos sin primaria completa entre la población de 15 años o

más, 3) el porcentaje de ocupantes en viviendas sin drenaje ni servicio sanitario exclusivo, 4) el porcentaje de ocupantes en viviendas sin electricidad, 5) el porcentaje de ocupantes en viviendas sin agua, 6) el porcentaje de ocupantes en viviendas con piso de tierra, 7) el porcentaje de viviendas con algún grado de hacinamiento.38

En condiciones ideales, era conveniente evaluar el impacto la EM comparando municipios de alta y muy alta marginación donde la EM operó contra municipios marginados en los que no operó—es decir, con un grupo de tratamiento y otro de control. El problema con esta alternativa fue doble. Por un lado, la EM incluyó a todos los municipios de alta y muy alta marginación, por lo que como tal no existieron municipios en condiciones similares de marginación fuera de las microrregiones, como para conformar un grupo de control. Por otro lado, aunque efectivamente existen algunos municipios en las microrregiones en los

38 Los componentes del índice de marginación que no se utilizaron en esta parte son el porcentaje de trabajadores con menos de dos salarios mínimos y el porcentaje de localidades con menos de cinco mil habitantes. Esto componentes no se utilizaron porque al momento de la estimación no contábamos con la información suficiente para el cálculo de estos componentes.


44



que todavía no se registran proyectos y acciones de la estrategia, tampoco se pudo obtener un grupo de control adecuado a partir de ellos. El hecho de que la EM no haya operado en dichos municipios debido principalmente a la falta de presupuesto o por la decisión de las autoridades municipales o estatales, genera un fuerte sesgo de selección: en términos formales, las razones mencionadas no son de orden aleatorio ni directamente observables, por lo pueden acarrear sesgos sistemáticos y no sistemáticos, ocasionando que los valores reportados para las variables e indicadores de impacto puedan estar considerablemente sobre o subestimados, sin que haya forma obvia de corregir por dichas desviaciones.39

Inicialmente se propusieron el análisis temporal y la técnica de regresión discontinua para estimar el impacto en los municipios. El primero consistente en un análisis econométrico de un panel de datos de municipios donde actuó la EM –con observaciones en al menos tres puntos en el tiempo—observando las trayectorias de los valores del Índice Absoluto de Marginación (IAM) y de los componentes relevantes antes y después de la entrada en vigor de la EM, viendo el impacto al reportarse un cambio en las trayectorias de las variables que denotan marginación.40. La segunda, consistente en comparar municipios con características similares en términos de los valores del IAM, separados por un punto de corte observable que hace que unos sean fueran beneficiados y otros no41. Sin embargo, se optó únicamente por el segundo método por su factibilidad y pertenencia, dado que para el primero la información no pudo obtenerse en tiempos y formas acordadas para: Censo de 1990, Conteo de 1995, Censo de 2000 y Conteo de 2005.

2.3.1.1 Análisis de discontinuidades Se buscó estimar el impacto de la EM utilizando grupos de municipios con niveles de marginación muy similares. La idea de esta propuesta provino del método llamado regresión de discontinuidades42. Para implementar esta idea, se utilizaron municipios que muy parecidos en términos de su nivel de marginación, pero claramente separables en términos de la acción de la EM. Por ejemplo, consideremos a los municipios con marginación media y alta en el año 2000. Existe un nivel en el índice de marginación que separa a estos dos grupos, digamos φ, y 39 Para mayor elaboración sobre los sesgos de selección y sus efectos, véase: Woolridge, J. M. 2002. Econometric Analysis of Cross Section and Panel Data. Cambridge: MIT Press. 40 Este análisis de las trayectorias se podría complementar—al menos para tener una referencia que si no una comparación estrictamente hablando—revisando la experiencia de los municipios más marginados con la experiencia de municipios de marginación media, baja o muy baja, donde la EM no operó. 41 Este método de regresión de discontinuidades tiene la ventaja sobre el análisis temporal de que sí es posible definir un grupo de comparación, pero tiene la desventaja de solamente se consideraría a un subconjunto de los municipios dentro y fuera de microrregiones y no a la totalidad de los mismos. Con todo, si se tiene una buena distribución de las observaciones alrededor del punto de corte y suficientes casos en el área de soporte común, esta técnica ha demostrado ser muy robusta y útil para estimaciones de impacto en condiciones similares a las de la presente evaluación. 42 Véase por ejemplo Angrist y Lavy (1999).


45



sabemos que si el municipio pertenece al grupo de alta marginación entonces fue objeto de la EM. El índice de marginación es una variable continua la cual conforme se incrementa indica un mayor nivel de marginación. Consideremos al grupo de municipios con nivel de marginación media, dentro de este grupo podemos encontrar municipios con valores distintos en el índice de marginación, y habrá algunos municipios que tengan un valor del índice cercano al valor φ, es decir al punto de separación entre la marginación media y la marginación alta. Sin embargo sabemos que si el municipio es de marginación media43 no fue sujeto de la EM, y esto es así sin importar qué tan cerca se encuentre del valor φ, pero cuando el municipio alcanza y supera el valor φ entonces sí es objeto de la EM. De esta manera, tenemos una discontinuidad en la aplicación de la EM. Para llevar a cabo la evaluación es necesario comparar municipios que se encuentren muy cerca del punto de corte. Los municipios que se encuentran abajo del punto de corte consistirían en el grupo de control mientras que los municipios que se encuentren arriba del punto de corte serían el grupo de tratamiento. Los municipios a incluir en el análisis se definirían en función de qué tan cerca queremos estar del punto de corte, en este sentido cabrían distintas definiciones de lo que es una vecindad alrededor de un punto. Un aspecto importante a considerar es que podríamos ensayar con distintos tamaños de distancia o vecindades para ver la robustez de los resultados. Un inconveniente de este método de regresión con discontinuidades consiste en que eliminaríamos del análisis a los municipios con niveles muy altos de marginación, esto porque este grupo se encuentra lejos del punto de corte entre marginación media y alta, con lo cual no serían muy comparables con el grupo de control, es decir, los municipios de marginación media La aplicación del método de RD supone que, en principio, existe una relación continua o ‘suave’ entre el índice de marginación de 2000 y los componentes del índice para de 2005. En la lógica de la EM, se esperaría que esta relación presentará una discontinuidad entre aquellos municipios que forman parte de las microrregiones y que fueron entonces objetos de EM—básicamente, aquellos con grado de marginación alta y muy alta44 para el año 2000—con respecto al resto de los municipios del país—aquellos clasificados como de marginación media, baja y muy baja.45 Así, por ejemplo, un impacto positivo de la EM 43 Con excepción de algunos municipios con características especiales: los de marginación relativa o con población predominantemente indígena, que son fácilmente identificables. 44 Con excepción de cuarenta municipios de marginación relativa y/o predominantemente indígena. 45 Cabe recordar que la clasificación de los municipios por grado de marginación se basa en el valor del índice de marginación, que es una variable continua; si un municipio presenta un valor de esta variable mayor o igual a un cierto punto—que para el año 200 fue de -0.11—entonces se clasifica al municipio como de marginación alta o muy alta, mientras que si dicho valor es menor, entonces el municipio se clasifica como de marginación media, baja o muy baja. De este modo tenemos que existe un umbral o punto de corte que indica si un municipio estuvo sujeto o no a la acción de la EM, y es precisamente a partir de este umbral que se podría apreciar la discontinuidad en la relación entre el índice de marginación de 2000 y los componentes del índice en 2005—en caso que efectivamente la hubiera, indicando entonces algún impacto en principio atribuible a la EM.


46



sobre el déficit de agua entubada a nivel municipal se apreciaría como un desplazamiento hacia abajo de la línea que señala la relación entre ambas variables, precisamente a partir del umbral o punto de corte que separa a los municipios dentro y fuera de las microrregiones. Esto se muestra en la gráfica siguiente:

Gráfico 2.4

100

Impacto

No microrregiones Microrregiones0

-2.44 -0.11 3.38

% d

e oc

upan

tes

en v

ivie

ndas

que

no

disp

onen

de

agua

ent

ubad

a

Índice de marginación de 2000 Para realizar el análisis de discontinuidad se debe considerar a los municipios que se encuentran en la vecindad del umbral mencionado, y surge entonces el problema de cómo definir dicha vecindad. Si la vecindad se define muy amplia—por ejemplo, considerando prácticamente a todos los municipios del país—entonces las estimaciones ganan en términos de poder estadístico, pero pierden en el sentido de que los grupos comparar contienen municipios más heterogéneos y por ende más difíciles de comparar; si la vecindad se define de manera estrecha, entonces ocurre exactamente lo contrario. Otro problema a considerar es la forma funcional de la relación entre el índice de marginación de 2000 y los componentes del índice de 2005. En este caso, pensamos que es más conveniente trabajar con formas funcionales sencillas—como las lineales o cuadráticas—en lugar de otras variantes que impliquen utilizar términos de interacción entre variables, y que pueden resultar en relaciones más complejas e inciertas de interpretar. Los miembros del equipo evaluador definieron un tamaño de vecindad de tal manera que se tuviera una relación sencilla entre las variables y a la vez un tamaño de muestra suficiente para tener poder estadístico en las estimaciones. Considerando que las formas sencillas que nos interesan son las lineales y las cuadráticas definimos un tamaño de muestra que


47



llamamos “Muestra Normal”46. Con el objeto de verificar si los resultados son sensibles al tamaño de la vecindad seleccionada se definieron otras dos vecindades. La primera, la cual llamamos “Muestra Extendida”, se seleccionó de tal manera que la forma funcional abarcara hasta polinomios de orden ocho, con esto se obtuvo un tamaño de muestra de 2,240 municipios. La última vecindad se definió de tal manera que solamente resultaran formas funcionales lineales, a esta muestra la llamamos “Muestra Pequeña” y consistió en 514 municipios. Para definir las formas funcionales y los tres tamaños de muestra trabajamos con el índice de marginación de 2000 y con cada unos de los siete componentes arriba señalados, también correspondientes al año 2000. De este modo estimamos ecuaciones de la siguiente forma:

2000 año deln Marginació de Indice no on Microregió si indica queDummy

2000 de índice del Componente Con

,..., 88

221

i

i

i

iiiiii

IMDC

IMIMIMDC εδδδβα ++++++=

Dummy que indica si microrregión o no

Índice de Marginación del año 2000 En esta ecuación una de las variables explicativas fue el índice de marginación, el cual se especificó como un polinomio de orden máximo igual ocho, esto para la muestra extendida. Para esta muestra extendida fijemos el tamaño de muestra de tal manera que el orden máximo fuera ocho. En muy pocos casos obtuvimos un polinomio de orden mayor a ocho que fuera estadísticamente significativo, cuando este fue el caso redujimos el tamaño de la vecindad de manera que no resultara significativo este orden mayor a ocho. Esta reducción en el tamaño de la vecindad no se tradujo en una reducción significativa en el tamaño de muestra. Por ejemplo, de los 2,442 municipios que teníamos con información completa en 2000 eliminamos a 40 municipios de marginación relativa o con preponderancia indígena, esto nos dio una muestra disponible de 2,402 municipios. Al reducir la muestra para eliminar polinomios mayores a ocho eliminamos a 202 municipios. Esto nos dio una muestra extendida de 2,240 municipios, de los cuales 1,159 se encuentra bajo la EM y 1,081 no lo están. Una parte importante de la selección del tamaño de muestra es la verificación de si los dos grupos de municipios son de alguna manera comparables. De esta manera llevamos a cabo pruebas de balanceo “condicionales”, donde lo que se quería verificar es si, dado el nivel de marginación, los componentes son iguales entre el grupo de “tratamiento” y el grupo de “control”. Por esta razón utilizamos en la anterior ecuación una variable dicotómica que indica si el municipio se encuentra bajo la EM o no. En esta prueba “condicional” el objetivo era determinar si el coeficiente de la variable dicotómica es cero o distinto de cero.

46 El tamaño de muestra es de 1,232 municipios.


48



Si el coeficiente es estadísticamente cero entonces los dos grupos son comparables47, y serían no comparables si el coeficientes resultara distinto de cero. De esta manera, al seleccionar el tamaño de la muestra también se verificó que el coeficiente de la variable dicotómica no resultara estadísticamente distinto de cero48. Para la muestra normal nos interesaba relaciones sencillas entre el componente y el índice de marginación, por esta razón trabajamos con un polinomio de orden máximo igual a dos. Al igual que en el caso anterior también llevamos a cabo las pruebas de balanceo condicional para asegurarnos que de manera condicional ambos grupos fueran comparables. Para este caso obtuvimos una muestra de tamaño 1,232 municipios, de los cuales 689 estaban bajo la EM y 521 no lo estaban. Para la muestra pequeña trabajamos exclusivamente con formas lineales. Con esto obtuvimos una muestra de 514 municipios, de los cuales 277 estaban bajo la EM y 237 no lo estaban49. Una vez definidos los tamaños de muestra se procedió a estimar el impacto de la EM para el índice absoluto de marginación de 2005 y para cada uno de los componentes de este índice, igualmente correspondientes al año 2005. En cualquier caso el tipo de ecuación estimada fue la siguiente:

2000 año deln Marginació de Indice no on Microregió si indica queDummy

2005 año del impacto de Variable Con

,...,221

i

i

i

ikikiiii

IMDC

IMIMIMDC εδδδβα ++++++=

Dummy que indica si microrregión o no

Índice de Marginación del año 2000 Esta ecuación se estimó utilizando el método de Mínimos Cuadrados Ordinarios, donde las varianzas de los coeficientes se estimaron utilizando el procedimiento de White, el cual es el apropiado ante la presencia de heterocedasticidad en la muestra. En la estimación a nivel nacional se consideraron dos casos. En el primero se estimó un solo intercepto para toda la muestra, en el segundo se estimaron efectos fijos por entidad federativa, con lo cual se estimaron 32 interceptos50.

47 Evidentemente son comparables de manera condicional, esto es, dado el nivel del índice de marginación, ya que de manera “incondicional” los grupos no son comparables porque el grupo de tratamiento se encuentra más marginado que el grupo de control. 48 Es importante notar que todas estas pruebas de especificación y de “balanceo” se hicieron exclusivamente con información del año base, esto es, el año 2000. 49 Para este caso también llevamos a cabo las pruebas de balanceo condicional. 50 Se estimaron menos de 32 interceptos ya que para algunas entidades no fue posible hacer la estimación.


49



2.3.2 Estimación de impacto a nivel de localidades con datos de censo y

conteo

2.3.2.1 Metodología para el caso de localidades CEC La estimación del impacto de la Estrategia de Microrregiones (EM) a nivel de localidades CEC se basó en siete de los ocho componentes del Índice de Marginación a nivel de localidad,51 a saber:

1) Porcentaje de analfabetas en la población con al menos 15 años de edad 2) Porcentaje de individuos de 15 años de edad o más con educación básica

incompleta52 3) Porcentaje de viviendas sin disponibilidad de sanitario exclusivo 4) Porcentaje de viviendas sin disponibilidad de electricidad 5) Porcentaje de viviendas sin disponibilidad de agua entubada en la vivienda53 6) Logaritmo natural del promedio de ocupantes por cuarto 7) Porcentaje de viviendas con piso de tierra

Previo a la estimación del impacto de la EM se definieron a los grupos de tratamiento y de control. El grupo de tratamiento son las localidades CEC de las microrregiones, mientras que el grupo de control, que llamamos quasi-CEC (Q-CEC), que corresponden a localidades fuera del área de microrregiones pero que son similares a las localidades CEC. Como se explicará más adelante, no todas las localidades CEC fueron consideradas en el grupo de tratamiento. Para cada CEC elegida se identificó a una o más localidades similares para que funcionaran como grupo de control. La determinación de dicho grupo de control para localidades CEC se llevó a cabo utilizando el método de aparejamiento por probabilidad. En este sentido, las localidades Q-CEC se eligieron por la similitud en probabilidad estimada, es decir, la probabilidad de ser CEC. Para poder llevar a cabo los aparejamientos es necesario estimar la probabilidad de que alguna localidad arbitraria pueda ser localidad CEC. Para llevar a cabo esta estimación se compararon localidades CEC con localidades que no son CEC utilizando variables que denotan diversas características de las localidades. El método utilizado para la estimación es conocido como “modelo logit”, En este modelo utilizamos como variables explicativas a diversas características de las localidades correspondientes al año 2000, es decir, antes del 51 El octavo componente no se pudo incorporar debido a la falta de información sobre ingreso en el conteo de 2005. 52 El componente del índice de marginación es el porcentaje de individuos con a lo más primaria incompleta. Tuvimos que modificar este componente a incluir educación básica incompleta porque así se presentó la información para el conteo de 2005. 53 Para el conteo de 2005 la información se reporta como las viviendas sin disponibilidad de agua entubada en el terreno.


50



inicio de la Estrategia de Microrregiones. En la estimación no se incluyeron a todas las localidades del país sino que se hicieron algunas acotaciones que se mencionan a continuación:

1) Solamente incluimos a localidades entre 250 y 7,500 habitantes54 2) Sólo se incluyeron a las localidades CEC en los municipios de microrregiones, pero

se incluyeron a todas las localidades fuera de los municipios de microrregiones.55 3) Se eliminaron de la estimación a localidades con niveles de marginación muy bajo.

En el siguiente cuadro (2.2) se presenta la totalidad de localidades con información en 2000 y su clasificación de acuerdo con el grado de marginación correspondiente al mismo año. En los dos siguientes cuadros (2.3 y 2.4) se presenta la distribución de localidades CEC y No-CEC una vez aplicadas las acotaciones arriba mencionadas. Se puede ver que el número de localidades CEC no incluidas en la estimación es muy pequeño.

Cuadro 2.2 Todas las localidades

Grado-Marginación No-CEC CEC Total

MUY BAJO 2,262 5 2,267 BAJO 6,881 149 7,030

MEDIO 14,325 500 14,825 ALTO 47,264 1,936 49,200

MUY ALTO 33,525 371 33,896 Total 104,257 2,961 107,218

Cuadro 2.3

Localidades entre 250 y 7,500 habitantes Grado-

Marginación No-CEC CEC Total

MUY BAJO 361 5 366 BAJO 2,513 141 2,654

MEDIO 5,617 470 6,087 ALTO 13,842 1,855 15,697

MUY ALTO 3,935 362 4,297 Total 26,268 2,833 29,101

54 Este acotamiento equivale a eliminar al 4.32% de las localidades CEC. 55 Salvo las acotaciones mencionadas.


51



Cuadro 2.4 Localidades utilizadas en la estimación

Grado-Marginación No-CEC CEC Total

BAJO 2,275 115 2,390 MEDIO 4,643 437 5,080 ALTO 5,698 1,823 7,521

MUY ALTO 379 362 741 Total 12,995 2,737 15,732

Los resultados del modelo logit se presentan a continuación. Es importante mencionar que los resultados se presentan en forma de coeficientes.

Cuadro 2.5 Modelo logit para localidades CEC Variables Coeficiente P-Value

Población-Total 0.01288 - Población-Total**2 - 0.00002 0.02100 Población-Total**3 0.00000 0.08500 Población-Total**4 - 0.00000 0.15700 Población-Total**5 0.00000 0.21600 Población-Total**6 - 0.00000 0.25800 Población-Total***7 0.00000 0.28800 Población-Total***8 - 0.00000 0.31200 Asist-Escolar 6-14 1.52386 0.05400 Asist-Escolar 15-17 - 1.41118 0.02000 Asist-Escolar 15-24 2.98934 0.00200 % Población Indígena - 1.45346 0.24200 Servicios Médicos 1.29901 - Secundarias 0.85650 - Ocupación – 1 5.31362 0.03100 Ocupación – 2 7.00675 0.00900 Ocupación – 3 8.59865 0.00500 Menos de 1 Sal-Min 3.50070 0.06900 Entre 1 y 2 Sal-Min - 9.88586 0.00100 Entre 3 y 5 Sal-Min 0.39288 0.84400 Entre 5 y 10 Sal-Min 23.90350 - 10 o más Sal-Min 4.06957 0.30500 Telefono - 2.00935 0.00300 Cocina con ggas - 2.08325 - Vivienda sin Bienes 1.49716 0.00800 Casa Propia - 0.69458 0.18300


52



Modelo logit para localidades CEC Variables Coeficiente P-Value

Con Boiler - 1.54660 - Carretera-Estat-2000 - 0.35466 0.00300 Carretera-Fed-2000 - 0.11547 0.41500 Carretera-Terr-2000 0.12627 0.19000 Carretera-Terr-1000 - 0.09136 0.27800 Carretera-Estat-1000 0.13836 0.26000 Carretera-Fed-1000 0.03388 0.82800 Número de Tiendas 0.93398 - % Analfabetismo - Ind-Marg 0.24147 - % Sin Primaria - Ind-Marg 0.24997 0.00200 % Sin Drenaje - Ind-Marg - 0.00381 0.77700 % Sin Electricidad - Ind-Marg 0.04774 0.00200 % Sin Agua - Ind-Marg - 0.01478 0.19800 % Hacinamiento - Ind-Marg 3.68533 0.01100 % Con Piso Tierra - Ind-Marg 0.06858 - Población Estatal 0.00000 0.00300 % Analfabetismo Estatal 0.00121 0.98800 % Sin Primaria Estatal - 0.06316 0.09800 % Sin Drenaje Estatal 0.00963 0.51100 % Sin Electricidad Estatal 0.03949 0.31900 % Sin Agua Estatal - 0.07359 0.00300 % Hacinamiento Estatal - 0.05102 0.01000 % Con Piso Tierra Estatal - 0.03808 0.06300 % Baja Densidad Estatal 0.07867 - % Bajo Ingreso Estatal 0.09835 - Cabecera Municipal 2.61249 - % Salud Estatal - 123.81460 - Educación Estatal - 92.43020 - Ingreso Estatal - 60.03053 - Género por Entidad 173.58370 - DHREF Entidad 81.31090 - Nivel de Pobreza Entidad 0.12191 0.14900 Topografia1 2.56030 0.00500 Topografia3 2.63089 0.00700 Topografia4 1.46644 0.23400 Topografia6 1.81359 0.03700 Topografia7 2.37013 0.00700 Topografia8 2.22721 0.01200 Topografia10 2.41427 0.00600 Topografia11 2.52116 0.00400 Ocupación – 1**2 - 7.12829 0.11600 Ocupación – 2**2 - 14.32198 0.04900 Ocupación – 3**2 - 20.83607 0.01300


53



Modelo logit para localidades CEC Variables Coeficiente P-Value

% Analfabetismo - Ind-Marg**2 - 0.00652 - % Sin Primaria - Ind-Marg**2 - 0.00397 0.00800 % Sin Drenaje - Ind-Marg**2 0.00002 0.94900 % Sin Electricidad - Ind-Marg**2 - 0.00071 0.14100 % Sin Agua - Ind-Marg**2 0.00046 0.10600 % Hacinamiento - Ind-Marg**2 - 4.62152 0.01000 % Con Piso Tierra - Ind-Marg** - 0.00161 - Menos de 1 Sal-Min**2 - 12.93466 0.00800 Entre 1 y 2 Sal-Min**2 7.45660 0.32200 Entre 3 y 5 Sal-Min**2 - 3.29854 0.61500 Entre 5 y 10 Sal-Min**2 - 140.06740 0.01100 10 o más Sal-Min**2 - 32.69184 0.17600 Número de Tiendas**2 - 0.26469 0.00200 % Población Indígena**2 1.88045 0.60400 Primarias**3 - 0.56083 0.00200 Ocupación – 1**3 5.46480 0.08200 Ocupación – 2**3 10.33250 0.11400 Ocupación – 3**3 21.77422 0.00300 % Analfabetismo - Ind-Marg**3 0.00005 - % Sin Primaria - Ind-Marg**3 0.00002 0.02100 % Sin Drenaje - Ind-Marg**3 - 0.00000 0.91200 % Sin Electricidad - Ind-Marg**3 0.00000 0.39500 % Sin Agua - Ind-Marg**3 - 0.00000 0.06200 % Hacinamiento - Ind-Marg**3 1.33702 0.05400 % Con Piso Tierra - Ind-Marg**3 0.00001 - Menos de 1 Sal-Min**3 8.59069 0.01900 Entre 1 y 2 Sal-Min**3 - 1.19050 0.84000 Entre 3 y 5 Sal-Min**3 0.40850 0.95000 Entre 5 y 10 Sal-Min**3 233.82780 0.10800 10 o más Sal-Min**3 27.04033 0.32800 Num Tiendas**3 0.02526 0.01200 Indígena**3 0.71885 0.78300 Ser-Medicos*Tiendas - 0.19468 0.16200 Interceprto - 0.87809 0.97000 Observaciones 15,728 R**2 0.6027

Lo importante en la estimación son las probabilidades estimadas, no así los coeficientes estimados. En las siguientes gráficas (2.1 y 2.2) se muestra la distribución de localidades CEC y potenciales Q-CEC de acuerdo con la probabilidad estimada. Con las acotaciones de tamaño de localidad obtenemos un total de 12,292 potenciales Q-CEC y 2,736 localidades CEC.


54



Gráfico 2.5

1.1e+04

865417 259 197 149 118 71 65 31

020

0040

0060

0080

001.

0e+0

4Fr

ecue

ncia

0 .2 .4 .6 .8 1Probabilidad Estimada de ser CEC

Localidades Cuasi-CEC

Gráfico 2.6

173 176131 140 137 160

203240

329

1047

020

040

060

080

010

00Fr

ecue

ncia

0 .2 .4 .6 .8 1Probabilidad Estimada de ser CEC

Localidades CEC

Con las probabilidades estimadas se llevaron a cabo los aparejamientos. El aparejamiento se llevó a cabo en forma de uno-a-muchos (one-to-many). Para cada localidad CEC con una


55



probabilidad estimada mayor a 0.05 y menor a 0.95 se identificaron localidades del grupo de control que fueran similares en términos de la probabilidad estimada. La idea de similitud consistió en diferencias de probabilidades menores a 0.0156. De este modo para cada localidad CEC se seleccionó un grupo de localidades del grupo de control, donde la selección se hizo con reemplazamiento, esto quiere decir que una o más localidades del grupo de control pueden servir como grupo de comparación para una o más localidades CEC. Con este procedimiento obtenemos un total de 2,437 localidades CEC y 2,638 Q-CEC. Estas localidades en conjunto conforman la muestra de trabajo. Como ya se mencionó, a cada localidad del grupo de tratamiento (CEC) se le aparejó con un grupo de localidades Q-CEC que resultaron ser similares en términos de la probabilidad estimada. La pareja final consistió en la localidad CEC en cuestión y el promedio simple de las localidades Q-CEC que fueron aparejadas. En este caso, el promedio se toma sobre las variables de impacto correspondientes. En otras estimaciones se llevó a cabo el procedimiento “uno-a-uno” con y sin reemplazamiento. Una vez que se definieron al total de las localidades CEC y Q-CEC se procedió a llevar a cabo algunas pruebas de balanceo entre los regresores. Este tipo de pruebas fueron sugeridas por Dehejia, R. y S. Wahba (1999) y tienen como objetivo verificar si las parejas formadas son realmente buenas parejas en términos de las características observables. Las pruebas se hicieron para todas las variables explicativas utilizadas y para distintos estratos. Estos estratos se definieron dividiendo el intervalo [0,1] en diez partes iguales. De este modo, para cada variable y para cada estrato se hicieron pruebas de igualdad de medias entre las localidades del grupo de control y las del grupo de tratamiento. En una primera corrida del modelo se obtuvo como resultado el no balanceo de los regresores, por lo tanto se reespecificó el modelo logit incluyendo cuadrados, terceras potencias de algunas de las variables y algunos términos de interacción. Como resultado se obtuvo un modelo con mayor grado de balanceo. Con el modelo reespecificado se calcularon otra vez las probabilidades y se formaron los grupos de parejas. Una vez definidos los grupos de tratamiento y control, el siguiente paso es implementar el procedimiento de estimación del impacto. Con los datos del Censo-2000 obtuvimos la estimación basal. Con la información del Conteo-2005 se pudo estimar los cambios en las variables de impacto para cada localidad. En este caso, conviene mencionar que no se obtuvo información del Conteo-2005 para todas las localidades de la muestra de trabajo57, por esta razón se perdieron algunas localidades a las que no se les pudo dar seguimiento en 2005. Al final obtuvimos una muestra de 2,431 localidades CEC y 2,635 Q-CEC58. 56 Aunque esta medida de distancia se incrementó a un máximo de 0.02 puntos para las probabilidades cercanas a la unidad. 57 Algunas localidades no pudieron ser observarlas en 2005. Para otras localidades que sí se les pudo rastrear en 2005 no se tenía información sobre las variables relevantes. 58 Por falta de información se perdieron 6 localidades CEC y 3 Q-CEC. No obstante, las pérdidas importantes se presentaron en las localidades del área de influencia y de su grupo de control.


56



Las variables claves para medir el impacto son los cambios en el Índice de Marginación Absoluto y los componentes de este índice. Por ejemplo, para el caso de la variable de impacto i el cambio para la localidad CEC j es: 2000,,2005,,, ijijij CCC −=Δ Para la localidad Q-CEC k tenemos: 2000,,2005,,, ikikik QQQ −=Δ . Dado que podemos tener muchas Q-CEC por cada CEC el grupo de comparación para la CEC j sería el promedio simple sobre las Q-CEC aparejadas:

( )∑∈

−=ΔjIk

ikikj

ij QQn

C 2000,,2005,,,1~

La medición del impacto consiste en llevar a cabo una prueba de diferencias de medias. Dado que tanto el Índice de Marginación como sus componentes denotan males esperaríamos que los cambios en estos componentes fueran negativos para todas las localidades. Sin embargo, si la EM tuvo un impacto en reducir los índices de marginación entonces tendríamos que observar que la caída en los índices de los CEC es mayor a la producida en los Q-CEC. Por ejemplo, para la variable i las pruebas a contrastar serían:

0~:

0~:

1

0

<Δ−Δ

=Δ−Δ

ii

ii

CCH

CCH

El estadístico de prueba consiste en el promedio de las diferencias en los cambios, esto es, el promedio de las dobles diferencias:

( )∑=

Δ−Δn

jijij CC

n 1,,

~1

Como mencionamos anteriormente, llevamos a cabo la estimación principalmente para el aparejamiento one-to-many. Debido a que se presentó cierto desbalanceo en el año base para algunos componentes del índice de marginación59 decidimos acotar a las potenciales localidades Q-CEC de modo que pudieran formar un buen grupo de comparación. Como se mencionó anteriormente, cada una de las localidades CEC se aparejó con un grupo de localidades Q-CEC, siendo que este grupo de potenciales controles son parecidos a la localidad CEC en cuestión. La selección de las localidades Q-CEC se basó en un índice, el cual consistió en la probabilidad estimada de ser localidad CEC. La acotación extra que se definió consiste en seleccionar solamente localidades Q-CEC si estas presentan un índice de marginación del año 2000 similar al índice de marginación de la localidad CEC. Por

59 Este desbalanceo se debe principalmente a que las pruebas de balanceo que se aplicaron en un inicio se hicieron por estratos. No obstante, para la totalidad de localidades aún existieron ciertos desbalanceos.


57



similar consideramos que el valor absoluto de la diferencia60 entre los índices de marginación sea menor a una cierta constante. Para esta constante se definieron tres valores: 0.5, 0.3 y 0.161, evidentemente mientras más pequeña es la distancia más similares son las localidades que se van a comparar. En la estimación principal consideramos como variable de impacto al Índice de Marginación Absoluto. Lo anterior, fue necesario porque el Índice de Marginación publicado tiene un carácter relativo, en este sentido no es apropiado para hacer comparaciones a través del tiempo. El Índice de Marginación Absoluto se definió como el promedio simple de siete de los ocho componentes del Índice de Marginación, siendo que estos componentes se listaron anteriormente. Este índice se calculó tanto para el año base como para el año 2005. Los resultados de estimación y de las pruebas de balanceo se presentan en el documento de impacto. Conviene en este caso mencionar que las pruebas de balanceo presentadas en el documento de impacto se refieren exclusivamente a las localidades CEC y Q-CEC que fueron realmente utilizadas en la estimación, es decir que resultaron aparejadas62. Por otro lado, las pruebas de balanceo presentadas en el texto de impacto se hicieron para el total de localidades, no se hicieron por estratos.

2.3.2.2 Metodología para localidades en el área de influencia del CEC Para el caso de las áreas de influencia de la localidad CEC (INF) debemos reconocer que resultó muy difícil definir a un grupo de control adecuado. En una primera instancia se seleccionaron las localidades del grupo de control como las localidades bajo el “área de influencia” de las localidades Q-CEC, esto es, de los controles de las localidades CEC. Una vez definida a una localidad del grupo de control de la CEC como una Q-CEC, la identificación del área de influencia de la Q-CEC (Q-INF) se desarrolló bajo procedimientos similares a los utilizados para elegir a las localidades del área de influencia original. Debemos mencionar que bajo este procedimiento no se obtuvieron buenos controles para las áreas de influencia, por lo que fue necesario llevar a cabo algunas acotaciones adicionales. A continuación se describe cómo se construyeron a los controles.

60 O simplemente la distancia 61 El Índice de Marginación Relativo es una variable estandarizada, por lo que tiene media cero y varianza unitaria. La selección de las constantes se basó en la naturaleza del índice de marginación y en el valor que hace que se satisfagan las pruebas de balanceo. 62 En este caso en las pruebas de balanceo algunas localidades Q-CEC se repitieron muchas veces, ya que estas localidades Q-CEC pudieron haber servido de control para varias localidades CEC. Con esto queremos decir que las pruebas de balanceo se hicieron para las “parejas”, donde la pareja para una cierta localidad CEC consistió en el promedio de todas las localidades Q-CEC que resultaron similares en términos de probabilidad.


58



2.3.2.2.1 Síntesis del procedimiento de estimación

El procedimiento para seleccionar las localidades bajo el área de influencia en el grupo de comparación—a las que hemos denominado quasi-área de influencia o Q-INF—consistió básicamente en construir un área geográfica de influencia para cada localidad Q-CEC previamente determinada y aparejada, y luego identificar a las localidades que aparecieran dentro de la misma. Ante la imposibilidad material y temporal de replicar el procedimiento exacto que siguió la Unidad de Microrregiones (UM) para determinar el área de influencia de cada localidad CEC e identificar las localidades dentro de ella, hemos diseñado modelo matemático alimentado a partir de dos fuentes básicas:

• Información topográfica y de infraestructura georeferenciada, específicamente la base de datos y software del sistema IRIS (Información referenciada geoespacialmente integrada en un sistema), versión 3.0, diseñado y publicado por el INEGI; e

• información de las localidades, específicamente del Catálogo de Integración Territorial del XII Censo General de Población y Vivienda 2000 (ITER 2000), y de los Catálogos de Integración Territorial 2004-2005.

El procedimiento que utilizamos se describe a continuación de manera sintética:

a) alrededor de cada Q-CEC, se construyó un espacio inicial con base en un radio de 5 km.;

b) dentro de ese espacio se identificaron las carreteras y caminos que van desde y hacia la localidad Q-CEC, considerando brechas, veredas, carreteras de terracería, carreteras estatales libres y carreteras federales libres;

c) una vez identificadas dichas carreteras y caminos de confluencia, para cada uno se construyó un rango o buffer con base en líneas paralelas a ambos lados situadas a una distancia de 2 km.;

d) se identificaron las localidades que quedaran dentro de cada radio de influencia de los caminos y carreteras que confluyen a la localidad Q-CEC;

e) debido a que en ocasiones las quasi-áreas de influencia pueden superponerse o traslaparse, algunas localidades Q-CEC aparecían en las áreas de influencia de otra Q-CEC cercana—es decir, como Q-INF—se decidió eliminar a todas las del primer tipo de la base de Q-INF, pero no de las Q-CEC; y

f) finalmente, se eliminaron de la base a todas aquellas localidades Q-INF que hubieran quedado fuera del territorio del municipio al que pertenece su respectiva Q-CEC.

Bajo este procedimiento, se obtuvieron un total de 10,884 Q-INF distintas. Cabe señalar que algunas localidades Q-CEC no tienen localidades dentro de su área de influencia, y que


59



algunas localidades Q-INF aparecen en el área de influencia de más de un Q-CEC.63 Así, la base de datos de Q-INF para el total de las Q-CEC aparejadas contiene 23,970 registros, de los cuales 23,896 corresponden a los Q-CEC que sí tienen Q-INF y 74 a los Q-CEC que no las tienen. En las tablas siguientes se presentan algunas estadísticas básicas acerca de los resultados del procedimiento para determinar las localidades Q-INF.

Cuadro 2.6 Localidades Q-CEC

Total 2,502 Con área de influencia 2,428 Sin área de influencia 74

Cuadro 2.7

Localidades Q-INF Total 10,884

Promedio 9.58 Desv. estándar 8.60 Mínimo 1 En áreas de influencia

Máximo 54 Promedio 2.19 Desv. Estándar 2.00 Mínimo 1 Repeticiones en áreas de influencia

Máximo 18

Cuadro 2.8 Distribución de localidades Q-INF por grado de marginación de Q-CEC,

según su grado de marginación Grado de marginación Q-CEC Grado de marginación localidad

Q-INF Bajo Medio Alto Muy alto Total Muy bajo 42 125 277 13 457

Bajo 212 435 813 47 1,507Medio 500 1,254 2,289 60 4,103Alto 674 2,615 9,079 682 13,050

Muy alto 78 569 3,337 795 4,779Total 1,506 4,998 15,795 1,597 23,896

Finalmente, debemos mencionar que el ITER 2000 reporta cerca de 200,000 localidades, mientras que los resultados definitivos del Conteo 2005 reportan alrededor de 190,000. Esto implica que del año 2000 al 2005 algunas localidades que estamos identificando como Q- 63 Estas características son compatibles también con aquellas que presentan las localidades CEC y las localidades dentro de su área de influencia, según la base de datos de las mismas proporcionada por la Unidad de Microrregiones.


60



INF pudieron haber desaparecido, y que seguramente hay otras nuevas que no podemos identificar. El objetivo general de los diferentes procedimientos realizados para la construcción de las Q-CEC y sus respectivas áreas de influencia fue poder contar con un grupo de control lo más cercanamente parecido en sus características al grupo de tratamiento. El primer paso fue establecer aparejamientos entre CEC y localidades fuera de microrregiones empleando la técnica de aparejamiento por propensión.64 Para ello, se consideraron en el modelo a estimar variables obtenidas del Censo de Población y Vivienda 2000, características del medio físico como topografía, disponibilidad de servicios e infraestructura carretera y de otro tipo, tanto en la localidad como en las viviendas. Cabe señalar que el trabajo de gabinete con datos sociodemográficos y georreferenciados desarrollado por la Unidad de Microrregiones para identificar las localidades CEC y sus áreas de influencia, fue sólo la primera etapa del proceso. En una segunda etapa se aplicaron otros criterios y se utilizaron fuentes de información distintas, contando con la participación de autoridades locales, municipales y estatales. De lo anterior, se desprende que en algunos casos se seleccionaran como CEC a localidades que no cumplían con algunos de los requisitos básicos establecidos en por la EM, como se puede apreciar en el siguiente cuadro.

Cuadro 2.9 Criterios para la selección de ser CEC No cumplen % de CEC

Tamaño de la localidad: de 500 a 5,000 habitantes 550 18.54% Accesibilidad: contar con vías de acceso transitables todo el año 247 9.02% Servicios de salud: Disposición de servicio médico básico 415 15.16%

Primaria 78 2.85% Acceso a servicios de educación básica Secundaria 231 8.44% Tiendas Diconsa 744 27.18% *Con excepción del tamaño de localidad, los porcentajes corresponden a localidades CEC de entre 250 y 7,500 habitantes.

Si bien esta situación es comprensible y no representa necesariamente una anomalía—aunque en algunos casos sí pudiera serlo—resulta claro que sí afecta la elección de los CEC y de las localidades en sus áreas de influencia, en el sentido que introduce criterios y elementos que no se pueden considerar por parte del equipo evaluador replicando simplemente los criterios y procedimientos de gabinete utilizados por la Unidad de Microrregiones. En atención a lo anterior, lo que el equipo evaluador ha realizado para determinar las localidades Q-CEC y Q-INF pretende no tanto reproducir aquellos criterios y procedimientos utilizados por la Unidad de Microrregiones, sino fundamentalmente obtener 64 Sobre la técnica de aparejamiento por propensión, consúltese Burga (2003), Dehejia R. y Wahba (2002), Díaz J. y Handa S. (2004); Jalan J. y Ravallion (2000). Asimismo, la información metodológica que extiende a profundidad en el Reporte Metodológico.


61



localidades comparables a partir de datos observables relevantes, hayan sido estos utilizados o no durante el proceso de selección. Dicho de otra forma, lo que se privilegia es que los resultados de la selección arrojen localidades estadísticamente comparables en su conjunto y en sus aparejamientos, para que puedan considerarse válidamente como grupo de comparación. Así, por ejemplo, en la estimación para las Q-CEC con base en el modelo logit se procuró retomar las variables utilizadas por la Unidad de Microrregiones, pero se incorporaron muchas otras más que no fueron utilizadas originalmente—como en su momento se planteó en el memorando correspondiente. Según lo descrito en la nota técnica respectiva de la Unidad de Microrregiones la determinación de las áreas de influencia de los CEC y la identificación de las localidades que en ellas se encontraban, se realizó en dos etapas. La primera consistió en un análisis georreferenciado de gabinete, estableciendo un radio de influencia de 5 Km. alrededor de los CEC y buffer de carreteras de entre 1.5 y 3 Km., y construyendo polígonos de Thyssen para delimitar mejor las áreas de influencia entre las localidades CEC.65 La segunda etapa se realizó con trabajo de campo, a partir del levantamiento de información para las fichas de Diagnóstico situacional de las localidades CEC, con el cual se obtuvieron datos de los residentes de otras localidades que acudían al CEC para obtener servicios tales como salud, educación y abasto. La segunda etapa validó en algunos casos y modificó en otros la selección de gabinete, lo que llevó a que existieran algunas localidades en áreas de influencia a una distancia lineal mucho mayor a las especificaciones de originales. Así, de las 14,341 localidades en áreas de influencia 3,412 se encuentran a una distancia mayor a 7 km. lineales de su CEC de influencia. Dichas localidades representan el 24.8% del total de localidades en áreas de influencia. Por otro lado, la metodología del equipo evaluador para determinar las localidades Q-INF, se observa que es muy parecida a la utilizada en gabinete por la Unidad de Microrregiones y se espera por lo tanto que arroje resultados similares, al menos en principio. Esto se confirmó con una prueba, que consistió en aplicar dicha metodología sobre las verdaderas localidades CEC e INF, cuyos resultados aparecen a continuación.

65 Los polígonos de Thyssen permiten definir áreas de influencia de localidades específicas. Los polígonos se forman con las medianas de los segmentos lineales que unen a las localidades seleccionadas. En el caso de las microrregiones, las distancias lineales de las localidades INF hacia las CEC muestran que algunas áreas se extienden más allá de dichos polígonos.


62



Cuadro 2.10

Localidades en áreas de influencia de los CEC identificadas con el método del equipo evaluador

Identificadas 10,081 70.29% Dentro de una distancia menor a 7 km. 1,402 9.78% No identificadas Distancia mayor o igual a 7 km. 2,858 19.93%

Total de localidades en áreas de influencia de CEC’s 14,341 100.00% Localidades no reportadas como de influencia

por la Unidad de Microrregiones 23,186

Como se aprecia, el método del equipo evaluador permite identificar al 70.29% de las localidades en áreas de influencia de los CEC, y el mayor porcentaje de las que no se lograron identificar se encuentran a distancias mayores de 7 km.—en distancias que llegan a ser hasta de 158 km. Por otro lado, con este método se obtiene un número sustancialmente mayor de localidades en área de influencia de los CEC. Esto seguramente se debe a la diferencia que establece la segunda etapa del procedimiento seguido por la Unidad de Microrregiones realizada en campo.66

A efecto de proveer una visión gráfica y territorial de sus similitudes y diferencias, en los siguientes mapas se comparan los resultados de aplicar el método del equipo evaluador para construir las áreas de influencia de las Q-CEC, contra el utilizado por la Unidad de Microrregiones. En este caso, se trata de una microrregión en el estado de Chiapas.

66 Respecto de las localidades identificadas como INF por el equipo evaluador pero no así por la EM, no queda del todo claro en qué medida esta situación se debe interpretar como una limitación del método de gabinete, o como un problema intrínseco al procedimiento de campo utilizado por la Unidad de Microrregiones en la segunda etapa, a partir de datos proporcionados por informantes locales. Por un lado, es evidente que con el trabajo de campo se puede identificar y excluir a localidades que efectivamente no acuden al CEC para obtener servicios, aunque se encuentren dentro del radio de los 5 km.— trabajo que no puede realizar el equipo evaluador desde el gabinete. Por otro lado, es muy posible que la validación de las localidades INF en campo no siempre y en todos los casos haya identificado correctamente a las localidades más pequeñas que sí se alcanzan a reportar en el Censo y el Conteo a partir de 3 hogares o más, y que sí se identifican a través del método del equipo evaluador; nos referimos particularmente a asentamientos humanos que incluso los informantes locales consultados pueden no considerar normalmente como poblados o ni siquiera conocerlos—como es el caso seguramente de muchas rancherías y caseríos dispersos—sobre los cuales la información que de la pudo disponer la Unidad de Microrregiones no necesariamente es completa o correcta. Dado que este tipo de localidades es especialmente abundante en las microrregiones esto ayuda a explicar la diferencia en los resultados entre uno y otro método.


63



Gráfico 2.7 Mapa de la Unidad de Microrregiones, con resultados finales

Gráfico 2.8 Mapa del equipo evaluador, con metodología Q-INF


64



Los mapas anteriores (gráfico 2.3 y 2.4) muestran que el método Q-INF permite identificar positivamente a la gran mayoría de las localidades que efectivamente se consideren como de influencia de los CEC dentro del radio de los 5 km., pero deja fuera a algunas que se identificaron en la segunda etapa del procedimiento utilizado por la Unidad de Microrregiones, y que se encuentran a distancias lineales de los CEC que exceden dicho radio.67 Esto es prácticamente inevitable, al menos en ausencia de una validación en campo para todas las Q-INF, labor que evidentemente va más allá de los alcances de esta evaluación. Sin embargo, debemos reconocer que la selección de las localidades Q-INF presenta algunos problemas, relacionados precisamente con la selección de sus propias localidades Q-CEC. Dado que las localidades Q-CEC la obtuvimos en municipios fuera de las microrregiones—esto es, tuvimos que buscar a localidades en municipios que no cuentan con niveles de marginación altos o muy altos—es de esperarse que las localidades que rodean a una Q-CEC no necesariamente sean tan marginadas como las que rodean a las localidades CEC. El resultado es que cuando se aplica el mismo procedimiento geográfico a las Q-CEC para obtener Q-INF obtenemos localidades que no son del todo comparables con las localidades del área de influencia de las CEC, esto es, las INF y las Q-INF no son del todo comparables. Por lo anterior, fue necesario llevar a cabo algunos acotamientos a las localidades del grupo de control. Las acotaciones consisten en restringir a los potenciales miembros del grupo de comparación a que sean similares a las localidades INF en términos de los índices de marginación del año 2000. Se hicieron diversas pruebas de modo que los grupos resultantes sean comparables entre sí68. La prueba indicativa de que los grupos son comparables consistió en pruebas de balanceo para siete componentes del índice de marginación del 2000. Los resultados de las pruebas de balanceo se presentan en el texto de resultados sobre impacto. Al igual que el caso de localidades CEC, las pruebas de balanceo se hicieron solamente para las localidades que se encontraban aparejadas69. Una vez que se obtuvo una muestra de localidades a comparar se procedió a estimar el impacto. Lo que hicimos fue calcular los componentes del Índice de Marginación y el Índice de Marginación Absoluto para el área de influencia de cada localidad CEC y Q-CEC70. El siguiente paso consistió en comparar las parejas que se habían formado entre

67 Una alternativa evidente para no excluir a algunas de estas localidades sería ampliar el radio de los 5 Km., pero ello tendría como inconveniente que se incluyeran muchas otras con menor probabilidad de estar efectivamente en una relación de confluencia respecto de las Q-CEC—esto es, nos encontraríamos en un problema equivalente al error de inclusión en la focalización de los programas sociales. 68 En la especificación final se tuvieron las siguientes acotaciones: Tamaño de localidad: entre 50 y 4000 habitantes. La diferencia en el índice de marginación fue de 0.2 puntos sobre el promedio del índice de marginación de las localidades INF. 69 De hecho, las pruebas se hicieron para las parejas. 70 No tomamos el promedio de los índices de marginación para las influencias de cada CEC o Q-CEC, ya que las localidades en cuestión pueden ser muy distintas en términos de la población. Lo que hicimos fue calcular los totales para cada área de influencia y después obtener los componentes del índice de marginación para toda el área.


65



localidades CEC y Q-CEC71, aunque en este caso se compararon las áreas de influencia y no las localidades CEC por sí mismas como se había hecho anteriormente. Esto es, en la comparación se utilizaron las anteriores parejas CEC y Q-CEC, solamente que en este caso las variables de impacto consistían en información sobre las áreas de influencia.

2.3.3 Estimación de impacto a nivel de localidades con encuestas propias

2.3.3.1 Análisis del accesibilidad, conectividad y disponibilidad de infraestructura y servicios

En la evaluación de impacto, como ya se ha mencionado, se realizaron encuestas a nivel de hogares en localidades CEC e INF y también de sus respectivas localidades de tratamiento Q-CEC y Q-INF que se eligieron por medio del apareamiento por puntaje de propensión. El tamaño de muestra se determinó para ser representativa a nivel nacional para las localidades CEC. En la misma línea, se debe decir que los hogares encuestados dentro de una localidad no son representativos de ésta, ya que el método de levantamiento no contó con una lista de los hogares. Así, a pesar de ese inconveniente, las entrevistas se realizaron bajo un procedimiento que cubrió las localidades en su totalidad con el fin de evitar sesgos de levantamiento. Mencionado lo anterior, la forma de hacer las estimaciones de impacto de las variables de interés entre localidades CEC y Q-CEC y sus respectivas áreas de influencia es comparar los resultados de la variable en el total de los hogares de las localidades; de este modo las técnicas que se utilizaron para medir los impactos son:

i. Para el caso de variables continuas o variables dicotómicas se aplicaron pruebas de diferencias de medias.

ii. Para el caso de variables cualitativas con más de dos categorías ordenadas se utilizaron tablas de contingencia con el objeto de probar (o rechazar) independencia, es decir, si las variables que miden el impacto dependen o no del tratamiento. En específico la prueba de coeficiente CHI cuadrada es la que se aplica para este tipo de relaciones en las tablas presentadas. También se hace el uso de una técnica de componentes principales con aplicación a datos cualitativos que se explicará con mayor detalle en las páginas siguientes.

iii. Para las estimaciones donde se incorporen variables de control se realizó la estimación con modelos logit cuando la variable dependiente es categórica y con mínimos cuadrados ordinarios cuando la variable dependiente es continua.

Los grupos de comparación para la estimación de impacto son, en todos los apartados correspondientes a esta sección, las localidades previstas dentro de los grupos de tratamiento y control:

A. (Tratamiento) localidades CEC vs. (Control) localidades Q-CEC. 71 Utilizando el aparejamiento one-to-many.


66



B. (Tratamiento) localidades INF vs. (Control) localidades Q-INF C. Territorio CEC (localidades CEC más localidades de INF) vs. territorio Q-CEC

(localidades Q-CEC más localidades de Q-INF) Los grupos de control y tratamiento fueron ponderados para que representaran el mismo peso en el reporte de porcentajes y calculo de índices así como de los otros procedimientos estadísticos descritos previamente.

La encuesta indagó sobre tres aspectos básicos del impacto sobre el beneficiario:

a) Acceso: Indaga qué tan cercano y fácil es tener contacto con la obra y servicio mediante una pregunta dispuesta para el caso (¿usted tiene cerca y de forma accesible el servicio de […]?).

b) Conectividad: Se obtuvo mediante preguntas que registran que la vivienda del beneficiario se encuentra realmente ligada con las obras de infraestructura (¿se encuentra usted conectado….?). En el caso de los servicios se indagó por su uso -lo que es un equivalente de conectividad- por ejemplo en: salud, educación, tiendas, teléfonos y servicio de Internet (¿usted o alguien de su familia usa…?), y por último;

c) Disponibilidad: mediante una pregunta que indaga desde cuándo se dispone de la obra o del servicio (¿desde cuándo usted dispone del servicio de […]?), registrando si se cuenta con el servicio desde hace más de cuatro años, es decir antes de que entrara en operación la Estrategia o si la disponibilidad es posterior a la implementación de la misma; es decir, menos de cuatro años.

Con dichas preguntas existe una mejor perspectiva del impacto de las obras y acciones del beneficiario, no sólo a que existan cerca de su hogar sino a que efectivamente tengan acceso, conectividad y las utilicen. Adicionalmente, se busca que el tiempo en el que fueron construidas o implementadas corresponda efectivamente al del funcionamiento de la Estrategia. Con todas estas dimensiones es posible reconstruir cabalmente un impacto amplio e integrado de las acciones y obras en sus dimensiones más amplias y temporales. Finalmente, se debe señalar que los indicadores sobre los servicios de infraestructura y los índices correspondientes provienen de respuestas basadas en percepciones de los habitantes de las localidades, sobre todo aquellas preguntas que se relacionan a la cercanía y disponibilidad en forma subjetiva. Dado lo anterior, se pueden tener discrepancias con el margen de magnitud y significatividad estadística con los provenientes de otras fuentes utilizadas en la evaluación para registrar el impacto como son los datos censales y del conteo de población y vivienda. Las variables utilizadas para medir el rezago en infraestructura y servicios desde el punto de vista del acceso (accesibilidad) del servicio son las mostradas en el cuadro 3.1:


67



Cuadro 2.11

Variables para la construcción del índice de accesibilidad a servicios Indicador Valor

1. Acceso a Agua entubada 0 = No, 1 = Sí 2. Acceso a Energía eléctrica 0 = No, 1 = Sí

3. Acceso a Saneamiento 0 = No tiene acceso a red de drenaje ni letrina, 1 = Tiene acceso a red de drenaje o letrina

4. Acceso a clínica de salud, dispensario o casa de salud pública 0 = No, 1 = Sí

5. Acceso a servicio educativos

0 = No tiene acceso a ningún servicio educativo 1/3 = Tiene acceso a un servicio educativo (jardín de niños) 2/3 = Tienen acceso a dos servicios educativos (jardín de niños y primaria; jardín de niños y secundaria; primaria y secundaria) 1 = Tiene acceso a tres servicios educativos (jardín de niños, primaria y secundaria)

6. Acceso a Tienda Diconsa o Conasupo 0 = No, 1 = Sí 7. Acceso a Centro Comunitario de

Aprendizaje (CCA), Plaza INEA, E-México

0 = No, 1 = Sí

8. Estado en que se encuentran los caminos o carreteras del pueblo

5(1) = Muy mala, 6(2) = Mala, 7 (3)= Buena, 8(4) = Muy buena

9. Acceso a Teléfonos públicos 0 = No, 1 = Sí Para resumir estas preguntas variables en un indicador más robusto es necesario generar un indicador de resumen que represente la magnitud del rezago de manera continua. Dicho indicador debe cumplir con reducir la dimensionalidad de las nueve preguntas arriba mencionadas en uno solo y reflejar al máximo la variabilidad de los indicadores. La metodología estadística utilizada para estimar la variable bajo un índice de rezago estructural enfocado en accesibilidad fue el “Análisis de componentes principales para variables ordinales”, en un tipo específico de cálculo para hacerlo más robusto frente a otras alternativas similares72 que también analizan datos discretos en escalas de opinión y percepción. En los resultados del índice de rezago estructural por accesibilidad puede existir un efecto que confunde (confounding) en las respuestas de los encuestados debido a sobreestimar el acceso por obras realizadas de forma reciente y cerca de su hogar. Esta sobrestimación se debería más a percepción acciones en cuanto al acceso a servicios en los componentes del

72 Para más información sobre el análisis, consúltese: Kolenikov, S., and Angeles, G. (2004). The Use of Discrete Data in Principal Component Analysis With Applications to Socio-Economic Indices. CPC/MEASURE Working paper No. WP-04-85.


68



índice de rezago estructural que a un aumento real de la magnitud del acceso en sí. Para realizar un control sobre los componentes del índice (banderas blancas) se realizó una estimación de modelos logit para variables dicotómicas o modelos logit ordenados para variables ordinales de más de dos categorías. Estos modelos consisten en realizar comparaciones de cada bandera blanca controlando por realización de obras donde existió financiamiento de Sedesol. Los modelos de regresión logit únicamente se aplicaron para la comparación del grupo CEC vs. Q-CEC debido a que sólo en localidades CEC por razones de diseño de la Estrategia se realizaron obras con apoyo de Sedesol, la variable que funciona como control es una variable indicadora en las localidades donde se hayan realizado obras al componente relacionado a la bandera blanca correspondiente.

2.3.3.2 Análisis del impacto la EM sobre el capital social y la participación comunitaria

La EM no solamente se propuso fomentar los procesos de las actividades del componente participativo local sino también la creación de capital social en las comunidades en las que ella operó, tal como ya se dijo. La generación de capital social, decíamos, se refería a actitudes basadas en vínculos de solidaridad, confianza y cooperación, más allá de la participación momentánea de los sujetos durante la realización de las obras y/o la puesta en marcha proyectos. De modo tal, el objetivo de la EM era también crear lazos más fuertes de cohesión social y actitudes cívicas dentro de las comunidades para así superar las relaciones sociales de tipo “utilitario” o de búsqueda de beneficios inmediatos que proporcionaban los programas que coordina la EM. Así entonces, se había dicho que la EM conjugaba un enfoque territorial con aquellos de participación social y capital social para lograr a partir de ello el desarrollo que “[…] debe responder a una necesidad local, y aprovechar la energía, el entusiasmo y la creatividad también locales.”73 La idea de incluir el componente de capital social y de involucrar a la gente que habita ahí donde se ponen en marcha los proyectos, parte del argumento de que son precisamente dichos sujetos quienes poseen la información necesaria para reducir las asimetrías en términos de jerarquías y así eficientar los procesos de realización de los proyectos. Es por ello que en los documentos de la EM se enfatizó el empleo de técnicas estadísticas como cualitativas aplicadas para evaluar, a partir de datos recabados en campo, la participación de los beneficiarios en las localidades integradas a la estrategia.

73 Sedesol, 2004, México desde sus Microrregiones, pp.49.


69



Empleando tanto herramientas cuantitativas74 como cualitativas (como las entrevistas profundas, grupos de enfoque y estudios de caso), se captó de forma muy específica: la percepción de los beneficiarios sobre aspectos fundamentales como la identificación de la misma EM, el entendimiento de la forma en que opera esta y distintos programas, la satisfacción con estos, el tipo de apoyos que se otorgan; la accesibilidad del programa en términos de la difusión de información, la cercanía de otras localidades con los Centros Estratégicos Comunitarios (CEC), el grado de participación de la comunidad en la planeación, construcción y mantenimiento de las obras de infraestructura, los diferentes mecanismos de participación, el posible efecto de estigmatización social por el acceso a los beneficios, la confianza y solidaridad entre los miembros de las comunidades, entre otros. El objetivo final de este procedimiento fue analizar en qué medida los proyectos y acciones de la EM han tenido algún tipo de proceso participativo y cívico de la comunidad (asamblea comunitaria o ejidal, mesas de trabajo del COPLADEMUN, participación política y electoral, etc.), desarrollando vínculos solidarios y de confianza más allá de una participación temporal con el fin de hacerse de bienes y/o servicios; así como el desarrollo de vínculos de cooperación a participar en actividades y organizaciones fuera de las comunidades locales, todo ello siempre bajo el esquema comparativo de localidades (beneficiadas) versus no localidades Q-CEC (no beneficiadas) por la EM, se evaluó el impacto o el efecto posible de esta sobre la participación comunitaria y el capital social en las primeras.. Se planteó el empleo de técnicas que emplean métodos multivariados en la medición del grado de participación y la percepción para superar la mera presentación de porcentajes de respuesta de preguntas sobre dichas variables que han sido las usuales en las evaluaciones de otras iniciativas y programas sociales, tal como es el caso del índice de participación y capital social75. Por otro lado, se combinaron con las escalas y rigor de medición procedentes de la psicología social y sociología como son la construcción de escalas actitudinales y perceptivas más fiables—por ejemplo basadas en la escala de medición de Guttman o la escala actitudinal de Likert, entre otras —y el análisis factorial exploratorio— que permitan trabajar con los perfiles de los entrevistados, controlar mejor el grado de subjetividad y variabilidad expresada en sus opiniones y utilizar pruebas estadísticas multifactoriales y otras que permitan una modelación más compleja, que mejoren la precisión y validez de los resultados. 74 Principalmente encuestas, midiendo el grado de participación y la percepción en el mismo modo de los estudios de opinión pública y de la psicología socia Las técnicas de medición psicosociales fueron aquí muy útiles para mejorar las observaciones del grado de participación y la percepción de los lazos de solidaridad, cohesión social y actitudes cívicas Para más información véase Grootaert, 2004. 75 Con dicho índice ha sido posible captar el capital social y medirlo de forma cuantitativa mediante una operacionalización de indicadores que fueron obtenidos a partir de variables en el instrumento de la encuesta. Este índice resume las características fundamentales de lo que se puede denominar un capital social en su último nivel que incorpora las características fundamentales de los niveles permitiendo cuantificarlo y ponerlo en comparación entre las localidades de control y tratamiento. El índice está construido con ocho preguntas que relacionan las variables clave que dan cuenta total de este concepto en su plano más analítico y complejo. Asimismo, el índice fue construido bajo lógica de componentes principales para datos categóricos.


70



3. Técnicas e instrumentos utilizados en la evaluación.

3.1 Herramientas cuantitativas

3.1.1 Diseño metodológico para la encuesta en hogares beneficiarios

3.1.1.1 Aspectos básicos de la encuesta Los siguientes aspectos se tomaron en consideración para la elaboración de la encuesta propia para hogares beneficiarios:

• La población objetivo: Todos los hogares que se encuentren en alguna de las 263 microrregiones existentes. Específicamente, que vivan en una localidad CEC o comunidades vinculadas a los CEC.

• Marco muestral: El 100% de las entrevistas se realizarán cara a cara y por ello se

establecerá como marco muestral el listado de localidades que forman parte de la EM.

• Método de recopilación de información: La información se recopilará a través de

una entrevista persona a persona utilizando un formato de preguntas estandarizadas (cuestionario).

3.1.1.2 Elementos teóricos a considerar para el diseño muestral

De acuerdo con Myrdal (1957) y Kaldor (1970) una región crece en un momento determinado a causa de un factor generador que puede ser el establecimiento de una fábrica, la explotación de algún nuevo producto, o un cambio exógeno, tal como una intervención gubernamental—en este caso, la inversión pública en las localidades CEC. Cualquiera que sea la razón, se hace reaccionar al sistema a través de esa fuerza; tal reacción consistirá en un incremento del ingreso, de la demanda por otros bienes, de inversión en otras áreas, etc., generando así un proceso que aleje a la economía regional de su nivel inicial de ingreso a otro más elevado. Sin embargo, de acuerdo con estos autores, este proceso puede producir en la región que lo experimenta un impacto positivo o de difusión, o bien negativo o de polarización. Si suponemos que antes de ocurrir el cambio en el área en cuestión, todas las regiones contaban con un crecimiento similar, al darse el cambio, con la existencia de movilidad de factores y la forma de utilización y pago de estos, harán que en unas comunidades comience a darse una tendencia a crecer a la par que el área donde se dio el cambio y otras podrían ver disminuir su actividad económica o se estancarán.


71



Baja esta perspectiva se pretendió ver lo que ha pasado con las microrregiones, de constatar qué tanto han estado los CEC vinculando a las localidades y cuál ha sido el impacto positivo o de difusión, así mismo saber si estuvieron generando el efecto contrario, es decir negativo o de polarización). Y una cuestión más que se planteó fue saber hasta dónde llegaba el alcance de los CEC. Todo lo anterior nos dejó en claro que una de las partes más importantes de la Estrategia de Microrregiones fueron las localidades CEC. De ahí que la estrategia de muestreo girase alrededor de esta unidad de análisis.

3.1.1.3 Características básicas del diseño muestral Con base en los requerimientos establecidos para la evaluación, el equipo evaluador llevó a cabo un levantamiento muestral que permitió contar con un 95% de potencia estadística en nuestras pruebas y un impacto mínimo detectable de 5.7%, el cual tuvo la siguiente estructura:

• Visitamos 173 localidades CEC y 47 localidades cuasi-CEC, haciendo un subtotal de 220 localidades.

• En cada una de las localidades CEC y Q-CEC entrevistaremos a 15 miembros de los hogares (jefes de familias o amas de casa), haciendo un subtotal de 3,300 entrevistas.

• Por cada localidad CEC y Q-CEC visitamos una localidad en su área de influencia, haciendo un subtotal de 220 localidades de influencia y quasi-influencia.

• En cada una de estas localidades de influencia y cuasi-influencia entrevistamos a 8 miembros de los hogares (jefes de familias o amas de casa), haciendo un subtotal de 1,760 entrevistas.

• El total de localidades a visitar será entonces de 440, y el total de entrevistas de 5,060.

Para una elaboración de los detalles de la metodología para el diseño de la muestra de localidades y hogares.76

3.1.2 Encuestas de proyectos y beneficiarios de elaboración propia.

3.1.2.1 Cédula de información básica de la localidad CEC y Q-CEC La cédula de información básica de las localidades CEC y Q-CEC, misma que se levantó en todos las localidades de este tipo que se visitaron durante el levantamiento de la encuesta a hogares beneficiarios en las microrregiones y regiones de control, se concentró en obtener las características socioeconómicas básicas de la localidad así como en evaluar el cumplimiento, por parte de la EM, de los criterios mínimos para el levantamiento de las diferentes Banderas Blancas. Esta cédula tuvo representatividad nacional, y su estructura básica se describe en el cuadro a continuación: 76 Véase “Propuesta metodológica para el diseño muestral” en el Apartado 2 del Anexo Metodológico.


72



Cuadro 3.1 Módulo Contenido

Datos Generales de la localidad

Fundación del pueblo o localidad Extensión del pueblo

Población Población Población hablante de lenguas indígenas Migración

Infraestructura y servicios en la localidad

Disponibilidad de infraestructura y servicios Utilización efectiva de infraestructura y servicios

Actividades económicas

Principales actividades económicas llevadas a cabo actualmente en la localidad

Organización Social Liderazgo Participación comunitaria

3.1.2.2 Cuestionario para encuesta en hogares beneficiarios El cuestionario a hogares77 fue respondido por un miembro adulto del hogar, quien necesariamente debía de cuplir con el requisito de ser el jefe de hogar y/o ama de casa. Como se contempló la posibilidad de que no se encontrasen en su domicilio al momento de la entrevista, se dispuso de que algunas entrevistas se efectuaran durante el fin de semana para incrementar la probabilidad de poder entrevistarlos. Los componentes de dicho cuestionarios fueron:

I. Datos de identificación: En este apartado se capturó el número de cuestionario, la entidad, el municipio, la localidad, el domicilio, nombre del entrevistador y de su supervisor, la fecha, la hora de inicio y conclusión y, en su caso, las observaciones relevantes.

II. Presentación: En este apartado se le hizo al encuestado una breve sinopsis del

objetivo del cuestionario y se le señala que sus respuestas serán tratadas confidencialmente.

III. Filtros: Aquí se incluyó una batería de respuestas para ser llenada por el

encuestador, en la cual se especifica si el encuestado es el jefe de familia o su cónyuge, si vive en forma permanente en el hogar, si es mayor a 16 años y las banderas blancas levantadas en la localidad.

77 Para la consulta del cuestionario empleado, véase el Apartado 3 del Anexo Metodológico.


73



IV. Inicio: En esta sección se preguntó por el tiempo de ocupación de la vivienda,

por el origen y algunas posibles razones para haberse mudado, en su caso.

Módulo 1: Perfil sociodemográfico En este módulo se captura información acerca de todos los miembros del hogar en relación a los siguientes apartados:

1.1 Parentesco 1.2 Sexo 1.3 Edad 1.4 Alfabetización 1.5 Nivel de estudios 1.6 Asistencia escolar 1.7 Perfil indígena 1.8 Ocupación 1.9 Ingreso

Módulo 2: Beneficios de programas, acciones y proyectos En este módulo se hacieron preguntas específicas en cuanto a los programas, acciones y proyectos que forman parte de la Estrategia, así como de algunos otros. Este apartado tiene distintos submódulos que en su mayoría se refieren a cada una de las Banderas Blancas. En cada una de las baterías de los submódulos se incluyeron preguntas específicas acerca de los temas de acceso, utilización, tipo de obra, aportaciones, ahorros o beneficios en tiempo y monetarios, impactos en bienestar, satisfacción y apropiación. Los submódulos correspondientes son los siguientes:

2.1 Suministro de agua 2.2 Suministro eléctrico básico 2.3 Saneamiento (drenaje) 2.4 Saneamiento (letrina o fosa séptica) 2.5 Piso de cemento o firme 2.6 Servicio educativo básico 2.7 Salud 2.8 Abasto 2.9 Camino 2.10 Telefonía 2.11 Servicio público de computación e Internet 2.12 Oportunidad 2.13 Oportunidades económicas 2.14 Identidad jurídica

Módulo 3: Participación y capital social comunitario


74



Es intención de este módulo fue recabar información acerca del proceso participativo de las comunidades en relación con los proyectos que contempla la Estrategia, así como ver el cambio en actitudes cívicas y políticas y en la acumulación de capital social que ha propiciado. Asimismo, se incluyeron dentro de este módulo preguntas para recabar información socioecónomica, de migración y tenencia de bienes, ello con el fin de tener una mejor imagen de la composición de los hogares así como para ulteriormente poder elaborar índices. A continuación se enumeran los submódulos de este apartado:

3.1 Proceso de participación 3.2 Capital social 3.3 Actitudes cívicas y políticas 3.4 Información socioeconómica 3.5 Migración 3.6 Beneficios o derechohabiencia y registro en los programas

sociales. 3.7 Tenencia de bienes

3.1.2.3 Cuestionario para encuesta en hogares beneficiarios para áreas de influencia

El cuestionario de hogares en áreas de influencia básicamente conservó la misma estructura que el cuestionario a hogares en CEC. La diferencia fundamental se centró en la inclusión de un tema adicional que contempló la satisfacción, ahorros en tiempo y dinero y uso de los usuarios en las zonas de influencia respecto a las obras que se llevaron a cabo en las CEC. El propósito de estas preguntas fue verificar si efectivamente los usuarios de las zonas de influencia están siendo beneficiados por estas obras. Asimismo, se les preguntó su opinión en general respecto a que esas obras se concentren en la localidad CEC de su zona de influencia, con la intención de comprobar si el polígono en el cual están comprendidas efectivamente les corresponde y si la población que se encuentra en dicha zona de influencia está satisfecha con la concentración de infraestructura en las CEC. Finalmente, una tercera diferencia se centró en saber si las comunidades de las zonas de influencia continuaron recibiendo obras similares a las que se llevan a cabo en las CEC de parte de la EM. En caso de que esto hubiese sido cierto, se les preguntó si sabían cuál es la fuente de esos recursos.

3.1.2.4 Cuestionarios para encuestas a proyectos La encuesta de acciones y proyectos en localidades CEC y Q-CEC y el estudio profundo de acciones y proyectos en localidades CEC y Q-CEC, procuró obtener información acerca de las características técnicas de los proyectos con la finalidad de conocer la capacidad instalada y utilizada, la población beneficiada, la calidad de las obras, su vida útil, el costo de la obra, los gastos de operación y en salarios, su estado físico, el tipo de mantenimiento que se les da y su periodicidad y gasto. En el levantamiento de ambos instrumentos se


75



interrogó a los operadores o encargados de los proyectos, porque son precisamente ellos quienes cuentan con la información de primera mano acerca de las diferentes acciones y proyectos de la EM:78

• Suministro de agua • Suministro eléctrico básico • Saneamiento (drenaje) • Saneamiento (letrina o fosa séptica) • Piso de cemento o firme • Servicio educativo básico • Salud • Abasto • Camino • Telefonía • Servicio público de computación e Internet • Oportunidades económicas

La profundidad de las preguntas de ambos instrumentos así como su representatividad varió en función de los objetivos de las diferentes partes de la evaluación, es así que:

1) La encuesta de acciones y proyectos en localidades CEC y Q-CEC, misma que se levantó en un subconjunto representativo de todas las localidades que se visitaron durante el levantamiento de la encuesta a hogares beneficiarios en las microrregiones y regiones de control, buscó llevar a cabo una valoración mínima, pero útil y válida, de la calidad y sostenibilidad física y operativa de las instalaciones y servicios realizadas a través de la EM durante el periodo de implementación de la misma. Esta encuesta tuvo una representatividad nacional79.

2) La encuesta de acciones y proyectos en localidades CEC y Q-CEC, mismas que se

levantaron sólo en aquéllas que formaban parte de los estudios de caso a efectuar, y la cuál buscó evaluar tanto la calidad y sostenibilidad física y operativa de las instalaciones y servicios realizadas a través de la EM, así como el cumplimiento de las diferentes normas técnicas, administrativas y operativas correspondientes por

78 No en todas las obras tienen operador, como es el caso de piso firme, drenaje, el de telefonía pública cuando se proporciona el servicio a través de casetas telefónicas de tarjeta, y el suministro eléctrico básico. En este caso, tanto la encuesta restringida como el estudio profundo de las acciones y proyectos en las localidades CEC y Q-CEC serán aplicados a los funcionarios de los organismos federales responsables (CONAGUA, CFE, etc.) que estén mas relacionados a la operación y mantenimiento de la obra en cuestión. 79 Hay que señalar que la submuestra de localidades que se visitaran para levantar la encuesta restringida de acciones y proyectos será calculada para contar con representatividad nacional y un poder estadístico adecuado.


76



parte de las acciones y proyectos llevados a cabo. Esta encuesta sólo fue representativa de las localidades donde se lleven a cabo los estudios de caso80.

El diseño de las encuestas de proyectos se adecuó a las condiciones observadas de las localidades de Microrregiones exploradas en las visitas preliminares del equipo de evaluación y/o detectadas en el análisis de los censos de población 1990 y 2000, de los conteos respectivos de 1995 y 2000, y de las bases de datos entregadas por la EM. Por otra parte, debe observarse que para el desarrollo final de los diferentes cuestionarios de proyectos se llevo a cabo una revisión exhaustiva de las evaluaciones contemporáneas del desarrollo e impacto de proyectos de infraestructura para el combate a la marginación rural llevadas a cabo por diferentes instituciones de prestigio internacional81. La revisión anterior llevó a realizar mejoras y cambios significativos en el diseño inicial de las encuestas de acciones y proyectos. Con base en el análisis de la estructura de los componentes del Índice Absoluto de Marginación de CONAPO, en los componentes del Índice de Desarrollo Humano de la ONU, y en la lógica del rezago estructural las encuestas de proyectos, priorizaron el estudio de los proyectos de suministro de agua, de salud, de servicio educativo básico, de suministro eléctrico básico, de construcción de caminos, y de centros comunitarios de acceso a Internet. Asimismo, debe observarse que las encuestas y estudios profundos de acciones y proyectos se subdividen en módulos. Dentro de los módulos más grandes se encuentran; el de suministro de agua, debido a las múltiples alternativas de servicio con las cuales se puede abastecer a la población; el de saneamiento, debido a que se debe tomar en cuenta en el análisis tanto la disponibilidad de letrinas, como de drenaje y plantas de tratamiento, así como el de educación, debido a las múltiples variantes de adecuaciones y mejoramientos que se puede presentar en campo. Además, con base en la factibilidad de la verificación del cumplimiento de normas técnicas y operativas la encuesta ampliada de proyectos solo cubrirá los casos de: suministro de agua, saneamiento, disponibilidad de abasto, de suministro eléctrico básico, de salud, de servicio educativo básico y de centros comunitarios de acceso a Internet. 80 Esta encuesta se efectuó con el objetivo de indagar a detalle los aspectos concretos de cada una de las obras realizadas en las localidades, de modo tal que pudiera complementarse y reforzarse los resultados obtenidos en la primera y superar las limitaciones para tener información más precisa que se observaron durante la prueba piloto. Aunque el problema de esta encuesta fue el encontrar al operador del proyecto para levantar la cédula, se recopiló información muy extensa que aporta elementos muy valiosos para todos aquellos interesados en realizar estudios en un futuro. 81 Por ejemplo, se revisaron a profundidad el contenido y la estructura de los cuestionarios de las siguientes evaluaciones del Banco Mundial: “Indonesia Kecamatan Development Program. Building a Monotoring and Evaluation System for a Large-Scale Community-Driven Development Program”. May 2002 y “Upgrading of Low-Income Settlements in Sub-Saharian Africa. Assesing the impacts of Formal and Informal Interventions”. June 2004.


77



La estructura de las diferentes encuestas de proyectos es la siguiente:

a) Encuesta restringida de acciones y proyectos en localidades CEC y Q-CEC


Datos Generales de la obra

• Descripción de la obra • Avance físico de la obra • Funcionamiento de la obra • Entrega- recepción de la obra • Programa Social que realizo la obra

Capacidad de la obra • Capacidad instalada o de atención de los servicios82

Operación de la obra

• Conocimiento de la operación de la infraestructura y servicios

Mantenimiento de la obra

• Mantenimiento preventivo83 • Mantenimiento correctivo84

Utilización de la obra

• Utilización efectiva del servicio final brindado por las obras y acciones que permiten el levantamiento de una bandera blanca85

Costo de la obra • Costo de la obra realizada

82 En el servicio telefonía pública la existencia de un teléfono público permite la comunicación de la población que habita en la localidad, sin embargo, dicho teléfono no va referenciado a una cantidad de población determinada. Un caso contrario ocurre con los servicios educativos básicos en donde un existe un requerimiento mínimo de espacio e infraestructura para un determinado tamaño de población, como señalan las directrices del comité administrador del programa federal de construcción de escuelas (CAPFCE). 83 Solo se cuantificara la frecuencia del mantenimiento preventivo realizado para el adecuado funcionamiento de la infraestructura y servicios, sin importar si es o no a la obra realizada por la EM. 84 Íbidem. 85 Este parte se encuentra contenida en la encuesta a hogares beneficiarios CEC y Q-CEC.


78



b) Estudio a profundidad de acciones y proyectos en localidades CEC y Q-CEC86


Datos Generales de la obra

• Descripción de la obra • Avance físico de la obra • Funcionamiento de la obra • Entrega- recepción de la obra • Programa Social que realizo la obra • Existencia del estudio de impacto de la obra • Verificación que la obra se haya realizado conforme a la NOM ó

estándar equivalente87 Capacidad de la obra • Capacidad instalada o de atención de los servicios88

Operación de la obra • Conocimiento de la operación de la infraestructura y servicios89

Mantenimiento de la obra

• Mantenimiento preventivo90 • Mantenimiento correctivo91

Utilización de la obra

• Utilización efectiva del servicio final brindado por las obras y acciones que permiten el levantamiento de una bandera blanca92

Costo de la obra • Costo de la obra realizada93

Impacto social de la obra

• Satisfacción con el proceso de selección de la obra • Apoderamiento de la comunidad del beneficio de la obra en la

comunidad94

86 Los apartados que se repiten en la encuesta restringida y en el estudio a profundidad de acciones y proyectos se trataron con mayor detalle y profundidad en este ultimo instrumento. 87 Es de señalar que no existen normas oficiales mexicanas para verificar el apego de algunas acciones y proyectos a la misma, así como del levantamiento de la bandera blanca respectiva, como es el caso de la telefonía pública rural. 88 La capacidad instalada de los servicios proporcionados por la infraestructura no necesariamente se relaciona con la población de una localidad, sin embargo, en este apartado se verificara a mayor detalle el levantamiento de la bandera blanca, acorde a las NOM correspondiente, un ejemplo es la normativa aplicable a los servicios educativos básicos en el CAPFCE. 89 En los casos en donde hubo operador de la obra se aplicó una entrevista a mayor profundidad con el objeto de ver la operación completa de la obra y el levantamiento de la bandera, por ejemplo, en los centros de acceso a Internet y computación, donde se verificó el nivel de conocimiento del operador y la capacidad mínima de los equipos. 90 Sólo se cuantificó la frecuencia del mantenimiento preventivo realizado para el adecuado funcionamiento de la infraestructura y servicios, sin importar si es o no a la obra realizada por la EM. 91 Íbidem. 92 Esta parte se encuentra contenida en la encuesta a hogares beneficiarios CEC y Q-CEC. 93 Se reportó el costo total de la obra y la aportación de los diferentes involucrados en la misma, así, como el proceso de selección del constructor o proveedor del servicio. 94 Este parte se encuentra contenida en la encuesta a hogares beneficiarios CEC y Q-CEC.


79



Módulo Contenido

• Apoderamiento del desarrollo de la comunidad95

Impacto económico de la obra

• Beneficios económicos esperados por la obra • Beneficios ó perjuicios económicos no esperados por la obra96

Ejemplos de las preguntas que se incluirán en estos cuestionarios son:

• Capacidad instalada: ¿Cuántas viviendas puede atender esta nueva instalación? • Capacidad utilizada: ¿Cuántas viviendas se han conectado a esta nueva red de

drenaje? • Población beneficiada: ¿Cuántas viviendas completaron su piso firme con esta

nueva campaña? • Calidad: ¿Cómo es la calidad de la obra? • Vida útil: ¿Aproximadamente, cuántos años de vida tendría el camino en

condiciones normales? • Costo de la obra: Aproximadamente, ¿cuál fue el monto total del proyecto? • Gasto de operación: Durante el mes pasado, ¿cuál fue el gasto de operación de la

planta potabilizadora? • Gasto en salarios para la operación: Durante el mes pasado, ¿cuál fue el gasto total

en salarios para la operación de este CCA? • Estado físico: ¿Cuál es el estado físico de este centro de salud? • Mantenimiento preventivo: ¿Cuál es el gasto en mantenimiento preventivo de las

computadoras? • Mantenimiento correctivo: Aproximadamente, ¿cuántas veces se le ha dado

mantenimiento correctivo a esta obra? • Gasto en mantenimiento correctivo: En su caso, ¿cuál ha sido el costo de las

reparaciones que se le han hecho a la nueva instalación?

3.2 Herramientas cualitativas Los métodos de orden cualitativo, como son las entrevistas en sus distintas variedades, observaciones en sitio, técnicas de orden etnográfico y otros, en ocasiones han sido calificados de inconsistentes y anecdóticos en sus formas de técnicas y de registro para la obtención de datos, análisis y presentación de los mismos. Estas críticas tienen validez hasta cierto punto, pues en algunos casos estos registros dependen de la sensibilidad propia del investigador individual y de las formas narrativas de exposición final de los casos que convierten a los resultados cualitativos en opiniones subjetivas, narrativas o en reportes casi

95 Íbidem. 96 Íbidem.


80



periodísticos. Sin embargo, en los últimos años estos métodos han alcanzado un nivel de rigurosidad que permite ponerlos a la par de los cuantitativos (King, Keohane y Verba, 1994). Mediante una propuesta básica –detallada más adelante–, se procuró seguir un protocolo para llevar utilizar un método estándar durante toda la evaluación en los tres pasos principales del trabajo cualitativo:

a) el trabajo en campo durante el registro y levantamiento de información primaria con los instrumentos elegidos de recolección de información en los informantes calificados, b) la construcción analítica de los casos analíticos provenientes de la experiencia en campo y, c) la comparación interna y externa de los casos con fines de probar las hipótesis de evaluación para construir topologías y mecanismos causales sobre los casos de la EM.

Se buscó que esta información fuese compatible con los análisis cuantitativos y que ambas se refuercen en términos de presentar una visión de conjunto de la EM, forjando de esta forma una evaluación de carácter mixto. Tal propuesta se basó en métodos cualitativos ya estandarizados y probados por otras experiencias de evaluación cualitativa que han tratado de abandonar el registro casual, narrativo y asistemático, para crear métodos de análisis que den rigor al mismo y se compatibilicen con los métodos cuantitativos en cuanto a las variables registradas dentro de las hipótesis y esquemas teóricos en una evaluación (Miles and Huberman 1984).97 Este método, basado en el registro ordenado y sistemático de las observaciones cualitativas en variables mediante matrices y formatos de observación, permitió capturar las observaciones más importantes de campo recogidas en los instrumentos98. En dichas matrices y formatos se reportaron elementos relevantes del modelo e hipótesis evaluativas de la EM para discriminar y ordenar las observaciones en campo, esto principalmente como un protocolo interno seguido por el equipo de trabajo para el trabajo de rectificación de hipótesis, lo que posibilitó una mayor flexibilidad para detectar nuevos hechos y descubrimientos en el sitio de registro.99

97 El método clave de análisis cualitativo, en cual se inspira esta evaluación, se puede encontrar en el texto de Miles, Matthew B. and A. Michael Huberman, 1984, el cual se encuentra considerado por la comunidad de investigadores en evaluación y de otras ciencias sociales como la base para consolidar y reportar de forma estándar datos de este tipo. 98 Con la ayuda de software aplicado al análisis cualitativo, la extracción masiva de segmentos de información permitió al equipo de trabajo agilizar las tareas de búsqueda de información y análisis de las hipótesis de trabajo. 99 Todas estas matrices permitieron hacer registros por cuestiones de temporalidad, espacio, ordenación de actitudes, problemas, conductas, tópicos emergentes, etc.; captando el mayor número de acciones ocurridas en campo.


81



Estas matrices descritas, tanto de registro como analíticas, se forman de las informaciones obtenidas de los instrumentos cualitativos básicos para obtener información primaria que son en específico para esta evaluación:

a. La entrevista semi-estructurada y a profundidad, b. El grupo foco c. Observaciones en sitio.

El objetivo específico del diseño cualitativo fue entonces lograr la mejor estandarización de la información, la construcción de los instrumentos de información pertinentes y rigurosidad en el levantamiento en campo, todo ello con el fin último de crear estudios de caso que permitan un análisis de la EM complementario y útil a la evaluación cuantitativa.

3.2.1 Entrevistas semi-estructuradas y a profundidad Realizamos entrevistas semi-estructuradas y a profundidad con actores relevantes para obtener información de primera mano sobre el funcionamiento de la EM en el nivel de la localidad CEC y su área de influencia, para con ello observar la acción y coordinación gubernamental con los beneficiarios (Weiss, 1995, p.81). Como se describe a continuación, las siguientes definiciones de la entrevista dan soporte a las utilizadas en esta evaluación en tanto que herramienta cualitativa, consideraciones de las que se retomaron algunos elementos básicos para la elaboración de la guía de entrevista. La entrevista es, entre otras, una estrategia de las ciencias sociales para indagar las opiniones, percepciones, representaciones, significaciones de los actores sociales que se aplica se forma amplia en estudios evaluativos. En el ámbito de la sociología, “la entrevista cualitativa es una técnica indispensable en la generación de un conocimiento sistemático sobre el mundo social” (Vela, 2004, p.67). De ahí que las ciencias sociales, la entrevista, a la par que con otras estrategias metodológicas, nos acerca a los significados que los actores sociales producen y reproducen en los vínculos que establecen en el día a día con otros actores cercanos. De acuerdo a Álvarez-Gayou (2005)100 y Pardinas (2005), la entrevista es una conversación entre dos seres humanos que tiene una estructura y un propósito, los cuales dan el carácter a la entrevista. Pardinas (2005, p. 109), señala que la entrevista busca “entender el mundo desde la perspectiva del entrevistado, y desmenuzar los significados de sus experiencias”. Serrano (2004) y Arfuch (1995) coinciden en señalar que la entrevista es una situación cara a cara que enfrenta, conecta, a los sujetos en una relación inter-subjetiva constante, donde se mueve lo imaginario y lo simbólico del mundo cultural y social que sirve de referencia a los actores sociales.

100 Álvarez (2005), delimita doce elementos para la comprensión de la entrevista cualitativa: Mundo de vida, significado, cualidad, descripción, especificidad, ingenuidad propositiva, focalización, ambigüedad, cambio, sensibilidad, situación interpersonal y experiencia positiva (p.110)


82



La entrevista está basada en el diálogo que los hombres establecen como lazo social sustantivo, y éste, crea representaciones con las que ellos circulan en el mundo; para llevar a cabo una entrevista debe tomarse en cuenta la conversación, la sociabilidad y las escenografías (sitios) en donde ésta se lleva a cabo (Arfuch, 1995). También es indispensable “contextualizar a las personas entrevistadas antes y al terminar la entrevista” (Álvarez-Gayou, 2005, p. 111).De esta forma las entrevistas a profundidad, en sus versiones de semi-estructuradas (cerradas) y a profundidad (abiertas), nos proporcionan la información calificada sobre la EM cuando se aplican a actores relevantes; en ambos casos, la información que se persigue está determinada por el objeto mismo a evaluar. Pardinas (2005) y Vela (2004), hacen referencia al grado de libertad y nivel de profundidad de las entrevistas. Los autores destacan tres grandes grupos:

a) Entrevistas estructuradas o dirigidas, que deben de seguir un procedimiento fijado de antemano por un cuestionario o una guía de preguntas preestablecida, con un conjunto limitado de categorías de respuestas parecido al de un cuestionario de encuesta. Las respuestas son registradas de acuerdo con códigos determinados en el proyecto de investigación (Pardinas, 2005, p. 113; Vela, 2004, pp. 69-70).101

b) Entrevistqs Semi-estructuradas, señalando que éstas funcionan adecuadamente en indagaciones que se interesan por interrogar a administradores, burócratas o miembros de elite de alguna comunidad, personas que tienen poco tiempo (como pueden ser los beneficiarios de la EM) o que están acostumbradas a usar efectivamente su tiempo. Tienen una secuencia de temas y preguntas sugeridas y de manera similar a las estructuradas, pero presentan más apertura en cuanto al cambio de tal secuencia y forma de las preguntas (Álvarez-Gayou, 2005; Vela, 2004). c) Entrevistas no estructuradas o no dirigidas,102 que dejan prácticamente más espacios a la iniciativa total al entrevistado, permitiéndole que vaya narrando sus experiencias, sus puntos de vista, etc. (Pardinas, 2005, p. 112). En este tipo de entrevista no se tiene el apoyo estricto de una guía de preguntas establecidas con relación al orden o forma en que son planteadas, es una conversación más libre por lo que existe un alto grado de libertad (Vela, 2004, pp. 70-76). Dentro de la entrevista no estructurada se encuentra la entrevista a profundidad, que emplearemos con ciertos actores de la EM. De acuerdo a Taylor y Bogdan (1994), esta es una técnica de investigación cualitativa consistente en encuentros repetidos, cara a cara, entre un

101 Este tipo de entrevista es la de carácter más rígido, definido y directo; limita el nivel de profundidad de la información recibida; controla el ritmo como un guión teatral (Fontana y Frey, 1994, pp. 363.364 en Vela, 2004); y el contexto de la entrevista está preestablecido: hogares, oficinas, espacios definidos (Vela, 2004, p. 70). 102 En esta propuesta utilizamos por igual lo que dice Weiss (1995, pp. 61-83), sobre las entrevistas a profundidad en versiones abiertas y cerradas y los datos que nos proporcionan para obtener información calificada cuando se aplican a actores relevantes. Así mismo, señalamos la importancia del desarrollo de una guía de preguntas (p. 80-81)


83



investigador y sus informantes. Los entrevistadores –y aquí recaen la importancia de la entrevista a profundidad– se orientan a entender las perspectivas del entrevistado sobre su vida, experiencia o situaciones personales tal y cómo son expresadas por sus propias palabras. De acuerdo a Vela (2004, p. 75), la entrevista a profundidad no tiene un protocolo o calendario estructurado, consiste en una lista general de áreas por cubrir con cada informante, el investigador decide cuándo y cómo aplicar algunas frases que orienten al entrevistado hacia los objetivos propuestos, creando al mismo tiempo una atmósfera confortable para que el informante hable libremente.

A partir de aquí, se hizo una guía de preguntas y temas, según los tipos de entrevistas semi-estructuradas y a profundidad para evaluar la EM, siempre orientadas a buscar los principios articuladores y causales de la EM. Dichas preguntas buscaron además controlar las interacciones durante la entrevista y conseguir que los actores dieran una explicación más completa del proceso mismo de trabajo de la EM. Finalmente, se utilizaron para obtener información fundamental de la EM, en consideración de diversas interpretaciones que los informantes tengan sobre la estrategia e incluso capturar observaciones y recomendaciones que se logren a partir de los comentarios que realicen los entrevistados.103 Así entonces, las entrevistas semi-estructuradas y a profundidad con actores relevantes fueron una pieza fundamental en la obtención de información de primera mano sobre el funcionamiento de la EM en el nivel de la localidad CEC y su área de influencia, donde se pudo observar la acción y coordinación gubernamental con los beneficiarios. Con las respuestas se generó la información esencialmente cualitativa, detallada sobre la operación y el impacto de la EM, los problemas que enfrentan, sus ventajas y desventajas, sus efectos sobre los esquemas culturales y sociales de las comunidades, y sobretodo las valoraciones emitidas por el equipo evaluador.104 Se planteó por tanto que las entrevistas semi-estructuradas fuesen aplicadas por personal experto en la metodología con base en una guía de tópicos y preguntas para cada tipo de entrevistado. Para ello, se desarrolló un cuestionario con preguntas abiertas donde los actores relevantes pudieran verter sus interpretaciones sobre lo que la EM hacía, así también como la percepción del impacto y beneficio de esta en sus localidades. Mientras que se realizarán otras entrevistas a profundidad, siguiendo una guía cercana a los tópicos que la entrevista semi-estructurada, pero dejando que los responsables de la operación del programa, así como los líderes de las diversas comunidades tengan mayor soltura en sus respuestas e integren sus experiencias personales. Así respecto a las entrevistas a profundidad su mayor beneficio se encuentra en la apertura que se logra con el entrevistado al momento de exponer su opinión, además de presentar con mejor claridad en sus ideas e incluso sus propias reflexiones y prospectiva. Con ambos tipos de entrevista se llevó a cabo 103 Véase Weiss, 1995, pp. 61-83. 104 Muchas de las respuestas de las entrevistas semi-estructuradas pueden aún ser objeto de una reclasificación mediante procesos de codificación para dotarlas de rangos por medio de escalas que traten de darle una medición ordinal a las opiniones y actitudes de los entrevistados logrando una mejor rigor analítico sobre los mismas, todo ello como una sugerencia para el trabajo de futuras investigaciones.


84



una evaluación integral de cada una de las partes involucradas en el funcionamiento de la EM. 105

3.2.1.1 Guía preliminar para identificar actores e informantes

calificados para entrevistas semi-estructuradas y profundas Se propuso que las entrevistas que se realicen con beneficiarios, líderes de la comunidad, delegados estatales, directores de obras públicas u otros actores relevantes sean siempre bajo una pauta. Para lo cual hay que elaborar una guía temática de entrevista semi-estructurada106 y otra guía de tópicos de entrevista a profundidad.107 En ambas es necesario tener en cuenta las unidades y temas que interesan, con lo cual la discusión puede ser abierta pero dirigida siempre a los temas de la evaluación. Serrano (2004, p.127), señala que la entrevista es una situación cara a cara, por lo que es preferible hablar de “situación de entrevista, dado que los agentes que se comprometen en el vínculo están en condición de producir significados” dirigidos o abiertos dados por la guía y controlados por la pericia del entrevistador. Desde la perspectiva de Álvarez (2005, p. 112), “una guía de entrevista indica los temas y secuencia a seguir durante la conversación. Cada pregunta debe ser relevante tanto desde la dimensión temática108 como desde la dimensión dinámica”. De igual forma la utilización de las mismas variables, vertidas en preguntas, en los diversos actores en que se aplique permite tener puntos de comparación que hacen que el valor “n” aunque sea menor pueda ser más confiable y ser utilizado para obtener inferencias valiosas sobre la EM.109 En este caso la utilización de este tipo de entrevistas y discusiones, regidas por las guías, permitirán acercarnos más a la interpretación que se tiene de la EM en la operación y su impacto. Esta técnica deberá ser siempre dirigida y mantenida con los actores relevantes para poder conocer mejor sus decisiones y sentir con respecto a la coordinación y aplicación de la EM para el mejoramiento de la comunidad CEC y su área de influencia. El cruce que se haga de las variables dependientes, necesarias y delimitadas en la guía mediante las preguntas, nos permitirá ampliar el conocimiento y aplicación de la operación y sus resultados (variables independientes), pero sobre todo captar esa parte intangible que es la satisfacción, o insatisfacción, de la aplicación y consolidación de los proyectos de infraestructura y los procesos sociales que implican para la realización de las banderas blancas. Para mejorar la calidad de información y poderla llevar a un plano más amplio que

105 Para eso el texto de Weiss, 1995, pp. 83-119, tiene amplios ejemplos además de contar con la experiencia necesaria para definir el cuestionario correspondiente. 106 La estructura de la entrevista semiestructurada aparece en la sección de instrumentos cualitativos en virtud de que incluye formas de captura de las respuestas a sus preguntas en función de escalas ordinales, lo que permite expresarlas en términos de frecuencias que representaran tendencias generales. 107 Para consulta de las guías de entrevista con actores clave, véase el Apartado 4 del Anexo Metodológico. 108 Dimensión temática: la pregunta importa en relación con el tema de la investigación. Dimensión dinámica: la pregunta importa en cuanto a la relación interpersonal durante la entrevista. (Álvarez, 2005, p. 112). 109 Véase King, et. al., 1994, pp.44-45.


85



proporcione información más completa, se sugiere además de la entrevista, la aplicación de la técnica de grupos de enfoque.

3.2.1.1 Objetivos Las entrevistas se emplearon para recabar la información pertinente en la reconstrucción de los casos municipales identificados como relevantes. Estas entrevistas se aplicaron de forma semi-estructurada para captar la forma en que ha sido adoptada la EM en sus diversos actores y los procesos que han utilizado en la implementación de la misma, así como los condicionantes que actúan en la construcción del mismo.

3.2.1.2 Planteamiento General La identificación de actores calificados, para estas entrevistas, fue de importancia vital para caracterizar el proceso de organización del gasto descentralizado y sobre las decisiones que se toman para invertirlos en bienes públicos y o programas sociales que materialicen un cambio en los patrones de marginalidad local a mediano plazo. Dichos actores calificados fueron las figuras que ostentan cargos de dirección y poder político a nivel local así como de administración de los recursos devengados hacia los municipios. Una primera aproximación del orden jerárquico de dichos actores e informantes cualificados es:

a) Presidente Municipal, quien representa el principal papel ejecutor de las decisiones y centralización en varios casos de las mismas. Este es el actor relevante en variadas decisiones finales del gasto, pues dependen de sus capacidades de gestión que la administración de los gastos sea de forma controlada eficiente y regulada (“moderna”) o caiga dentro de pautas y acuerdos no formales por grupos de interés local (caudillajes, acuerdos familiares, religiosos, etc.) que reflejen usos no eficientes y calculados del mismo (“tradicional”).

b) Director de obras públicas, es la persona que debe poseer un claro conocimiento

experto y local sobre los diversos proyectos de agua, luz, drenaje, pavimentación saneamiento entre otras, así como de las diversas formas en que los recursos fluyen hacia este tipo de obras, sus problemas de factibilidad técnica, implementación, y la negociación con los beneficiarios locales. Este funcionario y sus capacidades, así como el grado de elementos técnicos que incorpore en su trabajo cotidiano, así como la de sus colaboradores cercanos son un indicador de procesos de capacidad y racionalidad en el uso del gasto.

c) Regidores municipales, tanto del partido político en el gobierno y la oposición (sí

existen en la conformación del cabildo), son quienes negocian y representan los intereses diversos de los grupos sociales y políticos locales. Es necesario observar en los mismos su formación escolar y/o profesional además de las actividades que


86



desarrollen paralelamente a su participación en el cabildo además de su experiencia previa ya sea en administración pública u otras ocupaciones.

d) Residente de Microrregiones y/o Delegado responsable local de la Secretaría de

Desarrollo Social (si existe uno en el municipio), este actor lleva un conocimiento directo las relaciones administrativas y presupuestales entre los programas de gasto federal y las de gasto descentralizado. Este informante calificado es capaz de esclarecer cuales son los tipos de acuerdos entre los proyectos y programas de las instancias federales, estatales y municipales y bajo que tipo de reglas y acuerdos se llevan a cabo.

e) Inspector de zona Secretaria de Educación Pública y director de escuela primaria y

secundaria de la cabecera municipal (se debe considerar el caso del trabajador social de la escuela debido a que puede saber mejor el tipo de impacto individual de los programas o proyectos en los estudiantes), estos actores conocen las diversas fuentes de procedencia de los recursos que alimentan la infraestructura escolar y los programas tanto federales y descentralizados que afectan la operación de los servicios escolares.

f) Director(es) de clínica de salud, hospital o casa de salud, este tiene información

sobre la operación sobre las partidas de programas federales directas y las descentralizadas sobre el ramo en salud y como operan en conjunto dentro de la misma además de que es un observador del grado de eficiencia y calidad hacia los beneficiarios.

g) Otros actores sociales relevantes en la discusión del gasto presupuestario y uso de

obras públicas. Es necesario según el caso que se identifique la participación de otros actores fuera de la organización formal municipal que pueden jugar un factor en el diseño del gasto municipal así como presentar diferentes demandas hacia el uso del mismo, la necesidad de las entrevistas a estos actores se determinará después de las entrevistas con los principales miembros de la organización municipal mencionados previamente. Estas organizaciones son en especial aquellas del ámbito rural y aquellas relacionadas al uso de los servicios públicos.

1. Comisario ejidal. 2. Organizaciones ejidales y campesinas. 3. Juntas de vecinos, colonos y/o comités de beneficiarios de programas

sociales (Programa de abasto rural – Diconsa, Programa de Abasto Social de Leche – Liconsa, Programa Alimentario, Oportunidades, DIF, etc.).

4. Beneficiarios calificados, que sean usuarios recurrentes de las obras generadas.


87



h) Personal del COPLADE, que son las instancias estatales encargadas de coordinar y

planear entre los gobiernos federal, estatal, municipal y la sociedad para facilitar la conjugación de esfuerzos en la gestión y aplicación de recursos para el desarrollo de obras, proyectos y servicios públicos con la participación de la ciudadanía.

i) Personal de la secretarías estatales, particularmente las encargadas de promover el

desarrollo económico y social y que estén relacionadas con la construcción y provisión de infraestructura y servicios públicos contemplados dentro de las Banderas Blancas.

j) Personal de la Unidad de Microrregiones en la Sedesol, que son los funcionarios

precisamente encargados de la operación de la EM a nivel federal.

k) Personal de los demás programas, organismos y secretarías federales, que tienen que coordinar sus acciones para evitar la duplicidad de esfuerzos, concentrar sus acciones en las microrregiones y lograr sinergias.

3.2.2 Grupos de enfoque El grupo de enfoque es un tipo de entrevista colectiva que sirvió como herramienta de recolección de datos. Busca encontrar el cómo y el por qué, proporcionando respuestas contextuales en grupos cuasi-homogéneos de población elegidos bajo criterios del grupo evaluador. De tal forma se realizó con tipos de participantes similares en algunas características clave con el fin de identificar temas o patrones de percepciones. Así los grupos se reúnieron para discutir una serie de asuntos específicos guiados por un moderador entrenado que estimula y enfoca la discusión110.

3.2.2.1 Propósito del grupo de enfoque

El propósito del grupo de enfoque fue la recolección de datos cualitativos a partir de un proceso de interacción grupal que ayude a la mejor comprensión de las actitudes, las percepciones, los sentimientos y la forma de pensar de los participantes. Es por ello que la mayor utilidad y valor de los grupos de enfoque radica en la riqueza de los comentarios e interacción, manifiesta o latente, de las personas participantes. Para alcanzar los objetivos deseados en cada grupo se recomienda que estén integrados entre siete y ocho personas. Es el número ideal que permite tener un control más completo sobre la discusión, sin perder de vista las reacciones, comentarios e interacción entre los integrantes. Asuntos todos ellos que dan un mayor conocimiento sobre la aplicación de la EM y sus efectos. La mayor utilidad y valor de los grupos de enfoque radicó en la riqueza de los comentarios e interacción de las personas participantes. Para alcanzar los objetivos deseados en cada 110 Véase Kotler, 1987


88



grupo se recomendó que se integraran con siete u ocho personas,111 y con ellos básicamente tratar todos los asuntos que aportaran mayor conocimiento sobre la aplicación de la EM y sus efectos. Fue así que se concluyó que los grupos focales se realizarían entonces con beneficiarios de los programas emprendidos por la EM y lideres comunitarios cercanos también a la EM, sobretodo en consideración de que a mayor involucramiento más adecuada es la experiencia reportada para el objeto o aspecto analizado por el equipo evaluador. (Malhotra, 1997, p. 167).

3.2.2.2 Ventajas del grupo de enfoque Esta técnica fue muy valiosa para desarrollar hipótesis sobre problemas y oportunidades; proporciona la flexibilidad para cubrir temas de manera más profunda que la entrevista individual por realizarse en grupos, así el proceso de recolección de datos y análisis de los mismos es más acelerado. El efecto combinado del grupo generó una gama más amplia de información, compresión e ideas, y hasta temas que pudieran ser de utilidad para complementar o adecuar las interpretaciones de la información recabada. Durante la interacción del grupo de enfoque se pueden observar procesos como la toma de decisiones, mecanismos como la lluvia de ideas y la profundización de las mismas así como comportamientos y motivaciones grupales. La homogeneidad del grupo respecto a ciertas características, elegidas por el evaluador, fueron la clave central que motivó la seguridad de los participantes para comentar sus posturas respecto al problema de manera más espontánea y tendiendo a proporcionar un cuadro más preciso de su opinión con relación a algunos temas (Kinnear y Taylor, 1985). Los grupos focales se realizaron así con miembros de hogares beneficiarios o con líderes comunitarios según los indicadores de resultados y desempeño de los que se pretenda obtener una comprensión más profunda. En un primer nivel de temas base de los grupos focales que se dirigió sólo a miembros de hogares beneficiarios en las comunidades CEC, se obtuvo información básica acerca de la cobertura, utilización y calidad de los servicios esenciales: educación básica, paquete básico de salud, abasto rural e infraestructura social básica. Con dicha información los grupos de enfoque fueron utilizados para cumplir el objetivo de evaluación de los componentes de la EM. En cuanto a los proyectos y acciones de infraestructura y servicios realizadas en las localidades CEC. Otros aspectos a tratar fueron la sostenibilidad física, el mantenimiento operativo, la suficiencia técnica, calidad y satisfacción lograda de estos proyectos y acciones de infraestructura y servicios.

111 Este es el número ideal que permite tener un control más completo sobre la discusión, sin perder de vista las reacciones, comentarios e interacción entre los integrantes. Para más información, véase (Rennekamp and Nall, s/f, pp.)


89



El segundo nivel de temas base que incluyó tanto a los líderes comunitarios como a los beneficiarios, se recolectó información sobre la participación social de las comunidades en la realización de proyectos y acciones de infraestructura, servicios, fomento económico y organización comunitaria en las localidades CEC y de influencia. Se hizo énfasis para ambos tipos de grupos (beneficiarios y líderes) en la obtención de información sobre el nivel, tipo y calidad de la participación; la corresponsabilidad de los hogares, organizaciones locales y liderazgos en asambleas y reuniones para la planeación y seguimiento de los proyectos y acciones; así mismo, se recabaron datos sobre la satisfacción y percepción de los hogares, con respecto a su participación en la realización de estos proyectos y acciones. Este tipo de técnica se empleó en ambos tipos de entrevistados para conocer los procesos de capital social, tanto vinculante, como cívico, en las localidades CEC. Dentro de esta área de capital social se buscó más información sobre la confianza, reciprocidad, colaboración y resolución de conflictos entre distintos grupos y comunidades; niveles y formas de conflictividad social: cultura y participación cívica; y participación electoral y actitudes políticas entre otros aspectos. De relevancia fueron aquí también las percepciones y actitudes sobre la atención, inclusión, pertenencia, empoderamiento y apoderamiento de los hogares, organizaciones y liderazgos comunitarios en las localidades CEC.

3.2.2.3 Logística de los grupos de enfoque El procedimiento para la planeación y realización de las sesiones de grupo fue el siguiente: De acuerdo con los propósitos del estudio, se sugirió realizar entre tres y seis grupos de foco por estratos y tipos de beneficiarios o lideres según género, posición social y otras características relevantes. Las localidades donde se llevaron a cabo este tipo de estudio se definirían con base en los propósitos de investigación. Contemplando que los grupos con beneficiarios se realizarán solo en la localidad CEC y con líderes se podrá tomar en consideración el área de influencia. (Manzini and London, 2005) De esta forma se buscó que cada grupo fuese de entre siete y ocho personas, en una sesión de entre un mínimo de una hora y tres horas como máximo, dependiendo de la dinámica de grupo que se establezca. Este periodo de tiempo fue necesario para constituir la armonía entre los participantes y explorar, con detalle, sus creencias, sentimientos, ideas, actitudes y discernimientos respecto de los temas de interés (Malhotra, 1997, p. 167). El moderador desempeñó un papel clave para el éxito de una sesión. Éste debió de establecer armonía, hacer que el debate siga adelante y provocar que los participantes expresen sus ideas. El moderador debía poseer habilidades, experiencia y conocimiento del tema y de los mecanismos básicos de la EM que se analizan y comprender la naturaleza de la dinámica de grupo al igual que un mínimo conocimiento de la comunidad de donde provienen los participantes.


90



Por último se revisaron y analizaron los datos obtenidos en la misma dentro de matrices de captación de información y se resumirán los descubrimientos para integrarlos a los estudios de caso y a la investigación cuantitativa (Malhotra, 1997, p. 168).

3.2.2.4 Temas base de las discusiones de los grupos de enfoque A partir de los objetivos generales del estudio se establecieron los objetivos/preguntas, establecidos en la guía del grupo foco, los cuales deben moderarse y responderse en las sesiones de grupo. Se escribió entonces a partir de los objetivos un cuestionario de observación que el moderador tuvo durante toda la reunión para seguir la discusión. Adicionalmente el grupo foco se realizó en un sitio que físicamente reunía las condiciones de privacidad y comodidad para los participantes. Los grupos foco, nos ayudaron a cubrir en un primer piso de información general los siguientes aspectos:

• Información básica sobre cobertura de servicios e infraestructura social. • Analizar en qué medida la EM ha promovido la coordinación institucional y la

participación de los beneficiarios y otros actores claves en el proceso de desarrollo local.

• Evaluar cuál es el nivel de conocimiento de los principios y funcionamiento de la EM por parte de los distintos actores.

• Apreciar cuál es la percepción y opinión de la comunidad respecto a la selección de obras y acciones. o Cómo participa la comunidad en las diferentes obras. o Calidad de los insumos y servicios ofrecidos. o Funcionamiento de acuerdo con las normas. o Percepciones de la comunidad sobre el impacto de las acciones en el desarrollo

local, la calidad de vida y cohesión social de la comunidad. o Diferencia entre las percepciones y la participación de las comunidades de

diverso tipo por ejemplo, indígenas con respecto al resto. Mientras que los temas más específicos fueron los siguientes: Beneficios de programas, acciones y proyectos

Infraestructura (BENEFICIARIOS) • El suministro de agua potable en cuanto a calidad y frecuencia • El suministro de electricidad cuanto a calidad y frecuencia • El servicio de drenaje en cuanto a calidad y funcionamiento

Mejoramiento de vivienda (BENEFICIARIOS)


91



• El servicio de letrina y/o fosa séptica en cuanto a calidad y funcionamiento • El acabado del piso de cemento o firme cuanto a calidad y acabado • Los trabajos de mejoramiento de vivienda le ha proporcionado ahorro y

mejor calidad de vida Servicios públicos (BENEFICIARIOS)

• La calidad de las escuelas en enseñanza cotidiana y asistencia de los profesores

• La calidad de las clínica(s) de salud en cuanto a calidad del servicio definida como: limpieza, amabilidad, diagnóstico y suministro de medicinas

• La calidad de servicio del Centro o tienda comunitaria de abasto y precio con respecto a los particulares si existen

Conectividad (BENEFICIARIOS)

• La calidad del (los) camino(s) y/o carretera(s) en cuanto a calidad (sin baches, desniveles y grietas)

• La atención del promotor del CCA y del estado de las computadoras • La calidad de servicio telefonía pública o rural y precio con respecto a los

particulares si existen Desarrollo económico y seguridad jurídica (BENEFICIARIOS)

• El participar en un proyecto productivo o empresa social como factor y ayuda a superar la pobreza

• El participar de los beneficios de un programa de empleo temporal como factor y ayuda a superar la pobreza

• El participar de los beneficios de un programa de regularización de la tierra y/o de la tenencia de propiedad como factor y ayuda a superar la pobreza

• Tener acta de nacimiento y documentos legales como factor y ayuda a superar la pobreza

• Contar con reglamento de construcción y uso de suelo como factor y ayuda a superar la pobreza

Participación y capital social

Proceso participativo (beneficiarios y líderes) • Como se discutieron las diferentes las alternativas y relevancia de la(s)

obra(s) en la comunidad • El papel de los líderes de la comunidad en el desarrollo de la(s) obra(s) • Apropiación • El grado de apoyo y participación de la comunidad en los proyectos y obras

aprobadas • La forma en que la comunidad coopera para mantener la obra en buen estado

y proporcionar mantenimiento


92



Empoderamiento de la comunidad (beneficiarios y líderes)

• Cambios significativos en obras al integrar la participación de la comunidad • La participación como factor importante en el mejoramiento de su

comunidad • Percepción de la comunidad en tomar en sus manos el desarrollo local.

Capital social comunitario (beneficiarios y líderes)

• Las organizaciones similares y diferentes dentro de la comunidad y su colaboración entre si para fines comunes

• Confianza, reciprocidad y solidaridad y su desarrollo comunitario Actitudes cívicas y políticas (beneficiarios y líderes)

• Uso medios de comunicación • Participación electoral y uso de derechos ciudadanos • Activismo social y político • Integración intercomunitaria

3.2.3 Observación en sitio Estas técnicas se utilizaron de manera cuantitativa y cualitativa, ello según fuese el caso correspondiente dependiendo del diseño para su registro así como de los momentos u oportunidades para efectuarlas. En función del conjunto de instrumentos de campo, utilizaremos las observaciones de manera cualitativa, fundamentalmente para recoger datos sobre el apego a las Reglas de Operación y también para recoger las actitudes e impresiones sobre el funcionamiento de las decisiones de la EM. Estas observaciones requirieron de un esquema de trabajo para captar manifestaciones y aspectos trascendentes del grupo social que se observa, y de igual modo sirvieron al equipo de trabajo como una forma de control interno en el acopio de información en campo. En palabras de Pardinas (2005, p. 89), “la observación tiene dos sentidos: la acción del investigador [es decir], el procedimiento de mirar detenidamente, […] y significa también el conjunto de cosas observadas, el conjunto de datos y el conjunto de fenómenos”. Esta técnica puede llevarse a cabo de dos maneras: la ordinaria y la participante112.

112 La observación ordinaria es la que se realiza cuando el investigador hace visitas preliminares a la unidad de análisis grupo social) sin participar en los sucesos cotidianos de grupo a observar. Este primer acercamiento ayuda a reconocer y delimitar el área de trabajo con el objetivo de obtener información para estructurar el marco teórico-conceptual. Además, es útil para afinar las hipótesis, reelaborar las guías de observación y adoptar estrategias para el trabajo de investigación que se quiere llevar a cabo. Los datos que se obtienen por medio de la observación pueden servir, según Rojas (2000), para precisar distintos aspectos del planteamiento del problema y de los objetivos de investigación; ofrecer elementos significativos con el fin de concretar el marco teórico y conceptual para que sea congruente con la realidad que se estudia; y,


93



Las características y requerimientos más notorios que debían de cubrir en la observación, eran según Del Rincón et al. (1995, pp.263-264), son:

• Ser un proceso abierto y flexible: No existe un marco cerrado que limite la observación queda abierto a redefiniciones a partir de la información que se recoge.

• Captar una realidad social natural: La obtención de la información se lleva de manera espontánea en un escenario social.

• Retener de casos con profundidad: Los informes deben incluir detalles descriptivos suficientes para que el lector conozca lo que ocurrió y cómo.

• Perspectivas de las personas implicadas o participantes: Su principal interés es compartir de modo directo, inmediato y no presuntivo, los fenómenos aportados por los actores para construir un relato de su contexto cultural.

• Rol participante: En el caso de que fuese necesario, la participación del observador brinda la posibilidad de una relación cara a cara con lo observado, y permite obtener información mientras se participa con los sujetos en el escenario natural.

• Fortalecer la lógica del descubrimiento: Se orienta a generar conceptos, generalizaciones y teorías a partir de la realidad así como de observaciones anecdóticas y detalles.

• Crear posible vías de ceración de teoría y teorización interpretativas. Puede generar conocimiento teórico y/o práctico.

Además, la observación debía de constar de unos criterios a seguir y modalidades que eran:

• La implicación del observador: Que puede ser máxima el observador es un miembro más del grupo a investigar, se implica y es considerado como uno más (o mínima aquí donde el investigador adopta un papel de mero espectador externo, sólo observa estando atento a las situaciones relevantes y significativas)

• El hecho de observar: Observación abierta las personas saben que están siendo observadas, (y la oposición encubierta, donde las personas desconocen que están siendo observadas. Esta permite captar mejor lo que realmente está ocurriendo con lo que genera la máxima naturalidad y espontaneidad)

• La duración de la observación dependerá en gran medida del objeto de estudio, del tiempo y de los recursos disponibles para realizar la investigación dentro de los sitios elegidos donde opera la EM.

• Enfoque de la observación: Que en este caso es (1) descriptiva, donde el observador tiende a centrarse en los aspectos más delimitados según los objetivos de la investigación); (2) focalizada, donde el observador centra y delimita su campo de visión ya que no lo puede observar todo), (3) y selectiva, donde a medida que

proporcionar datos para elaborar las hipótesis correspondientes respetando las características relevantes de la técnica.


94



avanza la investigación, el observador es más sensible a las actividades y acontecimientos que aportan información significativa a la investigación)

En la observación en sitio los sistemas que se utilizan para registrar la información son los llamados sistemas narrativos o registros abiertos. Éstos son formados por descripciones detalladas y amplias sobre aquello que se ha ido observando con el fin de explicar los procesos en desarrollo e identificar pautas de conducta en contextos específicos. (Evertson y Green, 1989 en Martínez, 2003) Aquí no partimos de categorías prefijadas, sino más bien de comprender lo que está ocurriendo y por qué ocurre. Para ello, los principales sistemas narrativos son las notas de campo, los registros anecdóticos y los diarios en forma escrita y, en la medida de lo posible, en vídeo y fotografía. Es así que las observaciones en sitio se emplearon de manera cualitativa, fundamentalmente para recoger datos sobre el apego a las Reglas de Operación, y también para recoger las actitudes e impresiones sobre el funcionamiento de las decisiones de la EM. Para efectuar dicha observación, se creo un guión analítico interno y se aplicó asegurándose no fuese obstructiva —en la variante de unobtrusive observations— (Emerson, Fretz y Shaw, 1995, Webb, Campbell, Schwartz, y Sechrest 1973) para no afectar en lo posible el comportamiento de los beneficiarios y los operadores, lo que se busca es lograr una perspectiva cualitativa mucho más objetiva. Las observaciones se anotarán en los reportes de campo de la encuesta, y se complementarán con otras generadas previamente a las entrevistas.

3.2.3.1 Objetivos La guía de entrevista contribuyó a formarse una mejor y más completa apreciación sobre la operación real de la Estrategia de Microrregiones, con datos de observación y recopilación directa. Estos datos permitirán valorar, confirmar y evaluar las variables e indicadores básicos a recuperar por medio del trabajo en campo (encuestas, grupos de enfoque, entrevistas profundas, etc.). El presente diseño metodológico para la observación en sitio buscó, especialmente, la combinación de los elementos cualitativos y cuantitativos, así como para en la estructuración de los estudios de caso, identificar y valorar la función y posibles problemas operativos, logísticos y de información para el trabajo de campo, a manera de adecuar las actividades e instrumentos correspondientes.


95



3.2.3.2 Planteamiento general

Se hicieron 6 visitas de campo a localidades tanto microrregiones como no-microrregiones, con el apoyo y acompañamiento del personal de las delegaciones de SEDESOL, y con el apoyo particularmente en campo de los Residentes de la EM. Se seleccionaron los estados, microrregiones, municipios y localidades considerando la variabilidad de condiciones relevantes y la conveniencia logística y territorial. Las unidades básicas de observación fueron los proyectos y acciones en localidades CEC y sus contrapartes fuera de las microrregiones. Los criterios de selección de los municipios, para procurar tener la mayor variabilidad posible, serán el partido político gobernante, nivel de marginación, vocación económica, configuración étnica, dinámicas migratorias, características del medio físico y capacidad gubernamental de los estados y municipios. A nivel de localidad, los criterios de selección serán el nivel de marginación, vocación económica, configuración étnica, características del medio físico, capital social, actitudes cívicas y políticas y capacidad de acción colectiva de las comunidades en las localidades CEC y las de influencia. Se hizo además un seguimiento a los procesos en torno a los proyectos, desde el nivel de la comunidad hasta el de la autoridad estatal, como parte fundamental de la estrategia. Se tendrá contacto directo con los actores relevantes para la operación de los proyectos, del sector público, privado y social y de los tres niveles de gobierno. Las entrevistas, observaciones y comentarios se documentaron de acuerdo a guías específicas, que permitieron compartir los resultados y facilitar su utilización.

3.2.3.3 Procesos básicos a explorar Los siguientes procesos fueron objeto de una particular atención en la integración de las pruebas y valoraciones del equipo de trabajo: Fue necesario verificar cómo se dio la coordinación institucional tanto vertical como horizontalmente, así como la participación de la comunidad en la planeación y ejecución de los mismos, sin descuidar los niveles de satisfacción que generan, o no. Para ello, tuvimos que conocer la cantidad proyectos, inversión, cobertura, calidad, mantenimiento, utilización y su sustentabilidad;

a) Fue necesario conocer cuáles habían sido los impactos que se generaron en la infraestructura y servicios públicos, su importancia relativa, tanto para las localidades CEC y de influencia como entre los distintos tipos de proyectos.


96



b) Se exploró la convergencia territorial, es decir, el funcionamiento de las

localidades CEC como unidades de servicios y su atracción que ejercen sobre las localidades de influencia.

c) Finalmente, se exploraron las dinámicas migratorias tanto en las CEC como en

las localidades de influencia. Todo esto fue tomado en cuenta en consideración las peculiaridades sociales, políticas y económicas de la localidad en estudio.

3.2.4 Análisis documental Una parte sustancial de la investigación estará determinada por la llamada crítica documental es decir las fuentes documentales primarias realizadas por las instancias de la EM. Esta crítica nos permite desbrozar la información y obtener la que es fundamental para entender el problema, así como la también llamada interlineada, que no se explicita, pero que se puede descubrir en relación a las actitudes y reacciones de las entrevistas, grupos de discusión y en la etnografía. Las fuentes documentales secundarias sujetas también a esta critica serán todos aquellos estudios que se han elaborado por instancias semejantes a estos programas de desarrollo social en el mundo y por otras instancias internacionales de apoyo y evaluación, es decir pueden ser los diversos estudios del Banco Mundial y de la OCDE, así como los trabajos teóricos metodológicos indispensables para apoyar la evaluación desde otras instituciones académicas

3.3 Estudios de caso Los estudios de caso fueron un método de aprendizaje acerca de una situación humana compleja. Estos tuvieron su base en el entendimiento comprensivo de dicha situación, siempre procurando una descripción y análisis de la situación sujeta al contexto donde se desarrolla. El empleo de estudios de caso implicó, también, el seguimiento una metodología de estudio más compleja y más significativa, en la cual se integran tanto los análisis cuantitativos y los cualitativos para efectos de análisis. (Morra y Friedlander, 2001, p. 2) Otra forma que da sustento a los estudios de caso fue que la etnografía experimental que permite una integración entre el análisis cualitativo y el cuantitativo en la investigación de evaluación. La cual está determinada por la forma de preguntar que determina el efecto que tuvo la intervención a evaluar; es así que se deben construir las preguntas vinculadas al programa para definir los mecanismos internos de operación local de la EM, lo que se llama “caja negra”, para evaluar la causa, efecto y explicación más acabada que los efectos provocaron y se comprueban con las demás herramientas metodológicas. (Sherman and Strang, 2004, pp. 204-206)


97



De acuerdo a los artículos que realiza el Banco Mundial se han clasificado los estudios de caso en varias modalidades y es a partir de ahí que se plantea utilizar el que sea más viable de acuerdo a las características de la EM. Propusimos por tanto la aplicación del estudio de caso conocido como explicativo. 113 La razón fue que nos permitió describir el proceso mismo de la EM a partir de los lineamientos de operación y su impacto, además de permitirnos obtener respuestas orientadas a mejorar la aplicación de ésta y su posible comparación con anteriores programas. Este método tuvo el propósito de exponer las relaciones entre los diferentes componentes de un programa y su implementación. Se abocó a realizar la investigación del diseño y de la operación, a menudo en varios terrenos, y con frecuencia, de manera normativa sin descuidar sus efectos. Esta modalidad de estudio de caso examina la causalidad y habitualmente involucra evaluaciones de tipo multiterreno y multimétodo. Todo ello con el objetivo de conocer la operación e impacto en las unidades de estudio definidas por la EM (Morra and Friedlander, 2001, pp. 4-6 y 8-14).114

3.3.1 Investigación etnográfica para elaborar estudios de caso Una condición de esta metodología fue definir claramente el objeto de estudio desde dos aspectos:

A) La unidad de análisis, que el trabajar con las localidades CEC y no CEC para tener puntos de comparación y poder elaborar modelos contrafactuales;

B) La conjunción de las metodologías y técnicas de acopio de información, como son

las entrevistas a profundidad, grupos foco y abiertos, encuestas, entre otras. Así, asociaremos a los estudios de caso y etnográficos a las herramientas metodológicas necesarias para completar el análisis.

Para llevar a cabo estos casos es necesario igualmente definir aspectos importantes:

a. Tener conocimiento histórico del espacio geográfico a tratar es decir de las diversas acciones que se aplicaron y de sus resultados;

113 Los estudios de caso se clasifican en tres categorías, explicativo: que permite entender la relación entre los componentes del programa, a partir de la implementación y efectos; descriptivo: son más focalizados y son ilustrativos, exploratorios y analizan sólo una situación crítica; y los combinados; para esto se requiere mayor información de muchos estudios de caso y la evaluación puede ser descriptiva, normativa o de causa y efecto, Morra and Friedlander, 2001, pp. 2-3 y 8-14. 114 Morra y Friedlander presentan varios casos de evaluación en distintos países, por ejemplo el impacto en Corea sobre el desarrollo retrasado de la región Cholla, 1997; o bien la influencia socioeconómica de caminos rurales, en Marruecos, 1998.


98



b. Definir el plan de trabajo a partir de la investigación etnográfica que integra las

visitas y el uso de los instrumentos cualitativos; y

c. Establecer hipotéticamente las conexiones básicas de cómo opera el programa en cada caso para entender y ordenar de qué manera se operan la funciones e impacto del programa.115

Es de esta forma que en el campo de la evaluación, frecuentemente requerimos de conocer si los programas y proyectos estuvieron siendo implementados tal como fueron propuestos o diseñados, qué problemas se encontraron, y qué adaptaciones se hicieron y por qué. tipota intención de esto fue cerciorarse de sí algún proyecto dado estaba fracasando, a fin de proveer una imagen de lo sucedido a lo largo del tiempo y lo que podría aprenderse de esta experiencia que pudiera ser aplicado a otros proyectos. Así pues, una vez formados los mecanismos que correspondían a la “caja negra”, fue necesario empezar a realizar las comparaciones entre los diversos grupos de análisis para dar el sustento a la evaluación, y en ese orden alcanzar una integración horizontal para observar las percepciones en distintos espacios y confirmarlos, en algunos casos inclusive con las evidencias cualitativas.116 En resumen, los estudios de caso involucraron lo que los metodólogos llaman “descripciones gruesas.” Éstas tienden a ser abundantes, llenas de información que provienen de fuentes múltiples de datos y, a menudo, de entrevistas. Para documentar la evaluación, por tanto, se empleó la multiplicidad de métodos analíticos sugeridos que nos permitieron finalmente realizar cruces, interpretaciones, evaluaciones y prospectivas para definir mejor la EM,; los resultados se corroboraron, teniendo además el sustento estadístico en la mejor de las situaciones.117.

3.3.2 Metodología La cantidad de estudios de casos que se llevaron a cabo fueron tres estudios de caso tomando en cuenta el estado; dos municipios dentro de cada uno (uno dentro de las microrregiones y otro fuera de ellas); en cada uno de los municipios se eligieron dos localidades CEC con sus localidades de influencia y su respectiva contraparte Q-CEC como control con sus respectivas localidades de influencia Q-INF. El enfoque a seguir fue comparativo, estructurado y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas con la operación y el impacto de la EM,

115 También proceso conocido como “la caja negra”. Véase Sherman and Strang, 2004. 116 Para más detalles de este proceder, Véase ib. id, p. 210-212) 117 En las décadas recientes e ha sofisticado el uso de los protocolos de estudios de caso para organizar mejor la recolección de datos para el armado de los casos. Éstos son mucho más amplios en alcance y son particularmente, apropiados cuando múltiples evaluadores colaboran en un número de estudios de caso que son parte de la misma evaluación. Sobre resultados obtenidos de forma similar, Véase Morra and Friedlander, 2001, pp. 5-7.


99



tanto entre distintas microrregiones—i.e., casos de tratamiento—como entre éstas y las no-microrregiones—i.e., casos de control. Las unidades básicas de análisis serán las localidades CEC y de influencia así como sus contrapartes fuera de las microrregiones. Dentro de las localidades, el análisis se enfocará mayormente en torno de los proyectos, pero también considerará el contexto local y municipal que puede incidir sobre los mismos. Una parte sustancial de esta investigación se abocó en obtener información sobre la percepción de la operación de la EM. La metodología antropológica nos permitió acercarnos a la parte subjetiva de la investigación, la cual siempre es difícil capturar cuando se trata de la impresión de las personas y el entendimiento popular. Los medios con que se contó para decidir y aplicarla fueron aspectos clave en el proceso de evaluación operativo, por lo que las observaciones etnográficas capturaron precisamente dichas impresiones al respecto de la EM, las cuales también pudieron recabarse a través de preguntas abiertas en los diversos cuestionarios. Por otro lado, se propuso que se realizara un análisis extensivo o “grueso” de múltiples tipos de fuentes de datos, tales como: encuestas, entrevistas, grupos foco y abiertos con los actores relevantes, elaboración de series de tiempo, observación participante, encuesta a participantes, revisión de documentos y archivos. El análisis se hará por medio de: correspondencia de patrones, construcción de explicaciones, revisión temática, comparación de la consistencia de las situaciones. Las técnicas a utilizarse serán: la ordenación informativa en la matriz de categorías, exhibiciones gráficas de datos, tabulación de frecuencia de eventos, cronologías / ordenamiento temporal de series. La base de las preguntas que guiaron este análisis grueso y ordenador del caso consideraron lo siguiente:

• Conveniencia: ¿La situación fue seleccionada porque era conveniente para propósitos de recolección de datos?; ¿Qué está sucediendo y por qué?

• Propósito: agrupar y relacionar mejores y peores casos para estratificarlos y buscar su representatividad, como típico o atípico.

• Interés especial: ¿Qué está sucediendo en los extremos?; ¿Qué explica tales diferencias?; ¿A qué se debe la efectividad?; ¿Por qué no está funcionando?; ¿Cómo se comparan entre sí diferentes tipos de situaciones? (Morra and Friedlander, 2001, pp. 15-17)

En situaciones elegidas para:

• representar variaciones significativas, las cuestiones serían: ¿Cómo es la situación y por qué?;

• en una situación típica: ¿Qué está pasando y por qué?; • en esta circunstancia particular: ¿Qué está pasando y por qué?;


100



• probabilidad: ¿Qué esta pasando como un todo y por qué? (Morra and Friedlander,

2001, pp. 15-17) Una ventaja que se debe aprovechar en los estudios de caso es la participación o colaboración. Ya es usual que los evaluadores trabajen cercanamente con los funcionarios del proyecto, por ejemplo, para definir las preguntas que serán abordadas por la evaluación. Tal participación es vista como una contribución a: fortalecer la identificación con el proyecto; facilitar la transferencia de habilidades y capacidades para la evaluación; y para promover la autogobernabilidad democrática118. Dentro de los actores relevantes a entrevistar se encuentran fundamentalmente:

• Funcionarios de la delegación estatal Sedesol • Funcionarios de Sedesol o sus equivalentes en instancias estatales. • Residentes en las microrregiones • Funcionarios municipales, en especial los siguientes:

Presidente municipal, secretario o síndico. Director de obras y servicios públicos o equivalente.

• Operadores o responsables de los proyectos: Director/trabajador social de escuela. Responsable del CCA (sólo en microrregiones). Director o responsable calificado del centro de salud. Residente o responsable de obras de infraestructura, etc.

• Lideres de la comunidad • Beneficiarios y no beneficiarios de los proyectos.

Asimismo, los estudios de caso buscarán combinar e integrar diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los procesos y contextos a analizar, tal como se presentan en el cuadro siguiente.

Cuadro 3.4 Tipo de métodos y técnicas Objetivos

Cuantitativos

• Estimación de impacto con modelos antes-y-después y de series de tiempo para cada caso individual, con base en datos de censos y conteos.

• Encuesta a beneficiarios de proyectos en localidades CEC, con muestras sobre-representadas para cada caso.

• Encuesta a beneficiarios de proyectos en localidades de influencia.*

• Encuesta a operadores/responsables de proyectos en localidades CEC, con muestras sobre-representadas para cada caso.

• Análisis financiero longitudinal para cada caso, (tipos, mezclas y niveles de inversión en proyectos)

118 Véase Morra and Amy C. Friedlander, 2001, pp. 15-17


101



Tipo de métodos y técnicas Objetivos

Cualitativos

• Entrevistas semiestructuradas y profundas con actores claves.

• Grupos de enfoque con beneficiarios. • Observación en sitio no participante.

Adicionalmente, debe observarse que en todos los casos de estudio se utilizaron las mismas técnicas e instrumentos para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la información. Las variaciones se dieron sólo en aquellas en que las condiciones particulares o las metodologías de cada instrumento lo exigieron. Una parte sustancial de la investigación en estos casos consistió en obtener información sobre la percepción de la operación de la EM. Una de las formas para tener acceso a esa información se obtuvo a partir de la etnografía, esa metodología antropológica que nos permite acercarnos a la parte subjetiva de la investigación que es difícil capturar: la impresión y el entendimiento popular. Los medios que se tiene para decidir y aplicarla son aspectos fundamentales en el proceso de evaluación operativo, por lo que las observaciones etnográficas que capturan precisamente esas impresiones, a partir de la observación en la aplicación de los diversos cuestionarios es un material que nos permitirá conocer mejor si se comprende y cómo, la EM. 3.3.3 Criterios para la selección de los casos Para esta parte de la propuesta de evaluación propusimos realizar un análisis extensivo o “grueso” de múltiples tipos de fuentes de datos, tales como: encuestas, entrevistas, grupos foco y abiertos con los actores relevantes, elaboración de series de tiempo, observación participante, encuesta a participantes, revisión de documentos y archivos. El análisis se hará por medio de: correspondencia de patrones, construcción de explicaciones, revisión temática, comparación de la consistencia de las situaciones. Las técnicas empleadas fueron: matriz de categorías, exhibiciones gráficas de datos, tabulación de frecuencia de eventos, cronologías / ordenamiento temporal de series, todos como procedimientos internos para el trabajo del equipo evaluador. La base de las preguntas centrales para permitir la elección de los casos se guiaron por lo siguiente:

• Conveniencia: ¿La situación fue seleccionada porque era conveniente para propósitos de recolección de datos? ¿Qué está sucediendo y por qué?

• Propósito: agrupar y relacionar mejores y peores casos para estratificarlos y buscar su representatividad, como típico o atípico

• Interés especial: ¿Qué está sucediendo en los extremos? ¿Qué explica tales diferencias? ¿A qué se debe la efectividad? ¿Por qué no está funcionando? ¿Cómo


102



se comparan entre sí diferentes tipos de situaciones? (Morra and Friedlander, 2001, pp. 15-17)

En situaciones elegidas para:

• Representar variaciones significativas, las cuestiones serían: ¿Cómo es la situación y por qué?;

• En una situación típica: ¿Qué está pasando y por qué?; • En esta circunstancia particular: ¿Qué está pasando y por qué?; • Probabilidad: ¿Qué esta pasando como un todo y por qué? (Morra and Friedlander,

2001, pp. 15-17) Una ventaja que se aprovechó en los estudios de caso es la participación o colaboración. Ya es usual que los evaluadores trabajen cercanamente con los funcionarios del proyecto, por ejemplo, para definir las preguntas que serán abordadas por la evaluación. Tal participación es vista como una contribución a: fortalecer la identificación con el proyecto; facilitar la transferencia de habilidades y capacidades para la evaluación; y para promover la autogobernabilidad democrática. (Morra y Friedlander, 2001, pp. 15-17) Debe observarse que se buscó que las microrregiones, municipios y localidades específicas a estudiar fuesen representativos de la amplia heterogeneidad de las condiciones de los territorios atendidos por la EM, para lo cual estos se seleccionarán considerando una variabilidad de condiciones relevantes para el funcionamiento de la EM, entre las que sobresalen las siguientes dimensiones:

• Estados: nivel de desarrollo económico relativo; ubicación regional. • Microrregiones: medio físico; marginación relativa; estructura y vocación

económica; presencia indígena. • Municipios: partido o grupo político vs. gobierno estatal y federal. • Localidades CEC: condición de cabecera municipal; conectividad. • Localidades de influencia: accesibilidad a localidad CEC.

Los criterios de selección para los estudios de caso con base en los diferentes contextos que afectan, potencian o disminuyen la operación de EM resultaron los más adecuados para los fines de la evaluación, ya que la opción alternativa de seleccionar estados, municipios o localidades con base en el desempeño operativo o el impacto percibido de la EM, conlleva los riesgos tanto de ignorar los diferentes factores que coadyuvaron a producir el resultado, así como el atribuir de manera indebido el resultado a la operación de la EM en el caso de que este sea resultado de otro factor causal diferente. Si bien en un principio se contempló dentro de estos criterios de selección la existencia de Agencias de Desarrollo Local (ADL) ello con el propósito de verificar la contribución de éstas en el desarrollo integral propuesto por la EM, este se descartó en vistas de que habían muy pocas en todo el país y porque además no se encontraban en los municipios que cumplieran con los otros criterios de comparabilidad.


103



4. Bibliografía básica Abbott, A. 2000. ‘What do cases do? Some notes on activity in sociological Analysis’, in

Ragin, C., What is case? Exploring the Foundations of Social Inquiry, Cambridge University Press.

Álvarez-Gayou, J. L. 2005. Cómo hacer investigación cualitativa. Fundamentos y

metodología. Paidós, México Angrist, J., Bettinger E., Bloom E., King E. y Kremer M. (2002). ‘Voucher for private

schooling in Colombia: Evidence from a randomized natural experiment’, The American Economic Review, vol. 92, no. 5.

Angrist, J. y Lavy V. 1999 ‘Using Maimonides’ rule to estimate the effect of class size on

Scholastic achievement’, Quarterly Journal of Economics. Arfouch, L. 1995. La entrevista, una invención dialógica. Paidós, Barcelona Baker, J. 2000. Evaluating the Impact of Development Projects on Poverty. A Handbook

for Practitioners, The World Bank, Washington D.C. Banco Interamericano de Desarrollo (BID), 1997. ‘Anexo I. La matriz del marco lógico’,

en Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos, BID, Washington.

Billson, J. M., London, N. T. 2005. Conducting Professional Focus Groups, Group

Dimensions International, Barrington, Rhode Island Boltvinik, J. y Hernández E. 1999. Pobreza y distribución del ingreso en México, Siglo

Veintiuno Editores, México. Bornhorst, F. 2004. How good are ex-ante programme evaluation techniques? The case of

school enrolment in PROGRESA, European University Institute, Department of Economics Working Paper.

Bourguignon, F., et. al., 2002. Ex-Ante evaluation of conditional cash transfer programs:

The case of Bolsa Escola, World Bank, WB Policy Research Working Paper 2916, Washington.

Burga, C., 2003. Re-Evaluando PROJoven: Propensity Score Matching y una evaluación

Paramétrica, Working Paper. CEPAL, 1995, Focalización y Pobreza. Cuadernos de la CEPAL, no. 71., Santiago de

Chile.


104



Cernea, M. M., 1991, Putting People First: Sociological Variables in Rural Development,

Oxford University Press Books, Oxford. Champetier, Y., 2003, LEADER, un example de management public local: l’inititative

communautaire LEADER en faveur du développpement des zones rurales de l’Union Européen, ponencia presentada para el Instituto de Desarrollo Social Interamericano.

Cohen, E. y Franco, R., 2001, Evaluación de Proyectos Sociales, Siglo XXI Editores,

México. ____________________ 2005 Gestión Social. Cómo lograr Eficiencia e Impacto en las

Políticas Sociales. Primera Edición. Siglo XXI Editores. Coleman, J. S. 1981, Longitudinal Data Analisis, Basic Books, New York. Córtes, F., 2000. ‘Algunos aspectos de la controversia entre investigación cualitativa e

investigación cuantitativa’, Argumentos: estudios críticos de la sociedad, no. 36, Agosto.

Dehejia, R y Wahba S., 1998, Causal Effects in Non-Experimental Studies: Re-Evaluating

the Evaluation of Training Program, Working Paper Series 6586. Dehejia, R. y Wahba S., 2002, ‘Propensity Score Matching Methods for Non Experimental

Causal Studies’, The Review of Economics and Statistics, vol. 84, no. 1, pp. 151-161.

Del Rincón, D., Arnal, J., Latorre, A. & Sans, A., 1995. Técnicas de investigación en

ciencias sociales. Dykinson, Madrid Díaz, J. J. y Handa, S., 2004. An Assessment of Propensity Score Matching as a Non

Experimental Impact Estimator: Evidence from a Mexican Poverty program, Working Paper: Department of Economics, University of Maryland.

Diebold F., Lee J. y Weinbach G., 1996. Nonstationary Time Series Analysis and

Cointegration. Primera Edición. Oxford University Press. Dirección de Presupuestos de Chile (DIPRES), 2001. Metodología para la elaboración de

la matriz de marco lógico. Documentos de evaluación de impacto, Santiago de Chile.

Drummond, M., O’Brien, B., Stoddart, G. y Torrance, G. 2001, Methods for the Economic

Evaluation of Health Care Programmes, Oxford University Press, Oxford.


105



Emerson, R. M., Fretz, R. I. y Shaw L. L., 1995. Writing ethnographic field notes, The

University of Chicago Press, Chicago. Elster, J., 1978. Logic and Society. Contradictions and possible worlds, John Wiley,

Chichester. Enders, W., 2004. Applied Econometric Time Series, Wiley. Frank, H. R., 1999. Microeconomics and Behavior, McGraw Hill, New York. Foster, J., Greer, J. y Thorbecke, E., 1984. ‘Notes and Comments a Class of Decomposable

Poverty Measures’, Econometrica, vol. 52, no. 3. Frederiksen, B. S., 2001. Using focus groups for evaluation of the CAP Accompanying

Measures, Environmental Technology and Management, vol. 1, pp. 1-2. Gerring, J., 2004. ‘What Is a Case Study and What Is It Good for?’, American Political

Science Review, vol. 98, no. 2. Glazerman, S., D. Levy and D. Myers., 2002. “Nonexperimental Replications of Social

Experiments: A Systematic Review”, Interim Report/Discussion Paper, Mathemathica Policy Research Inc. September, 78 pp.

Gold, M., Siegel, J., Russell L. y Weinstein M.,, 1996. Cost-effectiveness in Health and

Medicine, Oxford University Press, Oxford. Greene, W., 1998. Econometric Analysis, Prentice Hall. Grootaert, C. et al., 2004. “Measuring Social Capital. An Integrated Questionnarie”. World

Bank Working Paper No 18. Grosh, M E., 1994. Administering Targeted Social Programs in Latin America: From

Platitudes to Practice, The World Bank, Washington D.C. Harding, A., 1996. Microsimulation and Public Policy, Elsevier, Amsterdam. Hawthorn, G., 1991. Plausible Worlds: Possibility and Understanding in History and the

Social Sciences, Cambridge University Press, Cambridge. Heckman, J., 1979, ‘Sample selection bias as a specification error’, Econometrica, vol. 47,

pp. 153-161.


106



Heckman, J., Ichimura, H. y Petra, T., 1998. ‘Matching As an Econometric Evaluation

Estimator’, Review of Economic Studies, vol. 65, no. 2, pp. 261-264. Heckman, J., Ichimura, H., Smith J., y Petra, T., 1998. ‘Characterizing Selection Bias

Using Experimental Data’, Econometrica, vol. 66, no. 5, pp. 1017-1098. Jalan, J. y Ravallion, M., 1998. Income Gains from Workfare: Estimates for Argentina's

TRABAJAR Program Using Matching Methods, Development Research Group, World Bank, Washington D.C.

_____________________ 2000. Estimating the Benefit Incidence of an Antipoverty

Program by Propensity Score Matching, Econometric Society World Congress 2000 Contributed Papers 0873, Econometric Society.

Johnston, B. y Clark B., 1982. Redesigning Rural Development: A Strategic Perspective,

The John Hopkins University Press, Baltimore. Kaldor, N., 1970. “The Case for Regional Policies”. Scottish Journal of Political Economy,

Vol. 17, pp.337-347 King, G., Keohane, R. y Verba, S., 1994. Designing Social Inquiry. Scientific Inference in

Qualitative Research, Princeton University Press, Princeton. King, G. y Zeng, L., 2001. How factual is your counterfactual?, Harvard Burden of

Disease Unit: Working Paper 9. Kinnear, T. C. & Taylor, J. R., Kresge S. S., 1985. Investigación de mercados, un enfoque aplicado. México, McGraw Hill, 4ª ed. Kish, L., 1965. Survey Sampling, John Wiley, Nueva York. _______, 1995. Diseño estadístico para la investigación, Siglo XXI de España Editores-

CIS, Madrid. Kotler, P., 1987. Strategic marketing for Non-Profit Organizations. Engelwoods, Cliffs,

NJ: Prentice 3rd ed. Krueger, R. A., 1994. Focus groups, a practical guide for applied research. SAGE

Newbury Park, CA. Lalonde, R. J., 1986. ‘Evaluating the Econometrics Evaluations of Training Programs with

Experimental Data’, American Economic Review, vol. 76, no. 4, pp. 604-620.


107

http://ideas.repec.org/p/ecm/wc2000/0873.html

http://ideas.repec.org/p/ecm/wc2000/0873.html

http://ideas.repec.org/s/ecm/wc2000.html

http://ideas.repec.org/s/ecm/wc2000.html



Levy, S., 1994. ‘La pobreza en México’, en F. Vélez, (comp.), La pobreza en México:

Causas y política para combatirla El Trimestre Económico, vol. 78, FCE e ITAM, México.

Linstone, H. D. y Turoff, M., 1979. The Delphi Method. Techniques and Applications.,

Addison-Wesley Publishing Company, Massachussets. Mc Fadden, D., 1973. ‘Conditional Logit analysis of qualitative choice behavior’ en

Zarembka, Frontiers of Econometrics, Academic Press, New York. Makridakis, S. G., et al., 1997. Forecasting: Methods and Applications, Wiley, Nueva

York. Malhotra, N. K. et al, 2003. Marketing Research: An Applied Approach, Financal Times

Management, London. Manzini and London, 2005. Conducting Professional Focus Groups, Group Dimension

International Martínez, G. (comp.), 1997. Pobreza y política social en México, Instituto Tecnológico

Autónomo de México y Fondo de Cultura Económica, México. Martínez, S. G., 2003. Estudio de caso. Crónica de un proceso de investigación con perspectiva de género, Universidad de Colima, Colima, México. Mc Conney, A., et al., 2002. ‘Getting the Bottom Line: A Method for Synthesizing

Findings Within Mixed-Method Evaluation Programs’ American Journal of Evaluation, vol. 23 no. 2, pp. 121-140.

Merton, R. K., Marjorie F. y Kendall, P.L., 1990. The Focused Interview: A Manual of

Problems and Procedures, The Free Press, Nueva York. Miklos, T. y Tello, M. E., 1997. Planeación prospectiva: Una estrategia para el diseño del

futuro, Fundación Javier Barros Serra y Limusa Editores, México. Miles, M. B. y Huberman, A. M., 1984. Qualitative Data Analysis, SAGE, Beverly Hills,

California. Myrdal, Gunnar, 1957. Economic Theory and Underdeveloped Regions. London:

Duckworth Morra, L. G. y Friedlander A. C., 2001. ‘Evaluaciones mediante Estudios de Caso’, Banco

Mundial, Washington, D. C.


108

http://www.amazon.com/exec/obidos/ASIN/0029209854/QualiDatarese-20

http://www.amazon.com/exec/obidos/ASIN/0029209854/QualiDatarese-20



Morh, L. B., 1992. Impact Analysis For Program Evaluation, SAGE, California. Morgan, D. L., 1988. Focus groups as qualitative research, Sage Publications, Newbury

Park, CA. Morgan, D. L. y Krueger, R. A., 1998. The Focus Group Kit, Sage, Thousand Oaks. Muñoz, M. y Santoyo, H.,1998. Ganar–ganar en el medio rural: el arte de la de servicios

profesionales con valor agregado, CIESTAAM, México. Organization for Economic Cooperation and Development (OECD), 2004. Place-based

Policies for Rural Development Extremadura, Spain (Case Study), Working Party on Territorial Policy in Rural Areas, París.

____________________ 2003. Placed-Based Policies for Rural Development: The Micro-

Regions Strategy, Mexico (Case Study). París: OECD. _____________________ 2003. Horizontal Review on Multi-level Governance and Rural

Development: The Micro-regions Strategy (Mexico), París. _____________________ 2002. ‘Estudio Territorial de México, 2002’, OECD Observer,

París. _____________________ 2001, Perspectiva territorial de la OCDE, París. Orr, L. (1999). Social Experiments: Evaluating Public Policy with Experimental Methods.

Thousand Oaks, SAGE Publications, California. Patton, M. Q., 1980. Qualitative evaluation methods, Sage, Beverly Hills, California. Pardinas, F., 2005. Metodología y técnicas de investigación en Ciencias Sociales. Siglo

XXI, México. Programa de las Naciones Unidas para el Desarrollo (PNUD)., 2000, Informe del PNUD

sobre la pobreza 2000: Superar la pobreza humana, Programa de las Naciones Unidas para el Desarrollo, Nueva York.

Raczynski, D. (ed.), 1995. Strategies to Combat Poverty in Latin America, The Inter-

American Development Bank, Washington D.C. Ravallion M., 1999. The Mystery of the Vanishing Benefits: Ms. Speedy Analyst's

Introduction to Evaluation, World Bank Policy Research Working Paper No. 2153.


109



___________ (1999), ‘Is More Targeting Consistent With Less Spending?’. Working

Papers on poverty, income distribution, safety nets and micro-credit. 2079, The World Bank, Washington D.C.

Rennekamp, R. A. y Nall, M. A. (s/f), Using Focus Groups in Program development and

Evaluation, University of Kentucky – College of Agriculture Rojas, R., 2000. Guía para realizar investigaciones sociales. Plaza y Valdez, México, 26ª

Ed. Rosenbaum, P. R. y Rubin, D.B., 1983. ‘The Central Role of the Propensity Score in

Observational Studies for Causal Effects’, Biometrika, vol. 70, no. 1, pp. 41-55. Rossi, P. H., Freeman, H. y Lipsey, M. W., 1999. Evaluation, Sage, Thousand Oaks,

California. Schteingart, M., (coord.), 1999). Políticas sociales para los pobres en América Latina,

Miguel Ángel Porrúa, México. Shadish, W.R., Cook, T.D., y Campbell, D.T., 2002. Experimental and Quasi-Experimental

Designs for Generalized Causal Inference, Houghton-Mifflin, Boston. Sherman, L. W. y Strang, H., 2004. ‘Experimental Ethnography: The Marriage of

Qualitative and Quantitative Research’, The Annals of The American Academy of Political and Social Science, Vol. 595, September.

Sen, A. K. (1995). ‘The Political Economy of Targeting.’ en Van De Walle, D. y K. Nead,

(eds.), Public Spending and the Poor: Theory and Evidence, Johns Hopkins Press, Baltimore.

Sen, A. K., 2000. Develoment As Freedom, Anchor Books, Nueva York. Serrano, J. A., 2004. Hacer pedagogía: sujetos, campo y contexto. Análisis de un caso en el

ámbito de la formación de profesores en México. Universidad de Barcelona, Barcelona.

Silver, E. y Peterson, R., 1985. Decision Systems for Inventory Management and

Production Planning, John Wiley, Nueva, York. Smith, J, y Todd, P., 2001. Reconciling conflicting evidence on the performance of the

Propensity-Score Matching Methods.


110

http://ideas.repec.org/p/wop/wobaps/2079.html

http://ideas.repec.org/s/wop/wobaps.html

http://ideas.repec.org/s/wop/wobaps.html



Storper, M. 1997. The Regional World, Guilford Press.Székely, Miguel. 2003. “Estrategia

Contigo”. Mejores Practicas de Política Social 2003 –Conferencia Internacional, SEDESOL- Banco Mundial, México.

Székely, M.., 2003. Hacia una nueva generación de política social, Cuadernos de

desarrollo humano No 2., SEDESOL, México. Tashakkori, A. and Teddlie, C., 1998. Mixed Methodology: Combining Qualitative And

Quantitative Approaches, Sage Publications, Thousand Oaks, California. Taylor, S. J. & Bogdan, R.,1994. Introducción a los métodos cualitativos de investigación.

La búsqueda de significados. Paidós, Barcelona. Trochim, William., 1986. “Editor's Notes”, in W. Trochim, ed., Advances in quasi-

experimental design and analysis. New Directions for Program Evaluation Series, Number 31. San Francisco, CA: Jossey-Bass.

Valadez, J. y Bamberger, M., 1994. Monitoring and Evaluating Social Programs in

Developing Countries: A Handbook for Policymakers, Managers and Researchers, Economic Development Institute of The World Bank, Washington.

Van de Walle, D. y Nead, K. (eds.), 1996. Public Spending and the Poor: Theory and

Evidence, The Johns Hopkins University Press, Baltimore y Londres. Van Evera, S., 1997. Guide to Methods for Students pf Political Science, Cornell University

Press. Varian, H. R., 1993. Microeconomic Analysis, Norton, New York. Vela P., F., 2004. “Un acto metodológico básico de la investigación social: la entrevista

cualitativa”, en Tarrés, M. L. ed), Observar, escuchar y comprender sobre la tradición cualitativa en la investigación social. FLACSO-Miguel Angel Porrúa, pp. 63-131, México.

Vélez, F. (comp.), 1994. La pobreza en México: causas y políticos para combatirla, Fondo

de Cultura Económica, México. Webb, E. J., Campbell, D.T., Schwartz, R.D. y Sechrest L., 1973. Unobtrusive Measures:

Nonreactive Research in the Social Sciences, Rand McNally & Company, Chicago. Weiss, R. S., 1995. Learning from Strangers. The Art and Method of Qualitative Interview

Studies, The Free Press.


111



Woodon, Q., 1995. ‘Targeting the Poor Using ROC Curves.’ World Development, vol. 25,

no. 12, pp. 2083-2092. World Bank., 1996. Designing Project Monitoring and Evaluation, Lessons & Practices no.

8. ___________ 1996. Poverty Reduction and the World Bank: Progress and Challenges in

the 1990s, The World Bank, Washington D.C. Woolridge, J. M., 2002. Econometric Analysis of Cross Section and Panel Data, MIT

Press, Cambridge. Yin, R. K, 1997. ‘Case Study Evaluations: A Decade of Progress?’, New Directions for

Evaluation 76, Jossey-Bass 21, San Francisco, California.


112

Evaluación de la Estrategia de Microrregiones · En su diseño y operación, la Estrategia combina...

Documents

Transcript of Evaluación de la Estrategia de Microrregiones · En su diseño y operación, la Estrategia combina...