La eficiencia en los programas sociales -...

21
VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002 La eficiencia en los programas sociales: análisis de situaciones y propuestas para su mejoramiento Alejandro Medina Giopp 1 Introducción Al conjunto integrado de principios, prácticas gerenciales y técnicas que permiten juzgar a los diversos involucrados en un proyecto, si éste es (o no) exitoso, se denomina sistema de monitoría y de evaluación (SMyE). El que puede ser llevado a cabo en diversos niveles, por ejemplo a nivel de país, de políticas 2 , de programas y de proyectos. Este artículo explora básicamente el nivel de programas y de proyectos, se utilizan algunos ejemplos de aplicación en el ámbito del desarrollo rural. Se intenta responder a la pregunta de cómo los SMyE a nivel de programas y proyectos pueden contribuir a maximizar su impacto al menor costo posible. Al Final se presentan algunas recomendaciones para su diseño, operación y mantenimiento, destacando la importancia de su carácter participativo. 1. Monitoría y Evaluación de impacto Monitoría: Involucra colecta y procesamiento de datos en el momento de operación de los proyectos, es decir cuando éstos entregan (productos) bienes y/o servicios a su población objetivo. Comprende medidas orientadas a verificar el grado de cumplimiento de la programación, tales como: índices de eficacia y eficiencia, calidad y focalización. La eficacia surge del cociente entre las unidades de metas de productos y tiempo programado para su producción (o distribución) y las unidades de meta y tiempo realizado. La eficiencia incorpora costos unitarios de producción y entrega y añade al cálculo de eficacia la relación entre costo programado y realizado. Estos índices inician el contraste entre ejecución del proyecto y su programación. Presuponen una adecuada programación y contabilidad 3 . El análisis de calidad 4 de productos es otro criterio de la monitoría. Refiere al análisis de atributos específicos que debe satisfacer su producción, su entrega y su utilización por parte de los beneficiarios. La focalización, permite conocer si los productos están llegando a la población deseada, es decir, si los beneficiarios, aquellos que reciben productos del proyecto pertenecen (o no) a ésta. De no pertenecer se denominan “polizones” y constituyen el denominado error de inclusión. Cuando algún individuo u hogar cumple con los atributos de la población objetivo y no es beneficiario, esto es no recibe productos del proyecto se denomina excluido. El cociente del total de excluidos entre el total de la población objetivo expresa la magnitud del error de exclusión. Ambos errores pueden ser operacionalizados y expresados a través del índice de focalización 5 . Cuando los proyectos, dada su naturaleza, requieren infraestructura antes de entregar productos, se exige el seguimiento físico-financiero de la ejecución. Por ello algunos proyectos pasan directamente de la formulación a la operación, mientras que otros, recorren además la etapa de ejecución al involucrar el desarrollo de infraestructura, entonces todos los proyectos tienen operación y algunos, además, ejecución. Es muy importante que la monitoría, como sugiere Hussein (2000) establezca la línea de base, criterios e indicadores sobre los que colectar información durante el ciclo de vida del proyecto y de los cambios que se persiguen con la intervención. La evaluación del impacto usa esos datos, que se colectan regularmente, para evaluar el nivel de éxito del proyecto durante, al final y después de su intervención. Evaluación de resultados: implica conocer la magnitud de los cambios en las condiciones de bienestar de los individuos u 1 Docente Internacional Residente del Instituto Interamericano de Desarrollo Social INDES en República Dominicana 2000- 2002. El INDES es el órgano de capacitación en gerencia social del Banco Inter-Americano de Desarrollo (BID). 2 A este nivel, por ejemplo, se ubica los sistemas de monitoría y evaluación de las estrategias (políticas) de reducción de pobreza. 3 La formula de la eficacia es E= Mr*Tp/Mp*Tr donde Mr: metas realizadas; Tp:tiempo programado; Mp: metas programadas y Tr: tiempo realizado. Si E >1 el proyecto es más eficaz que lo programado, si E=1 el programa es tan eficaz como se programó y si E<1 entonces el proyecto es ineficaz. La eficiencia añade a esta formula el cociente entre costo unitario programado y realizado y la interpretación de resultados es equivalente. 4 La calidad puede ser analizada en varias etapas del ciclo de gestión: diseño, producción y entrega –incluye la relación con proveedores- y servicio posterior a ésta. Cfr. Medina, Giopp Alejandro (1996). Calidad total como estrategia de cambio para la Administración pública en Revista Chilena de Administración Pública. No.13, Diciembre. Santiago de Chile. 5 El índice de focalización se expresa en la siguiente fórmula: IF = Ee-Ei. Donde IF. Indice de focalización; Ee: error de exclusión y Ei: error de inclusión. El error de exclusión es resultado del cociente entre la población objetivo (hogares o individuos) no beneficiaria y el total de población objetivo del programa. Mientras el error de inclusión es resultado del cociente entre la población beneficiaria que no forma parte de la población objetivo y el total de beneficiarios.

Transcript of La eficiencia en los programas sociales -...

Page 1: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

La eficiencia en los programas sociales: análisis de situaciones y propuestas para su mejoramiento

Alejandro Medina Giopp1

Introducción Al conjunto integrado de principios, prácticas gerenciales y técnicas que permiten juzgar a los diversos involucrados en un proyecto, si éste es (o no) exitoso, se denomina sistema de monitoría y de evaluación (SMyE). El que puede ser llevado a cabo en diversos niveles, por ejemplo a nivel de país, de políticas2, de programas y de proyectos. Este artículo explora básicamente el nivel de programas y de proyectos, se utilizan algunos ejemplos de aplicación en el ámbito del desarrollo rural. Se intenta responder a la pregunta de cómo los SMyE a nivel de programas y proyectos pueden contribuir a maximizar su impacto al menor costo posible. Al Final se presentan algunas recomendaciones para su diseño, operación y mantenimiento, destacando la importancia de su carácter participativo. 1. Monitoría y Evaluación de impacto Monitoría: Involucra colecta y procesamiento de datos en el momento de operación de los proyectos, es decir cuando éstos entregan (productos) bienes y/o servicios a su población objetivo. Comprende medidas orientadas a verificar el grado de cumplimiento de la programación, tales como: índices de eficacia y eficiencia, calidad y focalización. La eficacia surge del cociente entre las unidades de metas de productos y tiempo programado para su producción (o distribución) y las unidades de meta y tiempo realizado. La eficiencia incorpora costos unitarios de producción y entrega y añade al cálculo de eficacia la relación entre costo programado y realizado. Estos índices inician el contraste entre ejecución del proyecto y su programación. Presuponen una adecuada programación y contabilidad3. El análisis de calidad4 de productos es otro criterio de la monitoría. Refiere al análisis de atributos específicos que debe satisfacer su producción, su entrega y su utilización por parte de los beneficiarios. La focalización, permite conocer si los productos están llegando a la población deseada, es decir, si los beneficiarios, aquellos que reciben productos del proyecto pertenecen (o no) a ésta. De no pertenecer se denominan “polizones” y constituyen el denominado error de inclusión. Cuando algún individuo u hogar cumple con los atributos de la población objetivo y no es beneficiario, esto es no recibe productos del proyecto se denomina excluido. El cociente del total de excluidos entre el total de la población objetivo expresa la magnitud del error de exclusión. Ambos errores pueden ser operacionalizados y expresados a través del índice de focalización5. Cuando los proyectos, dada su naturaleza, requieren infraestructura antes de entregar productos, se exige el seguimiento físico-financiero de la ejecución. Por ello algunos proyectos pasan directamente de la formulación a la operación, mientras que otros, recorren además la etapa de ejecución al involucrar el desarrollo de infraestructura, entonces todos los proyectos tienen operación y algunos, además, ejecución. Es muy importante que la monitoría, como sugiere Hussein (2000) establezca la línea de base, criterios e indicadores sobre los que colectar información durante el ciclo de vida del proyecto y de los cambios que se persiguen con la intervención. La evaluación del impacto usa esos datos, que se colectan regularmente, para evaluar el nivel de éxito del proyecto durante, al final y después de su intervención. Evaluación de resultados: implica conocer la magnitud de los cambios en las condiciones de bienestar de los individuos u

1 Docente Internacional Residente del Instituto Interamericano de Desarrollo Social INDES en República Dominicana 2000-2002. El INDES es el órgano de capacitación en gerencia social del Banco Inter-Americano de Desarrollo (BID). 2 A este nivel, por ejemplo, se ubica los sistemas de monitoría y evaluación de las estrategias (políticas) de reducción de pobreza. 3 La formula de la eficacia es E= Mr*Tp/Mp*Tr donde Mr: metas realizadas; Tp:tiempo programado; Mp: metas programadas y Tr: tiempo realizado. Si E >1 el proyecto es más eficaz que lo programado, si E=1 el programa es tan eficaz como se programó y si E<1 entonces el proyecto es ineficaz. La eficiencia añade a esta formula el cociente entre costo unitario programado y realizado y la interpretación de resultados es equivalente. 4 La calidad puede ser analizada en varias etapas del ciclo de gestión: diseño, producción y entrega –incluye la relación con proveedores- y servicio posterior a ésta. Cfr. Medina, Giopp Alejandro (1996). Calidad total como estrategia de cambio para la Administración pública en Revista Chilena de Administración Pública. No.13, Diciembre. Santiago de Chile. 5 El índice de focalización se expresa en la siguiente fórmula: IF = Ee-Ei. Donde IF. Indice de focalización; Ee: error de exclusión y Ei: error de inclusión. El error de exclusión es resultado del cociente entre la población objetivo (hogares o individuos) no beneficiaria y el total de población objetivo del programa. Mientras el error de inclusión es resultado del cociente entre la población beneficiaria que no forma parte de la población objetivo y el total de beneficiarios.

Page 2: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

2

hogares que constituyen la población meta del proyecto bajo estudio (por ejemplo cambios en niveles de ingreso, bienestar, perfil epidemiológico o capacidades derivadas de capacitación o entrenamiento, entre otras muchas). Identifica cuantos cambios se produjeron, de que tipo a que segmentos de población afectaron más, a que costos y si se produjeron (o no) externalidades y de existir de que tipo (positivas y/o negativas). La evaluación de resultados, de acuerdo a la dimensión temporal, puede ser realizada a mediados de la intervención (evaluación de medio término), al final del proyecto o un tiempo después de que el proyecto finalice (evaluación ex - post). La unidad de tiempo a utilizar es función de la naturaleza del proyecto. Existen proyectos en los que se requiere de periodos más largos de exposición por parte de los beneficiarios a los productos del proyecto, para producir impacto, que otros. Por su orientación la evaluación de impacto puede ser formativa o sumativa. Formativa cuando apoya a los involucrados en ir aprendiendo sobre la marcha incorporando los ajustes que se derivan de este proceso. Sumativa o de valor agregado cuando valora resultados alcanzados frente a un estándar y define mejores prácticas. Por el tipo de agentes involucrados (Cohen y Franco:1993) puede ser interna, cuando la realiza el equipo del proyecto, aunque necesaria se puede producir el efecto “incesto”en que son los mismos actores que realizan las actividades las que las valoran. Mixta cuando hay agentes externos al proyecto junto con miembros del equipo del proyecto (quienes “aprenden” y se benefician de dicha asociación) y externa cuando la realizan expertos fuera del proyecto. La evaluación también puede distinguirse por aproximaciones cuantitativas y cualitativas. Si se toma en cuenta la perspectiva desde la que los proyectos son concebidos, ello define también su perspectiva de evaluación, es posible distinguir (Valadez y Bamberger:1994) tres aproximaciones. La primera, basada en la noción económica, que aplicada al campo de lo social supone que un proyecto define insumos que a través de factores productivos produce resultados medibles expresados en indicadores, y supone regularmente, la monetización tanto de los costos como de los beneficios. Los proyectos, entonces, exigen una justificación económica. La segunda esta basada en el concepto de que los proyectos sociales no requieren justificación meramente económica, las evaluaciones se concentran en el análisis costo-efectividad de la entrega y acceso de servicios a la población objetivo. Ambas aproximaciones son consideradas del lado de la oferta, es decir que los gobiernos, agencias de desarrollo y Ong’s deciden que servicios deberían prestarse, que personas recibirlos y cuáles son las necesidades básicas de la población objetivo que deben ser satisfechas. Una tercera aproximación esta basada en la noción de que el principal objetivo del desarrollo social debe ser apoyar a las comunidades más excluidas (indígenas por ejemplo), y a los grupos más marginados (mujeres, campesinos sin tierra por ejemplo) desarrollando en ellos (como criterio ultimo del éxito del proyecto) la capacidad organizacional y gerencial y el conocimiento necesario para identificar y satisfacer sus propias necesidades, logrando sostenibilidad. La importancia de la evaluación de impacto en programas y proyectos rurales. Evaluar la eficiencia e impacto de los proyectos en el sector rural se constituye en la única alternativa para determinar el éxito (o fracaso) de las políticas orientadas al desarrollo rural en que éstos se insertan. Se parte del supuesto de que la política es lo que la política hace, y los programas y proyectos, son la expresión operativa de las mismas. Posibilita, también, la toma de decisiones definitivas sobre su detención, re-formulación o para su expansión y eventual replicación en caso de ser exitosos. De no hacerse, la probabilidad de conocer el grado en que se han alcanzado las metas y generar procesos de aprendizaje organizacional, derivados de aciertos y errores cometidos, es prácticamente nula. Bajo esta lógica, la buena gestión cae en el dominio del azar y los más pobres serán, desafortunadamente, la variable de ajuste para enmendar los errores cometidos. Se invierten anualmente en la región millones de dólares para enfrentar la pobreza rural, el ritmo de inversión es creciente y seguramente se acelerará dado el renovado interés de agencias internacionales de desarrollo en el impulso de políticas orientadas hacia la denominada “nueva ruralidad”. Si el uso de estos recursos es eficiente y en que medida los programas y proyectos que los materializan ha logrado impacto no es, desafortunamente, una pregunta que pueda ser habitualmente respondida6. Realizar evaluación de impacto, de manera regular, permite, entonces, conocer si la entrega de bienes y/o servicios que entregan los proyectos produce (o no) impacto en las condiciones de bienestar que se desean transformar, en que magnitud han logrado los cambios y a que segmentos de la población se han afectado con mayor intensidad. Además mide los resultados de su intervención aislándolo de otros factores, permitiendo conocer su resultado neto y resolviendo lo que se

6 Según un reporte del Banco Mundial de fines de los 80´s, la tasa de éxito de programas y proyectos en países en desarrollo era frecuentemente menor al 50% (Banco Mundial: 1987). La situación es más grave si se considera que en su mayoría la evaluación de estos resultados se concentra en la etapa de ejecución de los proyectos, cuando la infraestructura es construida, el equipo instalado y los sistemas de entrega establecidos, es decir hay escasa información relativa a la operación ni a los resultados que ésta produce en el tiempo

Page 3: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

3

conoce en el campo metodológico de la evaluación como un problema de atribución7. De no evaluarse el impacto de los proyectos, será muy complicado, entonces, establecer relaciones de causalidad entre las políticas orientadas al desarrollo rural y el cambio observado en los indicadores de pobreza, bienestar y desigualdad en dicho sector. La evaluación de impacto favorece también un proceso más eficiente de asignación de recursos, al intentar maximizar el gasto social efectivo en el sector, esto es la proporción del gasto social directo que llega realmente a los más carenciados. 2. ¿Porque siendo tan importante la evaluación de impacto se hace poco?. Existen diversas razones: i) muchos gobiernos e instituciones la consideran costosa, prolongada y de alta complejidad técnica, ii) los resultados pueden ser “políticamente delicados”, controversiales, especialmente si son negativos, ya que asignan responsabilidad a los tomadores de decisión y responsables políticos y administrativos de los proyectos. Es usual, entonces, que la información sobre el rendimiento se concentre, en el volumen de recursos ejecutados y en cobertura, incurriendo en el mito de que gastar más y entregar más bienes o servicios es bueno per-se. Ningún programa o proyecto, ninguno, puede justificar su existencia por la mera entrega de bienes y/o servicios; iii) en ocasiones las evaluaciones se critican por no contar con oportunidad, rigor académico o por no responder a ciertas preguntas; iv) se consideran sinónimo de auditoria y control y por tanto innecesarias; v) excepcionalmente las técnicas y métodos de evaluación se consideran como información pública, más bien han sido consideradas como informes confidenciales de los tomadores de decisión del mas alto nivel, vI) se consideran imposiciones externas, etc. Todas estas razones han creado y fortalecido una cultura gerencial en la que la evaluación se hace más un sinónimo de control y cumplimiento de condiciones o imposiciones de donantes, supervisores, o niveles jerárquicos superiores que una herramienta participativa y orientada al aprendizaje organizacional. Lo anterior ha derivado en una mitología en torno de la evaluación, que es necesario desterrar, que produce, como señala la profesora Karen Mokate, profesora del Instituto Inter-Americano de Desarrollo Social (INDES) la percepción de ésta más como la de un “monstruo” y no como la de un “aliado”(Mokate:2001). 3. Los mitos de la evaluación Del mito de lo costoso de evaluar el impacto de los proyectos. El costo promedio de realizar evaluación de impacto estimado sobre la base de un banco de casi una decena de proyectos (básicamente rurales) del Banco Mundial es de 433 mil dólares. Siendo el costo mayor, durante la evaluación, el de la recopilación de datos que representa en promedio el 53.3% del total (Baker, Judy: 2000). La evaluación de Progresa (Programa de salud, educación y alimentación de México) en una primera etapa, no incluida en dicho análisis, costó más de tres millones de dólares y fue realizada por evaluadores externos. La inversión en evaluación, dadas estas cifras parece enorme. De hecho, en varios países los grupos de oposición a los tomadores de decisión gubernamentales y organizaciones de la sociedad civil han enfatizado que con lo que se gasta en la evaluación de impacto, podría lograrse una cobertura mayor de bienes y servicios a la población carenciada a la que se dirigen los proyectos. Con cientos de miles de dólares o varios millones, podrían lograrse, argumentan, más beneficiarios. Sin embargo, lo que no se analiza es que sin evaluación de impacto, nada puede garantizar conocer que los bienes y servicios que se entregan producirán (o no) los beneficios esperados, es decir, la transformación deseada. En realidad, de los ocho proyectos que comprende el estudio del Banco Mundial, los costos de la evaluación de impacto representan, en promedio, solamente el 0.56% del costo total del proyecto. Por su parte, para el caso de México, los más de tres millones de dólares representan alrededor del 0.001% del costo total del programa (cuadro 1).

7 La atribución expresa la posibilidad de identificar cuál es el impacto neto atribuible a los bienes o servicios que entrega un programa o proyecto, descontando los efectos de la tendencia, es decir de todas aquellas variables que inciden en las condiciones de bienestar de la población objetivo del proyecto, con independencia de su existencia.

Page 4: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

4

Cuadro 1. Resumen de costos estimados de diversas evaluaciones de impacto del Banco Mundial

Desglose de los costos de evaluación (%) Costo estimado de la evaluación (US$)a

Costo como % del costo total del proyecto

Viaje Personal del Banco Mundial

Asesores Recopilación de datos

Proyecto Administración escolar. Nicaragua

495,000 1,26% 8,1% 18,1% 39,0% 34,8%

Administración escolar. Salvador

443,000 0,60% 7,7% 7,4% 25,8% 59,2%

Programas de Vales Colombia

266,000 0,20% 9,4% 9,8% 21,8% 59,0%

Fondo Social Honduras

263,000 0,23% 3,0% 11,5% 53,2% 32,3%

Fondo Social Nicaragua

449,000 0,30% 4,9% 33,0% 7,8% 55,7%

Fondo Social Bolivia

878,000 0,50% 3,4% 14,6% 12,9% 69,1%

Trinidad y Tobago Capacitación Jóvenes

238,000 0,80% 7,6% 11,5% 17,9% 63,1%&

Promedio 433,000 0,56% 6,3% 15,1% 25,5% 53,3% a: Este costo no incluye el costo del personal local de contrapartida no financiados con el préstamo o crédito. Las cifras se refieren al periodo dentro del cual se seleccionaron los proyectos de la muestra de las evaluaciones y no al financiamiento total proporcionado alguna vez por el Banco y otros a esas instituciones. Fuente: Judy L. Baker (2000). Evaluación de Impacto de los proyectos de desarrollo en la pobreza. Banco Mundial. A pesar de que no es posible generalizar con tan pocos casos, la consulta realizada a diversos expertos de organismos internacionales como el Banco Interamericano de Desarrollo y diversas agencias de Naciones Unidas8, las evaluaciones de impacto en proyectos sociales raramente supera un cuatro o cinco por ciento del costo total de un programa o proyecto. Bajo esta lógica, resultará siempre, en todos los casos, mucho más costoso no saber si los proyectos son exitosos (o no) que invertir los recursos de la evaluación de impacto en la entrega de bienes y/o servicios, con la única expectativa de lograr más beneficiarios. Estos es así, ya que sí el proyecto posee deficiencias y fallas, el volumen de recursos perdidos derivado de éstas puede representar cientos (o miles) de veces lo que se gasta en la evaluación. Es muy costosa y riesgosa la incertidumbre que pueda existir sobre el rendimiento de un proyecto derivada de una decisión explícita de no evaluar. Una evaluación de medio término del Progresa (programa de educación, salud y alimentación de México) reveló para uno de los objetivo de su componente educativo: cerrar la brecha de género en la matrícula, especialmente en el nivel de secundaria que el impacto había sido nulo. El modelo estadístico que analizaba las variables del ausentismo y deserción asignaba una alta capacidad de explicación del comportamiento de éstas a la distancia de las escuelas de los hogares de estudiantes femeninos. En tal sentido, se asignaron becas más altas a jefes de hogares con mujeres en edad secundaria para estimular su asistencia y cubrir los costos derivados del transporte desde el hogar a la escuela. La evaluación de medio término reflejó ausencia de impacto significativo en cerrar la brecha de género en la matrícula de nivel secundaria. Un especialista señaló al respecto:

“El diagnóstico en el que se basó el diseño del Progresa, se apoyó en un aparato estadístico costoso y sofisticado, pero jamás se les ocurrió hablar con la gente para entender sus problemas y necesidades. La asistencia a la escuela secundaria de las niñas, más que becas más altas, requiere de mecanismos de protección como un sistema de transporte escolar o de escolta (para enfrentar el temor de ser agredidas físicamente)” (Julio Boltvinik9).

Este resultado y otros derivados de evaluaciones de impacto, no son desafortunadamente anecdóticos o excepcionales, sino por el contrario cada vez más recurrentes. Es el caso de microempresarios que reciben capacitación en temas que no son 8 Por ejemplo la CEPAL en donde el autor se desempeño como investigador asociado y consultor para la División de Desarrollo Social y específicamente en el equipo de gestión y evaluación de programas y proyectos sociales. Y en el PNUD y FAO sobre la base de entrevistas a representantes y oficiales de República Dominicana, México y Chile respectivamente. 9Boltvinik, Julio. Impacto Educativo del Progresa. Diario Reforma 06 de Octubre, 2000.

Page 5: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

5

relevantes, o bien que la escala de crédito a la que tienen acceso es insuficiente, o bien que los equipos recibidos por pequeños agricultores a través de proyectos de mecanización, por ejemplo tractores, resulta inviable ya que las piezas refaccionarias o los expertos para su reparación son escasas en el mercado nacional, etc. Los casos más dramáticos (desafortunadamente tampoco excepciones) son aquellos en los que la entrega de los bienes y/o servicios producen algún daño o empeoramiento de la condición de bienestar que se deseaba satisfacer, en vez de una mejora. Una variante del mito anterior: Más impacto se logra al gastar más. América Latina en general y República Dominicana en particular expresan como tendencia destinar cada vez un mayor volumen de recursos al combate a la pobreza tanto en el área rural como urbana. La década de los 90s refleja claramente esta tendencia. Ello se expresa en la proporción cada vez mayor del gasto social como proporción del gasto público total programable del gobierno central, así como en proporción con el Producto Interno Bruto (PIB).10 Es indudable que para enfrentar la pobreza (tanto rural como urbana) contar con más recursos es una condición necesaria, pero indudablemente es insuficiente ya que es posible gastar más pero lograr menos o si se quiere gastar mucho y mal. Es posible alcanzar una baja proporción de gasto social efectivo respecto del volumen del gasto. Los datos son contundentes, a pesar de que el volumen de recursos destinados a lo social se ha incrementado, los niveles de pobreza, bienestar, desigualdad, exclusión y población en riesgo de padecer pobreza11, así como la violencia e inseguridad no han logrado reducciones significativas en la región en los últimos años, mas bien y en un buen número de países algunas de estas condiciones se han agravado. Dado lo anterior, la evaluación de impacto, favorece los procesos de asignación de recursos, al identificar las áreas de mayor “rentabilidad social” de la inversión. Por otra parte la evaluación, acompañada de la monitoría, favorece la eficiencia en la implementación de proyectos. En diversos organismos internacionales ha cobrado fuerza la denominada nueva ruralidad, caracterizando la complejidad y potencialidades del sector y abandonando el reduccionismo que equipara a lo rural con lo agrícola, explicitando la diversidad, potencialidad e importancia de las actividades no agrícolas expresada en la creciente proporción de los ingresos no agrícolas que representa el sector rural. Ello ha llevado a redefinir la cartera de préstamos de algunas organizaciones internacionales de financiamiento y seguramente de todas en el mediano plazo. Se está en tiempo de exigir la consolidación los mecanismos técnicos y gerenciales que permitan gastar mucho, asignar de manera eficiente y gastar de modo efectivo. Los SMyE deben jugar un rol protagónico en este proceso. Del mito del carácter reservado de las evaluaciones. Concebir a la evaluación como un “juguete de la alta dirección12” ha sido parte de la cultura gerencial tradicional en que se desempeñan los burócratas y funcionarios públicos en el área social en particular, y del sector público en general. Bajo esta perspectiva los resultados de las evaluaciones son “propiedad” de la alta dirección, más aún cuando éstos pueden resultar controversiales ya que fijan responsabilidades. Con ello se rompe la posibilidad de lograr retroalimentación y aprendizaje para directivos del programa o proyecto, para los operadores, así como para los grupos que dan apoyo político y para la comunidad que recibe los bienes y/o servicios del programa. Esto es más grave si consideramos que las evaluaciones se realizan con recursos fiscales derivados de la recaudación de impuestos. Las experiencias de no hacer públicas las evaluaciones de impacto de programas es una realidad cotidiana en América Latina, lo que frena la posibilidad de generar la capacidad de rendición de cuentas. Muchas de las unidades de monitoria y evaluación en países de la región obedecen más a la lógica de operación de los organismos internacionales de financiamiento y a la agencias de cooperación para el desarrollo que a la iniciativa puntual de los gobiernos de impulsar una gestión por resultados (Valadez y Bamberger:1994). Afortunadamente la expansión del movimiento de modernización de la gestión pública, denominado como nueva gestión pública, inspirado en las reformas de los países angloamericanos, ha logrado posicionar el tema de la evaluación como uno de los asuntos principales de la modernización. Las iniciativas son diversas e interesante: A inicios de los 90´s el Comité

10 Pueden consultarse los informes anuales del Panorama Social de CEPAL o el Informe IPES de BID. 11 El método ingreso-consumo o MIC, presenta una nueva forma de elaborar mediciones sobre la base de la línea de pobreza. Uno de sus principales aportes es el de identificar a través de analizar de manera simultánea el ingreso y el consumo de los hogares, a los individuos o grupos familiares que se encuentran en un alto riesgo de caer en pobreza y en consecuencia si no se atienden acerán, irremediablemente e estratos de pobreza extrema o moderada. Cfr. Tuirán Gutiérrez, Alejandro y Alejandro Medina Giopp (2001) El MIC estrategia para mejorar las estimaciones por línea de pobreza y elaboración de recomendaciones para enfrentarla. Material mimeografiado. 12 Esta visión esta ampliamente desarrollada en Medina, Giopp Alejandro y José Mejía Lira (1993). El Control en la Implementación de la Política Pública. Ed. Plaza y Valdés. México.

Page 6: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

6

Interministerial de Modernización de la Gestión Pública de Chile lanzó su programa Metas Ministeriales, con el que se apoyaba a los diversos servicios públicos a fijar con claridad metas e indicadores de impacto y seguimiento a su gestión, la iniciativa se acompaño de asistencia técnica, capacitación e instructivos. En una segunda etapa otra iniciativa reforzó las metas ministeriales, los Compromisos de Modernización de la Gestión Pública, éstos eran suscritos por el director del servicio público y el presidente y los datos de avances y seguimiento se hacen públicos. En Colombia se instaló el Sistema de Evaluación de la Gestión Pública denominado SINERGIA, con estrategias similares a las iniciativas descritas. Costa Rica implementó un Sistema Nacional de Evaluación (SINE) y Compromisos de Modernización, como esfuerzos para apuntalar una cultura de evaluación en la gestión pública. Una de las iniciativas más recientes la constituye el Sistema de Evaluación por Resultados (SISER) de Bolivia. Aunado a estas iniciativas, los avances en la tecnología de información han permitido transparentar los denominados procesos transversales de la gestión, tales como la administración de recursos financieros, humanos y las adquisiciones, lo que se han denominado genéricamente como sistemas integrados de administración financiera (SIAF); Sistemas integrados de adquisición de bienes y servicios (SIAByS) y Sistemas Integrados de Administración del Personal (SIAP). Finalmente iniciativas como las procuradurías sociales, el Ombudsman (o procurador del Pueblo) y otras refuerzan la posibilidad de transitar hacia una gestión pública orientada hacia resultados o creación de valor público, fortaleciendo los mecanismos de rendición de cuentas. Del mito de que todo programa social algo positivo deja. Este es, quizás, uno de los mitos más arraigados que permean la cultura gerencial de los funcionarios en el área social de la región. El razonamiento es el siguiente: todo gasto en proyectos sociales, aunque no se evalúe, o aunque no se apliquen criterios rigurosos en la asignación de los recursos, algo positivo debe dejar, esto significa en términos prácticos: “es mejor hacer que dejar de hacer”, en síntesis invertir en lo social siempre algo positivo dejará, por lo que gastar en proyectos sociales es bueno per/se. Esto supone que siempre y en todas condiciones, lo proyectos logran impactos positivos. Desafortunadamente, la realidad no acompaña la lógica de este razonamiento. Evaluaciones de impacto realizadas en programas de naturaleza diversa (vivienda, apoyo nutricional, desarrollo agroforestal, educación, salud y otros muchos) demuestran que en no pocas ocasiones la situación de los beneficiarios (esto es de quienes reciben bienes y servicios del proyecto o proyectos) es peor que la de quiénes estaban en condiciones equivalentes a ellos al inicio del programa, pero que no son beneficiarios de éste. Esto es, en síntesis, el programa produce deterioro en las condiciones de bienestar de la población objetivo en lugar de beneficios. Uno de los principales objetivos de un proyecto de vivienda en El Salvador durante los años 70´s fue incrementar el nivel de ingreso de las familias participantes. Para probar el impacto de este programa, aparentemente exitoso, al inició del programa se tomó una muestra aleatoria de 176 familias futuras beneficiarias de entre todos los que habían aplicado con éxito al programa, así como un grupo de control de 300 familias seleccionadas a través de una muestra estratificada en tres tipos de a sentamientos de bajos ingresos. Las futuras familias beneficiadas y el grupo de control fueron entrevistados en 1976, poco antes de que el proyecto comenzara y con ello se obtuvo una línea de base con las características sociales y demográficas de los hogares. Las familias fueron otra vez entrevistadas en 1978, poco después de que los beneficiarios se habían mudado a sus nuevas casas, y posteriormente en 1980 cuando el proyecto estaba totalmente establecido. Para evaluar el impacto del proyecto en el ingreso y desempleo de los jefes de hogar, se calculó el ingreso promedio para los beneficiarios en 1976 y nuevamente en 1980. El cuadro siguiente (2) muestra que en 1976 las futuras familias beneficiarias tenían un ingreso promedio de 335 colones comparados con 258.3 para el grupo de control. Entre 1976 y 1980 el ingreso promedio de familias con proyecto se incrementó a 234.5 colones (70 por ciento), mientras el ingreso promedio de los jefes de hogar del grupo de control se incrementó a 172 colones 74.6 por ciento). Este ejemplo claramente demuestra la importancia del grupo de control. Si solo el grupo de beneficiarios se hubiese estudiado (como es frecuente). Se podía haber asumido que el proyecto produjo un impacto muy significante sobre el ingreso de los hogares participantes, el que se incremento en 70 por ciento en un periodo de cuatro años. Una vez conocido que el ingreso del grupo de control se incrementó a 74.6 por ciento sobre el mismo periodo, es claro que el proyecto no tuvo un claro impacto positivo sobre los ingresos, de hecho pudo haber tenido un pequeño efecto negativo. No todo proyecto social algo positivo deja.

Cuadro 2. Ingreso mensual promedio de las familias que participan en el proyecto de vivienda de El Salvador y para un grupo de Control, 1976-1980

Cambios (1976-1980) Grupos Antes de que el

proyecto comience (1976)

Después de que el proyecto ha

funcionado por dos años

(1980)

Variación absoluta Variación porcentual

Page 7: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

7

Grupo con proyectos: beneficiarios

355 569.6 234.5 70.0

Grupo de Control 258.3 451.0 172.7 74.6 Fuente: Joseph Valadez y Michel Bamberger (1994) Monitoring and Evaluating Social programs in Developing Countries. Banco Mundial EDI. Washington EDI Developments Studies, World Bank. Del mito de que no se puede evaluar porque los resultados se producen en el largo plazo. Una argumentación recurrente en torno de la evaluación de impacto, es que ésta, en ocasiones no resulta viable, ya que los cambios que producirá el proyecto, se observarán en el largo plazo. Es cierto que en un buen número de proyectos sociales, dada su naturaleza, es posible evaluar impacto en un periodo de tiempo que puede comprender varios años, ello no impide, en lo absoluto, que se realicen evaluaciones de medio término o formativa que permitan identificar lo que sucede con los determinantes del impacto. Muchos programas de desarrollo agrícola, por ejemplo, están diseñados para ofrecer a pequeños productores agropecuarios una serie de inversiones complementarias para que en el transcurso de varios años, consigan incrementos importantes de productividad, y en consecuencia en la generación de ingresos y mejora de su calidad de vida. Por ejemplo, una de las intervenciones del Programa Alianza para el Campo de México ha beneficiado a un grupo de pequeños productores, el primer año con el establecimiento de praderas; el año dos con ganado mejor o mejoramiento genético y el año tres con equipamiento para ordeña o infraestructura ganadera. Son inversiones complementarias que generan sinergias y que pueden multiplicar los impactos positivos de los apoyos recibidos13. La evaluación de impacto no debiera exclusiva y necesariamente hacerse una vez que el productor cuenta con todo el grupo de bienes y/o servicios, resultaría de gran utilidad, en este caso, realizar evaluaciones anuales que permitan conocer el rendimiento de cada componente, ya que si se detectan problemas desde el primer año, la posibilidad de alcanzar el impacto esperado a partir del tercer año, que presupone la integración de los tres componentes, disminuye. Existe otro tipo de programas o proyectos que, para lograr impacto, deben antes conseguir lograr cambios en el comportamiento de los beneficiarios de los bienes y/o servicios que entregan los programas, éstos se constituyen en efectos o “determinantes del impacto”. Bajo esta lógica, a partir de reducir las asimetrías de información con los beneficiarios, se busca transmitirles conocimiento sobre las ventajas que les representan los bienes o servicios que obtienen u obtendrán con el programa o proyecto. Por ejemplo a través de talleres, pláticas, una finca demostrativa en un proyecto agrícola, etc. Con ello se espera contribuir al cambio en su actitud, y si éste cambio se mantiene en el tiempo se estará contribuyendo a la modificación de su comportamiento incrementado la probabilidad de lograr impacto. Es el caso de programas que buscan reducir la tasa de embarazo en adolescentes; desarrollar prácticas higiénicas al preparar alimentos y para tratamiento del agua (cloración, mineralización, hervido..etc.); uso de cinturón de seguridad; mantenimiento de infraestructura social (caminos vecinales, escuelas, canales de riego, etc.); preparación de alimentos balanceados; uso de jeringas descartables; inversión en actividades productivas; utilización de una técnica agrícola específica, etc. El diseño de la evaluación de impacto, entonces, contempla el análisis de los denominados “efectos” entendidos como “el grado de uso” de los bienes y/o servicios por parte de los beneficiarios que los reciben. Es decir, es relevante identificar el grado en que los cambios de comportamiento se han alcanzado, ya que si no se ha avanzado en este sentido la posibilidad de tener un impacto significativo tiende a ser nula. La evaluación de impacto no debe esperar a medir los cambios en las condiciones de bienestar de la población que ha estado sujeta a recibir productos por el periodo determinado de tiempo que implica el programa o proyecto, sino que puede comenzar con la evaluación de los efectos o también denominados como “condicionantes del impacto” ya que de no darse las probabilidades de alcanzarlo se reducen. Del mito de que el impacto de que un proyecto es bueno per-se, sin importar la magnitud del problema a atender (o el problema del denominador). Si un proyecto es exitoso al demostrar que gracias a su intervención se mejoran las condiciones de bienestar de los beneficiarios, el proyecto indudablemente contribuye de manera positiva a la solución de un problema. En la lógica estricta del análisis de los proyectos esto es correcto. Sin embargo es importante considerar que los proyectos, se articulan a programas y éstos a políticas, por ejemplo en las estrategias de reducción de la pobreza, en tal sentido, suele ocurrir que al nivel de un proyecto se conocen bien los bienes o servicios que se entregan y si éstos producen (o no) impacto, pero no se conoce la base de la población que posee la carencia “problema del denominador”, por lo tanto, los SMyE al nivel de proyectos deben explicitar los vínculos, coordinación y coherencia de su intervención y resultados al nivel de programas y de políticas.

13 Para ver con detalle aspecto del programa Alianza para el Campo puede consultarse: www.evalalianza.net

Page 8: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

8

Bajo esta lógica un proyecto puede ser considerado exitoso ya que genera impacto en los beneficiarios, pero si estos constituyen un porcentaje muy bajo del total de la población carenciada en el país, por ejemplo un dos por ciento, entonces es fácilmente cuestionable dicho éxito y se puede entonces poner en duda la efectiva articulación del proyecto a programas y políticas. 4. Los modelos para realizar evaluación de impacto. Bajo la perspectiva del análisis costo-efectividad existen diversos modelos de evaluación del impacto, que pueden distinguirse entre el modelo experimental clásico y los denominados modelos cuasi-experimentales (MCE) Cohen y Franco (1993). Los diseños evalúan el impacto de los proyectos al medir los cambios que han ocurrido en las condiciones de bienestar (económicas y sociales) de la población objetivo del proyecto. Permiten evaluar el impacto del proyecto en la población objetivo, los segmentos de población que han sido más o menos afectados y la identificación de insumos que producen el mayor impacto al más bajo costo. También provee información sobre la interacción entre las intervenciones del proyecto, las características de los beneficiarios, externalidades y su contribución (o no) al impacto. Un buen número de diseños permiten al evaluador trabajar con dos grupos de población: el grupo con proyecto (o experimental), que recibe el estímulo del proyecto, operacionalizado en los bienes y/o servicios del programa y el grupo sin proyecto, o estímulo, denominado de control o testigo. Ambos grupos se pueden controlar (o no) aleatoriamente, rasgo que define la robustez del modelo, así como también si en el diseño se considera la realización de pre y post test en ambos grupos poblaciones. Resulta importante atribuir las diferencias sobre la base del control tanto de variables observables como no observables. Por una parte más allá de una simple diferencia de medias de debe valorar el comportamiento, por ejemplo, de los productores agrícolas con variables que permitan controlar las diferencias. El experimental clásico se constituye por dos grupos de población. Uno denominado experimental, que recibe bienes y/o servicios de un programa o proyecto social y otro denominado de control o testigo, que no los recibe. Los miembros que los conforman deben seleccionarse, necesariamente, de manera aleatoria. Además la variable de análisis o pertinente debe ser equivalente en ambos grupos. Una condición importante, que señalan Cohen y Franco (1993) es que sólo el factor que se examina entre ambos grupos de población debe permanecer independiente y sólo (a él) se le permita variar. En el campo de los proyectos sociales, como sugieren Valadez y Bamberger (1994) los individuos que forman a los grupos de población son asignados sobre la base de criterios de selección operativa, tales como localización geográfica, bajos ingresos, mal nutrición, hogares con jefatura femenina del hogar o falta de activos entre otros criterios. Así los dos grupos, seguramente, no serán totalmente equivalentes en cuanto a las variables de interés para el proyecto. Sin embargo es posible utilizar controles adicionales para ayudar a los evaluadores a distinguir entre los efectos debidos a una intervención y aquellos que se deben a factores no relacionados al proyecto que los “contaminan” constituyendo al modelo cuasi – experimental básico.

Page 9: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

9

Los componentes del modelo experimental y el cuasi-experimental básico se expresa gráficamente de la

siguiente manera

Tiempo Grupos

Línea de Base Línea de Comparación Experimental .Con programa X X´

Testigo. Sin programa Y Y´

La magnitud del cambio generado, para cada modalidad de intervención, y componente del programa se obtiene de la siguiente manera: (X´- X) = Impacto bruto alcanzado, cambios observados en los beneficiarios del programa en un periodo de tiempo. Es imposible distinguir que cambios fueron originados por el programa y cuáles por variables exógenas a este (problema de atribución). (Y´-Y) = Establece los cambios producidos por variables exógenas. Por lo tanto, (X´-X) – (Y´-Y) = impacto logrado en los beneficiarios, imputable a las modalidades del programa que se estén analizando. Como es de suponer, los modelos cuasi-experimentales presentan variaciones al modelo clásico. Algunos no poseen pre y post test, otros no poseen grupos de control. Unos analizan variaciones en la intensidad de la intervención, otros utilizan “controles” para estimar la influencia de múltiples intervenciones, etc. Una interesante propuesta de clasificación de los diversos diseños es la elaborada por Valadez y Bamberger (1994) identifican 13 modelos, 10 metodológicamente más robustos y tres diseños más simples y económicos.

Grupo experimental antes de la intervención. Situación X

Grupo de control Situación Y

Grupo experimental después de la intervención Situación X´

Grupo de control despúes de un periodo de tiempo. Situación Y´

Línea de base Línea de comparación

Intervención. Población expuesta a bienes y/o servicios

Page 10: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

10

Trece modelos de evaluación de impacto: Clasificados en Diseños Cuasi-experimentales Metodológicamente Robustos y

Diseños más simples y económicos Diseños Cuasi-experimentales Metodológicamente Robustos

Modelo 1 Línea de base y de comparación sobre el proyecto aplicadas al grupo experimental y al grupo de control: diseño cuasi-experimental básico.

Modelo 2 Variaciones en la intensidad de la intervención: Diseño cuasi-experimental básico pero con múltiples grupos de intervención o experimentales.

Modelo 3 Control de la influencia de múltiples intervenciones sobre los resultados: Diseño cuasi-experimental básico pero con grupos adicionales para representar intervenciones sin proyecto.

Modelo 4 Grupo de control no equivalente con múltiples pretest: extensión del diseño cuasi-experimental básico pero para incluir muchas observaciones pretest.

Modelo 5 Grupo de control no equivalente con múltiple pretest y posttest. Modelo 6 Control para interacciones de intervención: añadiendo grupos de control e intervención al diseño cuasi-

experimental básico. Modelo 7 Control sobre la selección de efectos: múltiples niveles de intervención y grupos de control. Modelo 8 Control por efectos históricos: 2 medidas de pre y posttest sobre grupos experimental y de control Modelo 9 Análisis de series temporales con un grupo de control no equivalente Modelo 10 Análisis de series temporales sin un grupo de control no equivalente

Diseños más simples y económicos Modelo 11 Comparación del grupo experimental antes y después del proyecto sin grupo de control (impacto bruto) Modelo 12 Comparación ex post del grupo experimental y el de control pero sin pretest (sin línea de base) Modelo 13 Pretest y posttest sobre grupo experimental combinado con comparación ex post del grupo experimental y

de control. Fuente: Valadez, Joseph y Bamberger Michael (1994) Monitoring and Evaluating Social Programs in Developing Countries. EDI Development Sudies, World Bank, Washington, D.C. Algunas notas sobre la línea de base o pretest Contar (o no) con una línea de base es una factor que determina, en parte, el grado de robustez del diseño. Si un programa en operación, no cuenta con una línea de base con respecto de la variables pertinentes o de impacto, es ocasionalmente posible “reconstruirla”, esto es posible si y solo sí dichas variables son dicotómicas, es decir si su valor es función de una respuesta sí/no, por ejemplo si el jefe de hogar contaba (o no) con empleo, si vivía (o no) en cierta zona, si tenía o no acceso a servicios específicos, etcétera. Por otra parte, resulta indispensable la identificación de la información existente con respecto de las variables pertinentes o de impacto del proyecto, así como también conocer acerca de la información que está por colectarse y que puede servir al proyecto. Los reportes de investigación y el análisis documental; el índice de precios al consumidor, el sistema de cuentas nacionales, los censos y encuestas regulares que realizan los institutos de estadísticas o el banco central en algunos casos y los registros administrativos regulares, constituyen una valiosa fuente de información que debe ser valorada. Más aún, en el caso de encuestas, como por ejemplo de ingreso y gasto o de empleo, que puedan antes de su siguiente aplicación o salida, incorporar algunas preguntas de utilidad para el proyecto, o en el mejor escenario un modulo específico que revele información. También se pueden incluir entrevistas cualitativas a los grupos de población que interesen, lo que supone el entrenamiento a tal fin de los encuestadores. En México, por ejemplo, el Instituto Nacional de Geografía y Estadística (INEGI) ha establecido cooperación con grandes programas de desarrollo rural para la colecta de información a través de las encuestas de ingreso-gasto, empleo y el último censo de población y vivienda14. Finalmente, es importante involucrar a las comunidades que se constituyen en la población objetivo de los proyectos en actores protagónicos, vinculados directamente a la colecta, registro y sistematización cotidiana de información. En Bolivia, por ejemplo el Fondo de Desarrollo Campesino, apoyado por la agencia alemana de cooperación GTZ, diseño cuadernos de registro de información “cuadernos cantonales”, en ellos la comunidad registra de manera permanente datos respecto de sus niveles de ingreso y consumo, productividad, tenencia de la tierra, acceso a servicios, el # de hijos que nacen cada año, muertes, servicios de comunicación existentes, etcétera. Dichos cuadernos han servido como línea de base a diversas evaluaciones de impacto. 5. El rol de lo beneficiarios y las organizaciones comunitarias. El rol participativo del SMyE

14 Judy Baker identifica nueve puntos clave para identificar las fuentes de datos disponibles para la evaluación de impacto, véase: Judy, Baker (2000) Evaluating the impact of development projects on poverty: a handbook for practicioners. World Bank. Washington, D.C.

Page 11: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

11

El rol participativo de los SMyE parte de la conceptualización de que el objetivo central de los proyectos sociales de desarrollo, es el fortalecimiento organizacional y de capacidad de gestión de las comunidades más excluidas (indígenas por ejemplo), y de los grupos más marginados (mujeres, campesinos sin tierra por ejemplo, ancianos, etc.). para lograr que sean ellas mismas quienes identifiquen y satisfagan sus propias necesidades, logrando así sostenibilidad. Bajo esta lógica la creación y fortalecimiento de organizaciones comunitarias, se ha venido constituyendo en una tendencia de los proyectos sociales. Lograr que se generen nuevas organizaciones y que éstas y a la vez las ya existentes aprendan y mejoren a como definir objetivos colectivos de largo plazo (misión y visión organizacional), programar actividades, llevar un ordenamiento contable y de inventario (libro contable, cuenta de ahorro), practicar mecanismos democráticos en su representación, lograr personalidad jurídica, vinculación con otras organizaciones, entre otras, forman parte del menú de intervenciones en esta tendencia. Esta práctica es necesaria, pero no suficiente de no acompañarse del desarrollo o incremento de la capacidad de dichas organizaciones de formular, implementar y evaluar proyectos orientados a la mejora de sus carencias más agudas. Razón por la que el fortalecimiento organizacional debe acompañarse del incremento en la capacidad de gerenciamiento de proyectos de desarrollo orientados a cubrir dichas carencias. La visita de campo a proyectos de desarrollo en República Dominicana, bajo la iniciativa del Premio a la Calidad e Innovación de la Gerencia Social, del INDES-BID, a fines del año 2000, puso en evidencia el hecho de que varios proyectos apostaban por la creación y fortalecimento organizacional, pero no enfatizaban además la capacidad de gerenciamiento de proyectos de las organizaciones, se concebía a al fortaleza organizativa como un fin en sí mismo. Estos daba por resultado comunidades con clubs de jóvenes, grupos de madres reunidas para intercambiar recetas de cocina, grupos de lectura, y otras actividades sociales. Prácticamente ninguna de estas organizaciones, creadas o fortalecidas, poseían destrezas para formular, implementar o evaluar proyectos, por lo que ninguna de sus actividades regulares se involucraba en la generación de ingresos. Lo mínimo que puede exigirse al gerente de un programa o proyecto es valorar : i) el rol protagónico de la comunidad potencialmente beneficiaria en la conceptualización e identificación de los problemas ii) la jerarquización de los problemas y la articulación existente entre ellos; iii) la colaboración en el diseño y formulación precisa de los proyectos (mejorando sus destrezas), a través de la articulación de las diversas organizaciones comunitarias y la definición de estrategias de generación de ingresos; iv) el apoyo de organizaciones comunitarias en la producción y entrega de bienes y/o servicios y, v) el seguimiento físico financiero de las obras, el mantenimiento y su valoración, entre otros. La realización de talleres, grupos focales, diarios de campo, entrevistas con los potenciales beneficiarios de un programa, el involucramiento de líderes comunitarios como facilitadores, y el conocimiento de las redes de organizaciones existentes ayuda mucho a precisar la intensidad y distribución en la población objetivos de las carencias, así como también cuál es su percepción respecto de las necesidades reales y las más urgentes , las que no siempre coinciden con la percepción de los analistas. Son numerosos los ejemplos en torno de productos entregados que no son usados, o que son usados para fines diferentes a los concebidos por el programa: letrinas usadas como bodegas (por lo tanto sin impacto en la salud), campos deportivos o centros para eventos sociales sin un uso mínimo, y con un rápido deterioro por la ausencia de mantenimiento de la comunidad, etcétera. Una herramienta interesante para jerarquizar diversas problemáticas sobre la base de la percepción y conocimiento de los beneficiarios (reales o potenciales) y de la que se definirán los bienes y/o servicios de un proyecto es el denominado análisis de motricidad y dependencia de los problemas, que busca identificar la estructura de interacción entre éstos, descifrando los grados de dependencia o de arrastre (motricidad) de cada uno de ellos en relación al resto de los problemas que constituyen la estructura de relaciones (para ver un ejemplo consulte el anexo 1). Involucrar a los beneficiarios en la producción y/o entrega de los productos de un programa, también resulta importante. Es el caso del programa de restaurantes escolares de la Secretaria de Bienestar Social de Medellín en Colombia, se incluyen a las madres de los estudiantes “madres manipuladoras de alimentos” en la elaboración y distribución de los almuerzos. Otro ejemplo lo constituye el programa de “Cocinas Populares” en México. Existen programas en que miembros de la comunidad son capacitados para hacer la supervisión físico-financiera de pequeñas obras, tales como revestimiento de canales de riego, letrinas, bombas de agua, etc. Es el caso del Programa de Desarrollo de los Pueblos Negros e Indígenas (PRODEPINE) del Ecuador o el Programa de Desarrollo Provincial de Puerto Plata en la República Dominicana. Involucrar a la comunidad a tomar decisiones sobre la selección de beneficiarios como en el caso del Progresa (Programa de educación, salud y alimentación) en que la comunidad se involucra en el proceso de focalización de los beneficiarios. Transparentar las acciones del programa sobre la base de difusión de resultados de programas resultan una actividad muy relevante en el proceso de rendición de cuentas: publicar montos de la inversión; en que se ha gastado; quienes son los beneficiarios –listas públicas; son actividades altamente recomendables. Identificar y caracterizar las redes de relaciones que existen entre las diversas organizaciones que constituyen el campo de intervención de un proyecto (de primer, segundo y tercer grado), sin duda resultan un insumo valioso para la gerencia de

Page 12: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

12

redes que incremente las probabilidades de éxito del proyecto. Todo lo anterior constituye un desafío a los diseñadores de SMyE, en el sentido de que ésta información debe ser colectada de manera regular. Por tal razón el arsenal de aproximaciones metodológicas para medir el capital social (cuantitativas y cualitativas) resultan ser herramientas muy importantes y cada vez más indispensables. 6. Juntando las Piezas; La organización de un Sistema de Monitoría y Evaluación Los programas y proyectos involucran un número diverso de organizaciones e instituciones: internacionales, nacionales, de la comunidad, etc. Cada uno requiere información diferente acerca del rendimiento del programa y cada uno juega un rol diferente en la generación, sistematización y uso de la información. Ello plantea, entonces, la pregunta del cómo organizar un sistema de monitoría y evaluación. Primer paso: precisar el propósito del SMyE Un SMyE debe estar orientado a buscar las respuestas apropiadas a las preguntas correctas y éstas derivan de la claridad de los objetivos de impacto de los proyectos. De nada sirve una ágil y confiable respuesta a una pregunta irrelevante o inadecuada. Una crítica recurrente a los sistemas de M&E es que no se responden las preguntas adecuadas. El uso del marco lógico, como instrumento de diseño y formulación de los programas y proyectos, así como las dinámicas participativas para involucrar a los diversos actores vinculados resultan indispensables a tal fin. El SMyE debe responder diversas preguntas para diferentes actores. Para algunos el rendimiento de un proyecto se basa en la adecuada gestión financiera, para otros en maximizar la cobertura, algunos lo juzgan sobre la base de la calidad y pertinencia de los productos y unos más por el impacto que genera en indicadores de bienestar, entre otras posibilidades. Lograr a través de dinámica como la lluvia de ideas, grupos focales, delphi, etc. con los actores involucrados las preguntas que debe responder el sistema resulta muy conveniente. Los definición de un conjunto de objetivos, de diverso nivel y alcance, del proyecto, su expresión a través de indicadores puntuales (relevantes, limitados en el tiempo, con atributos de calidad y cantidad) y sus metas asociadas, constituyen un impulso a la acción, establecen desafíos a encarar, son la base que permite distinguir el éxito de fracaso, para poder recompensarlo y evitarlo respectivamente, y generar procesos de aprendizaje en la gestión del proyecto. Si esto se logra, se logra también como sugieren Gaebler y Osborne (1992) apoyo, capital político, cohesión y legitimidad de la actuación gubernamental. Sirva de ejemplo el Programa Nacional de Tecnología y Formación Técnica Agropecuaria de Nicaragua. En su diseño este programa plantea establecer un círculo virtuoso entre investigación, extensión y formación técnica agropecuaria, que logre incrementos en los ingresos, la productividad y la competitividad de los pequeños y medianos productores agropecuarios. El SMyE, en su operación regular, y a través de la realización de encuestas periódicas de medio término y de la realización de evaluaciones de impacto debe ser capaz de responder los siguientes cuestionamientos que se derivan de las necesidades de información de los involucrados15: ¿Cuál es el grado de acceso al mercado de servicios tecnológicos de los pequeños y medianos productores? ¿Cuál es el grado de adopción –por número y tipo de productores- de tecnología16? ¿Cuál es el impacto en competitividad, productividad, e ingreso de hogares agropecuarios, así como en la participación de mujeres y grupos indígenas y en el impacto ambiental del programa derivado de la adopción de tecnología? ¿Cuál es la contribución específica de cada componentes del programa al grado de adopción de tecnología y cual su efecto de manera integral? ¿Cual es el impacto de cada modalidad tecnológica: ATPM; ATP1; ATP2 (ATPC) y FAT? ¿Cuál es el efecto de otras condicionantes como la falta de financiamiento para insumos y bienes de capital en el logro del objetivo del programa?. ¿Cuál es la cobertura del programa, respecto de sus metas globales y por modalidad y en función de la demanda de servicios de extensión, asistencia técnica, investigación y formación técnica? ¿Cuál es el éxito de la focalización del programa respecto de su población objetivo? ¿Que factores promovieron o limitaron la adopción de tecnología (calidad de equipos, servicios complementarios, capacitación, asesoría técnica, disponibilidad de insumos, costo de los insumos, falta de crédito, rentabilidad del cultivo, educación formal, acceso a la tierra, organización, etcétera? 15 Tomado de Medina Giopp, Alejandro (1999). Sistema de Monitoría y Evaluación. Programa Nacional de Tecnología y Formaciuón Técnica Agropecuaria (PNTFA). Nicaragua. Banco Mundial. Borrador de propuesta para discusion. 16 Adopción de tecnología considera el cambio de la conducta del productor, y no solamente la aplicación en un ciclo agrícola. Esto tiene implicaciones particulares para el diseño de los modelos de evaluación de impacto.

Page 13: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

13

¿Son sostenibles los cambios inducidos por las acciones del programa? ¿Cuál es el impacto diferencial alcanzado a través de proveedores privados frente a los proveedores públicos? ¿Cuál es el grado de eficacia y eficiencia global del programa? ¿Cómo se da la participación de productores, organizaciones de productores y proveedores? ¿Cuál es el nivel de productividad de los extensionistas, % de adopción de tecnología por extensionista? ¿Cuáles son las percepciones y expectativas de productores, asociaciones de productores, proveedores de servicios y funcionarios sobre el programa –líderes de agencia, especialistas regionales, director regional? ¿Qué recomendaciones son pertinentes para lograr cambios significativos en la gestión inter-institucional del programa? ¿Cuál es nivel de avance físico y financiero de los proyectos que conforman a los fondos competitivos? ¿Hay reglas claras de operación para regular el mercado de oferta de servicios de investigación, formación técnica y asesoría (número y capacidad técnica de proveedores, instancias para dirimir controversias entre proveedores y asociaciones de pequeños y medianos productores, fijación de estándares de seguimiento (calidad, volumen, precio)? ¿Aplicación (o no) de los criterios técnicos de asignación de recursos por los comités locales? Segundo paso: definir el alcance del SMyE. Para delimitar el alcance del SMyE resulta muy importante identificar con claridad la secuencia o cadena de eventos que establece el ciclo de gestión o gerencia del proyecto. Una vez establecido se deben clarificar los criterios a través de los que se analizará cada una de las etapas o eventos de la secuencia. Estos eventos pueden constituirse en módulos o subsistemas específicos del SMyE. A manera de ejemplo el siguiente gráfico ilustra el Programa Nacional de Tecnología y Formación Técnica Agropecuaria de Nicaragua. En su diseño este programa plantea establecer un círculo virtuoso entre investigación, extensión y formación técnica agropecuaria, que logre incrementos en los ingresos, la productividad y la competitividad de los pequeños y medianos productores agropecuarios. En la parte superior del gráfico se aprecian la cadena de eventos del proyecto, que parte de la obtención de insumos (humanos, financieros y materiales) que apoyan a las actividades de fortalecimiento institucional de las diversas agencias públicas y privadas involucradas (actividades), lo que se traduce en la oferta de bienes y servicios de investigación, y asistencia técnica (productos) que buscan el incremento de la productividad (resultados) en los pequeños y medianos productores (PyMP). En la parte inferior se explicitan los criterios a través de los que se evalúan los eventos, esto criterios constituyen la base del SMyE a través de los que se definen indicadores. De manera sintética es posible señalar que todo sistema de monitoría y evaluación define cuatro módulo fundamentales: 1) el financiero-administrativo; 2) el de monitoría concentrado en el análisis de bienes y servicios que produce y entrega el programa; 3) el de evaluación de impacto participativa, que involucra conocer el nivel de compromiso existente entre beneficiarios y las agencias de prestación de servicios y 4) el de evaluación de impacto bajo parámetros cuantitativos.

Page 14: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

14

Tercer paso: La arquitectura y dinámica de la información. Una vez establecido el alcance del sistema de MyE, hay que elaborar un diseño del sistema de información, éste debe considerar la estructura organizacional del proyecto, los cargos, las funciones, los mecanismos de comunicación y de autoridad. Esto es lo que se denomina el establecimiento de la “arquitectura de la información”. Diseñar un atractivo y moderno sistema de información que no responda a las particularidades organizativas de la o las instituciones ejecutoras del proyecto, provocará desajustes y problemas en su etapa de puesta en marcha. El análisis de la arquitectura involucra considerar en donde y cómo montar la unidad de monitoría y evaluación, para ello existen diversas alternativas. Distinguir dos departamentos, uno de evaluación a nivel de staff (asesoría) de la alta dirección y otro de monitoría al nivel de operaciones. El primero se encarga de estudios y actividades de largo plazo, mientras que el otro aborda lo cotidiano. Otras opciones son contar con una unidad de monitoría y evaluación, como unidad staff de la gerencia del proyecto, entre otras muchas posibilidades. Cada una de ellas posee ventajas y desventajas, y su diseño es función de las necesidades específicas de información y del modelo de organización y gestión que presente la unidad (o unidades) ejecutora (s) del proyecto (s)17. Además habrá que precisar donde se produce la información, quién la procesa, como se translada de un sitio a otros, si hay decisiones grupales, etc. A todo ello se le denomina el análisis de la dinámica de la información y es lo que delimita el uso (o no) de sistemas informáticos del tipo groupware para trabajo en equipo. La dinámica de la información es la base de la retroalimentación, sin ésta el SMyE no podría ser preventivo ni generar aprendizaje tanto en los individuos como en la organización. Asimismo debe delimitarse la base de datos común a través de la que se vincularán todos los subsistemas o módulos identificados, lo que permitirá contra con un sistema al que ingresen datos solo una vez <<one input system>>, evitando

17 Para analizar diversas opciones repecto de donde y cómo unbicar una unidad de monitoría y evaluación puede consultarse Valadez, Joseph y Bamberger (1994) Monitoring and Evaluating Social Programs in Developing Countries. Banco Mundial, EDI. Washington, D.C.

Insumos Actividades: fortalecimiento institucional y administrativas regulares

Oferta pública de servicios INTA, INATEC

Oferta privada de servicios FDT, FAITAN, ONG´s

Productos (bienes y/o servicios)

PyMP’s

Gestión Interna

Focalización, Cobertura, Satisfacción, Pertinencia

Oferta de servicios y regulación de fondos

Calidad, Eficacia, Eficiencia

Análisis im-pacto produc-tividad, com-petitividad y socioeconómico

Resultados netos

Componentes del S.M. y E.

Cadena de eventos delproyecto

FAT- Fondo de Asistencia Técnica FAITAN- Fondo de Investigación de Tecnología Agropecuaria de Nicaragua ONG´s- Organizaciones no gubernamentales INTA- Instituto Nacional de Tecnología Agrícola INATEC- Instituto Nacional de Tecnología P

Eventos del proyecto y componentes del S.M. yE.

PROGRAMA DE TECNOLOGIA Y FORMACIÓN AGROPECUARIA DE NICARAGUA

Page 15: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

15

duplicidades. También deben precisarse los reportes o salidas que pueden lograrse al consultar la base de datos, ésta debe ser correctamente explotada en toda su potencialidad. Es muy importante diferenciar las etapas de diseño del sistema de monitoría y evaluación de la de desarrollo del sistema. En la primera se desarrolla el marco conceptual, se definen los criterios y se especifican los indicadores y las características del flujo de información; mientras en la segunda se precisa la dinámica de interacción entre procesos y entidades, definiendo los contacto de información y la carga documental. Se desarrollan las pantallas de captura y despliegue de información sobre la base de las tablas de información que precise la base de datos. Cuarto Paso: Constituir al equipo de MyE Un aspecto muy importante es consolidar una unidad central de monitoria y evaluación. La primera característica del equipo al frente de esta unidad es la multidisciplinariedad. Este equipo será capaz de realizar todas las tareas que involucra el SMyE, así como también de regular la contratación de los servicios a expertos externos, supervisándolos, en términos de calidad, oportunidad y costos adecuados. Se requiere un muestrista, un diseñador de encuestas y responsable de trabajo en terreno. Asimismo un experto en el diseño de modelos de evaluación de impacto y en evaluación costo-beneficio, capaz de identificar los diseños más adecuados en cada situación. Responsable de garantizar la pertinencia de las líneas de base y comparación. Un experto en ingeniería de sistemas, capaz de automatizar los procesos y elaborar los programas más adecuados de acuerdo a los requerimientos de los principales involucrados, logrando los reportes necesarios para apoyar la toma de decisiones. Un experto en administración de proyectos de desarrollo, completa el grupo básico de expertos de dicha unidad. El uso de consultores, es recomendable, tiene la ventaja de acceder a expertos actualizados, por el nivel de objetividad (evitar incesto) y mayor flexibilidad en el manejo de personal y de recursos financieros. Ahora bien el equipo de monitoría y evaluación, lo constituyen todos los usuarios del sistema, quienes deben involucrarse en la lógica de la gestión por resultados a través de un adecuado sistema de incentivos, capacitación y entrenamiento. Quinto Paso: Los requerimientos del SMyE Se deben definir los costos, riesgos a enfrentar y etapas características del proceso de operación, desarrollo y mantenimiento del SMyE. Se considera la inversión necesaria para el desarrollo del software, capacitación y entrenamiento, contratación de consultores y equipo de la unidad de MyE, así como la consideración de las resistencias al cambio a enfrentar. También se deben precisar las necesidades de coordinación, comunicación y control entre las diversas agencias (públicas y privadas) que estén involucradas en la gerencia del proyecto. La gran mayoría de los proyectos rurales son multi-agencia, por lo que la capacidad de gerenciar redes es muy importante. Un aspecto muy relevante es la definición de funciones que con respecto del SMyE deben cumplir los diversos actores involucrados. Estos se involucran con mayor o menor intensidad, de acuerdo a su naturaleza, a la generación, sistematización o distribución de la información, así como a diversos aspectos del ciclo gerencial, financieros de impacto, de cobertura, de distribución, etc. Debe propiciarse el aprendizaje sobre la puesta en marcha, se debe aprender haciendo. Los SMyE deben ajustarse a la realidad organizativa y gerencial de cada proyecto. 7. ¿Que recordar si olvido todo lo demás?

La monitoria y la evaluación son procesos que pueden realizarse en diversos niveles: estrategia de combate a la pobreza; política, programa y proyectos.

La monitoría se dirige a la operación, es decir al contraste de la producción y/o entrega de bienes y/o servicios respecto de la programación mediante indicadores de calidad, eficacia, eficiencia y focalización. En la monitoría también arranca la elaboración de líneas de base.

La evaluación de resultados indica cambios en variables de bienestar atribuibles a la intervención del proyecto. Existen diversas metodologías y técnicas con mayor (o menor) grado de robustez para explicar dichos cambios.

Realizar evaluación de impacto en proyectos sociales no es tan costoso, al considerar su costo global. Es más costoso, siempre, no evaluar.

Ningún proyecto, ninguno, se justifica por la mera entrega de bienes y/o servicios, se justifica (o no) por el logro de impacto que alcanzan.

No necesariamente se logra mayor impacto al gastar o invertir más (se puede gastar mucho y mal) y no toda intervención social algún impacto positivo logrará (se puede intervenir y provocar daños en lugar de beneficios).

La evidencia señala que los SMyE participativos promueven la transparencia, rendición de cuentas, agilidad administrativa y legitimidad de las intervenciones.

Para armar un SMyE es importante considerar la arquitectura del sistema de información (análisis de la estructura de la entidad ejecutora) y la dinámica de la información (actores involucrados).

Disntiguir las fases del diseño del sistema de monitoría y evaluación de la propiamente de desarrollo Es muy importante valorar las fuentes de información disponibles, tales como encuestas, censos, cuentas

Page 16: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

16

nacionales, registros administrativos, etc. como insumos del SMyE, así como la asociación con los institutos o centros que producen la información estadística a efectos de lograr sinergias que favorezcan los procesos de evaluación, por ejemplo al posibilitar la construcción de líneas de base o pretest.

Los SMyE pueden ser modulares, replicando su estructura a nivel nacional, regional o local logrando la agregación y desagregación de información que exige cada nivel.

Lograr sistemas sencillos y mantenerlos simples. Ingresar datos una sola vez, toda la información debe ser útil y debe ser usada, no desperdiciar tiempo ni colectar información inútil.

Los SMyE deben establecer mecanismos de retroalimentación entre los diversos actores involucrados a efectos de propiciar procesos de aprendizaje de los individuos, así como de los proyectos.

Al conocer los requerimientos de información y la organización de los datos resulta indispensable la clara definición de una estrategia tecnológica. La evaluación correcta de software comerciales y motores de bases de datos, así como la valoración de proveedores locales de servicio, puede ahorrar mucho dinero.

Bibliografía Baker, Judy (2000) Evaluating the impact of development projects on poverty: a handbook for practicioners. World Bank. Washington, D.C. Cohen, Ernesto y Rolando Franco (1993). Evaluación de proyectos sociales. Ed. S. XXI. México. Husseim, Karim (2000) Monitoring and Evaluating Impact on Livehoods: Lesson From Experience. Final Draft, Rural Policy and Enviroment Group, DFID. Luc Lecuit, John Elder, Christian Hurtado, Francois Rantrua< Kamal Siblini y Maurizia Tobo (1999). DeMIStiying MIS: Guidelines for Management Information System in Social Funds. World Bank Technical Paper No. 443. Mokate. Karen Marie (2001) Eficacia, eficiencia, equidad y sostenibilidad ¿qué queremos decir?. Documentos de trabajo I-24. Banco Interamericano de Desarrollo, Julio. Osborne, David y Ted Gaebler (1992) Reinventing Government. How the entrepreneurial spirit is transforming the public sector. Addison-Wesley Publishing Company, Inc. Valadez, Joseph y Bamberger (1994) Monitoring and Evaluating Social Programs in Developing Countries. Banco Mundial, EDI. Washington, D.C.

Page 17: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

17

Anexo 1 El objetivo de contar con una herramienta de jerarquización es identificar cuál es la interdependencia que existe entre los problemas que afectan a la comunidad para identificar aquellos cuya solución contribuya de mejor manera a resolver la su problemática. La importancia de los problemas se determina sobre la base de la opinión de los representantes de las comunidades quienes se constituyen en participantes en los talleres de planificación participativa del Proyecto. Ellos son los expertos quienes deben ser consultados sobre la problemática de la comunidad o comunidades involucradas. Para determinar las relaciones entre las variables se puede utilizar una versión simplificada de la Matriz de Motricidad y Dependencia basada en los trabajos del matemático francés Michel Godet, que permite establecer la influencia real entre un amplio conjunto de problemas. Para identificar la importancia e interdependencia de los problemas del entorno de una comunidad ( o u conjunto de estas) se deben seguir los siguientes pasos: 1. Hacer un listado de los problemas de la comunidad que mayor influencia negativa tienen para su calidad de vida y

caracterizar de manera sintética cada problema, logrando acuerdo sobre sus alcances y limitaciones. Se debe enumerar los principales problemas pero también caracterizarlos brevemente para garantizar que todos comprenden el alcance de los mismos. A manera de ejemplo: Problemas Caracterización 1. Agua (A) No hay agua para riego ni para uso doméstico 2. Agua potable (Ap) No hay suministro de agua potable 3. Escuelas (E) No hay escuelas suficientes para los niños en edad

escolar de la comunidad 4. Maestros (M) No hay maestros suficientes para los niños en edad

escolar de la comunidad 5. Letrinas (L) Muchas casas de la comunidad no poseen letrinas 6. Tierras (T) No hay linderación ni títulos de propiedad

adjudicados 7. Enfermedades gastrointestinales (Eg) Muchas enfermedades, especialmente en niños de la

comunidad 8. Integración social (Is) Falta de integración social de miembros de la

comunidad 9. Crédito (Cr) Ausencia de crédito para pequeños agricultores 10. Asistencia Técnica (At) Inexistencia de asistencia técnica a agricultores y

microempresarios 11. Patrimonio Cultural (Pc) Inexistencia de museo y no celebración de algunas

tradiciones de la comunidad 12. Recursos Naturales (Rn) Deforestación y tala inmoderada 13. Caminos rurales (Ca) Caminos en mal estado, incomunicación por

inundaciones 14. Comercialización (Co) Productores no poseen canales estables de

comercialización de sus productos, además hay poca diversificación

15. …. … 16…… ….. 25. Ausencia de líderes comunitarios capacitados La actividad de la comunidad es débil debido a la

poca capacitación de los líderes y dirigentes de la comunidad.

2. Seleccionar aquellos problemas que en consenso aparezcan como los más relevantes. Es decir aquellos problemas

del entorno que más influyen negativamente en su calidad de vida. Para el caso de este ejemplo seleccionar 12 problemas ya que es el número base donde pueden salir los perfiles de proyecto requeridos para el Proyecto. El rol del facilitador es facilitar esta selección. Normalmente algunos problemas son demasiado agregados, se tiende a agrupar muchos problemas en un sólo, su disgregación es tarea del facilitador.

Page 18: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

18

Nota si solo aparecen 12 problemas o menos se puede pasar directamente al siguiente paso 3. Una vez elegidos los problemas se construye una matriz de orden n x n (cuadrada), donde n es la cantidad de

problemas. En nuestro ejercicio tenemos una matriz de orden 12x12. Esto permite relacionar cada problema con los restantes a través de la opinión de los representantes de las comunidades en el taller.

Supongamos se eligieron los siguientes doce problemas: Problemas identificados 1. A: Agua 2. Ap: Agua potable 3. M: Maestros 4. Co: Comercialización 5. Cr: Crédito 6. E: Escuelas 7. L: Letrinas 8. T: Tierras 9. Is: Integración 10. Eg: Enfermedades gastrointestinales 11. Ca: Caminos rurales 12. Rn: Recursos naturales

Matriz de motricidad y dependencia que enfrenta a problemas entre sí

A Ap M Co Cr E L T Is Eg Ca Rn Motricidad A XXX Ap XXX M XXX Co XXX Cr XXX

E XXX L XXX T XXX Is XXX Eg XXX Ca XXX Rn XXX Dependencia 4. Los participantes sobre la base de la matriz indicarán, con la ayuda del facilitador del taller, la medida en que

influyen, los problemas de las filas sobre las de las columnas.

Para identificar la fuerza de la relación, utilice la siguiente escala18:

0 = sin relación 1 = influencia baja 2 = influencia media 3 = influencia alta

Es decir se opera analizando cuál es la influencia del problema 1 (Agua) sobre el problema 2 (agua Potable) y en la celda correspondiente se registra la fuerza de la relación (0,1,2 ó 3) según se acuerde. Posteriormente la influencia del problema 1 (agua) sobre el problema 3 (Maestros) y así sucesivamente hasta analizar la influencia del problema 1 (Agua)sobre el problema 12 (Recursos Naturales), llenando los renglones, hasta completar la matriz. Con ello se analiza cuál es la influencia directa entre los problemas y se busca como están interrelacionados. Se dice que un problema es motriz cuando cambios en él influyen en otros problemas. Y se dice en contraste que un problema es dependiente cuando cambios que ocurren en otros problemas le afectan significativamente.

18 Una versión más sofisticada utiliza sólo 0 y 1 para construir matrices booleana y poder operar con el algebra matricial.

Page 19: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

19

Calcular el total de motricidad de cada variable sumando los valores por filas Determinar el total de dependencia de cada variable sumando por columnas . Calcular el total de motricidad y dependencia del conjunto de los problemas, sumando los marginales de filas o de columnas

(debe ser el mismo valor en ambos casos). A Ap M Co Cr E L T Is Eg Ca Rn Motricidad Porcentaje A XXX 3 1 1 0 0 3 1 1 2 0 1 13 0.11 Ap 1 XXX 2 1 0 3 2 0 0 3 0 0 12 0.10 M 0 0 XXX 1 0 1 0 0 0 0 0 1 3 0.02 Co 1 0 0 XXX 3 0 0 1 2 0 2 0 9 0.07 Cr 2 2 2 2 XXXX 2 2 2 2 1 2 2 21 0.17 E 0 0 3 0 0 XXX 0 0 0 1 0 0 4 0.03 L 2 0 0 1 1 1 XXX 0 0 3 0 0 8 0.07 T 1 1 0 1 1 0 1 XXX 1 1 1 1 9 0.07 Is 1 2 1 1 2 1 2 2 XXX 1 2 2 17 0.14 Eg 1 0 1 1 0 1 1 0 0 XXX 1 1 7 0.06 Ca 1 0 1 1 0 1 1 1 1 1 XXX 1 9 0.07 Rn 1 1 1 1 1 1 1 1 1 1 1 XXXX 11 0.09 Dependencia 11 9 12 11 8 11 13 8 8 14 9 9 123 Porcentaje 0.09 0.07 0.1 0.09 0.07 0.09 0.11 0.07 0.07 0.11 0.07 0.07 Hacer una tabla de coordenadas cartesianas de motricidad – dependencia para ubicar a las variables de acuerdo a sus

valores porcentuales. 9. Estimar las coordenadas cartesianas de motricidad –dependencia en porcentajes, dividiendo cada valor absoluto por

el total de motricidad o dependencia de la matriz. Problemas identificados Valor de motricidad (%) Valor de dependencia (%)

1. A: Agua 10.6 8.94 2. Ap: Agua potable 9.8

7.32

3. M: Maestros 2.4 9.76 4. Co: Comercialización 7.3 8.94 5. Cr: Crédito 17.1 6.50 6. E: Escuelas 3.3 8.94 7. L: Letrinas 6.5 10.57 8. T: Tierras 7.3 6.50 9. Is: Integración 13.8 6.50 10. Eg: Enfermedades

gastrointestinales 5.7 11.38

11. Ca: Caminos rurales 7.3 7.32 12. Rn: Recursos naturales 8.9 7.32 10. Calcular el promedio (m) que nos permite identificar el limite entre las cuatro zonas del plano cartesiano (zona de

poder, zona de conflicto, zona de de salida y zona de independencia)la esperanza matemática (en porcentajes) de la motricidad y dependencia. Dicho promedio se calacula para cada ejercicio y se obtiene de la siguiente manera:

Donde, m = promedio n = número de variables. En el ejemplo, m = 100/12 = 8.33 Es el valor del eje punteado que divide los cuadrantes en el plano cartesiano

Page 20: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

20

11. Construir un plano cartesiano, dividiendo sus ejes en el valor de la esperanza matemática. Esto genera cuatro áreas:

i) zona de poder: variables que tienen alta motricidad y baja dependencia; son las más importantes. Sobre las que hay que actuar de inmediato.

ii) zona de conflicto: variables con alta motricidad y alta dependencia. Son claves, cuando no se resuelven se convierten en cuellos de botella.

iii) zona de autonomía: variables que son independientes y a la vez tienen poca motricidad. Se debe atacar como problemas aislados.

iv) zona de salida: variables fuertemente dependientes que no afectan mayormente al resto. Se resuelven de manera automática al resolver las variables de las zonas i) y ii).

12 Ubicar cada variable en el plano según sus coordenadas.

Interpretación del Plano En la zona de poder se encuentran los siguientes problemas: 5) Cr Crédito

Gráfica de Motricidad y Dependencia

0.0

2.0

4.0

6.0

8.0

10.0

12.0

14.0

16.0

18.0

0.00 2.00 4.00 6.00 8.00 10.00 12.00

Dependencia

Mot

ricid

ad

SerieSerieSerieSerieSerieSerieSerieSerieSerieSerieSerieSerie

ZONA DE PODER

ZONA DE INDEPENDENCIA

ZONA DECONFLICTO

ZONA DE SALIDA

Page 21: La eficiencia en los programas sociales - unpan1.un.orgunpan1.un.org/intradoc/groups/public/documents/CLAD/clad0043716.pdf · VII Congreso Internacional del CLAD sobre la Reforma

VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa, Portugal, 8-11 Oct. 2002

21

9)Is Integración 2) Ap Agua Potable 12) Recursos Naturales En la zona de conflicto se encuentra 1) A Agua En la zona de salida se encuentran

10) Enfermedades gastrointestinales 7) Letrinas 4) Comercialización 6) Escuelas

2) Maestros En la zona de independencia 11) Caminos Rurales 8) Tierras La información anterior es de un simple ejercicio que no es resultado de ningún taller. Si dicha información fuese verdadera se podrían concluir varias cosas: 1) Los problemas principales son los que están en la zona de poder: Crédito, Integración Social; Agua Potable y Recursos

Naturales. Estos son motrices (cambios en ellos generan –arrastran- cambios en muchos otros problemas y dependen poco del resto.

Por ejemplo, si resuelvo el agua potable reduzco las enfermedades gastrointestinales; si hay crédito se promueve la

comercialización, etc. 2) Los problemas en zona de salida, es decir aquellos que se resuelven por efecto de haber resuelto los problemas en la

zona de poder son: Enfermedades gastrointestinales (que se reducen al contar con agua potable), letrinas (al contar con agua y crédito) Escuelas y maestros (por participación de la comunidad –integración social-).

3) Los caminos rurales y los problemas de tierras son problemas que deben tratarse de manera independiente. 4) El problema 1 puede ser un cuello de botella si no es abordado con prontitud. Por lo tanto, para elaborar perfiles de proyecto, considerar los cuatro problemas de mayor motricidad y menor dependencia (Crédito, Integración, Agua Potable y Recursos Naturales) se considera una estrategia que maximiza las posibilidades de impacto.