Monitoreo y evaluaciónde acciones de desarrollo
orientadas al impacto
Serie Metodologías y casos
Hernando Sarmiento N39-77 y Hugo MoncayoTeléfono: (593-2) 2447 292
e-mail: [email protected] - Ecuador
www.asocam.org
ASOCAM, Plataforma Latinoamericana de Gestión de conocimientos para el Desarrollo Local en Áreas Rurales, está integrada por 50 entidades localizadas en siete países.
Cuenta con mecanismos de trabajo que promueven la construcción colectiva y rescatan aprendizajes a partir de la práctica.
Los resultados de estos procesos son difundidos en diferentes productos comunicacionales que presentan enfoques y orientaciones en temas prioritarios del desarrollo rural para fortalecer y enriquecer las prácticas institucionales.
Elaborado por:Philippe de RhamLorena Mancero
Especial agradecimiento por su valiosacolaboración a los directores y responsables delmonitoreo de los tres proyectos presentados a títulode ejemplo (APODER, EMPRENDER y PROMIPAC)
Con los valiosos aportes de los participantes al Taller Regional deValidación realizado en El Zamorano (Honduras) del 11 al 13 de julio de 2006(véase la lista en la última página de la publicación)
Fotos:Lorena Mancero, Philippe de Rham, Martin Fischler, Timmi TillmanArchivos fotográficos de los proyectos: APODER, EMPRENDER, PROMIPAC
Edición de textos:Alejandra Adoum
Diseño:graphus® 290 2760
ISBN:978-9978-9962-2-5
Tiraje: 1000 ejemplaresReproducción autorizada si se cita la fuenteQuito. Julio de 2009
Hernando Sarmiento N39-77 y Hugo Moncayo
Teléfono: (593-2) 2447 292
e-mail: [email protected]
Quito - Ecuador
www.asocam.org
Serie Metodologías y CasosASOCAM
Conclusión del proceso de validación de la propuesta metodológica a nivel regional
“Monitoreo y evaluación de acciones de desarrollo orientadas al impacto”
Secretaría TécnicaASOCAM-Intercooperation
Auspicia: COSUDE
La serie ASOCAM “Metodologías y casos”recoge orientaciones resultantes del proceso de
aplicación-validación. Esta publicación está dirigida principalmente a técnicos de gobiernos locales, al
personal de entidades de promoción y ofertantes de servicios, a los equipos de proyectos de
cooperación, y considerando un público más amplio puede servir también
a líderes sociales.
PROPÓSITO DEL DOCUMENTO 3
A. Análisis que sustenta la propuesta 5
A.1 Débil aporte al aprendizaje y al pilotaje estratégico 7
A.2 Utilidad limitada para los actores asociados 8
A.3 Complejo y no siempre con el suficiente rigor 9
B. Aclaración en torno a M&E 11
B.1 El monitoreo y evaluación en el ciclo de gestión del proyecto 13
B.2 El monitoreo y evaluación orientados al impacto (MEI) 15
• Objetivo del monitoreo y evaluación orientados al impacto (MEI) 15
• Utilidad del MEI 15
• Los ámbitos de medición del MEI: 16
B.3 Grado diferenciado de responsabilidad y de atribución 20
C. Principios orientadores del MEI 21
C.1 MEI integrado en la planificación 23
• Diseño incluido en el plan rector 23
• Proceso en 3 etapas 23
• Definición temprana de responsabilidades 23
C.2 Enfoque participativo 24
• Visión de los actores 24
• Uso de la información 24
• Interpretación desde diferentes miradas 26
C.3 Institucionalización 26
• Cultura institucional 26
• Gestión descentralizada de la información 28
• Desarrollo de capacidades 28
C.4 Dispositivo consistente y manejable 29
• Indicadores priorizados 29
• Sistema balanceado 29
• Articulación entre niveles 29
• Datos que permiten una buena aproximación 30
• Brecha de atribución 30
D. El Proceso del MEI en 6 pasos 31
D.1 Paso 1: Preparar las bases 34
• Identificar los actores con interés en la función del MEI 34
• Informar, sensibilizar y establecer primeros acuerdos 35
• Organizar espacio para el diseño 35
D.2 Paso 2 Identificar y priorizar indicadores 37
• Revisar la consistencia del marco lógico 37
• Formular indicadores de contexto 37
• Formular indicadores de impacto 40
• Formular indicadores de resultados 47
D.3 Paso 3 M&E de la gestión 51
• Aclaración 51
• Procedimiento 51
• Consejos 54
D.4 Paso 4 Desarrollo de instrumentos y organizaciónpara la implementación 55
• Aclaración preliminar 55
• Agrupar los indicadores por unidad de análisis 56
• Aclarar los indicadores 61
• Definir el método 61
• Diseñar instrumentos 66
• Organizar la implementación 71
D.5 Paso 5 Levantamiento y procesamiento de la informacion 72
• La función de la línea de base para establecer comparaciones 72
• Capacitación para el levantamiento de la información 73
• Procesamiento de los datos 75
D.6 Paso 6: Análisis, uso y comunicación de la información 74
• Análisis de la información generada 74
• Uso de la información para los actores clave 76
• La comunicación de la información 78
E. Aprendizajes desde la práctica del MEI 79
E.1 El MEI tiene que ser útil 81
E.2 Aportar a una nueva cultura 82
E.3 Determinar funciones y responsabilidades 83
Anexos 85
La iconografía utilizada al interior se muestra:
Aclaración
Procedimiento
Consejos
Ejemplos
3
Propósito del documentoEsta guía, en su versión 2008, busca aportar respuestas a las dificultades que encuentran lasinstituciones y programas al establecer mecanismos de monitoreo y evaluación (M&E). El aná-lisis de varias prácticas de monitoreo y evaluación muestran que el marco conceptual a menudocarece de claridad, que persisten dificultades metodológicas en la implementación y que la eva-luación se centra más en el desempeño que en el impacto.
No se trata, entonces, de proponer una metodología nueva y exclusiva, que se desmarca deotras y que alimenta el debate entre especialistas, sino de facilitar la puesta en práctica de unaevaluación de acciones de desarrollo que sea asequible, amigable y útil. El propósito es con-seguir que el M&E se vuelva una práctica institucionalizada de gestión estratégica y de calidadorientada al impacto y al aprendizaje. Se apuesta a un sistema autogestionado, no demasiadocomplejo, que acompañe la intervención desde el inicio y que sea de provecho.
¿Cómo nace la propuesta?Una propuesta inicial fue construida en el marco de la plataforma de gestión de conocimientosASOCAM a partir del estudio de las prácticas de M&E en 5 proyectos de cooperación al desa-rrollo en Latinoamérica. Esa guía, editada en 2004 en forma de “versión preliminar”, sirvió dereferencia para orientar el diseño y la práctica de M&E en el marco de 6 proyectos de Centro-américa y de la región andina, por parte de miembros de la plataforma ASOCAM.
En 2006 se realizó en Honduras un taller regional de validación y revisión de la guía (Zamorano,del 11 al 13 de julio) que reunió a 22 representantes de 16 instituciones y proyectos de Boli-via, Ecuador, Honduras, Nicaragua y Perú. Basándose en el análisis de experiencias de aplica-ción, el evento permitió recoger aprendizajes y recomendaciones que orientan esta nuevaedición.
¿A quién se dirige?Este documento está destinado principalmente a los técnicos de gobiernos locales, al perso-nal de entidades de promoción y ofertantes de servicios, a los equipos de proyectos de coo-peración nacional e internacional y, considerando un público más amplio, puede también servira líderes de organizaciones sociales y económicas.
4
¿Cuál es el valor agregado de la propuesta?La propuesta se caracteriza por el enfoque participativo y de empoderamiento y el principio in-tegrador entre Planificación y M&E. Tres aportes del taller de validación le agregan valor:
a) La presentación del sistema de monitoreo y evaluación en su proceso completo: partir dela identificación de indicadores, describir cómo registrar y procesar información, concluir conel análisis de los cambios observados, promover una cultura de aprendizaje autocrítico y re-troalimentar las estrategias de acción.
b) El fomento de la institucionalización del M&E y el fortalecimiento de las capacidades de lossocios y aliados de los proyectos apuntando a un sistema descentralizado y compartidoentre los actores del desarrollo y los proyectos de la cooperación.
c) La ejemplificación de los pasos a seguirse a partir de la presentación de tres casos de pro-yectos, correspondiendo cada uno a un eje temático distinto: “buena gobernabilidad local”,“gestión de recursos naturales” y “desarrollo económico local”.
¿Qué contiene?Primero se presenta la sistematización de prácticas de M&E (resultado del estudio de casos eje-cutado en el marco de ASOCAM entre 2002 y 2003 y del taller de validación de 2006). Seenuncian los principales problemas y desafíos del M&E.
En una segunda parte se aporta con aclaraciones conceptuales para definir los campos deM&E y precisar la terminología, por considerarse que varias dificultades en la implementacióndel M&E se deben a una confusión a nivel conceptual.
En la tercera parte se plantean principios orientadores para diseñar e implementar un sistemade M&E.
En la cuarta parte se desarrolla la propuesta metodológica con pautas para operativizar el ciclode M&E y se presentan casos de aplicación en tres proyectos con enfoque temático distinto.
Análisis que sustentala propuesta
Análisis que sustentala propuesta
A. ANÁLISIS
Análisis
A
7
En 2001-2002, en el marco de la plataforma re-gional ASOCAM se realizó un estudio sobre lasprácticas de M&E analizando el sistema de moni-toreo y evaluación y su capacidad de relevar im-pacto en 5 proyectos y programas de Bolivia,Ecuador y Perú1. El propósito del estudio era es-tablecer un diagnóstico de situación y, en funciónde las conclusiones, construir orientaciones prác-ticas de utilidad para los miembros de la plata-forma, que les permitan superar los principalesobstáculos identificados.
En 2006 se realizó en Honduras un taller regio-nal para validar estas orientaciones con los res-ponsables de M&E de instituciones y proyectosrelacionados a ASOCAM.
En adelante se presentan, como producto del es-tudio inicial y del taller de validación, los princi-pales desafíos que plantea la práctica el M&E deacciones de desarrollo, a los cuales intenta res-ponder la propuesta presentada en esta guía.
A.1 Débil aporte al aprendizaje y al pilotaje estratégico
En la práctica se observa que el M&E tiende aponer énfasis en el cumplimiento de metas e in-cursiona poco en el impacto, cuando sería dablelograr una relación más balanceada entre ambasdimensiones.
• Por lo general, persiste la tendencia a consi-derar que la planificación de los proyectos esmás operativa que estratégica. Se hacemayor hincapié en los resultados por lograr yen las líneas de acción por implementar sinun suficiente enunciado de los cambios rele-vantes que se pretende alcanzar a largoplazo en la sociedad y en la naturaleza. Esotiene implicaciones directas en el diseño delM&E, que está más orientado a monitorearavances del proyecto que su impacto y sos-tenibilidad.
• Por cierto, existe en la actualidad un mayorinterés entre entidades privadas y públicasasociadas en la ejecución de un programa dedesarrollo por evaluar el impacto de su tra-bajo conjunto. Sin embargo, no disponen deun método ni se dan el trabajo de revisar con-juntamente un cuerpo de indicadores de re-ferencia. Consideran además que el levan-tamiento de información sobre hitos de cam-bio y opinión de los actores es complejo yconsume mucho tiempo.
• Se da poco uso a la información proporcio-nada por el M&E para fines de análisis y re-flexión sobre los cambios alcanzados y lapertinencia de las estrategias de interven-ción. La razón es que el M&E está concebido,ante todo, para rendir cuentas sobre lo rea-lizado antes que para el pilotaje estratégico y
1 Informe del Estudio Regional "Evaluación de Impacto en Cinco Casos" (ASOCAM, de Rham – Camacho - Maître, 2001. Disponible enwww.asocam.org/index.shtml?x=5700 )
Análisis que sustenta la propuesta
8
la medición de impactos. A menudo se haceun gran esfuerzo por conseguir informaciónen detrimento de su análisis. Persiste la ten-dencia a medir muchos indicadores, lo queproduce un elevado volumen de datos y haceperder la posibilidad de reflexionar en torno alo esencial. Por último, la información pro-porcionada por el M&E no llega oportuna-mente como para poder retroalimentar la
planificación. Muchas veces el trabajo de lacooperación no considera los elementos con-dicionantes del entorno/contexto.
• Es poco frecuente el monitoreo sistemáticode los factores del entorno que tienen inci-dencia sobre el éxito del proyecto y que invi-tan a realizar ajustes en la estrategia deintervención.
A.2 Utilidad limitada para los actores asociados
En la actualidad los programas de desarrollopromovidos por las organizaciones sociales,los gobiernos municipales, la cooperación in-ternacional, etc., suelen tener un enfoque par-ticipativo. No obstante, este enfoque no seaplica con rigor en el tema del monitoreo y laevaluación.
• Son pocos los proyectos que recogen la opi-nión de los actores sobre los cambios espe-rados en aras de concertar indicadores deimpacto y de resultado. En la mayoría de loscasos los socios y aliados del proyecto notienen la posibilidad de aportar a la definicióne implementación de un sistema de M&E querecoja sus anhelos e hipótesis de impacto.
• Al momento de diseñar el M&E habitualmenteno se considera su sostenibilidad. No siem-pre se parte de la información que interesa alos propios actores y de las herramientas quepodrían manejar (por ejemplo, la aplicacióninformática de indicadores de gestión terri-torial en manos de las municipalidades rura-les), de modo tal que segmentos del M&Epuedan serles útiles para su gestión y, solodespués, se agreguen dimensiones que inte-resan a otros actores y al proyecto en suconjunto.
• Las autoridades comunales, las directivas deasociaciones de productores, los comitésgestores de microcuenca, las municipalida-
des rurales indudablemente aportan como in-formantes pero por lo general no son gesto-res de la información útil a ese nivel.
• Todavía constituyen una excepción los pro-gramas que muestran una práctica voluntariade devolución-comunicación amplia de losdatos proporcionados por el M&E, impul-sando por categoría de actores el análisis dela información y la elaboración participativade conclusiones acerca de posibles ajustesy mejoras en las estrategias de intervención.
• Algunos miembros de la plataforma ASOCAMhan realizado avances significativos para aso-ciar a los actores en la práctica de M&Econ un enfoque de empoderamiento, queconstituyen pistas a ser valoradas.Por ejemplo, el levantamiento de hipótesiscampesina de impacto e implementación desistemas locales de monitoreo de impactohecho por ATICA (Bolivia)2, la evaluación re-cíproca de innovación agropecuaria entreasociaciones pares de agricultores reali-zada por PASOLAC (Centroamérica)3, el for-talecimiento de capacidades de M&E enasociaciones de municipios rurales impul-sado por APODER (Perú). Constituyen bue-nas prácticas que dan indicios para avanzaren la implementación de sistemas de M&Eque proporcionen información útil a los ac-tores para su gestión y se basen en herra-mientas que se institucionalicen a su nivel.
2 Hipótesis de Impacto Campesinas, Nota conceptual No 2, ATICA, mayo 2002. Disponible en www.asocam.org/index.shtml?x=8270
3 Evaluación Participativa por Productores – EPP. Guía Metodológica para la evaluación del efecto e impacto del desarrollo tecnológico, PASOLAC,Centroamérica, 2001. Disponible en www.asocam.org/index.shtml?x=6640
Análisis
A
9
A.3 Complejo y no siempre con el suficiente rigor
Se visibilizan avances de los equipos de proyectoen relación al diseño de sistemas de M&E pero va-rios de ellos enfrentan dificultades al momento deimplementarlo. No se logra aplicarlo de manerasatisfactoria y oportuna.
• Por ser considerado como necesario pero“adicional”, es común que el M&E de los pro-yectos se implemente varios meses despuésdel arranque operativo. Lo preocupante esque la línea de base no está bien asentada yen ciertos casos no existe el registro de losdatos de partida, lo que va a fragilizar a fu-turo todo el sistema de M&E.
• Se observa la tendencia a medir muchas va-riables sin dimensionar previamente los es-fuerzos necesarios para llevar a cabo elproceso de levantamiento, procesamiento yconsolidación. La reticencia a priorizar cuálesson los parámetros más relevantes en canti-
dad manejable, ha llevado, por ejemplo, a laAgencia Suiza para el desarrollo y la coopera-ción (COSUDE) a recomendar, para sus pro-yectos en Latinoamérica, que se reduzca a unmáximo de 204 el número de indicadores co-rrespondientes a la jerarquía “resultados-obje-tivo-finalidad”. ¡Más valen unos pocos indi-cadores pertinentes y documentados que va-rios no susceptibles de medirse en formacontinua!
• El M&E tiende a utilizar métodos de investi-gación de índole académica en lugar de estarconcebido como instrumento de gestión. Seaplican métodos exigentes bajo el supuestode que la información tendrá un mayor gradode objetividad y exactitud. Eso conlleva elriesgo de establecer un M&E complejo y cos-toso que descarta aproximaciones, rechazalo cualitativo y dificulta su apropiación.
4 Nota de la División Latinoamérica, COSUDE, 2007.
Análisis que sustenta la propuesta
10
• Los proyectos que operan en diferentes te-rritorios encuentran dificultad en la agrega-ción de datos para un mismo indicadordebido a la falta de precisión sobre la unidadde medida. A título de ejemplo, para medir elincremento del ingreso de la unidad de pro-ducción familiar, en una zona se recogendatos del sistema productivo en el año ca-lendario cuando, en otra, se los recolecta porcampaña agrícola. Estos datos no se puedenagregar ni comparar. La falta de rigor en larecolección (preguntas ambiguas, prejuiciosde el/la entrevistador/a, formato inadecuadode registro por no haber estado validado pre-
viamente, etc.) impide garantizar datos pri-marios precisos y dificulta la labor de conso-lidación.
• La nueva generación de proyectos contem-pla indicadores relacionados con el desarro-llo humano e institucional y no se limita, comosucedía en el pasado, a aspectos físicos yeconómicos. Sin embargo, muchas veces losindicadores carecen de desagregación porcategoría de actores (según género, genera-ción, estratificación social, origen etnolin-güístico) ni enfocan hitos de cambio decomportamiento y relación de poder entreactores del desarrollo.
Aclaraciónen torno a M&E
Aclaraciónen torno a M&E
B. ACLARACIÓN
B
Aclaración
Aclaración
13
B.1 El Monitoreo y Evaluación en el ciclo de gestión delproyecto
Un programa o proyecto tiene un ciclo de gestión que contempla etapas interdependientes, queinteractúan entre sí en un proceso iteractivo de planificación-ejecución y retroalimentación.
PlanificaciónDiagnóstico
Integrado enla planificación
estratégica
EstrategiaPlanif.
POAProg.
Monitoreo y evaluación
Implementación
Gráfico No. 1: El MEI en el ciclo de gestión del proyecto
Planif. = Planificación estratégicaPOA = Plan Operativo AnualProg. = Programación del trabajo
Estas etapas son:
• El Diagnóstico. En esta etapa se analiza loque está sucediendo y se prevé lo quepuede ocurrir a partir de signos y eviden-cias. Se estudia el carácter y la tendencia
de fenómenos relevantes de la realidad, en-focando una temática y/o un territorio parallegar a conclusiones sustentadas en infor-mación cuantitativa y cualitativa. En el casode una acción de desarrollo, el diagnósticoinicial permite:
Aclaración en torno a M&E
- Analizar la situación y las tendencias deevolución de una zona sociogeográfica(enfoque territorial) y/o de un sector deacción (enfoque temático).
- Tomar en cuenta el conjunto de los acto-res involucrados y analizar los roles, mo-tivaciones y relaciones.
- Identificar y jerarquizar problemas, nece-sidades y potencialidades.
- Vislumbrar los cambios que se pretendealcanzar y generar bases de una posibleestrategia de intervención.
• La Planificación, etapa en la cual
- se definen los objetivos y su jerarquía enfunción de una visión;
- se establece el conjunto de acciones a lle-var a cabo y las responsabilidades co-rrespondientes;
- se identifican los supuestos externos;
- se estiman las capacidades humanas einstitucionales requeridas y los recursosfinancieros y materiales necesarios; y,
- se fijan plazos.
Incluye la planificación estratégica, la planificaciónoperativa y la programación del trabajo.
• La Implementación. En esta etapa los dife-rentes actores asociados llevan a la prácticael conjunto de acciones planificadasmovilizando de manera oportuna los recursosnecesarios con el fin de lograr los resultadosesperados
• El Monitoreo y Evaluación es el procesoque contempla el levantamiento y registro deinformación relevante y el análisis de la
misma para valorar los resultados y el im-pacto en función de la evolución del contextocon el fin de retroalimentar la orientación yplanificación de la acción.
Monitorear
Es observar. El monitoreo se refiere a la actividadde recolección y de gestión de datos en torno a loque se ejecuta y a lo que está ocurriendo. Los ac-tores locales, las instituciones socias y el equipoejecutor proporcionan información descriptiva yexplicativa. El monitoreo requiere de mecanismose instrumentos para recoger, compilar, sintetizar yalmacenar esta información de modo tal que re-sulte accesible.
Evaluar
Es interpretar y juzgar. La evaluación es una ac-tividad periódica de análisis y valoración. Implicaun proceso de apreciación crítica a partir de lainformación proporcionada por el monitoreo.
Establece relaciones entre lo que está ocu-rriendo, las causas y sus posibles consecuen-cias. Juzga la estrategia de acción y deorganización, formulando apreciaciones con elobjeto de responder a preguntas específicas ysuministrar lecciones aprendidas.
Posibilita la toma de decisiones y el mejora-miento de la planeación futura.
Se evalúa la buena gestión del programa de ac-ción y su contribución a cambios significativos.En el marco de una acción de desarrollo, se eva-lúa primero la capacidad de ejecución y lo reali-zado para luego poner énfasis en la valoraciónde los cambios inducidos en la realidad social,institucional, física, económica, política, etc.
14
B
Acl
arac
ión
Acl
arac
ión
15
Seguimiento
Con el afán de reducir la propuesta de esta guía a loesencial, no se hace uso del concepto de “segui-miento”, que describe el examen periódico de lagestión de un programa. El seguimiento es la valo-
ración del avance en relación a lo previsto y el aná-lisis del manejo del programa. Conduce a reflexio-nar sobre la estrategia operativa a nivel de cadaresultado. Está incluido en este documento en lo quellamamos “Monitoreo y Evaluación de la gestión”.
B.2 El Monitoreo y Evaluación orientados alimpacto (MEI)
Toda vez que la finalidad de los proyectos dedesarrollo es la inducción de cambios signifi-cativos y sostenibles llamados impacto, susresponsables tienen por mandato aportar coninformación sobre lo que está efectivamente su-cediendo en la realidad. Esta información deberesponder a un criterio de objetividad y por lotanto basarse en evidencias que sean aprecia-das de la misma manera, independientementede quien las observa. (Véase en el Anexo No 1:Terminología relacionada al MEI).
• Objetivo del Monitoreo yEvaluación orientados alImpacto (MEI)
Es disponer de un sistema de recolección y deanálisis de información que aporta a la direcciónde un programa o proyecto de desarrollo. Per-mite:
• retroalimentar y guiar la estrategia general deacción con el propósito de conseguir el má-ximo impacto acerca del objetivo central y dela visión de desarrollo;
• aportar con información útil y accesible paralos actores involucrados;
• crear un entorno de aprendizaje y de con-fianza que estimule la reflexión crítica y laspropuestas de mejora por parte de todos losactores involucrados;
• asegurar el funcionamiento eficaz y eficientede la operación verificando el cumplimentode los planes de acción acordados.
• Utilidad del MEIEl monitoreo y evaluación son parte de la ges-tión de información y de conocimiento al serviciode los diferentes actores asociados en una ac-ción de desarrollo.
Permiten que las distintas categorías de actoressociales e institucionales y las instancias de con-certación y de dirección de una operación ten-gan, a sus diferentes niveles, un acceso fácil adatos relevantes. La información generada escompartida con regularidad entre los actores in-teresados.
Los reportes de monitoreo y evaluación presen-tan datos y evidencias sobre los progresos y lasdificultades, recogen el punto de vista y la inter-pretación de los diferentes grupos de actores yplantean posibles adaptaciones y mejoras encuanto a la estrategia de acción y a las modali-dades de cooperación.
El monitoreo y la evaluación invitan a tener encuenta las diferencias y desigualdades sociales ya evaluar cómo se van reduciendo. En sociedadesmarcadas por la estratificación socioeconómica yla exclusión sociopolítica, el MEI de un programade desarrollo debe permitir la evaluación y la re-flexión acerca de cómo la acción contribuye al cie-rre de las brechas y al empoderamiento de losactores más desfavorecidos.
Permiten identificar temas específicos que re-quieren de un análisis más profundo. El propioMEI pone en evidencia un tema particular sobreel cual se considera necesario realizar un estudiocomplementario para entender mejor lo que estáocurriendo y plantear propuestas de acción.
Aclaración en torno a M&E
16
• Los ámbitos demedición del MEI
El monitoreo y la evaluación de acciones orien-tadas al impacto (MEI) se realizan en torno a cua-tro ámbitos: ámbito del contexto y 3 ámbitos anivel operativo (la gestión, los resultados logra-dos y el impacto generado).
a) M&E del contexto: cada acción de desarrolloestá sometida a la influencia directa de factoresque no controla y que deben ser monitoreadospara poder relativizar lo que se está logrando.
b) Tres ámbitos operativos conforme a la jerar-quía de planificación:
- M&E de gestión: las actividades ejecuta-das, con qué recursos y bajo qué modali-dad de organización y movilización detalentos humanos.
- M&E de resultados: los resultados que sevan logrando.
- M&E de impacto: los cambios que se al-canzan y que se van sosteniendo en eltiempo.
M&EDE IMPACTO (*)
M&EDE RESULTADOS
M&EDE GESTIÓN
Impacto en el tiempo(se aporta con datos p. ej. en cuantoreducción de pobreza, desarrollo equitativo, etc.)
Efectos directos de la acción del programa (se aporta con datos que evidencian cambios relacionados al objetivoprincipal)
Resultados logrados por el programa(se aporta con datos de resultados alcanzados)
Metas alcanzadas(se verifica el cumplimiento de las metasdeclaradas por cada actividad)
Gestión de los recursos humanos, financieros y materiales(se aprecia el buen manejo de los recursos de una operación)
FINALIDAD(objetivo superior)
OBJETIVO PRINCIPAL(Propósito / Objetivode fase (+ ev. Objetivos Específicos)
RESULTADOS
ACTIVIDADES
M&E DEL CONTEXTOen el cual está insertado el programa
Gráfico No. 2: Los 4 ámbitos de medición del MEI
(*) los “efectos” e “impactos” conforman una cadena de cambios (positivos y negativos) que se deducen de los resultados que se van logrando. Con elfin de simplificar el método y la terminología, la propuesta ASOCAM no diferencia entre “efecto”, “impacto inicial” e “impacto”, como lo hacen otrasguías, y considera llamar a este conjunto de consecuencias como “los impactos” de un programa. La distinción en la formulación de indicadores deefecto y de impacto puede ser bastante sutil y la experiencia enseña que, más que aportar, confunde a los equipos operativos e impide que el M&Esalga del dominio de los especialistas en metodología y que se apropien de él los actores del desarrollo.
17
Partiendo de estos cuatro ámbitos de medición,se plantea lograr un balance entre el monitoreodel contexto, el monitoreo de la gestión, el mo-nitoreo de los resultados y el monitoreo del im-pacto, no obstante poniendo énfasis en estosdos últimos. Una acción de desarrollo tiene,pues, la responsabilidad social de aportar evi-dencias de la consecución de resultados y detransformaciones duraderas en los actores, enlas instituciones, en el ambiente, en la economía,en la gestión pública, etc., de acuerdo a su pro-pósito central.
• M&E de parámetros delcontexto
Cada programa de acción se inserta en un con-texto específico que va evolucionando y quetiene incidencia sobre el quehacer, los resulta-dos por alcanzar y el impacto deseado. Las es-trategias operativas están seleccionadas enfunción de las particularidades del contexto.
Al establecer el estudio de base y la planeaciónde un programa, usualmente se identifican opor-tunidades y riesgos en el entorno así como su-puestos que condicionan el alcance de losobjetivos. Esta información sirve de referenciapara priorizar los indicadores de contexto quese van a monitorear periódicamente.
• Oportunidades y riesgos: conformación deuna asociación de municipalidades rurales,declaración de interés del gobierno regionalpara el manejo de una cuenca, como ejem-plos de oportunidad a ser monitoreada; poli-tización de espacios de concertación,modificación del régimen pluviométrico, giroen la política nacional sectorial, aumento dela tasa de interés crediticio, como ejemplosde riesgos. La etapa de diagnóstico (véaseacápite B.1) permite identificar factores clavede la realidad que merecen estar monitorea-dos ya que crean condiciones favorables o li-mitantes para la ejecución del plan de acción.
• Supuestos: por ejemplo marco legislativo,proceso de reforma institucional, oportunidadde mercado, transferencia de recursos a go-biernos locales. El marco lógico de planifica-ción (ML), que se presenta en forma de unesquema sinóptico, incluye una columna de“supuestos”. Se recomienda considerar esta
lista de supuestos al momento de seleccio-nar los indicadores de contexto que van a sermonitoreados.
El M&E del contexto es hacer uso de algu-nos pocos indicadores relevantes que cons-tituyen las condiciones marco en las cualesse realiza la operación.
Se trata de recolectar la información y de facili-tar la validación participativa de las tendenciasobservadas. Se recomienda hacer uso de infor-mación de fuentes secundarias (estadísticas gu-bernamentales, importaciones aduaneras, datosde estaciones meteorológicas, flujos de transfe-rencia monetaria realizados por agencias finan-cieras, registro civil, etc.)
Este análisis de algunos factores relevantes delcontexto permitirá valorar mejor los cambios lo-grados (a nivel de los resultados y del impacto)relativizándolos a la luz de las tendencias de evo-lución del entorno.
• M&E de la gestiónUn proyecto de desarrollo tiene que rendir cuentasobre lo que ha ejecutado durante un periodo de-terminado. Es decir, se verifica que las accionesprevistas se han realizado conforme a las metaspreestablecidas, con la calidad esperada y con losrecursos asignados. Este ámbito del M&E es lla-mado de gestión.
Eficacia
En primer lugar, se mide la eficacia de una opera-ción, o sea el cumplimiento de las actividades pro-gramadas y de las tareas correspondientes(actividades ejecutadas en relación a aquellas pro-gramadas). Se analizan las razones de las dificul-tades encontradas. Se identifican eventualesefectos indeseables de las actividades ejecutadasaveriguando cómo reducirlos.
Esto conduce a reflexionar si las actividades enejecución son las más adecuadas para la con-secución de los resultados esperados.
Eficiencia
Por otra parte, el M&E de gestión permite apre-ciar la “productividad”, o sea la eficiencia del tra-bajo y de la forma de organizarse.
18
Se analizan los aportes de los actores y del per-sonal involucrado, las formas de organización(por ejemplo el beneficio de la ejecución directa,del trabajo en alianza y/o de la tercerización), laasignación de los materiales y de los recursos fi-nancieros. Se establecen los costos efectivospor actividad principal para ver cómo se com-ponen, si son aceptables y sostenibles en eltiempo y cómo se podría reducirlos. La identifi-cación de los logros y dificultades sirve paraaprender a trabajar y organizarse de mejor ma-nera e introducir rectificaciones en el funciona-miento de la operación.
Gestión de los talentos humanos
La buena gestión no se limita a ejecutar al menorcosto un conjunto de actividades sino que tomaen cuenta y evalúa la situación humana y organi-zacional. El desarrollo personal, el clima organi-zacional y las relaciones entre socios y aliadosconstituyen factores fundamentales para la con-secución de los resultados, que deben ser ob-jeto de un monitoreo periódico y de evaluación.
El levantamiento de datos del M&E de gestión ysu interpretación se realiza normalmente enforma semestral.
• M&E de logro de resultadosCada grupo o línea de actividades debe permitiralcanzar un resultado: un producto directo de laacción que se puede medir.
El logro de los diferentes resultados esperadostiene que ser monitoreado y evaluado a partir deindicadores previamente identificados y calibra-dos (situación de partida y meta final). Algunosindicadores de resultados suelen requerir de unalínea base en razón de la acción de otras insti-tuciones o de la acción del mismo proyecto enuna fase anterior.
La evaluación de los resultados alcanzados y elanálisis de los factores que explican los logrospositivos y negativos conducen a ajustar, o si ne-cesario modificar, la estrategia operativa espe-cífica a nivel de cada resultado.
El levantamiento de los datos por indicadores deresultados y su interpretación normalmente seejecutan con una frecuencia anual.
• M&E del impacto5
Un programa bien administrado no implica porsí mismo que los esfuerzos generen o fortalez-can cambios significativos y duraderos que guar-den relación directa con la jerarquía de losobjetivos planteados: finalidad, objetivo principal(y objetivos específicos cuando hayan sido for-mulados). ¡El buen cumplimiento de actividadesy el compromiso social y profesional a nivel indi-vidual e institucional no garantizan de por sí ellogro de un impacto sostenible!
La buena gestión y la consecución de resultadosson importantes y necesarios pero, además, hayque demostrar que los bienes y servicios desa-rrollados inducen cambios significativos ysostenibles.
A manera de ejemplo, un programa de capaci-tación puede haber tenido éxito (porcentaje altode participantes que han asistido al programa ensu totalidad, porcentaje significativo de éxito enlas pruebas intermedias y finales, evaluación po-sitiva por parte de los participantes, del personaldocente, etc.) pero eso no supone necesaria-mente una transformación en la actitud y en lapráctica de los participantes, una vez que re-gresan a su lugar de residencia y de trabajo: ¿Lo-gran poner en práctica lo aprendido en sucontexto específico? ¿Aplican nuevos enfoques?¿Han cambiado de actitud en su relación conotros actores?
Un proyecto de apoyo a procesos de desarrollodebe aportar evidencias de transformaciones enlos campos económico y/o de comportamiento yrelacionamiento humano y social, y/o de desarro-llo institucional, y/o de la situación ambiental, deacuerdo al objetivo principal que persigue.Volver explícitos los impactos de una acción dedesarrollo tiene dos fines:
• Guiar, en el momento propicio, la estrategiageneral del programa para que sea más po-
5 En la primera versión de esta guía se había utilizado la expresión “Monitoreo y Valoración de impacto” para enfatizar que en la realidad es difícil medirel impacto y que se trata más bien de apreciar las tendencias de los cambios que se van produciendo (señales de progreso). (Véase CDE, 2002).
B
Acl
arac
ión
Acl
arac
ión
finalidad. La valoración participativa del im-pacto sirve para juzgar periódicamente la in-tervención y, cuando sea necesario, paraajustarla o reorientarla.
• Responder a la inquietud de información quetienen los actores y los gobiernos (a nivellocal, regional y nacional) que son partícipesde la acción y de las entidades nacionales yde cooperación internacional respecto de loscambios que se van generando con sus re-cursos y su apoyo político.
En la práctica, las y los representantes de losactores locales (comunidad campesina, juntade agua, empresa asociativa, etc.), de los go-biernos municipales, de las entidades de ser-vicio y de los entes de promoción se van
reuniendo, semestral o anualmente, para ana-lizar los cambios generados y consolidados, yverificar que cumplen con las “hipótesis e indi-cadores de impacto”.
Una gran parte de los indicadores de impactorequieren que se establezca una línea base(LB), o sea que se mida el valor en el punto departida.
Esta información es clave para disponer de unreferente en función del cual se podrá apreciarel cambio a futuro. La frecuencia del levanta-miento de los datos de los indicadores de im-pacto puede variar de un indicador al otro, deacuerdo al periodo requerido para que sepueda observar efectivamente un cambio(cada año, cada 2 años o al final de la fase).
19
Aclaración en torno a M&E
20
B.3 Grado diferenciado de responsabilidad y deatribución
La responsabilidad de un programa en la ejecu-ción y consecución de cambios se reduce a me-dida que se va subiendo de nivel: de lasactividades a la finalidad (véase el gráfico No 3).De la misma manera, un programa puede atri-buirse el mérito de la buena ejecución de activi-dades pero debe admitir que el logro de
resultados y, sobre todo, de impactos puedeestar parcialmente influenciado por condicionesexternas.
A nivel de los impactos, el aporte del programatiene que estar relativizado razonablemente to-mando en cuenta otras intervenciones y las ten-dencias del entorno.
No se puede negar la relativa resistencia al M&Ede los equipos y gerentes de proyectos de desa-rrollo. Son varias las razones. Una es la débil in-tegración práctica del M&E con los ejercicios deplanificación, lo que reduce significativamente suutilidad. Otra es la tendencia a complejizar losmétodos, lo que induce a confiar el trabajo a es-pecialistas externos en lugar de institucionalizarla función.
Una razón adicional tiene que ver con la ausenciade claridad en cuanto a la responsabilidad de losgerentes de proyectos de desarrollo. Suelen pen-sar que si impulsan la implementación del M&E se
les va a responsabilizar por el alcance de los cam-bios, ocurridos o no, aun cuando saben que mu-chos procesos pueden fácilmente verseentorpecidos por factores externos. Cabe recal-car entonces que la responsabilidad del o de la ge-rente es garantizar la producción de informaciónrelevante, de analizarla y plantear oportunamentepropuestas de ajustes estratégicos pero que ellogro o no de los impactos no es de su responsa-bilidad. A la hora de introducir y entregar el man-dato a un/a director/a de proyecto, serecomienda discutir sobre el tema haciendo lasaclaraciones necesarias.
JERARQUÍA RESPONSABILIDAD DEL PROGRAMA GRADO DE ATRIBUCIÓNY CONTROL
FINALIDAD
OBJETIVO PRINCIPAL+ ev. Objetivos específicos
RESULTADOS
ACTIVIDADES
Aporta unacontribución
Bajo suresponsabilidad directa
Bajo suresponsabilidad directa
Bajo suresponsabilidad perorazonablemente
_
+
Gráfico No. 3: Campos de responsabilidad y de control en un programa
Principiosorientadores del MEI
Principiosorientadores del MEI
C. PRINCIPIOS
Principios
C
23
C.1 MEI integrado en la planificación
• Diseño incluido en el planrector
• El proceso de elaboración del plan rector (oplan de fase) debe incluir de manera simultá-nea el diseño del dispositivo de MEI. La vin-culación directa entre Planificación yMonitoreo-Evaluación evita que el MEI sedesarrolle como un sistema autónomo, des-conectado del ciclo general de gestión delproyecto.
• Se recomienda establecer un solo sistemaque integre de modo lógico el MEI a la plani-ficación. Se habla a menudo del sistemaPMER, que encadena:
planificación ⇒ ejecución y monitoreo ⇒evaluación ⇒ reporte ⇒ y retroalimenta-ción a la planificación.
• Diseñar el MEI lleva a controlar la consistenciadel Marco Lógico (ML) y a verificar que el al-cance de los objetivos sea mensurable me-diante indicadores relativamente simples. Esteproceso conduce frecuentemente a consen-suar ciertos ajustes en la formulación de losmismos objetivos y resultados en un taller.
• Implica, concretamente, incluir el diseño delMEI en el proceso de formulación-planifica-ción del proyecto y dedicar uno a dos díasdel taller de planificación de fase a las si-guientes actividades:
a) revisión de la consistencia del marcológico.
b) diseño de los fundamentos del MEI a par-tir de la formulación de indicadores de
contexto, de hipótesis e indicadores deimpacto, de indicadores por cada resul-tado; y precisión sobre el monitoreo-eva-luación de gestión.
c) Preparación y acuerdos sobre la operati-vización.
• Proceso en 3 etapasEL MEI debe ser visto como un aporte a una ges-tión adaptativa que es retroalimentada en tiempooportuno desde evidencias y datos de cambio yde resultado. El MEI consta de tresetapas:
1. Diseño y preparación de la operatividad delMEI.
2. Levantamiento y procesamiento de lainformación.
3. Análisis, interpretación y difusión de lainformación.
El proceso de Monitoreo y Evaluación requiereestar inserto, en sus aspectos operativos,como un componente de los planes y los re-portes del proyecto: plan de actividades, defi-nición de responsabilidades, asignación derecursos, plazos, etc.
• Definición temprana deresponsabilidades
• Durante el proceso de planificación, invitar alos participantes a reflexionar sobre la vincu-lación entre planificación y monitoreo-evalua-ción para:
Principios orientadores del MEI
24
a) Definir pautas y afianzar compromisos queayuden a precisar las necesidades de infor-mación a cada nivel operativo y visualizar losflujos de información. Esto evidencia la impor-tancia de la función de facilitación y de coordi-nación del MEI en su conjunto y del perfil de lapersona o del grupo que las va a asumir, que-dando sobreentendido que la ejecución delmonitoreo está por institucionalizarse en todaslas unidades de ejecución;
b) Asignar recursos realistas para el funciona-miento del MEI. Se refiere a los talentos yrecursos a movilizarse para trazar la líneabase, para levantar y procesar periódica-mente datos, para comunicar información,etc. Permite presupuestar en forma realistalos recursos para capacitar a las personasque van a gestionar información a los dife-rentes niveles y para realizar estudios com-plementarios de casos.
• Visión de los actores• Realizar el MEI con un enfoque participativo
lleva no solamente a la responsabilización delos actores en la recolección y uso de informa-ción sino a la definición conjunta de los indica-dores de resultado e impacto que les interesan.
• Partiendo del principio que el plan operativo delproyecto se construye de manera participativay se va agregando de abajo hacia arriba, sedebe abrir una discusión, en el taller de conso-lidación de la planificación, entre los represen-tantes de las diferentes categorías de actores,para acordar las principales hipótesis de im-pacto y los indicadores correspondientes.
• Es necesario prever un espacio para que losparticipantes puedan contestar a preguntastales como:- ¿cuáles son los sueños de cambio que
nos motivan a emprender el proyecto quese está formulando?
- ¿qué mejora y cambio a nivel personal y/oinstitucional, y/o territorial y/o ambiental es-peramos que aporten las acciones?
• Cabe mencionar, sin embargo, que en el casode un proyecto que recién está en fase dearranque, al propio equipo técnico no le quedaotra opción que elaborar una propuesta preli-minar de indicadores para los cuales se le-vantará la línea base. En tal situación, se vuelveimportante que las hipótesis y los indicadorespreliminares de impacto sean luego presenta-dos y discutidos a fin de validarlos y comple-mentarlos. Este proceso requiere de flexi-bilidad para aportar los ajustes necesarios a
la lista y a la formulación de los indicadores ini-cialmente seleccionados.
• Uso de la información• La gestión de información útil sobre hitos de
cambio, resultados logrados, cumplimiento demetas y gastos realizados contribuye a una cul-tura general de aprendizaje (controlar, analizar,juzgar, proponer, corregir), que fortalece lascapacidades de gestión de los actores.
Bajo un enfoque participativo el MEI contri-buye al desarrollo de capacidades para eva-luar y decidir sobre la base de datosobjetivos. En algunos casos la informacióncorroborará suposiciones y en otros, por elcontrario, podrá evidenciar una situación dis-tinta de la que se presumía.
• El MEI debe estar considerado como un aportea la estrategia de empoderamiento. Tiene ca-rácter formativo ya que en la práctica desarro-lla mayor capacidad de observación, dediscusión y reflexión sobre la base de datos yhechos, de control de calidad y de eficiencia.¿No está justificada en parte la inversión entiempo y dinero que requiere el MEI por ser uncomponente del desarrollo de capacidades queva a permitir a los actores locales orientar ycontrolar mejor sus acciones de desarrollo?
• La gestión de una información fidedigna y re-levante sobre un tema de especialización per-mite a un grupo social o económico, a unamunicipalidad, a un centro de servicio, ser re-conocido como centro de referencia y ganarprotagonismo. ¡Disponer de información ge-nera poder de negociación!
C.2 Enfoque participativo
Principios
C
25
Por lo tanto, es importante vincular la infor-mación generada en el marco del MEI al inte-rés de cada categoría de actor para que lainformación relevante sea gestionada a su
nivel, como lo ilustra el ejemplo de la Asocia-ción Nacional de Apicultores en Honduras(véase el recuadro).
La Asociación Nacional deApicultores de Honduras
ANAPIH es una organización de apicultores que brinda servicios empresariales y productivospara impulsar el desarrollo de la apicultura en Honduras de manera competitiva, promoviendola comercialización, la investigación y la transferencia de tecnología.
ANAPIH con el apoyo del Programa Agropyme (COSUDE-SWISSCONTACT) implementóun sistema de monitoreo y evaluación que refleje cambios en los principales indicadoresproductivos y socioeconómicos.
Los indicadores del M&E son de tipo productivo (Por ejemplo, rendimiento, cantidad decolmenas, aspectos técnicos del sistema de producción, etc.) y de tipo socioeconómico (porejemplo, empleo e ingreso, acceso a agua, a crédito, etc.).
A partir de la implementación del monitoreo por los miembros del ANAPIH nace la idea y elinterés de desarrollar un Sistema de Información Apícola (SIA) de envergadura nacional quepermita:
• Conocer mejor el sector apícola y su evolución
• Orientar las decisiones estratégicas del ANAPIH.
• Proveer al país de una información fidedigna sobre el sector (producción por región,precios, problemas fitosanitarios, exportación, importación, etc.).
La implementación del SIA, a partir de la experiencia del M&E, ha permitido a la ANAPIHconvertirse en el referente a nivel nacional sobre el tema. La dinámica de funcionamiento delSIA es la siguiente:
Los retos del SIA en la actualidad son crear y desarrollar los medios para que la informaciónfluya de forma expedita y crear sistemas autosostenibles de generación y divulgación deinformación.
ANAPIH
Provee información
Solicita y evalua
Identificación de necesidadBusca y colecta la informaciónProcesa información
ApicultoresUniver./EstudiantesCooperaciónGobiernoEmpresarios
CLIENTES
Ejemplo
Principios orientadores del MEI
• Interpretación desdediferentes miradas
El análisis de la información y su interpretaciónque hacen los representantes de los diferentesactores involucrados contribuyen a una visiónplural sobre el contexto, la apreciación de losavances y de las dificultades. La práctica nosenseña que una misma información puede ser in-
terpretada de diferente manera según el actorque la analiza. Los actores sociales, políticos yeconómicos aportan con sus conocimientos ypercepciones. Concertar puntos de vista y apre-ciaciones crea una base sólida para luego aco-modar la estrategia de intervención. Ayudaindudablemente al proceso de apropiación, porparte de los actores, de las acciones realizadasen cooperación.
C.3 Institucionalización• Cultura institucionalEl monitoreo y la evaluación tienen que institu-cionalizarse en las entidades socias y aliadas demanera que asuman sistemáticamente prácticasde MEI como parte de su política organizacional.Para promover la institucionalización es impor-tante que los sistemas de planificación y moni-toreo cuenten con voluntad política y arreglosorganizacionales (definición de funciones y res-ponsabilidades fijación de procedimientos e ins-trumentos, asignación de tiempo y recursosfinancieros, aplicación de control interno).
La participación en el MEI no se limita a ver a losactores como proveedores de información, ni ainvolucrarlos o consultarlos esporádicamente,sino que aspira a que se incorporen en la tomade decisiones, volviéndose corresponsables delas acciones de desarrollo, con deberes yderechos.
Se entiende que todo sistema de MEI institucio-nalizado debe contar con al menos cuatro ele-mentos:
a) un dispositivo definido con repartición de res-ponsabilidades;
b) la producción periódica de información de ca-lidad y su difusión al nivel adecuado;
c) prácticas de interpretación y de comunica-ción de información;
d) la retroalimentación a los sistemas de planifi-cación y evaluación de las entidades socias.
Sin embargo, en lo concreto vale la pena pre-guntarse en qué medida se han institucionalizadolas prácticas de MEI en la cultura de una institu-ción. A continuación se presentan algunos crite-rios para definir el nivel de institucionalización enel que se encuentra:
26
Principios
C
27
Nivel Características
AVANZADO
• Existe un/a responsable del MEI en el equipo de proyecto quien es coordinador/a,facilitador/a y asesora a los responsables del MEI en las instituciones socias; trabajaen equipo, está entrenado/a con competencias y roles claros.
• El MEI es conocido y asumido por las diferentes instituciones; hay mandatosespecíficos, tiempos acordados, flujos de información claros, funciones delegadas ypresupuesto.
• Los instrumentos, planes y productos del MEI son elaborados con los actores clave,son útiles y sencillos, están incorporados en los diferentes niveles en el proceso degestión y toma de decisiones.
• Se aplica una estrategia de difusión y uso de los productos para retroalimentar laplanificación y las estrategias, y existen espacios institucionalizados para la toma dedecisiones, considerando el aprendizaje social.
• Los sistemas de MEI están articulados a la institucionalidad local, por eje, a nivel degobiernos locales, mesas interinstitucionales, asociaciones de productores, entre otros.
MEDIO
• El/la responsable del MEI del equipo de proyecto es facilitador/a de procesosllevados a cabo por las instituciones socias; existe asignación de recursos ypresupuesto, y el sistema organizacional promueve un trabajo en equipo.
• El MEI cuenta con instrumentos estandarizados que son manejados a diferentesniveles.
• Se observan un conjunto de productos del MEI y se emiten informes internos yexternos.
• Hay espacios para la difusión de la información y la retroalimentación, la informaciónes accesible y útil para la planificación.
BAJO
• Se cuenta con arreglos organizacionales básicos entre las instituciones relacionadasa un proyecto.
• Existe un/a responsable de MEI en el equipo del proyecto con asignación en lamayoría de casos parcial del tema, con un enlace en cada institución asociada,disponibilidad de recursos y de conocimientos básicos sobre el MEI.
• El equipo del proyecto y las entidades socias se desentienden de susresponsabilidades en el tema.
• Se cuenta con un dispositivo de MEI aprobado, que guía la implementación.
• La implementación del MEI se realiza con liderazgo del/la responsable de MEI y delos enlaces; los actores son proveedores de información.
• Existe una base de datos y se emiten reportes.
• La gerencia centraliza la retroalimentación.
Fuente: Adaptado de Rotondo, E. (2007)6.
6 Rotondo, E. “Lecciones aprendidas en el desarrollo de la capacidad evaluativa para la lucha contra la pobreza rural de un programa regional”. IIConferencia RELAC, Bogotá, 17-21 de julio 2007.
Tabla No. 1: Niveles de Institucionalización de MEI
Principios orientadores del MEI
• Gestión descentralizada dela información
Al promover sistemas descentralizados de ges-tión y uso de la información se pone en valor laexperiencia y los conocimientos de los actoresy se refuerza su función de control y de vee-duría.
La gestión descentralizada de las prácticas dePMEI es un proceso que demanda tiempo. Losactores deben estar involucrados desde susroles específicos en todas las etapas: diseño,implementación y uso de la información. Sinembargo, eso constituye una ganancia ya queatiende más directamente los requerimientosde información. El principio es generar apro-piación, motivación e involucramiento desde elinicio.
Siendo el eje de acción de la cooperación aldesarrollo atender las necesidades de la pobla-ción en relación a su contexto, el MEI debe:
a) procurar que tales necesidades sean correc-tamente expresadas (en la definición de hi-pótesis e indicadores de impacto) einterpretadas (desde los actores, respetandosu visión de los cambios ocurridos);
b) garantizar que la información del MEI y su usoesté en concordancia con las necesidades delos actores, a fin de que estos puedan cono-cer claramente qué ha cambiado y qué no,interpretar cuáles son las razones y decidir
los ajustes que se consideren necesariosdesde su perspectiva.
Para promover este tipo de sistemas sepropone:
• Mapear a los actores (involucrados en el pro-ceso de desarrollo), sensibilizarles sobre laimportancia del MEI y concertar su rol deacuerdo a sus intereses y necesidades de in-formación.
• Diseñar con la participación de los actores elsistema, incluyendo sus visiones e indicado-res de cambio.
• Involucrar a los diferentes actores en la imple-mentación del MEI desde sus roles específicos,estimulando liderazgo y trabajo en equipo.
• Promover redes de información locales paraampliar el acceso e incrementar el uso de lainformación a nivel local.
• Descentralizar la toma de decisiones promo-viendo espacios de reflexión, de aprendizajey de retroalimentación.
• Desarrollo de capacidadesLa institucionalización no sólo requiere que sedefinan funciones y responsabilidades en tornoal MEI sino que se desarrollen capacidades lo-cales y se brinde asesoría para quelos actores locales asuman estos roles yresponsabilidades.
28
Principios
C
29
El “desarrollo de capacidades” es el proceso porel cual los individuos, organizaciones, redes decooperación y sociedades adquieren capacidadesen el plano individual y colectivo para desempeñarfunciones, participar equitativamente en la tomade decisiones, resolver problemas, establecer ylograr objetivos7.
El desarrollo de capacidades involucra el reconoci-miento y la valoración de los saberes existentes, yla adquisición de nuevos conocimientos y destrezaspara el cumplimiento de los objetivos individuales einstitucionales. Por ello, aprender-haciendo es laforma comomejor se aplica en el caso del MEI, per-mitiendo capacitar adecuadamente y responder asituaciones específicas.
C.4 Dispositivo consistente y manejable
• Indicadores priorizados• El establecimiento del MEI comienza con la
identificación de las necesidades de informa-ción para orientar mejor la acción, asegurarla eficacia operativa y comunicar interna y ex-ternamente sobre los avances alcanzados ylas dificultades encontradas.
• El arte consiste en limitarse a lo necesario ymanejable, evitando querer abarcar todo loque sería interesante conocer y monitorear.
¡Más vale disponer de 5 indicadores de im-pacto potentes que revelen cambios signifi-cativos a partir de datos confiables recogidoscon métodos bien definidos para la aplicaciónde los cuales las personas encargadas hanestado capacitadas, que de 20 sin líneabase confiable, con datos incompletos y difí-ciles y costosos de documentar sistemática-mente en el transcurso del proyecto!
• Sistema balanceado• Es por supuesto importante disponer de
datos precisos y periódicos sobre el avancede las actividades, que permitan controlar laimplementación de lo planificado, verificar decerca la ejecución presupuestaria, así comoanalizar y superar a tiempo las dificultadesencontradas en el camino. La recomendaciónes concebir procedimientos ágiles y estan-darizados, utilizando formatos prácticos pararecolectar, consolidar y procesar fácilmentela información a este nivel. Estas tareasdeben dejar tiempo para que el equipo de co-ordinación y los actores sociales e institucio-
nales involucrados en el proyecto puedanexaminar lo esencial en los resultados logra-dos y el impacto generado.
• No se debe perder de vista que una actividades un medio para alcanzar un fin más ambi-cioso. Se debe entonces balancear el segui-miento que se da a este medio y el que se hacedel fin perseguido. Implementar un curso de ca-pacitación a grupos de mujeres en áreas ruralesde pobreza, por ejemplo, es una actividad quetiene por resultado fortalecer los talentos de laspersonas en un área temática específica.
El MEI no solo debe verificar que la actividad serealizó como estuvo programada (en tiempo, ca-lidad y costo) y que en lo que concierne al resul-tado se ha logrado un desarrollo humano einstitucional, sino que deben existir indicadores anivel del objetivo central del proyecto, que per-mitan apreciar que la capacitación y otras medi-das induzcan impacto a mediano plazo en lasasociaciones de mujeres; por ejemplo, respectode su posicionamiento y protagonismo en el te-rritorio, de su relación con otros grupos sociales,de su situación económica, de su participaciónen el presupuesto participativo municipal, etc.
• Articulación entre niveles• Parte de los actuales programas de desarro-
llo no se limitan a un solo territorio o un solotipo de acción; cooperan con diferentes ins-tituciones, en varios lugares y en distintas te-máticas. El MEI debe generar datos yapreciaciones tanto al nivel de cada acciónlocalizada o específica cuanto al del pro-grama en su conjunto.
7 COSUDE, DAL, 2003: 6
Principios orientadores del MEI
30
• El desafío es, entonces, lograr que los datosde los proyectos específicos alimenten el MEIdel programa en su conjunto sobre la basede indicadores comunes. En la práctica, cabeidentificar un número reducido de indicado-res de gran relevancia para todos los acto-res de tal modo que puedan integrarse en elMEI de cada proyecto específico a fin de nu-trir el MEI general del programa.
• Datos que permiten unabuena aproximación
• Se trata, como se ha visto, de implementarun dispositivo de monitoreo-evaluación relati-vamente sencillo en su estructura, que secentre en un conjunto limitado de indicado-res, utilizando métodos que estén al alcancede los actores y que se adapten a los recur-sos disponibles. El MEI ofrece entonces unabuena aproximación de lo que está suce-diendo, sin pretensión científica.
• El M&E utiliza fácilmente, por su necesidadde rigor en la medición, métodos exigentesde investigación porque no está concebidoen primera instancia como instrumento degestión orientado a la retroalimentación de laacción y capaz de ser autogestionado.
• En lugar de aplicar métodos exactos y exi-gentes, el MEI verifica la confiabilidad de losdatos disponibles por triangulación. Pone én-fasis en la apreciación y discusión de ten-dencias entre actores involucrados en unmismo proceso de desarrollo a partir del pro-cesamiento de información tanto cualitativa(por ejemplo la proporcionada por encuestade opinión) cuanto cuantitativa.
• Brecha de atribución• Los impactos que se pueden observar de-
penden de varios factores y no correspondensólo al mérito de un programa de desarrollo.
Hay factores internos de la realidad local y re-gional que tienen influencia (por ejemplo la es-tructura local del poder político). Puedenasimismo existir otras intervenciones de de-sarrollo que inciden en la situación (por ejem-plo la accesibilidad a mejores servicios). Porúltimo, siempre existen condiciones marcodel contexto que tienen una influencia nota-ble (por ejemplo la política crediticia nacional,el canon minero, etc.). Por lo tanto, es difícilatribuir un cambio positivo a la sola inter-vención del programa de desarrollo. Eso sellama la “brecha de atribución” que es por na-turaleza difícil de cerrar.
• Corresponde entonces limitarse a analizar ydemostrar las relaciones plausibles entre laacción de un programa de desarrollo y loscambios que se van a observar en la realidad.Es por lo tanto importante priorizar hipótesisde impacto que estén lo más directamenterelacionadas con las líneas de acción delprograma.
• A la hora del análisis de los resultados y delimpacto logrado se espera una interpreta-ción que tome en consideración factoresdecisivos del entorno y que diferencie entrelo que es directamente atribuible a la accióndel programa y aquello en lo que éste hacontribuido.
• El ideal sería, por supuesto, disponer en eldispositivo de monitoreo-evaluación de “tes-tigos de referencia” que estén fuera del ám-bito de intervención del programa y quepermitirían hacer la comparación. Sin em-bargo, si bien eso es factible en el caso deparcelas agrícolas no lo es fácilmente y a uncosto razonable en programas que tienenunidades de análisis más amplias y comple-jas (mancomunidad de municipios, plata-forma interinstitucional de formación,consorcio de empresas rurales en un sectorde producción, ecosistema forestal, cuencahídrica, etc.).
Proceso del MEIen 6 pasos
Proceso del MEIen 6 pasos
D. PROCESO
Proceso
D
33
12
34
56
Prep
arar
las
bas
es
Secu
en
cia
de
paso
s
Iden
tific
arlo
sau
tore
scon
inte
rés
enla
func
ión
MEI
Revi
sarl
aco
nsist
enci
ade
lm
arco
lógi
co
-Ev
alua
rsil
age
stió
nes
efic
azy
efic
ient
e.-
Iden
tific
arop
ortu
nida
des
dede
sarr
ollo
hum
ano.
-Ev
alua
relc
lima
orga
niza
cion
alpa
rapr
omov
ersu
desa
rrol
lo.
Info
rmar
,se
nsib
iliza
ryes
tabl
ecer
prim
eros
acue
rdos
Form
ular
indi
cado
resd
eco
ntex
to
Org
aniz
ares
paci
osde
dise
ñoy
defin
irre
spon
sabi
lidad
es
Form
ular
indi
cado
resd
eim
pact
o
Form
ular
indi
cado
resd
ere
sulta
do
Agr
upar
indi
cado
resp
orun
idad
dean
álisi
s
-Ca
paci
tare
nel
uso
delo
sin
stru
men
tos.
-Le
vant
arla
línea
base
.-
Proc
esar
los
dato
s.-
Org
aniz
arel
alm
ace-
nam
ient
oy
laac
cesib
ilida
d
-A
naliz
are
inte
rpre
tar-
-Pr
omov
erel
uso
dela
info
rmac
ión
por
part
ede
los
acto
resc
lave
.-
Com
unic
arco
nm
irasa
lare
troa
li-m
enta
ción
ya
proc
esos
deap
rend
izaj
e.
Acl
arar
indi
cado
res
yde
finir
mét
odos
Dise
ñary
valid
arin
stru
men
tos
Org
aniz
arla
impl
emen
taci
ón-
Visu
aliz
arflu
jos
dein
form
ació
n.-
Incl
uire
nlo
spl
anes
deop
erac
ión
-Re
spet
arlo
s4pr
inci
pios
Mo
nit
ore
arla
ges
tió
n
Leva
nta
ry
pro
cesa
rin
form
ació
n
Des
arro
llar
inst
rum
ento
sy
orga
niza
rla
impl
emen
taci
ón
Ana
lizar
,in
terp
reta
rydi
fund
irla
info
rmac
ión
Iden
tifi
car
yp
rio
riza
rin
dic
ado
res
Grá
fico
No.
4:El
proc
eso
delM
EIen
6pa
sos
Proceso del MEI en 6 pasos
34
A continuación se brindan, paso por paso,consejos sobre la manera de proceder yejemplos de aplicación en el caso de 3 pro-yectos representativos, cada uno de un ejetemático:
• Eje Buena gobernabilidad: Proyecto APO-DER en Perú (CND-COSUDE) de descentrali-zación en espacios rurales.
• Eje Desarrollo económico: Proyecto EM-PRENDER en Ecuador (AME Región SierraCentro-IC) de microempresas rurales y desa-rrollo económico.
• Eje Gestión sostenible de recursos natu-rales: Proyecto regional PROMIPAC en Cen-troamérica (El Zamorano - COSUDE) demanejo integral de plagas en cultivos.
D.1 Paso 1: Preparar las bases
• Identificar los actores coninterés en la función del MEI
Mapear a los actores relacionados al proyecto yseleccionar aquellos que podrían ser partícipesdel MEI con miras a su involucramiento en el di-seño. Probablemente se trate de los mismos ac-tores que están involucrados en el proceso deplanificación participativa.
Se puede distinguir entre actores de 3categorías8:
a/ Contrapartes oficiales
Por ejemplo, ministerio, gobierno regional, agen-cia cooperante.
b/ Socios
Actores de desarrollo que se asocian con el Pro-yecto para progresar en un tema y/o para for-talecerse a nivel humano-institucional; es a esenivel que se espera impulsar cambios significa-tivos y durables. Por ejemplo:
• Grupos sociales y comunitarios de base.
• Asociaciones de productores/as, de micro-empresas.
• Comunidades rurales.
• Asociaciones de municipalidades.
• Gremios profesionales.
• Entidades de servicio público.
• Centros de estudio, de educación.
• Entre otros.
c/ Aliados
Entidades que brindan servicios a los socios. Porejemplo:
• Entidad facilitadora que acompaña procesosde desarrollo (ONG, centro universitario, etc.)
• Institución de servicio técnico o financiero
• Centro de formación
• Entre otros.
Esta actividad de compilación servirá luego parareunir a los actores por categoría a fin de queaporten con su visión sobre los cambios espe-rados y definan la información que a ellos lessería útil manejar. A modo de referencia véaseel Anexo No 9: Rol de los actores clave en el mo-nitoreo y evaluación.
8 Por categoría de actores se entiende un grupo de personas o instituciones con visión e interés propios y con capacidad representativa para participaren espacios de concertación.
Proceso
D
35
• Informar, sensibilizar yestablecer primerosacuerdos
Organizar, por iniciativa del equipo técnico delproyecto, una sesión con las entidades socias yaliadas para brindar información sobre el moni-toreo y la evaluación. Informar sobre su utilidady su relación con la planificación (sensibilizar).Lograr primeros acuerdos en torno a los pasosa seguirse para su diseño e implementación.
Es muy importante que, desde un principio, lossocios y aliados entiendan que proporcionar pe-riódicamente datos e información, de acuerdo aindicadores consensuados, hace parte del com-promiso que se va a formalizar en los conveniosy contratos. El suministro de datos sobre lo queestá ocurriendo debe volverse una práctica co-rriente y sistemática, al igual que la contabilidadfinanciera. Sin embargo, lo que no siempre seentiende con claridad es que el propósito es muydistinto. No se trata de fiscalizar sino de visuali-zar periódicamente los avances, reflexionar yaprender entre socios para realizar ajustes en loestratégico-operativo.
• Organizar espacio para eldiseño
Facilitar un espacio para recoger las opiniones ypropuestas por categoría de actor. Al incorpo-rarse en el diseño y en la implementación delMEI, cada categoría de actores contribuye consu propuesta de hipótesis y de indicadores, y es-pecifica qué información le interesaría recoger ygestionar a su nivel y cuáles son los medios decomunicación idóneos para que se difunda en suentorno la información procesada.
Una manera de proceder es organizar eventospor categoría de actores (por ejemplo, por re-gión o por línea de producción) para luego reali-zar la consolidación de los diferentes aportes yllegar a acuerdos en el marco de un taller final(por ejemplo durante una etapa del taller nacio-nal de planificación). El acuerdo debe contem-plar compromisos institucionales en relación a larepartición de responsabilidades para asegurarel flujo de información, su procesamiento y su al-macenamiento. Un diagnóstico de las capacida-des existentes y por desarrollarse en relación ala implementación del MEI debe acompañar esteprimer paso.
Proceso del MEI en 6 pasos
36
Levantamiento de las hipótesisde impacto de actoresEn forma resumida, se propone seguir las siguientes etapas para recoger la visión de ungrupo de actores locales sobre los cambios que esperan de una acción de desarrollo
Trabajo en taller a partir de preguntas guiadoras
Objetivo: identificar bien cuál es la naturaleza del proyecto queel grupo plantea.
Preguntas: ¿Qué quieren realizar? ¿Cuál es la propuesta quedesean presentar a una entidad que les puede cofinanciar /apoyar?
Modalidad: se puede trabajar en plenaria o en grupos detrabajo conformados por género, por edad, etc. Las ideas,después de haber sido recogidas y agrupadas, serán discutidasen plenaria hasta identificar cuál es la acción estratégica quepriorizan.
Objetivo: identificar los cambios que el grupo espera al realizaresta acción y diseñar la cadena de causalidad.
Preguntas:
1) ¿Si realizan lo propuesto, que mejora inmediata visibilizan?
2) ¿A qué cambio significativo de mayor profundidad aspiranustedes a nivel individual, familiar, en su comunidad oasociación, o en el municipio?
Modalidad: recoger las ideas y agruparlas para visualizar lacadena de los cambios esperados (véase el ejemplo); verificarque la relación de causalidad entre un nivel y el siguiente eslógica y factible.
Ejemplo sobre la base del proyecto EMPRENDER:
Objetivo: formular, a partir de los dos últimos eslabones, cuálesson las hipótesis de impacto que tienen relación directa con laacción que plantean.
Modalidad: trabajo de facilitación para a) ayudar al grupo aformular una o dos hipótesis de impacto, b) seleccionarindicadores de medición (¿qué, en qué medida, en qué tiempo?).
ETAPA 1
ETAPA 2
ETAPA 3
Solucionarproblema en la
molienda de caña
Encontrar mejores mercados conproductos de
calidad
Mejorar nuestrosingresos
(duplicar el preciode venta)
Tecnificar la transformación deljugo de caña y sus
derivados
Procedimiento
Proceso
D
37
D.2 Paso 2: Identificar y priorizar indicadores
• Revisar la consistencia delmarco Lógico
El proceso de planificación de fase habitualmentepasa por la formulación participativa de una jerar-quía de objetivos, de resultados y de líneas de ac-ción que luego da lugar a un trabajo de gabinetepara la elaboración de un esquema de planifica-ción resumido en un Marco Lógico (ML).
La revisión de la consistencia del ML, en un tallerde planificación estratégica de fase y de diseñodel MEI, aparece como una actividad de alta re-levancia. En efecto, una jerarquía coherente deobjetivos y resultados, que responde a una ló-gica clara, facilita el proceso de formulación ypriorización de indicadores de monitoreo.
La experiencia enseña que un ML poco cohe-rente genera confusión en la delimitación de loscampos y niveles de medición, y obstaculiza elpropio diseño del MEI.
La ficha de revisión de consistencia del ML (véaseel Anexo No 10) constituye una oportunidad paraaclarar mejor la visión de cambio que persigue elproyecto y definir indicadores pertinentes.
• Formular indicadores decontexto
La identificación de indicadores de monitoreo decontexto pasa por revisar el análisis del entorno.Durante el proceso de diagnóstico y de formula-ción del proyecto se visualizaron factores clavede influencia sobre los cuales el proyecto no dis-pone de llave.
Se trata de una condición general del medio am-biente, del entorno social, económico, político,institucional (a nivel regional y/o nacional y/o in-ternacional) que está fuera de control de los ac-tores y gestores del proyecto, pero que influyesignificativamente sobre el éxito y la sostenibili-dad de su acción.
ProcedimientoTarea 1: revisar la documentación del diagnós-tico, de los estudios de base y de formulacióndel proyecto para extraer condicionantes, ries-gos y supuestos importantes. Elaborar una notade insumo.
Tarea 2: en taller con los socios y aliados(idealmente durante el taller de consolidación dela planificación de fase) proceder a una lluvia deideas por categoría de actores a partir de la si-guiente pregunta
¿Cuáles son los 5 factores y tendencias másrelevantes del entorno que condicionan di-rectamente nuestra acción y que valdría lapena seguir monitoreando?
Luego hay que agrupar las respuestas porcampos. No superar, si posible, la docena defactores considerados como los más críticosy para los cuales se visibiliza una fuente de in-formación.
Como alternativa a un análisis profundo desistemas que es complejo, se puede realizar,en el marco de un taller, el análisis partici-pativo de sistemas (APS) que es más fácil demanejar. El ejercicio consiste en definir losfactores más importantes del entorno delproyecto a partir de los antecedentes, expe-riencias específicas, conocimientos de losparticipantes. Se va llenando una tabla dedeterminación de la influencia que cada fac-tor tiene sobre los demás factores del sistemay, luego, de la influencia de los demás fac-tores sobre el factor en cuestión9. El ejerci-cio lleva a identificar los factores máscríticos que pueden generar efectos inespe-rados como aceleradores o bloqueadores delsistema.
Tarea 3: cruzar las respuestas a la pregunta an-terior (tarea 2) con los insumos (tarea 1); abrir ladiscusión y facilitar la formulación y priorizaciónde indicadores de contexto.
9 Kart Herweg & Kurt Steiner. (2003). "Monitoreo y valoración del impacto. Instrumentos a usar en proyectos de desarrollo rural con enfoque en elmanejo sostenible de la tierra". CDMA & GTZ, Suiza. Disponible en:Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdfVolumen II Utilería: www.asocam.org/biblioteca/MVI_014.pdf
Proceso del MEI en 6 pasos
Consejosa) Esta actividad requiere de un trabajo previo
a la priorización, que resulta de una reflexióninterinstitucional, si es posible insertada en eltaller de planificación de fase. Un tiempo de2 a 3 horas parece adecuado.
b) El contexto se monitorea utilizando mayor oexclusivamente información secundaria y pro-cesada. Ejemplos de fuentes:
- Ministerio de Economía y entidad nacionaly regional de planificación para gastos ytransferencia de fondos públicos.
- Flujo de comercio de las aduanas, los mi-nisterios y las cámaras del sector empre-sarial.
- Información de las Cortes de justicia y dela Defensoría del pueblo.
- Estadísticas por sectores: salud, educa-ción, agricultura, medio ambiente.
- Servicios locales de catastro.
- Centros de estudio que disponen demapas georeferenciados.
- Servicios de agua y electricidad sobre con-sumo y composición del precio unitario.
- Registro oficial.
- Servicios de información de organismos in-ternacionales tales como UNICEF, FAO, BM.
En caso de ser necesario, se invita a consul-tas con periodistas, investigadores sociales,centros universitarios, etc., que acostumbranusar tales fuentes.
c) El monitoreo de contexto debe contemplar unbalance adecuado entre “datos exactos” y“apreciación de tendencias”. (Véase la pri-mera parte del Anexo No 2_b que presentaun resumen de evaluación del contexto e im-pacto para el caso APODER).
d) Evitar dos trampas:
• La selección de indicadores muy genera-les que tienen poca vinculación con elárea temática del proyecto, ni influenciadirecta sobre la acción a ejecutarse.
• La falta de regularidad en el levantamientode información, lo que no permitirá dispo-ner de una secuencia en el tiempo.
38
Proceso
D
39
Proy
ecto
Cam
pode
obse
rvac
ión
(CO
)
APO
DER
CO1:
Evolucióndelpresupuesto
público
Indi
cado
r(o
crite
rio)
-eje
mpl
os
a)%delpresupuesto
delEstadoasign
adoago
biernos
locale
syr
egion
ales
b)Ra
tiode
transferencias
reale
salas
municipalidades
versus
lasprog
ramadas
Fuen
te
-Pá
ginaswe
bde
laPresidenciadelC
onsejo
deMinistro
s,ministerio
deEc
onom
íay
Congreso
EMPR
ENDE
R
CO1:
políticacrediticia
a)Lín
easyc
ondic
iones
decrédito
para
microempresas
rurales
-Encuesta
aentidades
micro
financieras
PROM
IPAC
CO1:
Evoluciónde
lasimpo
rtaciones
deplaguicidasquímicos
a)Evolu
cióndelvolu
men
impo
rtado
portipo
deprod
ucto
corre
spondie
ntea
plaguicidasquímico
sb)
Listado
deprinc
ipales
empresas
impo
rtado
ras
-Pá
gina
webde
Aduanasyministerio
deCo
mercioExterio
r
CO2:
Tendencias
deconsum
opo
rregiones
deplaguicidasquímicos
c)Ventas
porreg
iones
delas
5princ
ipales
empresas
impo
rtado
rasde
plaguicidas
-Re
porte
sde
ventas
delsectora
groq
uímico
s
CO3:
Afeccio
nesen
lasalud
porintoxica
ción
d)Variació
nen
númerode
intoxica
cionesagudas
ycrónic
as-
Estadística
sdelm
inisteriode
Salud
Pública
CO4:
norm
atividadnacio
nalpararestringir
elconsum
ode
plaguicidastóxic
os.
e)Evolu
cióndelm
arco
norm
ativo
-Re
gistro
oficial
CO2:
migración
a)Flu
josde
emigr
ación
dehombres
ymuje
resdelm
ediorural(c
rece-de
crece)
-Estadística
soficiale
sysondeo
deaprecia
ción
CO3:
norm
atividadnacionalpara
prom
over
eldesarro
lloeconóm
icolocal
c)Evolu
cióndelm
arco
norm
ativo
-Re
gistro
oficial
CO4:
tendencias
deconsum
oyprecios
enprincipalesmercado
s(nacionale
internacional)para
laslíneasde
prod
ucción
apoyadas
d)Variació
nde
precios
enmercado
smayoristas
nacio
nales
e)Evolu
ciónde
lasexpo
rtacio
nespo
rmercado
destino
f)Evolu
ciónde
lasimpo
rtacio
nesdelm
ismopaísyd
elos
princ
ipales
consum
idoresaniv
elinternacio
nal
-Se
rviciode
informaciónde
mercado
yprecios
delm
inisteriode
Agricultura
-Ba
ncocentraldelaNa
ción
-Pa
gina
webbancode
datosFAO
CO2:
Evoluciónde
lanorm
atividaden
relación
aladescentra
lización
a)Ca
mbios
enelmarco
norm
ativo
b)Ac
toresquefacilitan
oquedificultan
-Co
ngreso
ymediosde
comunicación
CO3:
Conflictividad
e)Co
nflictosentre
autorid
ades
localesygrupos
sociales
-Inform
aciónde
lasorganizaciones
sociales
yde
losgo
biernoslocalesyregionales
CO4:
Asociativismomunicipal
f)Inv
entario
actualizado
delas
asociac
ionesen
vigencia
g)Evoluciónde
laconformaciónyde
laconsolidaciónodesin
tegraciónde
lasasociac
iones
-Inform
aciónde
laRe
dnacionalde
municipalidades
EjemploTa
bla
No.
2:In
dica
dore
sde
mon
itore
ode
cont
exto
,eje
mpl
ode
aplic
ació
nen
3ej
este
mát
icos
Proceso del MEI en 6 pasos
40
• Formular indicadores deimpacto
Se trata primero de formular un número reducido dehipótesis respecto del impacto que se espera de laacción del proyecto (situación alcanzada o procesoen marcha) y, luego, para cada hipótesis, algunospocos indicadores que evidencian el cambio.
AclaraciónImpacto: es toda repercusión importante de unprograma a mediano-largo plazo que transciendelos productos directos. Puede ser la multiplicaciónde un resultado logrado (por ejemplo, agricultoresno atendidos directamente por los servicios delproyecto adoptan las innovaciones que han sidoaplicadas y validadas por productores vecinos re-lacionados al proyecto). Puede ser un efecto lo-grado por la acción del proyecto que se vuelvesostenible en el tiempo (por ejemplo, empleos cre-ados en la microempresa se mantienen más alládel apoyo externo brindado por el proyecto).
Hipótesis de impacto (HI): son anticipacionesde los efectos esperados, principalmente positi-vos, como consecuencia de la acción del pro-yecto. Por el carácter hipotético de la decla-ración, deben estar sometidas a comprobación.Pueden referirse a una situación que se esperaalcanzar, a un hecho que se podrá comprobar(por ejemplo, la aplicación de una normativa mu-nicipal que va a asegurar un acceso más equi-tativo de los habitantes al agua y la reducción dela conflictividad respectiva. Pueden, asimismo,referirse a un proceso que se va a dar y quedebe monitorearse mediante señales de pro-greso (por ejemplo, el fortalecimiento del rol yprotagonismo de las mujeres en instancias re-gionales de planificación territorial).
Indicador (I): es una variable cuantitativa o cualita-tiva que contribuye a revelar un cambio o un pro-greso. Sirve para dar a entender lo que se ha
modificado. Se habla de indicadores diferenciadoscuando están desagregados y toman en cuenta lasdiferencias y desigualdades existentes por género,por edad, por situación económica, por grupo et-nolingüístico de pertenencia, por la posición centro-periferia, etc.
Campo de observación (CO): dimensión par-cial (o segmento) de la realidad que correspondea un sector, a una categoría social de personas,a un ámbito territorial, a un grupo institucional,etc. en el cual se desea verificar el logro de re-sultados o cambios significativos.
Línea base (LB): para cada indicador, son losdatos del año base considerados como la refe-rencia en función de la cual las futuras medicio-nes apreciarán variaciones.
ProcedimientoTarea 1: identificar en qué campos se desea ob-servar un impacto significativo que guarde di-recta relación con el objetivo central y la finalidaddel proyecto. Seleccionar de 2 a 4 campos deobservación (CO). Esta tarea, que es prescindi-ble, a menudo facilita la ejecución de la tarea 2,que aparece a continuación.
Tarea 2: para cada CO, formular un número re-ducido de hipótesis de impacto (HI); entre una amáximo tres HI por CO.
Tarea 3: para cada HI declarada, hallar de uno ados indicadores que señalan el cambio esperado.
Los atributos de un indicador son:
• Relevancia = capta lo importante.
• Sensibilidad = el tiempo entre una medición yla siguiente es suficiente para observar unreal cambio.
• Confiabilidad = definido de manera suficien-temente clara para que distintas personas le-vanten la misma información.
Se suelen utilizar las siguientes expresiones para caracterizar a un buen indicador:
• SMART: specific, measurable, achievable, relevant, time-basedespecífico, medible, alcanzable, relevante, tiempo definido
• CREAM: clear, relevant, economic, achievable, measurableclaro, relevante, económico, alcanzable, medible
Proceso
D
41
Se puede sustituir un indicador bueno pero queresulta incómodo o costoso por un indicador“proxy”, menos preciso pero cuyos datos van aser más fáciles de conseguir. Ejemplos: “reduc-ción de quejas registradas de clientes” en lugardel indicador más exacto “mejor atención alcliente”; “% de nuevos techos de zinc o tejas delas casas en el pueblo” o “incremento de la po-blación de ganado mejorado por familia” en lugarde “mejora del ingreso familiar”.
Con el fin de valorar el cambio en las personasy las instituciones (actitud, relacionamiento), espreferible definir una visión del cambio ideal es-perado y fijar señales graduales de progreso quereflejan el camino para acercarse a este ideal10.Por ejemplo, si el ideal es: comunidades ruralestienen la capacidad de planificar e implementarla gestión sostenible de sus bosques, se puedeesperar que, gradualmente, la organización co-munal.
• disponga de una estructura interna eficazpara aunar esfuerzos y asegurar que los di-ferentes intereses locales en relación a esterecurso estén representados;
• elabore un plan de acción consensuado entrelos diferentes grupos de interés y las autori-dades;
• garantice recursos humanos y financierospara la ejecución del programa de acción;
• promueva la adquisición de nuevas destrezasy conocimientos de los técnicos comunales;
• logre contratar a especialistas externoscuando sea necesario para proveer informa-ción o cumplir requisitos técnicos;
• produzca y difunda ejemplos concretos demanejo del bosque que tengan valor agre-gado;
• identifique oportunidades de colaboracióncon otras instituciones y con instancias delgobierno regional y las concrete.
Estas señales de progreso pueden ser utilizadascomo un desagregado del indicador de “gestióncomunal autónoma y sostenible de los recursosforestales”.
Tarea 4: para cada indicador definir dos ele-mentos importantes:
a) la unidad de análisis y el método de recopila-ción o de búsqueda de información; por ejem-plo, la parcela con ficha de registro, lapoblación del Municipio con base en una en-cuesta estructurada, la asociación de micro-empresarias con guía de entrevista.
b) la(s) persona(s) o entidad(es) responsable(s)de proveer o recolectar la información
10 S. Earl, F. Carden, T. Smutylo (2002). Mapeo de Alcances, IDRC.
Proceso del MEI en 6 pasos
Niv
elde
lM
arco
Lógi
co(M
L)
Cam
pode
obse
rvac
ión
(CO
)
Fina
lidad
(obj
etiv
osu
peri
or)
Obj
etiv
oce
ntra
l
Hip
ótes
isde
impa
cto
(HI)
Indi
cado
rde
impa
cto
(II)
Cód
igo
Unid
adde
anál
isis
ym
étod
oRe
spon
sabl
e
PREG
UNTA
1
¿enquécampo
seob
servarán
cambios
significativos,a
mediano
ylargoplazo,
atrib
uibles
alaacción
apoyadapo
rel
proyecto
yrelacionados
consu
objetivoyfinalidad?
PREG
UNTA
2
Para
cada
CO
¿qué
cambio(s)
significativo(s)
esperamos
que
ocurra(n)?
PREG
UNTA
3
Para
cada
HI
¿qué
evidencianos
indica
queelcambio
haocurrid
o?
¿cóm
opo
demos
medir
elcambiooapreciar
elprog
reso?
PREG
UNTA
4
Para
cada
II
¿cuáleselcódigo
que
seva
adara
lindicado
r?
PREG
UNTA
5
Para
cada
II
¿cuáleselinform
ante?
¿cóm
ose
obtendrá
eldato?
¿por
censoomuestra?
Ej.e
ncuestacensal
porfinca,e
ntrevis
tamuestrala
jóvenes,a
grupofocalde
microem
presarios
PREG
UNTA
6
Para
cada
II
¿Quién
proveerá
lainform
ación,
cuándo
ydó
nde?
PREG
UNTA
SGU
IADO
RAS
Tabl
aN
o.3:
Proc
edim
ient
oa
segu
irse
para
form
ular
ypr
esen
tar
los
indi
cado
res
deim
pact
o
42
Proceso
D
43
Consejosa) Atreverse a priorizar indicadores esenciales y
factibles de medir: entre 4 y 10 indicadoresrelevantes de impacto. Puede ser que hayavarios indicadores para una misma hipótesisde impacto, pero no es necesario.
b) Definir un cuerpo reducido de 3 a 4 indica-dores de impacto inamovibles en el tiempopara asegurar el monitoreo a largo plazo. Deser necesario, se podrán agregar, en fasesulteriores del proyecto, algunos indicadoresadicionales para medir los nuevos enfoques.
c) Mantener un equilibrio razonable entre indicado-res cuantitativos y objetivamente verificables eindicadores cualitativos (apreciación de calidad).
d) Analizar para cada indicador la implicancia ope-rativa de la medición (lectura horizontal de latabla No 3) a fin de tener una primera aprecia-ción de la carga de trabajo que puede repre-sentar y apreciar la factibilidad de la medición.
e) Fijar un estándar al indicador. Tiene sobre todosentido cuando se dispone de la línea base.Después del levantamiento del dato de partida(por ejemplo, 10% de la población percibe po-
sitivamente la calidad del servicio de agua po-table a nivel familiar), se fija un valor para el im-pacto deseado (por ejemplo, en 4 años, 60%de la población declara satisfacción por el ser-vicio de agua potable a nivel familiar). No obs-tante, tiene también sentido establecer unestándar cuando se considera que el valor departida es cero. Por ejemplo, número de em-presas asociativas que han llegado al punto deequilibrio y que disponen de un mercado cre-ciente: al inicio no existe ninguna empresa aso-ciativa constituida en el área de intervención yse considera un impacto positivo si existen, alos 5 años, al menos dos empresas asociati-vas por línea de producción apoyada que hanllegado al punto de equilibrio y que disponende un mercado creciente.
La fijación de una “meta” no es, sin embargo,siempre factible. A veces es preferible esta-blecer un mínimo. Por ejemplo, incrementode al menos 10% de ingreso neto familiaranual por la actividad frutícola.
f) Contemplar dimensiones para disponer de in-dicadores bajo un enfoque de equidad inter-cultural y de género.
Dimensión
Mejoramiento del auto-reconoci-miento
Ejemplo de criterio/indicador
- Percepción de su situación (positiva/negativa)- Iniciativa propia para informar y capacitarse- Confianza para comunicar- Cambio en su posición en la comunidad, la institución, la familia
Igualdad de oportunidades - Acceso a educación bilingüe- Acceso a trabajo digno- Diferencia de ingresos entre mujeres y hombres- Control sobre los excedentes monetarios
Reducción de carga de trabajocon liberación de tiempo paraotras actividades
- Distribución del trabajo doméstico- Hogares con infraestructura y servicios que permiten ahorro de tiempo en
trabajo doméstico- Tiempo dedicado a recolección de leña y agua
Participación y liderazgo - Institucionalización de mecanismos locales para incluir a grupos marginados yvulnerables
- Involucrada/o en proceso de presupuesto participativo- Formar parte de comités específicos- Ser miembro de la directiva de un comité o de autoridades electas- Formar parte de instancias de representación a nivel local, regional, nacional
Acceso y control de recursos - Acceso a recursos productivos (tenencia de tierra, riego, acceso a bosque y pradera, etc.)- Acceso a servicios financieros y de asistencia técnica (en su idioma)- Acceso a información y capacitación en idioma materno, con modalidad concertada
Tabla No. 4: Algunas dimensiones a contemplarse para definir indicadores de interculturalidad y género
Proceso del MEI en 6 pasos
Proy
ecto
Cam
pode
obse
rvac
ión
Hipó
tesi
sde
impa
cto
(eje
m.)
Indi
cado
r(e
jem
plos
)C
od.
Unid
ad+m
étod
oRe
sp.
APODER(descentralizaciónenespaciosrurales)
CO1:
elprocesode
gestiónlocalenel
marco
dela
descentralización
HI1
:Ladescentralizacióndel
Estado
facilitaelsurgimiento
denuevos
mod
elos
dege
stión
localbasados
enlainclusión
socialyelacceso
ainform
ación
70%de
municipalidades
socias
haninstitucionalizadoylegitim
ado
espacios
inclusivos
deconcertación
Participacióncrecientede
mujeres
yjóvenesen
losespacios
localesde
concertación
%de
poblaciónde
losMunicipios
atendido
sse
siente
debidamente
inform
adasobreelprocesode
descentralización
lamunicipalidad
apartirficha
(censal)
lamunicipalidad
ficha
registro
(censal)
Encuesta
familia
rpo
rmuestreo
Secr.técnico
dela
Asociación
deMunicipios
Secr.técnico
dela
Asociación
deMunicipios
Coord.M&E
del
proyectocon
encuestadores
locales
I.11
I.12
I.13
CO2:
lage
stión
municipal
HI2
:Laciudadaníaen
municipiosruralespo
bres
lograavancesefectivos
enla
gestiónmunicipal
50%de
lapoblaciónde
los
Municipiosatendidosperciben
mejoras
enlacalidad
delos
serviciospúblicos
clave
Encuesta
familia
rpo
rmuestreo
Coo
rd.M
&Edel
proyecto
con
encuestado
res
locales
I.21
CO3:
laseconom
ías
locales
HI3
:Lacultura
deconcertación
amplíalas
oportunidadespara
eldesarrollolocaly
lage
neración
deriq
ueza
%de
Municipiosapoyados
enDes.E
con.
Localenloscuales
seha
increm
entado
lainversión
privadafrutode
políticas
deprom
oción
Lamunicipalidad
hojade
registro
(9Municipios)
TécnicoDEL
del
Municipio
I.31
Tabl
aN
o.5:
Indi
cado
res
dem
onito
reo
deim
pact
o.Ej
empl
osde
aplic
ació
nen
3ej
este
mát
icos
44
Ejem
plo
Proceso
DEMPRENDER
(microempresasrurales)
CO1:
laprod
uctora
/el
prod
uctorsocio
HI1:L
asactividades
prod
uctivas
apoyadas
han
generado
empleo
eingreso
enlasunidades
familia
resde
las/losprod
uctores
%de
increm
ento
enem
pleo
familia
rge
nerado
(promediode
Node
jornales
porfamilia
/año)
%de
increm
ento
deingreso
familia
ranualpromedio
proviniendode
laslíneas
apoyadas
Encuesta
familia
prod
uctora
socia
(por
muestreo)
Encuesta
familia
prod
uctora
socia
(por
muestreo)
Coo
rd.M
&Edel
proyecto
con
técnicos.locales
Coo
rd.M
&Edel
proyecto
con
técnicos
locales
I.11
I.12
CO2:
laasociación
deprod
uctoras/es
deuna
mismalínea
prod
uctiva
HI2:
Laslíneasprod
uctivas
apoyadas
generanunadinámica
asociativaqueva
creciendo
Node
prod
uctores/as
socios
delasem
presas
asoc
iativas
constituidas
Node
clientes
yNode
proveedo
respo
rem
presa
asoc
iativa
Registro
existentede
cada
empresa
Registro
existenteen
cada
empresa
Gerenteem
presa
Gerenteem
presa
I.21
I.22
Proy
ecto
Cam
pode
obse
rvac
ión
Hipó
tesi
sde
impa
cto
(eje
m.)
Indi
cado
r(e
jem
plos
)C
od.
Unid
ad+m
étod
oRe
sp.
CO3:
elgo
bierno
local
HI3:
Elgo
bierno
localasume
rolp
rotagó
nico
enprode
lde
sarrollo
económ
icolocal
concertado
(DEL
C)
Noytip
ode
acciones
deapoyoal
DELC
inco
rporadas
enla
planificación
demed
iano
plazo
Elgo
bierno
locala
partirficha
(censal)
TécnicoDE
Lde
lProyecto
I.31
Tabl
aN
o.5:
Indi
cado
res
dem
onito
reo
deim
pact
o.Ej
empl
osde
aplic
ació
nen
3ej
este
mát
icos
45
Ejem
plo
46
CO1:
laprácticade
manejointegralde
plagas
(MIP)
HI1.1
Losagricultorestienen
más
conocimientos
eimplem
entanalternativas
deMIPen
sufinca
HI1.2
losagricultores
aprecian
elvalorde
las
prácticas
MIP
%de
familiasd
eagricu
ltores
queimp
lementan
prácticas
MIPe
nsufinc
aNo
deprácticas
MIPques
onconocid
asy
aplicadas
porlas
familia
sproducto
ras
Node
perso
nasc
apacitadase
nMIPque
comp
arten
volun
tariam
entesusc
onocimien
tosen
elespacio
familiary
comu
nal
Encuestafam
iliarc
onguía
observa
-ción
ygrupo
testigo
(estud
iosde
caso)
Encuesta
familia
rcon
guíaob
serva-c
ión(estudios
decaso)
Encuesta
familia
rcon
guíaob
serva-c
ión(estudios
decaso)
Coord.
M&Edel
proyecto
Coord.
M&Edel
proyecto
Coord.
M&Edel
proyecto
I.111
I.112
I.12
CO2:
lage
stión
ambiental
HI2elagua
deconsum
ohumano
yde
riego
recupera
calidad
%de
reducción
delN
ode
personas
con
intoxica
ciónagudaen
lascomunida
des
dedis
minu
ciónde
resid
uosde
plaguicidas
enelagua
enlas
comunida
desatendid
as
Estadís
ticas
puesto
desalud
Análisis
deagua
por
muestr
eo(ac
equia
ypozo)
Entidad
aliadacon
centro
salud
Técn.d
elProyecto
con
aliados
I.21
I.22
CO3:
mejoram
ientode
lacalidad
devida
HI3.1familia
sconsum
enalimentos
conmenos
resid
uosquímico
s
HI3.2familia
sprod
uctorasaumentan
suprod
ucció
nagrícola
HI3.3reducción
decostos
deprod
ucció
n
HI3.4inc
remento
deing
resos
familia
res
Node
familiasq
ueconocenlan
orma
deaplicación
deins
umos
químico
sNo
defam
iliasc
onbodegasfitosanitarias
enbuenas
condiciones
quep
ermiten
lano
conta
minació
nalim
entar
ia
Node
familiasq
ueaume
ntarons
urendim
iento
portipo
decultiv
orespecto
alañoa
nterior
Costo
sdeinsum
osde
producció
npor
tipod
ecultiv
oCo
stoprom
ediode
manejode
plagasp
ortipo
decultiv
oVariació
neningres
osfam
iliares
portipo
decultiv
o
Encuestafam
iliar(
estud
iosde
caso)
Encuestafam
iliar(
estud
iosde
caso)
Encuestafam
iliar(
estud
iosde
caso)
Encuestafam
iliar(
estud
iosde
caso)
Encuestafam
iliar(
estud
iosde
caso)
Encuestafam
iliar(
estud
iosde
caso)
Coord
.M&E
delproy
ecto
Coord
.M&E
delproy
ecto
Coord
.M&E
delproy
ecto
Coord
.M&E
delproy
ecto
Coord
.M&E
delproy
ecto
Coord
.M&E
delproy
ecto
I.311
I.312
I.321
I.331
I.332
I.341
PROMIPACManejointegraldeplagasencultivos
Nota:
setra
tade
unas
elección
dealg
unos
delos
indica
dores
(delos
COyd
elos
H1)aplicadose
n200
6-200
7por
los3p
royectos
.
Proy
ecto
Cam
pode
obse
rvac
ión
Hipó
tesi
sde
impa
cto
(eje
m.)
Indi
cado
r(e
jem
plos
)C
od.
Unid
ad+m
étod
oRe
sp.
Tabl
aN
o.5:
Indi
cado
res
dem
onito
reo
deim
pact
o.Ej
empl
osde
aplic
ació
nen
3ej
este
mát
icos
Ejemplo
Proceso
D• Formular indicadores deresultados
AclaraciónResultado: es la consecuencia de una opera-ción, de una intervención. Es el producto de unconjunto de actividades en forma de bienes oservicios. Está formulado en el pasado o en elpresente continuo por ubicarse al final del plazode la acción. Los efectos aunados de todos losresultados son necesarios para alcanzar el ob-jetivo central del proyecto.
Indicador de resultado: es una señal que ponede manifiesto el logro del resultado; refleja losprincipales rasgos de la situación lograda, midela consecución del resultado.
Estándar: es la meta o estado de situación quedebe alcanzar el indicador. Por ejemplo, 95% derecuperación de los créditos concedidos por in-versión productiva a mujeres jefes de finca agrí-cola; 50% de las familias observan una mejoraen la calidad del servicio de registro civil; expe-dición de ordenanza municipal en relación a laconservación del bosque: meta 1 ordenanza porMunicipio.
Se puede desagregar la meta a lograr al final dela fase, con metas intermedias anuales. Porejemplo, 1 ordenanza en 2 Municipios a fines del1er año, en 4 Municipios a mitad de fase, en 10Municipios a fines del tercer año y una ordenanzaen los 25 Municipios en los 4 años, o sea a finesde fase.
ProcedimientoTarea 1: a nivel de cada resultado del Marco Ló-gico del proyecto, identificar indicadores. Un re-sultado puede ser medido mediante uno o variosindicadores (¡pero no más de 4!).
En caso de dificultad en formular un indicadorpara un resultado, se puede acudir al uso de pre-guntas clave (PC). Por ejemplo, si el resultadodeclara “se ha fortalecido la gestión de las em-presas asociativas rurales”, una pregunta clave
puede ser: ¿cómo ha evolucionado la asociación,cuenta con un mayor número de socios?; otra,¿ha logrado un incremento en sus ventas por pro-ducto y por canal de distribución?
La PC ayuda a focalizar y precisar lo que sedesea medir y puede ser usada en caso nece-sario o para iniciar la dinámica de identificaciónde indicadores precisos.
Tarea 2: atribuir a cada indicador un estándar(meta) para la fase y diferenciarlo, cuando seapertinente, por tipo de actor y, cuando conviene,desagregarlo por año.
Consejosa) Un error común es utilizar un indicador de re-
sultado como indicador de impacto. Es útilentonces recordar que los indicadores de im-pacto son aquellos que reflejan cambios enla naturaleza y en los socios (población obje-tivo) y no aquellos que contemplan los servi-cios y productos directos del proyecto. Porejemplo,
El No. de mujeres, de hombres y de jóvenesque han culminado con éxito un programa decapacitación es un indicador de resultado.
El % de personas capacitadas que han modi-ficado sus prácticas (en su hogar, o en sufinca, o en el Municipio, o en la empresa) yhan difundido los conocimientos adquiridosen su entorno (profesional o familiar, etc.)constituye un indicador de impacto.
b) Tomar en cuenta que cuando los indicadoresmiden variaciones (aumento de x%, por ejem-plo), van a requerir de línea base.
Ejemplo: (APODER, 2008): 80 % de las Muni-cipalidades de la región realizan una rendiciónde cuentas a la sociedad civil, por lo menosdos veces al año, con información financieray técnica transparente; este indicador ha re-querido del levantamiento de datos para de-finir cuál era la situación de partida (15% deMunicipalidades que ya cumplen con esteprincipio de rendición de cuentas).
47
Proceso del MEI en 6 pasos
Proy
ecto
Cam
pode
obse
rvac
ión
Indi
cado
r–
ejem
plos
-
APODERdescentralizaciónenespaciosrurales
(3de8R.)
R.11
02:O
rganizaciones
sociales
yautorid
ades
locales
nego
cian
regionaly
nacionalmente
susprop
uestas
deajuste
anorm
asypo
líticas
dedescentralizaciónconbase
ensusexperie
ncias
%de
Municipiosde
coberturado
ndelas
organizaciones
sociales
seinvolucran
yparticipan
enlaelaboraciónde
prop
uestas
deajustesde
norm
asypo
líticas
deDescentralización(alm
enos
en50
%de
Municipios)
Unid
ad+m
étod
o
Revisión
delasactasde
talleresyreuniones
anivelm
unicipal
(repo
rteen
ficha
deregistro)
Resp
.
Secr.T
écn.
decada
asociación
deMunicip.
R.12
01:S
ehanfortalecido
capacidade
sde
Municipalidades
ruralespara
unage
stióntransparente
yparticipativa
%de
Municipalidades
quege
nerany
difunden
inform
aciónfinancieraytécnica
claraytransparente
(mecanismo“ida-
vuelta”),do
svecesalaño(70%)
Revisión
deAc
tasde
lConcejo
Municipaly
delosacuerdos
firmados
entreAu
torid
adyRe
pres.S
ociedadcivil(ficha
registro
por
Municipio)
Secr.T
écn.
decada
asociación
deMunicip
R.12
02:E
xisten
organizaciones
sociales
fortalecidas
yactivas
enla
coge
stiónde
losrecursos
públicos
locales
%de
organizaciones
sociales
debase
que
participan
enelpresupuestoparticipativo
llevandoprop
uestas
conbase
enacuerdos
desusbases(70%
)
a)Re
visión
libro
deactasde
cada
organización
b)Entrevista
amiembros
delasOSB
(sondeo)
TécnicoInst.a
liada
Tabl
aN
o.6:
Indi
cado
res
dem
onito
reo
dere
sulta
do.E
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
48
Ejem
plo
Proceso
D
49
Proy
ecto
Cam
pode
obse
rvac
ión
Indi
cado
r–
ejem
plos
-Un
idad
+mét
odo
Resp
.
EMPRENDERmicroempresasrurales
(2de6R.)
R4:S
eha
fortalecidola
gestiónem
presarialde
pequeñas
empresas
rurales
Node
empresas
quemanejan
unconjunto
deherram
ientas
dege
stión(re
gistros)
(alm
enos
80%de
lasem
presas
apoyadas)
Node
empresas
quecubren
elpuntode
equilibrio
(alm
enos
45%)
%de
increm
ento
delm
onto
deventas
anualespo
rem
presa
(alm
enos
20%anual)
Análisis,p
orem
presa,
delosregistros
actualizados
de•Proveedo
res
•Deprod
ucción
•Decostos
unitario
sytotales
•Decuentaspo
rcobrar
•Deflujode
efectivo
(repo
rteen
cuadro
deregistro)
Análisisdelinformefinancierode
cada
empresa(cuadrode
registro)
Análisisdelinformefinancierode
cada
empresa(cuadrode
registro)
Técn.inst.facilitadora
Técn.inst.facilitadora
Técn.inst.facilitadora
R3:G
obiernos
localeshan
desarrollado
políticas
deapoyoacade
nasprod
uctivas
%de
increm
ento
delm
onto
asignado
anualmente
porelgo
bierno
locala
cada
línea
deprod
ucción
priorizadaen
suterrito
rio
Node
instancias
deco
ncertación
entorno
acade
nasprod
uctivas
institucionalizadas
porelgo
bierno
local(almenos
3)
Análisisrepo
rtes
deejecuciónpresupuestal
municipal
(paracada
Municipio)
Revisión
deactasde
talleresde
mesas
deconcertación
(por
Municipio)
Técnicoprovincial
enDes.E
con.
Técnicoprovincial
enDes.E
con.
Tabl
aN
o.6:
Indi
cado
res
dem
onito
reo
dere
sulta
do.E
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
Ejem
plo
Proceso del MEI en 6 pasos
Proy
ecto
Cam
pode
obse
rvac
ión
Indi
cado
r–
ejem
plos
-
PROMIPACManejointegraldeplagasencultivos
(2de4R.)
R1.1.2:las
instituciones
socias
tienenlascapacidades
metod
ológ
icas
ytécnicas
deprom
over
enelcampo
elMIP
%de
instituciones
socias
queinco
rporan
MIP
enlasacciones
financiadas
porotros
mandantes
oentid
adco
operante
Node
instituciones
socias
quedisponen
deun
sistem
aprop
io,y
validadoen
sumed
io,d
eprom
ociónMIP
Unid
ad+m
étod
o
a)Inform
eanualinstitucional
b)En
trevista
personalde
lrep
resentante
decada
socio
Encuesta
porinstitución
socia
(form
atoallenar)
Resp
.
a)Té
cnicoresp.d
elproyecto
b)Té
cnicoresp.d
elproyecto
Técn.resp.
enlainst.
socia
R2.2.1:E
xisteun
conjunto
deacciones
institucionalizadas
deinvestigaciónen
MIP
Node
tesispo
rañosobretemas
MIPcuyos
resultado
sse
usan
Node
ensayosparticipativos
entre
agricultoresytécnicos
queson
sistem
atizados
ydifundidos
cada
año
a)Cuadrode
registro
detesispo
rcentro
universitario
b)Entrevista
alosdirectores
detesis
Procesar
cuadro
deregistro
decada
ensayo
ydo
cumentosde
sistem
atización
a)Resp.encentro
univ.
b)Técn.resp
proyecto
Técn.R
esp.
proyecto
área
deinvestig.
Tabl
aN
o.6:
Indi
cado
res
dem
onito
reo
dere
sulta
do.E
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
50
Ejem
plo
Proceso
D
51
D.3 Paso 3: M&E de la gestión
AclaraciónGestión: el término tiene una doble acepción.Por un lado, es la realización de las accionesoportunas para conseguir un fin y, por otro, es laorganización y dirección de una institución. Estasdos dimensiones reflejan lo que se pretende mo-nitorear y evaluar en relación a un proyecto dedesarrollo.
El M&E de la gestión abarca tanto el seguimientodel plan operativo y presupuestal cuanto la eva-luación de la manera de dirigirse y de movilizarrecursos humanos e institucionales.
“Seguimiento” describe el examen periódicode la gestión de un programa. El seguimiento esla valoración del avance en relación a lo previstoy el análisis del manejo del programa. Conducea reflexionar sobre la estrategia operativa a nivelde cada resultado.
Está incluido en este documento en lo que lla-mamos “Monitoreo y Evaluación de la gestión”.
Procedimiento
Tarea 1
Sentar bases en el plan operativo anual (POA)para facilitar el monitoreo y evaluación. Un plananual bien estructurado agrupa las actividadesrelacionadas a un resultado y proporciona, paracada actividad, la información correspondiente:
• la meta anual, precisando cuál es la unidadde medida;
• el plazo para acabar con la ejecución o el pe-riodo del año en el cual se va ejecutar;
• la institución o la unidad responsable de suejecución y eventualmente la colaboración re-querida con otras;
• el presupuesto asignado, repartido por fuen-tes de financiamiento, y cuál es el costo porunidad (costo de capacitación por personacapacitada, por ejemplo).
La tarea consiste en revisar el plan anual paraasegurarse que presenta de manera conden-sada y explícita los datos.
Tarea 2
Elaborar un esquema que concatena la planifi-cación anual con el monitoreo de la futura eje-cución para permitir una lectura horizontalcomparativa entre lo planificado y lo realizado.
El cuadro permite mostrar, a fines del año y/odel semestre, el avance y el % de ejecución enrelación a las metas. Respecto de los plazos ini-cialmente previstos, visualizar en qué actividadse ha producido atraso y las implicancias sobreotras actividades relacionadas. En cuanto al pre-supuesto, informar sobre su grado de ejecuciónpara alertar su sobre o subejecución.
Proceso del MEI en 6 pasos
Cod
.Ac
tivid
ad
Descrip
ción
Plan
ifica
do
Metas
Plazo
Presupuestoanual($)
Resp.
Ejec
utad
o
No.
Unidad
%avance
Monto
gastado
% Ppto
Logro.dificultad
Aprecia
ción
Unid.
Fase
Delaño
T1T2
T3T4
Costo
Unit.
Monto
1014
Fort
alec
imie
nto
dere
des
deco
mun
icad
ores
14.1
0375
%12
0086
%
Capacitación
acomu
nicadore
srur
ales
1204
XX35
014
00Ce
ntroBL
C
curso
- taller
14.2
0150
%30
060
%
Producción
progra
mas
radiale
sen
quich
ua04
02XX
250
500
AST
sesió
ngraba
da
CO
D.
A.G
.1.1
Form
ulac
ión
dePr
opue
stas
dePC
Ipa
rala
valo
riza
ción
delo
sRR
NN
enm
anco
mun
idad
es
R1:F
amili
asca
mpe
sina
sha
nm
ejor
ado
suse
guri
dad
alim
enta
ría
ein
gres
osm
onet
ario
sen
ejes
prod
uctiv
osco
mpe
titiv
os.
Plan
ifica
doEjecutado
Actividad
Meta
Ppto
$Nºy
%Ej.P
pto$
%ejec.
Avances/lim
itaciones
CO
D.
Diagnósticos
territo
riales
deGe
stión
derec
ursos
hídricos
1.Cu
lmina
rdiag
nósticos
inicia
dose
n200
6
2.Ela
boraru
napropuesta
metod
ológic
a
A.E.
1.1.1.
05
Diagnóstico
sde
Manc.
demunicipios
01
Prop
uesta
16,500
100%
05diagn.
00
14’577
88%
•Se
hanc
ulminado
05estud
iosde
diagnósticod
eGestiónd
eRecurs
osHíd
ricos
enma
ncom
unida
des.
•LasM
unicip
alidades
miem
brocuentan
coninfo
rmación
actua
lizada
sobre
oferta
ydem
anda
derec
ursos
hídricos
yfactores
socio
-organizativos
•Porfa
ltade
acuerdo
interinstitu
cionalnos
eform
ulópro
puestade
métod
oparapla
nesm
aestros
deGestión
deRRHH
enma
ncom
unida
d:decid
irpara
2008
cómo
seguirp
araextraerlec
cióny
recom
endació
nde
métod
o
Descrip
ción
Tabl
aN
o.7:
Cua
dro
com
para
tivo
delo
plan
ifica
doy
delo
ejec
utad
oañ
o20
07(E
jem
plo
1)
Tabl
aN
o.8:
Cua
dro
com
para
tivo
delo
plan
ifica
doy
delo
ejec
utad
oañ
o20
07(E
jem
plo
2)
Ejem
plo
Proceso
D
53
Tarea 3
Incorporar desde el inicio en el diseño y la preparación del “M&E de la gestión” el tema de los talen-tos humanos y de las modalidades de organización. Eso significa concebir la evaluación anual de lagestión de los talentos humanos a nivel individual en relación a la gestión de los aspectos organiza-cionales y de relación interinstitucional..
1. A nivel del equipo de profesionales que trabaja directamente en la ejecución de la operación, dosaspectos deberían ser objeto de monitoreo y evaluación individual:
a) La carga de trabajo personal sobre la base de la elaboración al inicio del año de un plan de ca-pacidades que permita evaluar semestral o anualmente el tiempo de trabajo por campo de res-ponsabilidad (véase el siguiente esquema).
Cód.
Cód. Planificado Plan de capacidades
1.1
1.1
1.1.2.
Tiempo disponible año
POF: Plan operativo de fase; POA: Plan operativo anual; PT: Plan de trabajo por actividad y por responsable; PC: plan de capacidades por actividad y por responsbale
220Tiempo requerido año 340
Actividad/subactividad
Metas Resp Tareas Resp PlazoPresu-puestoanual
Días programadosdel añoFase
PlanificadoUnidad Ana José María
PT PCPOA
POF
Utilidad del plan de capacidades:
• Permite plasmar el POA en un plan de trabajo
• Aporta realismo a la planificación permite priorizar actividades esenciales en función delos recursos disponibles.
En el ejemplo de la tabla No 9 se observa que el conjunto de días necesarios de José paraejecutar su plan de trabajo sería de 340 en el año; sin embargo, José solo dispone de 220días laborables. Eso fuerza a revisar y priorizar actividades y tareas de manera que se es-tablezca un plan de trabajo más realista.
Tabla No. 9: Plan de capacidades
Proceso del MEI en 6 pasos
54
b) El desempeño y la actitud de la personacontratada en relación al perfil delpuesto, con miras a reducir la brechaque puede existir entre ambos. El segui-miento de “desempeño y actitud” tendríaque ser objeto de una reunión anual (osemestral) entre el empleado y su supe-rior directo. Se recomienda utilizar unformato que permita registrar lo discu-tido, cruzando la apreciación tanto delsuperior como de la persona empleada(autoevaluación) y recogiendo la impre-sión de esta última sobre su relación consu superior y el ambiente de trabajo enla institución.
2. A nivel organizacional e institucional, son tam-bién dos los aspectos que deberían ser ob-jeto de monitoreo y evaluación anual:
a) El clima organizacional interno en la uni-dad de coordinación del proyecto, en los
equipos técnicos regionales de di-ferentes instituciones aliadas,
etc., dando seguimiento yevaluando los flujos de co-
municación, los proce-sos de consulta ydecisión, el estilo de li-derazgo.
b) La relaciones interinstitucionales entre so-cios o aliados en cuanto a roles y funcio-nes, procesos de comunicación ydecisión, resolución de divergencias, mo-mentos compartidos para intercambiar yaprender.
En el diseño del M&E de la gestión se caracteri-zan los procedimientos y se elaboran los instru-mentos que se utilizarán para realizar laevaluación en este ámbito. La manera de proce-der será, por supuesto, muy afín a los rasgos dela cultura institucional dominante (estilo ONG, es-tilo empresarial, estilo jerárquico, etc.).
Consejosa) Lo esencial, al momento de informar de ma-
nera anticipada sobre el M&E de la gestión,es alcanzar un buen nivel de entendimientoentre actores asociados sobre qué y cómose va a monitorear este ámbito.
Los actores deben tener la certeza de que nosolamente van a recopilar y entregar datossino que ciertos encuentros están previstospara interpretarlos y sacar en común apren-dizajes.
La técnica de la “mirada cruzada” facilita elpaso de lo descriptivo a lo analítico. Los res-ponsables de una línea de acción o de un re-sultado analizan las cifras clave del monitoreode otra línea de acción o resultado y planteanpreguntas para abrir la discusión sobre losaspectos que les parecen más destacables.Esta técnica se practica a veces entre acto-res de diferentes territorios que desarrollanuna misma acción para que observen y ana-licen los avances, las dificultades y los logrosde manera cruzada entre pares11.
La experiencia enseña que no tiene muchaperspectiva la revisión anual en forma de-tallada de todas las actividades y que másvale centrar la reflexión en algunas pocasactividades críticas.
11 Evaluación Participativa por Productores - EPP. Guía Metodológicapara la evaluación del efecto e impacto del desarrollo tecnológico.(2001). PASOLAC, Centroamérica. Disponible enwww.asocam.org/index.shtml?x=6640
Proceso
D
55
b) Determinar por actividad el costo por unidadofrece la ventaja, más allá de demostrarcómo el monto presupuestado fue estable-cido, de invitar a reflexionar en torno a si elcosto es razonable y su financiamiento sos-tenible en el tiempo (post apoyo externo).
A título de ejemplo, el costo de la capacitacióna las/los agricultoras/es para llevar registros dela finca para la certificación agroecológica debecontemplar el costo del servicio de la entidadde formación, los costos de alojamiento y trans-porte, el costo de la asesoría técnica in situ postcapacitación. El análisis financiero de cursos an-teriores permite fijar estándares por rubro y de-terminar el costo por persona capacitada. Invitamás a la reflexión sobre sostenibilidad indicandoque el costo por persona capacitada esdel orden de US$ 380 y que se necesitaronUS$ 34.200 para capacitar a 90 personas, de-bido a que disponer solo del monto total presu-puestado para los cursos durante el año (US$35.000) no arroja mayor información.
c) En el momento de interpretar los datos y depreparar los insumos para los reportes se-mestrales y anuales, evitar caer en una rela-toría de los logros y repetir lo que se reflejaen los cuadros de síntesis. No se debe des-pojar al ejercicio de evaluación de su funciónde aprendizaje y búsqueda de mejora.
d) El diseño del proceso anual de evaluación opera-tiva gana cuando se distinguen dos momentos.
- Lectura “vertical”: centrándose en un ba-lance general para extraer las principalesconclusiones y los énfasis a poner en lagestión del próximo año a partir de datosdel año anterior relativos a
• los principales hitos del contexto;
• los principales logros por resultado;
• los elementos críticos en la ejecucióndel plan y del presupuesto del año;
• la relación entre volumen de trabajo ydisponibilidad de tiempo (sacando con-clusiones del monitoreo de los planesindividuales de capacidad);
• los aspectos sobresalientes de la eva-luación del clima organizacional;
• elementos críticos de la evaluación delas relaciones interinstitucionales.
- Lectura “horizontal”: una vez definidos losénfasis del plan del año entrante, se pasaa otro momento en el cual se va profun-dizando el análisis de las actividades porresultado, articulando en una sola fila laevaluación del período anterior y la plani-ficación del que viene.
D.4 Paso 4: Desarrollo de instrumentos y organizaciónpara la implementación
12 Es útil distinguir entre técnica (“procedimiento que es de lo que se sirve una ciencia, un arte o una acción”), método y metodología. Esta última es laciencia de los métodos (Diccionario de la Real Academia Española) y, por extensión, designa el conjunto de los métodos seguidos en unainvestigación compleja.
AclaraciónMétodo: procedimiento establecido, sistemá-tico y ordenado que se sigue para realizar o des-cubrir algo12.
En el ámbito del desarrollo y del MEI, la investi-gación es aplicada y se distingue de la investi-gación fundamental que postula proposicionesteóricas en el mundo de la ciencia. La aplicada
se conecta con la solución de un problema con-creto de la realidad.
Los métodos utilizados en el marco del MEI pro-vienen de la investigación de campo, a diferenciade la investigación experimental que busca aislarun conjunto de variables para organizar el expe-rimento en laboratorio. En cambio, en la investi-gación de campo, la realidad es estudiada talcomo se presenta.
Proceso del MEI en 6 pasos
56
Por lo general, el MEI se enriquece al aplicar dis-tintos métodos complementarios.
• Método documental (interpretación de ima-gen satelital, por ejemplo);
• métodos cuantitativos usando sistemas es-tadísticos;
• métodos de investigación participativa en loscuales los actores participan en el mismoproceso investigativo; y,
• métodos llamados etnológicos en los cualesel investigador se involucra en el estudio y enla interpretación de lo observado.
El arte de la investigación radica en delimitaradecuadamente el tema que se desea analizar.Clarificar la pregunta que la investigación intentaresponder, es la clave. En el MEI, son preguntasque aportan al conocimiento sobre lo ocurrido,lo logrado y lo que está en proceso y se va for-taleciendo.
Para el caso de algunos indicadores, siemprehay que pensar que un principio de estadísticaestá en la triangulación de la información. Paraverificar si un dato es fidedigno o si el método esválido (es decir que mide con exactitud lo quetiene por objetivo medir), es oportuno compararel dato con otros que corresponden al mismoasunto pero que han estado levantados con otrométodo.
Una manera de apreciar el efecto de una accióno de una innovación es comparar lo que ha su-cedido en dos unidades distintas, una con inter-vención y otra sin intervención (por ejemplo, unaempresa agrícola que se beneficia de un crédito,con otra que no tiene acceso al crédito). Dispo-ner de un “referente testigo” permite evaluar conmayor rigor los efectos de una acción, pero envarios temas de desarrollo es difícil cumplir conesta condición. Por ejemplo, un proyecto notiene legitimidad para proceder a un levanta-miento periódico de datos en un Municipiocon el cual no coopera; tampoco unafamilia productora que no recibe ningún apoyo
de un proyecto aceptaría fácilmente servir de“muestra testigo”.
Instrumento: en esta guía tiene la acepción de:“es lo que sirve para recoger, producir, ordenar,sintetizar información”.
Unidad de análisis: se refiere a la entidad o ca-tegoría que será objeto de medición. El tipo deanálisis al que se someterá la información es de-terminante para elegir la unidad de análisis. Porejemplo, si el objetivo es dar cuenta de la colabo-ración con los gobiernos locales, la unidad de aná-lisis natural es el municipio, para lo cual serecogerá información desde diferentes fuentes: laautoridad del poder ejecutivo, el departamento fi-nanciero, la comisión del parlamento municipal en-cargada del desarrollo económico territorial, entreotras. Las unidades de análisis pueden corres-ponder a las siguientes categorías:
• Personas
• Grupos humanos específicos o población deun territorio
• Institución
• Infraestructura
• Unidad espacial como parcelas, fincas, áreascon un uso específico, cuenca
• Circunscripción territorial
• Etc.
• Agrupar los indicadores porunidad de análisis
ProcedimientoTarea 1: filtrar los indicadores de impacto y losindicadores de resultados por unidad de análisis.El propósito es lograr una visión general de la in-formación que se va a conseguir por cada uni-dad de análisis con miras a la preparación de losinstrumentos (véase el acápite D. 4.5).
Proceso
D
57
Descentralización municipal(caso APODER)
Gobierno municipal socio
Microempresa rural(caso EMPRENDER)
Familias productorasmiembros de las empresas aso-ciativas apoyadas
Agricultura y plagas(caso PROMIPAC)
Familias productorasque han sido parte de procesosde capacitación
Familia residenteen los caseríos y el centro po-blado de los Municipios ruralescon los cuales se trabaja
Empresas asociativasapoyadas
Instituciones sociasdel proyecto en laimplementación
Organizaciones socialesde baseque agrupan a ciudadanos ytienen representatividad local
Gobiernos localessocios
Instituciones educativassocias
Tabla No. 10: Ejemplos de unidad de análisis en 3 ejes temáticos
Ejemplo
Proceso del MEI en 6 pasos
Proy
ecto
Niv
el
APODERdescentralizaciónenespaciosrurales
(3de8R.)
Impa
cto
Unid
adde
anál
isis
Munic
ipalidad
socia
Indi
cado
r(e
jem
plos
)
%de
Munic
ipios
socio
sque
haninstitu
cionalizadoyleg
itimadoespacio
sdec
oncerta
cióninclus
ivos
Particip
ación
crecien
tede
mujeres
yjóvenes
enespacio
smunicipales
deconcertac
iónins
titucio
nalizados
%de
losMu
nicipios
quep
articipa
ncon
suexperienciaen
eldis
eñode
políticasr
egion
alesy
nacio
nales
%de
munic
ipios
(conc
onvenio
dedesarro
lloeconóm
ico)enlos
cuale
sseh
aincreme
ntado
lainv
ersió
nprivadaf
ruto
depo
líticase
xplícitasd
eprom
oción
resu
ltado
Munic
ipalidad
socia
70%de
Munic
ipios
dondelas
autorid
ades
ylos
líderes
hand
efinid
ostem
asloc
alesd
elaa
gendap
ública
70%de
gobie
rnos
locale
sque
generany
difundeninfo
rmación
financie
raytécnic
aclaray
transparente
(mecanism
o“id
a-vuelta”)do
sveces
alaño
100%
deMu
nicipios
enlos
cuale
selpresupuesto
particip
ativo
responde
alos
están
daresd
efinid
osya
planesd
emedian
o-larg
opla
zo20
gobie
rnos
locale
shan
definido
surolenp
romo
cióne
conómica,h
ancreado
lafun
cióna
decuando
suestru
ctura
ydestinando
recursos
Alme
nos8
gobie
rnos
locale
scuenta
ncon
unpla
nded
esarrollo
económ
icoloc
alEn
alme
nos8
cadenasd
eproducción
sehaninstitu
cionalizadome
canis
moslocale
sdec
oncerta
ciónp
ública-p
rivada
Organiz
acion
essocia
lesapoyadas
50%Mu
nicipios
enlos
cuale
slas
organiz
acion
essocia
lesse
involu
cran
yparticipa
nenlae
laboración
deprop
uesta
sdea
justes
denorm
asy
políticasd
edescentr
alizació
n70
%de
organiz
acion
essocia
lesde
base
quep
articipa
nene
lpresupuesto
particip
ativo
llevandoprop
uesta
sapartird
eacuerdo
sdes
usbases
Redde
Munic
ipalidades
Rurales
delPerú
(REM
URPE
)10
0%de
políticas,norm
asyp
royecto
sdelCN
D(Centro
nacio
naldelaD
escentr
alizació
n)yd
elos
minis
terios
quet
oman
encuenta
estra
tegias
diferencia
dasp
aralos
munic
ipios
rurales
Pobla
ciónd
elos
Munic
ipios
socio
s%de
lapo
blació
nque
sesie
ntedebid
amente
informa
dasobree
lproceso
dedescentra
lización
%de
lapo
blació
nque
percibe
mejor
asen
lacalidad
ycob
ertur
adelos
servicio
spúblicos
clave
Producto
res/as
delíne
asde
producción
priorizadas(en
Munic
ipiosc
onconve
nioDE
L)No
Munic
ipios
enlos
cuale
sseh
animple
menta
doexperiencias
deprom
oción
económ
icayd
onde
losprod
uctorese
videncia
nuna
mejor
aen
susingresos
Organizacion
essocia
lesapoyadas
(socie
dadcivilo
rganizada)
%de
lasorganiz
acion
esqueh
antoma
doinicia
tivad
eresolu
ciónd
eproble
masimp
ortan
tesen
suloc
alidad
Tabl
aN
o.11
:Ag
rupa
ción
delo
sin
dica
dore
spo
run
idad
dean
ális
is,e
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
58
Ejem
plo
Proceso
D
Proy
ecto
Niv
el
EMPRENDER(Microempresasrurales)
Impa
cto
resu
ltado
Unid
adde
anál
isis
Familia
sprod
uctoras
Gob
iernolocal
Indi
cado
r(e
jem
plos
)
%de
increm
ento
enem
pleo
familia
rge
nerado
(promediode
Node
jornales
porfamilia
/año)
%de
increm
ento
deingresofamilia
ranualpromedioproviniendode
laslíneasapoyadas
Node
prod
uctores/as
socios
delasem
presas
asociativas
constituidas
Node
clientes
yNode
proveedo
respo
rem
presaasociativa
Noytipode
acciones
deapoyoalDEL
Cincorporadas
enlaplanificación
demediano
plazo
Empresas
asociativas
Gob
iernolocal
Node
empresas
quemanejan
unconjunto
deherram
ientas
dege
stión(alm
enos
80%de
lasem
presas
apoyadas)
Node
empresas
quecubren
elpuntode
equilibrio
(alm
enos
45%)
%de
increm
ento
delm
onto
deventas
anualespo
rem
presa
(alm
enos
20%anual)
%de
increm
ento
delm
onto
asignado
anualmente
porelgo
bierno
locala
cada
línea
deprod
ucción
priorizadaen
suterritorio
Node
instancias
deconcertación
entornoacadenasprod
uctivas
institucionalizadas
porelgo
bierno
local
(alm
enos
3).
Tabl
aN
o.11
:Ag
rupa
ción
delo
sin
dica
dore
spo
run
idad
dean
ális
is,e
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
59
Ejem
plo
Proceso del MEI en 6 pasos
PROMIPAC(MManejointegraldeplagasencultivos)
Impa
cto
Familiasp
roducto
ras
%de
familia
sde
agricultoresqueimplem
entanprácticas
demanejointegralde
plagas
(MIP)ensu
finca
Node
prácticas
MIPquesonconocidasyaplicadas
porlasfamilia
sprod
uctoras
Node
personas
capacitadasen
MIPquecomparten
voluntariamente
susconocimientos
enelespacio
familia
rycomunal
%de
reduccióndelN
ode
personas
conintoxicación
agudaen
lascomunidades
%de
dism
inuciónde
residuos
deplaguicidasen
elagua
enlascomunidades
atendidas
Node
familia
squeconocenlanorm
ade
aplicaciónde
losdías
acosechade
insumos
químicos
Node
familia
sconbo
degasfitosanitariasen
buenas
condicionesqueperm
itenlano
contam
inación
alimentaria
Node
familia
squeaumentaronsu
rendimientopo
rtipode
cultivo
respecto
delaño
anterio
r
Costosde
insumos
deprod
ucción
portipode
cultivo
Costo
prom
ediode
manejode
plagas
portipode
cultivo
Variación
eningresos
familia
respo
rtipode
cultivo
resu
ltado
Instituciones
socias
Instituciones
educativas
%de
instituciones
socias
queincorporan
MIPen
lasacciones
financiadas
porotrosmandantes
oentidad
coop
erante
Node
instituciones
socias
quedisponen
deun
sistem
aprop
iode
prom
ociónde
MIP,validadoen
sumedio
Node
tesispo
rañosobretemas
MIPcuyosresultado
sse
usan
Node
ensayosparticipativos
entreagricultoresytécnicos
quesonsistem
atizados
ydifundidos
cada
año
Proy
ecto
Niv
elIn
dica
dor
(eje
mpl
os)
Unid
adde
anál
isis
Tabl
aN
o.11
:Ag
rupa
ción
delo
sin
dica
dore
spo
run
idad
dean
ális
is,e
jem
plos
deap
licac
ión
en3
ejes
tem
átic
os
Ejem
plo
60
Proceso
D
61
Tarea 2: cuando se tienen agrupadas todas lascategorías de información que habrá de levan-tarse a nivel de una misma fuente o unidad, amenudo se considera necesario proceder a unapriorización entre los indicadores. Por ejemplo,la encuesta dirigida a las familias campesinas vaa resultar demasiado larga y es convenienteprescindir de información no esencial.
El análisis de las prácticas enseña que despuésdel primer año de implementación, el esquemade MEI muchas veces es revisado con el propó-sito de simplificarlo. Se va reduciendo el númerode parámetros a medirse para limitarse a loesencial y lo manejable.
• Aclarar los indicadores
ProcedimientoPrecisar y puntualizar en forma de una nota ladefinición que se da a los indicadores aclarando,cuando sea necesario, los conceptos y lo queefectivamente se va a medir.
Esta actividad adquiere bastante importanciacuando varias personas e instituciones asocia-das están involucradas en el levantamiento delos datos de un mismo indicador. El encuestadorno debe tener duda sobre la información quehabrá de recoger.
Ejemplo de un indicador que demanda mayor de-finición:
“La comunidad aplica las normas aprobadassobre uso de tierra y gestión de recursos hí-dricos”.
¿Qué información se va a levantar con grupos fo-cales de comuneros para disponer de evidenciade que la comunidad “aplica” sus normas?
En este ejemplo se ha considerado útil, paraoperativizar el indicador, plantear una sucesiónde 3 preguntas:
a) ¿Cuáles son las restricciones establecidas y lassanciones previstas por las normas comuna-les vigentes sobre uso de tierra y gestión de re-cursos hídricos? (Por ejemplo, prohibición deinvasión por el ganado de tierras de recolec-ción de agua y pago de multa).
b) Para estas restricciones, ¿cuál es el númerode quejas registradas anualmente por las au-toridades comunales?
c) ¿Cuáles son el numero y el tipo de sancio-nes que han sido efectivamente aplicadasconforme a lo que estipula la norma?¿Qué proporción representan en relación altotal anual de quejas registradas en la co-munidad? El ejemplo evidencia la necesidadde contar con un entendimiento común entrelas personas encargadas de levantar la infor-mación sobre los datos precisos que debe-rán proporcionar, de manera que luego sepuedan consolidar datos que provienen de di-ferentes sitios.
En el Anexo No 2_a se presenta como ejemploel cuadro resumen del MEI del Proyecto APODER2008-2011, que incluye una columna de “defini-ciones” que explica los principales términosutilizados en la formulación de los indicadores.
ConsejoUna breve nota que especifica, para cada indi-cador de impacto y resultado, los términos utili-zados, que revela su significado y la técnica derecolección puede resultar muy útil cuando secoopera con entidades que tienen rotación fre-cuente de personal (por ejemplo, técnicos públi-cos de gobiernos locales y regionales). La notaconstituye un soporte para la inducción y capa-citación de una persona, recién nombrada, en-cargada de proveer datos.
• Definir el método
AclaraciónEn la operatividad del MEI es necesario combinara menudo una serie de métodos. Existen mu-chas posibilidades: métodos cualitativos, cuan-titativos o cualicuantitativos, más o menosparticipativos, o que requieren de una mayor omenor utilización de recursos. Cada uno de losmétodos elegidos proporcionará informacióncon grados diversos de exactitud y defiabilidad13.
13 FIDA (2002) Guía para el S y E de proyectos. Roma-Italia.
Proceso del MEI en 6 pasos
62
Tipo de métodosPara el MEI participativo los métodos se agrupan del modo siguiente:
• Métodos muestrales;
• Métodos básicos de MEI (análisis de las partes interesadas con cuestionarios);
• Métodos de debate en grupo (como “lluvia de ideas”, grupos focales y simulación desituaciones);
• Métodos para distribución espacial de la información (como mapas temáticos y transectos);
• Métodos para el seguimiento cronológico de los cambios (como diarios, líneas de tiempoy monitoreo por fotografías);
• Métodos para analizar los vínculos y relaciones (como diagramas de impacto y árboles deproblemas);
• Métodos para jerarquizar y priorizar (por ejemplo matrices)
Es probable que se utilicen otros métodos especializados en relación con disciplinas técnicasespecíficas. Para asegurar esta inclusión en un plan de MEI se debe recurrir a expertos entécnicas específicas.
Ejemplos de métodos de MEI
La elección de un método para recoger o analizar datos cualitativos o cuantitativos dependeno sólo del tipo de información que se quiera obtener sino también de las capacidades yrecursos disponibles, de cómo se utilizará la información y del grado de precisión en losdatos.
Datos cualitativos Datos cuantitativos
Métodos paragrupos
Estudios de casos, “lluvia de ideas”,grupos de discusión, análisis FODA,técnicas de simulación desituaciones, mapas, transectos(recorridos sistemáticos), SIG,tendencias históricas/cronología,calendarios estacionales, imágenesvivas, visualización, diagramas deflujo, jerarquización del bienestar
Técnica de gruposnominales, mapas,transectos, tendenciashistóricas/cronología,calendarios estacionales,diagramas de flujo, matricesde puntuación yjerarquización
Métodos paraindividuos
Entrevistas semiestructuradas,estudios de caso, mapas, transectos,diarios, tendenciashistóricas/cronología, calendariosestacionales, diagramas de flujo
Mediciones biológicas,cuestionarios estructurados,mapas, transectos, SIG,diarios, diagramas de flujo
Proceso
D
63
ProcedimientoTarea 1: definir, por unidad de análisis, los métodos para recoger la información, identificando conclaridad el grado de precisión deseado, las necesidades de información cuantitativa y cualitativa, loparticipativo del proceso y si se va a recoger información desde individuos y/o desde grupos.
Tarea 2: decidir si se trabajará con una muestra o con la población entera; si se opta por una mues-tra se debe calcular su tamaño y aplicar el muestreo.
MuestraUna muestra es un subconjunto de casos o individuos extraídos de una población. Lasmuestras se obtienen con la intención de inferir propiedades de la totalidad de la población,para lo cual deben ser representativas de las mismas.
El muestreo se refiere a la técnica para la selección de una muestra a partir de una población.Este proceso permite ahorrar recursos, obteniendo resultados parecidos a los que se lograríansi se realizase un estudio de toda la población. Entre las razones para optar por el muestreoestán:
• Reducción de costos: al estudiar una pequeña parte de la población, los gastos delevantamiento y tratamiento de los datos serán menores que si los obtenemos del total dela población.
• Rapidez: al reducir el tiempo de levantamiento y tratamiento de los datos, se consigueinformación de manera más rápida.
• Viabilidad: la elección de una muestra permite la realización de estudios que serían difícileso imposibles de hacer sobre el total de la población.
El tamaño de la muestra se determina para obtener una estimación apropiada de undeterminado parámetro poblacional. Para realizar este cálculo hay que tomar en cuenta tresfactores:
1. Definir claramente el marco del muestreo, es decir conocer la población que se quieremonitorear.
2. Decidir el tamaño adecuado de la muestra, determinando el nivel de confianza aceptabley considerando los recursos disponibles
3. Seleccionar el método de muestreo aceptable
Una adecuada selección del tamaño muestral no es suficiente; es necesario definir conprecisión el grupo que se va a monitorear, para lo cual existe una alternativa de métodos: elmuestreo aleatorio, que da a los individuos de una población las mismas posibilidades de serseleccionados, y el muestreo no aleatorio, que supone una selección más deliberada entreuna población, en base a criterios.
Proceso del MEI en 6 pasos
64
Cálculo del tamaño de la muestra cuando no se conoce con precisión el tamañode la población
Fórmula que se aplica en el caso de que no se conozca con precisión el tamaño de la po-blación, donde:n es el tamaño de la muestraZ es el nivel de confianzap es la variabilidad positivaq es la variabilidad negativaE es la precisión o error
Hay que tomar nota de que debido a que la variabilidad y el error se pueden expresar pormedio de porcentajes, hay que convertir todos esos valores a proporciones cuando elcaso lo amerite.
Cálculo del tamaño de la muestra cuando sí se conoce el tamaño de la población
Fórmula que se aplica en el caso de que sí se conozca con precisión el tamaño de la po-blación, donde:
n es el tamaño de la muestra;Z es el nivel de confianza;p es la variabilidad positiva;q es la variabilidad negativa;N es el tamaño de la población;E es la precisión o el error.
n = Z2 p qE2
n = Z2 p q NN E2 + Z2 p q
Proceso
DConsejos• Antes de elegir el método se debe tomar en
cuenta que:
- En algunos casos no vale la pena contarcon una muestra; el análisis se puedehacer sobre la población global debido aque su tamaño es manejable.
- Los programas de desarrollo enfrentan li-mitaciones de tiempo y de recursos dispo-nibles para monitorear a toda la población;por lo tanto, la técnica de muestreo es idealpara priorizar y realizar un monitoreo de loque está ocurriendo. La mejor opción podráser levantar información sobre una mues-tra representativa con porcentaje de erroraceptable (lo aceptable estadísticamentees 5%, pero deberá ser definido por el pro-yecto considerando los recursos disponi-bles y el hecho de que se buscantendencias y no datos exactos).
- En algunos casos cada indicador (de ca-rácter social, económico, de política pú-blica, biótico, etc.) requiere de unamuestra específica debido a que la unidadde análisis es distinta.
- La muestra debe dar información quesirva a los actores que intervienen en elproyecto; por lo tanto, los criterios y elmétodo para seleccionar a los individuosque serán monitoreados deben ser con-certados y acordados, ya que está enjuego su representatividad.
- Cuando el número de la población total esmuy elevado, se aconseja hacer estudiosde caso (véase el recuadro a continua-ción), definiendo criterios de selección
- A modo de referencia, véase el Anexo No 7:"Definición de muestra para el caso delejemplo APODER".
Estudios de casoUn estudio de caso es un método que permite documentar una serie de datos y hechos enrelación con una persona, un espacio, un hogar o una organización, a fin de obtenerpercepciones acerca de cambios ocurridos. La ventaja es que se incrementa el nivel deprofundidad en el análisis. La representatividad no es alta, pero permite entender procesos ytendencias de cambio que están ocurriendo.
La necesidad de un estudio de caso puede derivarse de una encuesta general en la queaparezca un tema particular que necesita tratarse con más detenimiento.
Desde una perspectiva de MEI, los estudios de casos dan vida a datos que de lo contrarioserían impersonales, y permiten conocer a fondo el contexto y los factores en que se basanlos datos generales.
Por lo general, los estudios de casos no se consideran representativos, por lo cual esconveniente efectuarlos en combinación con métodos que requieran de muestras más grandes,como las encuestas o cuestionarios.
A título de ejemplo, el proyecto APODER realizó al margen del MEI estudioscomplementarios de algunos casos para analizar con mayor profundidad lo que estabaocurriendo en la práctica del “presupuesto participativo municipal”, de la “asociación entreMunicipalidades rurales”, etc.
65
Proceso del MEI en 6 pasos
Consejos• Dependiendo de los temas definidos para rea-
lizar análisis de casos, se debe identificar elnúmero de casos, intentando que sean con-trastantes y que reflejen situacionesdistintas.
• Los casos deben ser seleccionados y defini-dos con personas clave que conozcan la rea-lidad que se va a analizar y apoyen ladefinición de tipologías y categorización.Cabe recalcar que se debe analizar más deun caso por tipología identificada; esto esmuy importante debido a que los casos ana-lizados se vuelven un referente para elanálisis.
• Los datos de los estudios de caso deben ser-vir de insumos para reflexionar en grupos.Por ejemplo: los datos de un estudio sobreuna familia productora serán analizados porla junta de regantes, de modo que la infor-mación sea validada y retroalimentada.
• Puede resultar viable que para indicadoresmás cualitativos se busque la información apartir de estudios de caso y para lo más fac-tual se defina una muestra.
• Diseñar instrumentos
ProcedimientoTarea 1: construir los instrumentos de recolec-ción de información por método y unidad de aná-lisis. En la medida de lo posible, establecer unsolo instrumento por unidad de análisis.
Por ejemplo, si el método seleccionado para re-coger información a nivel de la familia campe-sina (unidad de análisis) es la encuestaestructurada, agrupar en un cuestionario únicotoda la información que se plantea recoger, se-parando en diferentes capítulos los temas a tra-tarse.
Tarea 2: una vez elaborado el instrumento,plantearse cómo se procesará la informaciónque se va a levantar. Se trata de bosquejar unatabla de síntesis (“cuadros y gráficos de sa-lida”) que permitirá realizar la consolidación y
cruces de datos con el fin de disponer dedatos relevantes respecto de los indicadores,así como de explicaciones del porqué de lasvariaciones.
Consejosa) Un instrumento para levantamiento de infor-
mación debe ser sencillo, concebido comouna ayuda para las personas que lo van a uti-lizar, con poca exigencia de tiempo para lle-narlo.
b) En la etapa de diseño de los instrumentos sedebe buscar que estos permitan levantar in-formación directamente relacionada con losindicadores, debido a que constituye unriesgo aprovechar la elaboración de un ins-trumento para intentar recoger datos no ini-cialmente previstos y que repentinamenteparecen interesantes de recabar.
c) La preparación a la par de los instrumentos yde sus tablas de síntesis (cuadro de salida)permite verificar si se podrá dar efectiva-mente uso a toda la información conseguiday si podrá ser interpretada. Este es un pasonecesario que a menudo conduce a revisarel diseño del instrumento de levantamientoinicial, precisarlo y ajustarlo a la informaciónrealmente necesaria.
d) Para la validación de cada instrumento tieneque hacerse una prueba de aplicación a pe-queña escala antes de pasar a un uso gene-ralizado.
Una reunión de presentación y capacitacióna las personas encargadas de su futura utili-zación puede constituir un buen espacio paraproceder a una primera aplicación de los ins-trumentos con miras a su validación y ajuste.
e) Un indicador da cuenta de un dato final; mu-chas veces requiere de un pequeño procesoinvestigativo específico para obtenerlo.Para definir y estandarizar este proceso,puede ser útil desarrollar una tabla que in-cluya todas las variables involucradas parael cálculo, como se ilustra en el siguienterecuadro.
66
Proceso
D
67
El indicador de impacto del proyecto EMPRENDER formulado,en su primera fase, fue:
“Incremento anual de los ingresos monetarios familiares generados en líneas priorizadasde producción agrícola”
La pregunta que surgió fue ¿cómo se va a proceder para recabar este dato a nivel de lasfamilias agricultoras? En reunión con los técnicos encargados del seguimiento a losproductores y responsables de proveer el dato, se decidió aplicar una tabla-herramienta quefacilitó y uniformizó la construcción del dato final:
Tabla para calcular a nivel de cada familia productora el dato final anual
(1) P. ej., quintal por ha.
(2) para el cálculo del costo de producción, el agricultor disponía de un registro detallado: un cuadro que especificaba la informaciónnecesaria.
Cultivopromovido
Cantidad Unidad1
Producciónbruta porcampaña
Cantidad Preciounitario
Ingresobruto
VentaCostos deproduc.2
Papa
Haba
…
Ingreso netopor campaña
Proceso del MEI en 6 pasos
Proy
ecto
Niv
el
APODERdescentralizaciónenespaciosrurales
(3de8R.)
Impacto
resultado
indi
cado
r
(seescribe
enesta
colum
naelcódig
ode
losind
icado
resq
uecorre
sponden)
Unid
adde
anál
isis
Munic
ipalidad
socia
Mét
odo
Encuesta
estru
cturada
agrupo:
-Alc
alde
-Ge
rente
M.-
Rep.
S.civ
il
Inst
rum
ento
Cuestionario
(21p
reg.)
peri
odic
idad
inicio
yfin
defas
e
Resp
.Apl
icac
.in
stru
men
to
Resp.M
EIcone
l/la
Coordin
ad.d
ezona
Resp
.Pro
cesa
rin
fo
Coord.
Reg.
+Re
sp.M
EI
Pobla
ciónd
elos
Munic
ipios
socio
sEncuesta
muestra
lajefes
familia
Cuestionario
(véaseA
nexo
No6.a)
LB+fin
fase
Resp.M
EIcon
Entre
vistad
ores
locale
s
Resp.M
EI+DirP
y
Producto
res/asd
elíne
asde
producción
priorizadas(en
Munic
ipios
conc
onvenio
DEL)
Encuesta
censalalTécn.
munip
alDE
LCu
estionario
(ordena
datose
xisten
tes)
LB+fin
fase
Técn.m
unicipalD
ELCo
ord.
Reg.
+Re
sp.
MEI
Organiz
acion
essocia
lesy
econ.apoyadas(socie
dadc
ivilorg
aniza
da)
Encuesta
estru
cturada
aPd
teOrg.
Cuestionario
(19preg
.)Técn.facilitador
Inst.
aliada
Coord.
Reg.
+Re
sp.
MEI
Organiz
acion
essocia
lesapoyadas
Estud
iode
casos
Esquem
areg
istro
anual
Técn.facilitador
Coord.
Reg.
+Re
sp.
MEI
Redd
eMunicip
alidades
Rurales
delPerú
(REMU
RPE)
Encuesta
alad
irectiva
Cuestionario
(5preg
.)anual
Resp.M
EI+DirP
yRe
sp.M
EI+DirP
y
Munic
ipalidad
socia
Sistem
ader
egistro
censal
Ficha
pora
socia
ción
de Munic
ipios
anual
Sec.
Técn.a
socia
ción
Coord.
Reg.
+Re
sp.
MEI
Ficha
por
Munic
ipiocon
convenioDE
L
anual
Técn.m
unicipalD
ELCo
ord.
Reg.
+Re
sp.
MEI
Tabl
aN
o.12
:D
efin
ició
nde
inst
rum
ento
spo
run
idad
dean
ális
is,e
jem
plo
deap
licac
ión
en3
ejes
tem
átic
os
68
Ejem
plo
Proceso
D
Proy
ecto
Niv
el
EMPRENDER(microempresasrurales)
Impa
cto
Resultado
indi
cado
r
(seescribe
enesta
colum
naelcódig
ode
losind
icado
resq
uecorre
sponden)
Unid
adde
anál
isis
Familia
sprod
uctoras
Mét
odo
Encuesta
muestrala
socios/as
Inst
rum
ento
Cuestionario
(6partes,3
2preg
.)(véase
AnexoNo6.b.)
peri
odic
idad
LB+fin
fase
Resp
.Apl
icac
.in
stru
men
to
Técn.facilitador
Inst.a
liada
con
Resp.M
EI
Resp
.Pro
cesa
rin
fo
Resp.M
EI
Gob
iernolocal
Encuesta
estructurada
aautorid
ady
director
deplanificación
Cuestionario
(11preg
.)LB
+fin
fase
Técn.
Responsable
DEL
Resp.M
EI
Empresas
asociativas
Encuesta
estructurada
gerentede
empresa,
administrador
ypresidente
dela
asociación.
Cuestionario
(5partes,2
9preg
.)
anual
Técn.facilitador
Inst.a
liada
con
Resp.M
EI
Resp.M
EI
Gob
iernolocal
Sistem
ade
registro
Fichapo
rgo
bierno
local
conconvenio
anual
Técn.
Responsable
DEL
Resp.M
EI
Tabl
aN
o.12
:D
efin
ició
nde
inst
rum
ento
spo
run
idad
dean
ális
is,e
jem
plo
deap
licac
ión
en3
ejes
tem
átic
os
69
Ejem
plo
Proceso del MEI en 6 pasos
PROPIMACManejointegraldeplagasencultivos
Impa
cto
Resultado
(seescribe
enesta
colum
naelcódig
ode
losind
icado
resq
uecorre
sponden)
Familia
sprod
uctoras
Encuesta
acasos
seleccionado
sMapas
parlantes
Calendario
agrícola
Guías
deentre
vistas
con
esquem
asa
llenarc
onlainfo.
proporcionada
demanerade
visualizar
sus
respuestas
(véase
AnexoNo
6.c)
LB+fin
fase
Técn.Inst.
aliada
con
Resp.M
EIen
cada
país
Resp.M
EIen
cada
país
Instituciones
socias
Sistem
ade
registro
Fichade
registro
Porperío
dode
capacitación
Técnico
responsablede
resultado
Técnico
responsablede
resultado
Instituciones
educativas
Sistem
ade
registro
Fichade
registro
Porperío
dode
capacitación
Técnico
responsablede
resultado
Técnico
responsablede
resultado
Proy
ecto
Niv
elin
dica
dor
Unid
adde
anál
isis
Mét
odo
Inst
rum
ento
peri
odic
idad
Resp
.Apl
icac
.in
stru
men
toRe
sp.P
roce
sar
info
70
Tabl
aN
o.12
:D
efin
ició
nde
inst
rum
ento
spo
run
idad
dean
ális
is,e
jem
plo
deap
licac
ión
en3
ejes
tem
átic
os
Ejem
plo
Proceso
D
71
• Organizar laimplementación
Las actividades de un proyecto se planifican yse ejecutan a diferentes niveles y con diversosactores institucionales. De igual modo, en el pro-ceso de monitoreo se recoge información de di-ferentes procedencias (territorios, instituciones,etc.) lo que requiere de una buena organización
y una función de coordinación para facilitar ycontrolar la ejecución.
Un esquema que permita visualizar los flujos deinformación puede constituir un instrumento útilpara distinguir y relacionar los niveles de levan-tamiento, procesamiento y de progresiva valida-ción y comunicación de la información, conformea la siguiente propuesta.
El flujo está muy relacionado con las caracterís-ticas del proyecto, dependiendo de sus nivelesde actuación y de los actores asociados.
Este esquema puede ser complementado conotro que visualice los flujos de información entreniveles y actores relacionados.
Las actividades del MEI tienen que estar inclui-das en los planes operativos del proyecto y delas instituciones socias.
El dispositivo del MEI gana al estar descrito enun documento (idealmente como capítulo delplan operativo de fase) que informe tambiénsobre los mecanismos y acuerdos para su im-plementación.
En el Anexo No 11 se presenta, a manera deejemplo, el índice del documento de presenta-ción de un dispositivo del MEI.
Un capítulo del plan operativo anual (POA) o, sise considera más conveniente, un subcapítulodel plan de cada resultado, estará dedicado alas actividades de implementación del MEI du-rante el año.
En resumen, para tener éxito en la implementacióndel MEI, resulta importante respetar 4 principios:
a) Contar con un compromiso institucional: in-terés e involucramiento de la dirección delproyecto y de las instituciones socias para fa-cilitar la puesta en práctica y para asignar losrecursos requeridos
b) La responsabilidad de la implementación esde todo un equipo y no recae solamente en lapersona encargada de la coordinación; lostérminos de referencia del personal técnicodel proyecto y los convenios de cooperacióncon las entidades socias deben incluir un ar-tículo que se refiera a las responsabilidadesen la implementación del MEI
c) Reconocer el rol clave de el/la coordinador/adel MEI (véase el Anexo No 8: "Perfil del Co-ordinador/a del MEI de un programa dedesarrollo"), que debe disponer de la autori-dad para dar seguimiento a su implementa-ción y estar apoyado/a institucionalmentepara hacer respetar los plazos y la calidad dela información.
d) Asociar a consultores especializados paraciertas tareas específicas pero no delegar eldiseño y la implementación a una consultoríaexterna.
Ámbito
M&E contexto
Levantamiento
Instr. Resp.
Procesamiento
Instr. Resp.
Comunicación
Medio y destinatario Resp.
M&E impacto
M&E resultados
M&E de la gestión
Instr.: instrumento; Resp.: responsable
Tabla No. 13: Flujo de información de instrumentos de apoyo
Proceso del MEI en 6 pasos
72
D.5 Paso 5: Levantamiento y procesamiento de lainformación
• La función de la línea basepara establecercomparaciones
AclaraciónPara monitorear y evaluar se requiere establecerun punto de partida que se llama “línea base” ysirve de referencia para apreciar los futuros cam-bios. Constituye la primera medición de los indi-cadores contemplados en el MEI. Estainformación es clave porque describe la situaciónde partida en función de la cual se apreciará elcambio a futuro.
Dentro del ciclo de un programa, la línea basedebe realizarse cuando éste se inicia; de lo con-trario, no se contará con datos que permitan es-tablecer comparaciones posteriores conformese avance en la implementación del proyecto. Alno contarse con la línea base se corre el riesgode que la evaluación posterior tenga un altogrado de subjetividad al momento de juzgar larelevancia de los avances y de los cambios.
Consejos• Se reitera la importancia de levantar la infor-
mación en los primeros meses de ejecución,aunque se tiene conciencia de que hay muchasrazones adversas, como no haber establecido
una relación de suficiente confianza con lossocios y/o la falta de tiempo por la intensidaddel trabajo en la etapa de arranque. Sin em-bargo es una prioridad impostergable.
• Para algunos indicadores el valor de la líneabase es cero y entonces no requiere de medi-ción. Por ejemplo, “No de Municipalidades ru-rales que cuentan con una oficina depromoción económica” es cero en el caso deque la Ley que les atribuye responsabilidad enesta materia recién hubiese sido promulgada.
• El levantamiento de la línea base debe servista como una etapa esencial para la valida-ción del MEI. Permite verificar si los indica-dores son pertinentes en cantidad manejabley si los métodos elegidos y las herramientasson idóneos.
• Hay que asegurarse de que la recolección dedatos de la línea base contemple todas lasáreas geográficas y la población que intere-san al proyecto.
• Es necesario asegurar que la muestra y loscasos analizados durante el levantamiento dela línea base se volverán a estudiar en las me-diciones siguientes.
• Hay que tomar en consideración que la reco-lección y la consolidación de los datos re-quieren de un gran trabajo para concluir enpocos datos relevantes que permitan puntosde comparación posterior.
Proceso
D
73
• Capacitación para ellevantamiento de lainformación
El MEI tiene mucha potencialidad para promoverel empoderamiento y el fortalecimiento institu-cional. Sin embargo, necesita a menudo de unprograma de capacitación y acompañamiento enfavor de los socios locales.
Consejosa) Se debe previamente definir el perfil de las
personas que van a estar asociadas en el le-vantamiento de la información, definiendo re-querimientos específicos y habilidades.
b) El proceso de capacitación debe empezarpor informar sobre la estrategia del pro-grama y sus alcances, incluyendo el MEI, yexplicar la información específica que se pre-tende levantar.
c) Las personas deben entender bien el/losinstrumentos previamente a su aplicación.Esto reviste especial importancia cuandoson diferentes entrevistadores y diferenteslugares de aplicación, debido a que la cali-dad del análisis a realizarse posteriormentedepende de la confiabilidad y comparaciónde los datos.
d) En la capacitación se recomienda incluir ejer-cicios piloto que sirvan para verificar el nivelde dificultad que presentan los instrumentosdiseñados. Es una oportunidad para que laspersonas en proceso de capacitación apor-ten con mejoras antes de pasar a una apli-cación masiva de los instrumentos.
• Procesamiento de los datosDespués de levantar los datos, se trata de codi-ficarlos, almacenarlos y procesarlos de modo talque se conviertan en información útil. Es im-portante resaltar que de la calidad y coherenciade los datos con los que se cuente va a depen-der la calidad del análisis posterior.
En esta etapa es fundamental contar con una he-rramienta para el procesamiento de la informa-ción. Se puede usar una base de datos diseñada
específicamente para este fin, utilizando un pro-grama especializado como SPSS o una hoja decálculo en Excel.
En función del tipo de indicadores que se hayanestablecido, se realizará el procesamiento.
• Para indicadores cuantitativos se realizaránagregaciones, promedios, porcentajes, ran-gos o procedimientos estadísticos más com-plejos como correlaciones e inferencias.
• Para datos cualitativos el procesamientopuede ser diverso: se puede trabajar con his-torias de vida, relatos de cambios, agrupa-ción de ideas, matrices, línea de tiempo,mapas conceptuales, entre otros.
Otro tema fundamental al que contribuye el pro-cesamiento de la información es buscar que nosea solamente descriptivo sino que aporte conel análisis y la búsqueda de explicaciones lógi-cas. Se recomienda cruzar variables recal-cando que se requiere de conocimientotécnico, habilidad en manejo de datos y curio-sidad intelectual.
Consejosa) El desarrollo de la herramienta informática
debe realizarse de manera inmediata unavez que se cuente con los instrumentosaprobados.
b) Antes de armar una aplicación informática es-pecífica hay que apreciar bien los beneficiosde utilizar hojas Excel. Es un asunto de be-neficio/costo que debe ser evaluado por elequipo del proyecto. La naturaleza iterativadel MEI puede hacer que se requieran, concierta periodicidad, ajustes en la programa-ción del sistema de procesamiento. Resultaentonces más práctico empezar con una apli-cación sencilla y fácilmente adaptable.
Por otro lado, un sistema bien definido conuna herramienta amigable puede permitir unamayor apropiación y uso de la informaciónpor un mayor número de personas dentrodel equipo, así como de los socios y aliados.No hay receta única en este sentido; es algoque hay que analizar antes de tomar unadecisión.
Proceso del MEI en 6 pasos
74
c) Un inconveniente mayor se presenta cuandoal codificar los datos, a menudo se observaque el registro de las respuestas en los ins-trumentos de recolección contiene debilida-des (información que no se puede leer,preguntas que no tienen respuesta, etc.). Serecomienda por ello que una persona haga,en el sitio mismo del levantamiento, un pri-mer control de calidad con el fin de evitar queerrores o fallas solo aparezcan en el mo-mento en el cual se procesan los datos demanera centralizada.
d) Otro momento de la verificación de datosocurre al trasladar las respuestas a la basede datos. Esta tarea debe ser realizada poruna persona que entienda bien la lógica delos datos que se van a procesar. No se tratasolo de sumar cifras. Se debe disponer detiempo y capacidad para reflexionar sobre losdatos que se van ingresando y con autoridadpara regresar, si es necesario, a la fuente ori-ginal en el caso de aquellos datos que llamanla atención. El procesamiento de datos de di-ferentes procedencias es un reto.
e) Con miras a incrementar la sostenibilidad delsistema debe buscarse la gestión descentra-lizada de información a nivel de cada actor,
aportándoles con datos que son útiles a sunivel. Este puede ser un primer paso paraque ellos fortalezcan sus prácticas de MEI.
f) Hay que contemplar que los reportes de losdatos cualitativos y cuantitativos serviránpara la difusión de la información a diferen-tes usuarios. Mientras más visuales y fácilesde entender sean los reportes, más fácil va aser llegar a los usuarios. De lo contrario losreportes se vuelven memorias institucionalesque aportan poco a los actores locales y alos decisores. Véanse a modo de ejemplo lastablas de síntesis del procesamiento de la in-formación generada en el MEI de los 3 casospresentados en el documento, sus cuadrosde salida, gráficos e informe:
a. Anexo No 2_b: "Aplicación MEI – CasoAPODER".
b. Anexo No 5: "Cuadro de presentación deindicadores de monitoreo – Ejemplo APO-DER".
c. Anexo No 3: "Aplicación MEI – Caso EM-PRENDER".
d. Anexo No 4: "Aplicación MEI – Caso Líneabase PROMIPAC".
D.6 Paso 6: Análisis, uso y comunicación de lainformación
• Análisis de la informacióngenerada
1. Luego de la recolección y procesamiento hayque estudiar detenidamente la informacióndisponible (conjunto de datos sobre hechos,opiniones organizadas por indicador). El aná-lisis tiene las siguientes funciones:
- Traza una imagen de la situación o de unproceso comparando, por ejemplo, los re-sultados planeados con los reales, anali-zando a qué obedecen las diferencias,observando las variaciones entre diferen-tes territorios o grupos poblacionales,cruzando diferentes variables para anali-zar su correlación.
- Refina la comprensión de lo que está su-cediendo mediante la discusión de la in-formación procesada con los interesadospara obtener una percepción más precisa,entender las aparentes contradicciones ylas conexiones entre distintas variables,comparar la evolución entre diferentes te-rritorios, diferentes grupos sociales e in-terpretar cuáles son las razones.
- Cuando este análisis se realiza en formaparticipativa, limita los prejuicios abriendoun debate sobre la manera de interpretarla información y refuerza la aceptaciónpor parte de los diferentes actores de lasconclusiones, debido al análisis compar-tido que integra las diferentes visiones.
Proceso
DEl análisis de la información del monitoreo vaa la par con la reflexión crítica. Por reflexióncrítica se entiende no limitarse solo a la re-colección, procesamiento y presentación delos datos sino interpretar lo ocurrido y lasexperiencias vivenciales para entender porqué está sucediendo, cuáles son las posiblesconsecuencias y si va a requerir de ajustesen la manera de actuar. Una recomendaciónpara que los actores involucrados en un pro-yecto sean más reflexivos es planificarcuándo y cómo se va a proceder a un trata-miento crítico de la información a nivel micro(comunidad, microempresa, por ejemplo) ymacro (gobiernos regionales socios del pro-yecto, redes empresariales nacionales deuna línea de producción). Los problemas nose ven como errores sino como oportunidadde aprendizaje.
El análisis de la información, que tiene queser sistematizada, de fácil acceso y com-prensible, lleva a identificar las leccionesaprendidas que se pueden definir como el co-nocimiento, fundamentado, que se deriva dela experiencia y que se puede generalizar ypermite mejorar la acción.
2. Utilidad del monitoreo y la evaluación
No se puede limitar el M&E a generar y pro-cesar información, sino que constituye unaresponsabilidad ponerla a disposición enforma accesible y promover su uso. La res-ponsabilidad para el buen uso de la informa-ción proporcionada por el sistema del MEIreside, en última instancia, en los nivelesaltos de las instituciones que suelen confor-mar el Comité de orientación y supervisióndel proyecto, de las instituciones socias yaliadas, y de la misma dirección del proyecto.
Para que un sistema MEI aporte a la gestiónde una intervención debe reunir por lo menostres condiciones:
a) Producir información pertinente (en di-recta relación con la acción) y en tiempooportuno (para que sirva de retroalimen-tación en momentos de planificación). Pa-recería obvio, pero en la realidad sevuelve muy desafiante para la unidad delMEI llegar a tiempo con información pro-
cesada, consolidada y presentada enforma atractiva en los momentos semes-trales y anuales de balance-planificación ycon datos y comentarios relevantes en lassesiones del Comité de orientación-su-pervisión.
b) Aportar con evidencias sobre lo que estásucediendo, balanceando de manera ob-jetiva lo positivo con las dificultades y loselementos más débiles. Transparentar loque está pasando, con suficiente infor-mación y no solo con lo que convienemostrar.
c) Crear y mantener un entorno de uso de in-formación y una cultura de aprendizaje,promoviendo una reflexión formativa (porejemplo, planteando al final de un cuadrosintético de datos preguntas que invitan adar una explicación de lo que está suce-diendo). El monitoreo, para no desapro-vechar toda su utilidad, no debe serentendido como un mecanismo para au-tojustificar lo que se va ejecutando sinopara promover la reflexión y el aprendizajeen aras de mejorar la acción.
La información generada por el sistema gene-ralmente sirve para las siguientes funciones:
1. Rendir públicamente cuenta de los resultadosde la intervención. Incrementar la transpa-rencia sobre el uso de los recursos financie-ros y del tiempo invertido.
2. Evidenciar y documentar, a través de losdatos relacionados a los indicadores y a suanálisis, los avances en la cadena de los cam-bios que la acción persigue. Extraer, enforma participativa, conclusiones y propues-tas de mejora a futuro.
3. Revisar, a la luz de lo logrado en un periodo de-terminado, las estrategias y las metas de la ac-ción para el próximo periodo de planificación.Valorar y utilizar la retroalimentación proce-dente del monitoreo como punto de partidapara tomar decisiones e iniciativas. Es funcióndel liderazgo de un/a director/a de proyecto,con base en el MEI, no solo producir informessino abrir una reflexión que retroalimente di-rectamente la planificación.
75
Proceso del MEI en 6 pasos
76
Producto de la actividadEj: los productores/asconocen las exigenciasy los lineamientos de laproducción orgánica
Resultado logradoEj: los productores aplican losconocimientos adquiridos, losadaptan a su situación ycertifican sus productos
Indicador de impactoEj: se han aumentado y se mantienen estables losingresos monetarios de losfruticultores
ImpactoEj: los agricultores vendensu producción frutícolaorgánica en mercados más estables y a mejor precio
Brecha deatribución
ActividadEj: realizar un curso decapacitación sobre laproducción orgánica defrutales
Gráfico No. 4: Gráfico de cadena de cambio que permite interpretar los avancesen relación al impacto que se está buscando
Se trata de conseguir una visión clara sobrequé funciona y qué no, cuáles son los elemen-tos de la estrategia que se pueden valorar a fu-turo porque han generado efectos positivos,cómo se podría lograr mayor eficiencia y efi-cacia y conseguir mejor desempeño y respon-sabilidad.
4. Identificar lecciones a partir de la práctica,extrayendo enseñanzas que sirven para ajus-tar la acción del proyecto y que, por su gradode generalización, pueden ser difundidaspara servir a otros.
• Uso de la información paralos actores clave
Los enfoques actuales de las acciones dedesarrollo tienen implicaciones en los propiossistemas de planificación y de monitoreo-eva-luación, sobre todo en los siguientes aspectos:
• Partir de la demanda y de las iniciativasen marcha, favoreciendo la inclusión, lacapacidad de autogestión y el empodera-miento, lo que significa que los actoresasuman responsabilidades desde la planifi-cación hasta la ejecución y evaluación enlas acciones que les competen.
77
• Gestión descentralizada de las acciones dedesarrollo y de los servicios públicos con asig-nación de responsabilidad al nivel más cercanoposible de los actores, lo que lleva a fortalecerlas capacidades de planificación, seguimientoy evaluación en los gobiernos locales y orga-nismos públicos descentralizados.
• Alineamiento de las acciones apoyadas porla cooperación internacional con las políti-cas estatales y, por consiguiente, con lossistemas públicos de planificación y de in-formación existentes.
A fin de que el MEI relacionado a un proyectosea entonces útil para las diferentes catego-rías de actores involucrados en la acción, serecomienda tomar en consideración las nece-sidades de información de estos actores.
Partiendo de la información que va a generarel sistema de monitoreo, se puede definir concada categoría de actores clave su necesidadde estar informado y su participación en elciclo de recolección y uso de la información.
Grupode actor
Xxx
Información/datosTipo deinfo quenecesita
Rol/participación
En larecolección
En la organiza-ción y análisis
En el reporte(y a quién)
En el uso pararetroalimentar ac-
ciones
En lacomunicación
externaFrecuencia Contenido
y forma
Zzz
Los acuerdos y planes de cooperación entre estosactores y el proyecto tienen que incluirse, en elconvenio de cooperación, en un artículo referido alsistema de monitoreo-evaluación. Esto permite evi-denciar cuáles son los datos que se comprome-ten a levantar y proporcionar, la informaciónconsiderada útil para su gestión y que desean al-macenar y usar a su nivel, y las capacidades quenecesitan desarrollar (personal entrenado, aseso-ría en temas especializados, disponibilidad enequipo informático y recursos, etc.).
Se debe promover la institucionalización de seg-mentos del sistema de monitoreo-evaluación enlas instituciones interesadas, de forma tal que elanálisis de los datos sirva a su gestión y retroa-limente su planificación.
Los 3 proyectos elegidos en esta publica-ción pueden dar luces sobre posibles acto-res interesados en gestionar información asu nivel.
APODER EMPRENDER PROMIPAC
Poblaciónobjetivo“socios”
- Organización de base dela sociedad civil
- Asociación deMunicipalidades rurales
- Municipalidad con piloto dedes. econ. (Oficina DEL)
- Gobierno regional
- Unidad de producciónfamiliar
- Empresa asociativa- Consejo provincial
(Gerencia des. econ.)
- Unidad de producciónfamiliar
- Asociación deproductores (escuela decampo)
Instituciónde servicio“aliados”
- ONG aliada, nivel regionaly nivel nacional
- Institución facilitadoraprovincial
- Institución de servicio
Contraparte - Centro nacional de ladescentralización (CDE)
- Asociación de Municipalidadesdel Ecuador, Regional SierraCentro
- Escuela Agrícola delZamorano
Ejemplo
Proceso del MEI en 6 pasos
78
• La comunicación de lainformación
Difusión por los actoresLa difusión de las conclusiones del monitoreo-evaluación es un componente de una estrategiade comunicación institucional, dirigida al interiory al exterior, que genera interés y apoyo en losactores.
Los responsables de las instituciones socias(Asociación de Municipalidades rurales, empresaasociativa, asociación de productores, etc.) sebenefician al difundir información que resulta delmonitoreo-evaluación tanto a sus miembros (ren-dición de cuentas, base para la definición deorientaciones) cuanto al exterior en su ámbito deactuación (a aliados, a autoridades, a los mediosde comunicación) para tener mayor visibilidad yreforzar su posición.
Se pueden mencionar, a manera de ejemplos:
• en el eje de la Gobernabilidad: una Municipa-lidad que informe en su página web con datosactualizados sobre los proyectos financiadosen el marco del presupuesto participativo;
• en el eje del Desarrollo económico local: unaasociación de apicultores que difunde datossobre la evolución de la producción y de losprecios en su zona de producción;
• en el eje de Gestión sostenible de recursosnaturales: una gerencia de recursos natura-les del gobierno regional que dispone de fi-chas de monitoreo sobre el manejo defuentes de agua en áreas priorizadas.
Los socios de un proyecto se encuentran en unamejor posición de discusión y negociacióncuando desean incidir en políticas y/o estable-cer alianzas con otras entidades y/o conseguircofinanciamiento de agencias estatales o decooperación internacional.
Difusión por el propio proyectoEs una obligación del proyecto brindar informa-ción sobre sus resultados y su impacto y la in-versión realizada. Las conclusiones delmonitoreo-evaluación tienen muchos destinata-rios potenciales:
• organización nacional responsable y cofinan-ciadora;
• agencia cooperante;
• entidades socias;
• miembros de los comités directivos y aseso-res;
• instituciones aliadas y coejecutoras;
• integrantes de los equipos técnicos;
• otros proyectos que trabajan en el mismo te-rritorio o la misma temática, etc.
La transmisión de conclusiones anuales o defase lleva a utilizar medios visuales, como gráfi-cos, diagramas de tendencia, mapas, para pre-sentar lo que está sucediendo en formasintética.
Si los informes de evaluación a mitad y final defase son para muchas instituciones de coopera-ción una obligación contractual, se recomiendaelaborar adicionalmente fichas con ilustracionesque resuman los avances por resultado y las hi-pótesis de impacto. Esta documentación de fácillectura y costo reducido puede ser utilizadacomo soporte para flashes informativos en es-pacios existentes de intercambio de informacióndel sector o interinstitucional, y remitida a losmedios de comunicación para invitarles a infor-mar sobre la acción y sus actores sobre la basede los logros alcanzados.
Las instituciones que han validado la propuesta
Aprendizajes desdela práctica del MEI
Aprendizajes desdela práctica del MEI
E. APRENDIZAJES
Aprendizajes
E
81
MEI ASOCAM a partir del año 2003 –en particular APODER, EMPRENDER y PROMIPAC– hicieron hin-capié en 3 lecciones que se presentan a continuación.
E.1 El MEI tiene que ser útilLa utilidad del sistema se demuestra ante todoen dos aspectos:
a) Brindar periódicamente (por lo menos anual-mente) información para las instancias de di-rección y de orientación-supervisión delproyecto, de manera que las decisiones ge-renciales se tomen sobre la base de informa-ción precisa y con alto grado de objetividad.Un requisito imprescindible es que la informa-ción llegue a tiempo en forma procesada y concomentarios preliminares y preguntas abiertasque invitan a un análisis más profundo.
b) Organizar el almacenamiento y el acceso demodo tal que los responsables de las institu-ciones socias (asociación de productores/as,grupo de la sociedad civil, empresa asociativa,Municipalidad, etc.) dispongan en tiempo realde los datos que les sirvan directamente paramejorar su gestión y para comunicar tanto in-ternamente como hacia otros (véase el casoECOBONA que se presenta en recuadro). La ar-ticulación con sistemas estadísticos existentesy utilizados (por ejemplo, SIG del gobierno re-gional) puede constituir una parte de la solu-ción para facilitar el almacenamiento y acceso.
Sistema de monitoreo vinculado a un sistema informáticoEl Programa Regional para la Gestión Social de Ecosistemas Forestales Andinos, ECOBONA, decidió romper con lacentralidad de los dispositivos de monitoreo y crear un sistema en línea que brinde información de libre acceso y abajo costo, que permita la participación de todos los actores en el proceso de accountability del Programa y queconstituya una experiencia interactiva de aprendizaje.
La información que el sistema despliega puede ser visualizada desde dos perspectivas: la primera, a través de unamatriz general donde se ven los resultados por indicador para cada país (Bolivia, Ecuador y Perú) o, la segunda,entrando en el detalle de los métodos utilizados para el levantamiento de los datos.
El siguiente paso fue entregar a los actores locales y a otros actores interesados la dirección de acceso al sistema(www.intranetbosquesandinos.info) y una clave de visitante al mismo (usuario: smevi, clave: smevi) la cual permite lalectura de la información mas no la alteración de la misma.
Esta metodología de trabajo le ha permitido al equipo en los 3 países y 6 áreas de acción hacer uso del sistema comoun apoyo para los procesos de planificación, presentación de informes y rendición de cuentas. El tiempo que tomó lacreación del sistema, la capacitación y la apropiación se convirtió en una inversión con altos réditos pues actualmenteeste sistema no solo permite realizar un monitoreo constante de las acciones, sino también que los actores locales, lossocios y aliados del Programa puedan utilizar la información allí presentada, ya sea como una fuente de consulta o comouna posibilidad de compartir e intercambiar.
El reto que tiene ahora el Programa es lograr que los actores locales retroalimenten la información del sistema, lausen en sus procesos de planificación local y, de esta manera, se promueva una cultura de monitoreo que permitiráfocalizar mejor las acciones y utilizar eficientemente los recursos disponibles.
ECOBONA – M-A Barrionuevo – dic. 2008
Aprendizajes desde la práctica del MEI
82
La experiencia de las instituciones que validaronla propuesta enseña que el MEI gana en utilidadsi cumple con los siguientes criterios:
• Claridad conceptual y operativa con lenguajehomogéneo.
• Diseño sencillo (por ejemplo, número redu-cido de indicadores) con herramientas deaplicación progresiva.
• Tiempo dedicado a que los socios de la acciónse pongan de acuerdo sobre la selección de
los indicadores. La experiencia muestra que unbuen nivel de entendimiento sobre los indica-dores que se van a utilizar para medir los efec-tos de la acción realizada en cooperaciónrefuerza entre los actores el consenso en tornoa la finalidad que se persigue.
La discusión sobre indicadores incluye los va-lores que los actores atribuyen a la acción demanera mucha más explícita que la formula-ción de la jerarquía de objetivos.
• Mayor transparencia
¡No es porque el MEI constituya una obliga-ción que su valor es bien comprendido! Lasacciones de desarrollo realizadas en coope-ración entre diferentes actores públicos y pri-vados constituyen un espacio favorable parapromover elementos concretos de una cul-tura democrática a la cual el MEI aporta entres aspectos:
a) Necesidad de rendir cuentas, más auncuando se hace uso de fondos públicosnacionales e internacionales que tienencomo misión aportar a la reducción de lapobreza.
b) Toma de decisiones basada en informa-ción objetiva y evidencias sobre lo queestá realmente sucediendo.
E.2 Aportar a una nueva cultura
Aprendizajes
E
83
c) Reflexión crítica para analizar con mayor pro-fundidad la adecuación de la acción en funcióndel contexto, de los intereses y capacidadesexistentes, y de sus reales efectos.
• Capacidad de observar, documentar y analizar
Corresponde incluir en los planes de coope-ración el desarrollo de capacidades para laspersonas y sus organizaciones en planifica-ción-monitoreo y evaluación. Por capacidadse entiende “la facultad de individuos y orga-nizaciones de desempeñar funciones demodo eficaz, eficiente y sostenible”14. Loscursos de capacitación pueden proporcionaruna base valiosa pero gran parte de las ca-pacidades se adquieren en el trabajo me-diante la experiencia concreta, idealmentecon asesoría periódica en el terreno. A me-nudo, a las personas encargadas del MEIlocal les falta experiencia en materia de re-portar sobre avances y logros. A partir de laexperiencia del proyecto APODER es posiblerecomendar tres actividades:
a) Facilitar la participación de los técnicosmunicipales y de asociaciones de munici-pios en cursos formales que les permitanentender mejor la importancia de docu-
mentar, monitorear y reportar (módulo delDiplomado en desarrollo territorial).
b) Organizar talleres para aprender a anali-zar datos y extraer lecciones.
c) Promover la instalación y el uso de aplica-ciones informáticas que faciliten el trabajode procesamiento y de almacenamiento dedatos a nivel municipal.
• Proveer datos confiables
El otro aspecto complementario al desarrollode capacidades es la definición y aplicaciónde reglas que son condiciones necesariaspara que se implemente el MEI en sus dife-rentes niveles. La experiencia de APODERmuestra que se pueden aplicar reglas bas-tante estrictas sin perjudicar la relación decooperación. Los informes semestrales quedeben entregar los socios y aliados tienen unesquema estandarizado que obliga a presen-tar datos procesados de monitoreo. Cuandoesta parte no se ha llenado, el informe esconsiderado como no entregado, lo que blo-quea el último desembolso anual conforme alacuerdo firmado y a las prácticas en la ad-ministración pública.
¿Quién debe responder de los logros, proble-mas, impacto y lecciones aprendidas de una ac-ción de desarrollo? No hay una respuesta únicapero cada proyecto y sus socios deben plan-tearse dos preguntas centrales:
• ¿Dónde se va a situar la persona o la unidadencargada de coordinar el MEI?
• ¿Cuáles son las instituciones que van a asu-mir responsabilidad en la implementación delMEI y cuáles serán sus funciones?
A partir de la práctica de los 3 proyectos pre-sentados en esta guía se pueden hacer las si-guientes recomendaciones prácticas:
a) Nombrar a una persona responsable del MEIpara elaborar los instrumentos, verificar, con-solidar, almacenar y gestionar los datos ypara brindar asesoría y capacitación a laspersonas e instituciones involucradas en laimplementación. En el caso de APODER y EM-PRENDER, que trabajan con un número limi-tado de socios, esta función ocupa el 60% de
E.3 Determinar funciones y responsabilidades
14 PNUD-1998.
tiempo de una persona experimentada, ubicada en la unidad central del proyecto bajo supervisióndirecta de la dirección.
b) Involucrar a todo el equipo en la tarea del MEI, del nivel central al nivel local, con reparto de res-ponsabilidades no solo por zona geográfica sino por tema y por hipótesis de impacto (por ejem-plo, cada miembro del equipo tiene la responsabilidad de coordinar la implementación del MEI paralos indicadores relacionados a una hipótesis de impacto).
c) Acordar, desde un inicio y de manera formal, el rol de cada entidad socia y aliada en el levanta-miento, agregación estadística y reporte periódico de la información, y planificar el acompaña-miento técnico que eso requiere.
d) No tercerizar el diseño completo y/o la implementación del MEI, por ser un sistema de gestión delos actores del desarrollo, pero contratar a un consultor asociado (o firma consultora) para un ele-mento determinado del proceso
- cuando se necesiten conocimientos técnicos específicos; o,
- para compensar la falta de tiempo del personal del proyecto.
84
AnexosAnexos
86
ANEXOS(disponibles en versión digital en:)
www.asocam.org/biblioteca/ASO_MEI_Anexos_herramientas.pdf
1 Algunas dimensiones a contemplarse para definir indicadoresde interculturalidad y género
2 Aplicación del MEI – Caso APODERa) Datos por indicador de impacto y de resultadob) Resumen de evaluación de contexto e impacto
3 Aplicación del MEI – Caso EMPRENDER
4 Aplicación del MEI – Caso PROMIPAC
5 Datos por indicador de impacto y resultado - ASO APODER (Fase II)
6 Ejemplos de herramientaa) Formato de encuesta familiar – caso APODERb) Ficha por productor – (para manejo de información en la organización del MEI)c) Monitoreo de manejo de plagas a nivel familiar – 2 herramientas - caso
PROMIPAC
7 Definición de muestra – Ejemplo APODER
8 Perfil de Coordinador/a de MEI en la dirección de un Programa deDesarrollo - Ejemplo - Descripción
9 Rol de los actores clave en el monitoreo y evaluación
10 Revisión de Marco Lógico de proyecto (ML)
11 Dispositivo MEI
87
Bibliografía Citada
COSUDE, DAL, 2003.
de Rham, Philippe; Camacho, Patricia y Maître, Adrian (2001). Informe del Estudio Regional"Evaluación de Impacto en Cinco Casos". ASOCAM, Disponible enwww.asocam.org/index.shtml?x=5700
Earl, S.; Carden, F.y Smutylo T. (2002). Mapeo de Alcances. Incorporando aprendizaje y reflexiónen programas de desarrollo. Ottawa, IDRC.
Evaluación Participativa por Productores – EPP. Guía Metodológica para la evaluación del efectoe impacto del desarrollo tecnológico. PASOLAC Centroamérica, 2001. Disponible enwww.asocam.org/index.shtml?x=6640
FIDA (2002) Guía para el S y E de proyectos. Roma-Italia.
Herweg, Karl y Steiner, Kurt (2003). "Monitoreo y valoración del impacto. Instrumentosa usar en proyectos de desarrollo rural con enfoque en el manejo sostenible de la tierra".Disponible en:Volumen I Procedimiento: www.asocam.org/biblioteca/MVI_013.pdfVolumen II Utilería: www.asocam.org/biblioteca/MVI_014.pdf Berna, CDMA, GTZ.
Hipótesis de Impacto Campesinas. Nota conceptual No 2. ATICA, mayo 2002. Disponible enwww.asocam.org/index.shtml?x=8270
Nota de la División Latinoamérica. COSUDE, 2007.
PNUD-1998.
Rotondo, E. (2007). “Lecciones aprendidas en el desarrollo de la capacidad evaluativa para lalucha contra la pobreza rural de un programa regional”. II Conferencia RELAC, Bogotá, 17-21de julio.
88
SiglasAPODER Programa de Apoyo a la Descentralización en Espacios Rurales
ANAPIH Asociación Nacional de Apicultores en Honduras
ASOCAM Plataforma Latinoamericana de Gestión de Conocimientos
BM Banco Mundial
CO Campo de Observación
CND Consejo Nacional de la Descentralización
COSUDE Agencia Suiza para el Desarrollo y la Cooperación
DEL Desarrollo Económico Local
DELC Desarrollo Económico Local Concertado
FAO Food and Agriculture Organization
FODA Fortalezas, Oportunidades, Debilidades y Amenazas
HI Hipótesis de Impacto
I Indicador
IC Fundación Suiza para el Desarrollo y la Cooperación Internacional
LB Línea Base
M&E Monitoreo y Evaluación
MIP Manejo Integral de Plagas
ML Marco Lógico
MEI Monitoreo y Evaluación orientados al Impacto
OSB Organización Social de Base
PASOLAC Programa para la Agricultura Sostenible en Laderas de Centroamérica
PC Plan de Capacidades
POA Plan Operativo Anual
POF Plan Operativo de Fase
PROMIPAC Programa de Manejo Integrado de Plagas en América Central
PT Plan de Trabajo
REMURPE Red de Municipalidades Rurales del Perú
RRHH Recursos Humanos
RRNN Recursos Naturales
SIG Sistemas de Información Geográfica
SIA Sistema de Información Apícola
SPSS Statistical Package for the Social Sciences
UNICEF United Nations International Children's Emergency Fund
89
Lista de participantesTaller regional de validación de
contenidos de la primera versión de la serieHonduras del 11 al 13 de julio de 2006
País Entidad/Proyecto ParticipanteBolivia
CORLAP Geraldine ZeunerAOS Renata Hofmann
EcuadorCAMAREN Sandra VallejoCESA Juan Diego Unda
PerúAPODER Rosa Lyn JoyAPODER Matthias BachmannMASAL Roberto BerlinPREVAL Antonio Pozo
HondurasAGROPYME Rosa EscolánPROMIPAC Rhina DomínguezPROMIPAC Ernesto GarayPROMIPAC Zenia Flores *PROMIPAC Alfredo Rueda *
NicaraguaPROEMPRESA Johanna SánchezPROMIPAC Francis PorrasECOMERCADOS Magali LadislasCORMAN José Luis SandinoPASOLAC Nelson CastellónProyecto Rioplus (GTZ) Maria Delfina Flores
El SalvadorPROMIPAC Gloria Mejía
RegionalASOCAM/IC Philippe de RhamASOCAM / IC Lorena ManceroIC Martin Fischler
Esta guía, en su versión 2008, busca aportar respuestas a las dificultades que encuentran los programas e instituciones al establecer mecanismos de monitoreo y evaluación (M&E). El análisis de varias prácticas de monitoreo y evaluación muestran que el marco conceptual a menudo carece de claridad, que persisten dificultades metodológicas en la implementación y que la evaluación se centra más en el desempeño que en el impacto.
No se trata, entonces, de proponer una metodología nueva y exclusiva, que se desmarca de otras y que alimenta el debate entre especialistas, sino de facilitar la puesta en práctica de una evaluación de acciones de desarrollo que sea asequible, amigable y útil. El propósito es conseguir que el M&E se vuelva una práctica institucionalizada de gestión estratégica y de calidad orientada al impacto y al aprendizaje. Se apuesta a un sistema autogestionado, no demasiado complejo, que acompañe la intervención desde el inicio y que sea de provecho.
CD con contenidos de:
Monitoreo y Evaluaciónde Acciones de DesarrolloOrientadas al Impacto
Productos disponibles sobre el tema:
Serie metodología y casos “Monitoreo y Evaluación de acciones de desarrollo orientadas al impacto” www.asocam.org/biblioteca/ASO_MEI_Guia.pdf www.asocam.org/biblioteca/ASO_MEI_Anexos_Herramientas.pdf
Informe estudio regional “evaluación de impacto en casos analizados A nivel regional” www.asocam.org/biblioteca/ASO_EST_MVI.pdf
Síntesis de la conferencia electrónica “los sistemas de seguimiento y evaluación en el área de desarrollo rural sostenible y medioambiente” www.asocam.org/biblioteca/ASO_MEI_Conferencia.pdf
Todos los productos sobre Monitoreo y Evaluación están disponibles en:
www.monitoreoyevaluacion.info
Portal temático especializado que incluye todos los productos de la Plataforma ASOCAM en eltema, así como una completa biblioteca virtual con publicaciones clave y un listado de entidadesreferentes en monitoreo y valoración de impacto en América Latina.
Versión digital disponible en:www.monitoreoyevaluacion.info
Monitoreo y evaluaciónde acciones de desarrollo
orientadas al impacto
Serie Metodologías y casos
Hernando Sarmiento N39-77 y Hugo MoncayoTeléfono: (593-2) 2447 292
e-mail: [email protected] - Ecuador
www.asocam.org
ASOCAM, Plataforma Latinoamericana de Gestión de conocimientos para el Desarrollo Local en Áreas Rurales, está integrada por 50 entidades localizadas en siete países.
Cuenta con mecanismos de trabajo que promueven la construcción colectiva y rescatan aprendizajes a partir de la práctica.
Los resultados de estos procesos son difundidos en diferentes productos comunicacionales que presentan enfoques y orientaciones en temas prioritarios del desarrollo rural para fortalecer y enriquecer las prácticas institucionales.