Monitoreo y evaluación

126
Monitoreo y Evaluación de Proyectos Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el desarrollo Jaqueline Berumen Milburn

Transcript of Monitoreo y evaluación

Monitoreo y Evaluación de Proyectos

Cuadernos de Cooperación para el Desarrollo No. 3Especialización en Cooperación Internacional para el desarrollo

Jaqueline Berumen Milburn

Cuadernos de Cooperación para el Desarrollo No. 3

Especialización en Cooperación Internacional para el Desarrollo

Monitoreo y Evaluación de ProyectosJaqueline Berumen Milburn

Monitoreo y Evaluación de Proyectos

Con la ejecución de: ���������������� �

Jaqueline Berumen Milburn

Cuadernos de Cooperación para el Desarrollo No. 3 Especialización en Cooperación Internacional para el Desarrollo

©Escuela Latinoamericana de Cooperación y Desarrollo, 2010

Director del proyecto Sebastian Vadalá

Director de la Escuela Jairo Agudelo Taborda

Coordinador de la Unidad de Investigación Gustavo Rodríguez Albor

Autora

Jaqueline Berumen Milburn Profesional en Relaciones Internacionales Especialista en Cooperación Internacional para el Desarrollo

Asesores Carlo Tassara

Silvia Favaron

Primera edición Medellín (Colombia), noviembre de 2010

ISBN: 978-958-8590-10-3

Diagramación e Impresión: Pregón Ltda

Página 5

La Escuela Latinoamericana de Cooperación y Desarrollo

Es un proyecto colombo-italiano, fruto del con-venio entre la Universidad de San Buena-ventura de Cartagena de Indias, Colombia, la

Universidad de Pavia y el Instituto Universita-rio de Estudios Superiores de la Universidad de Pavia, Italia. Además de un consorcio de las ����� �������������������������������������-nanciado por el Ministerio de Asuntos Exteriores de Italia y por la Conferencia Episcopal Italiana.

Su propósito es contribuir al fortalecimiento de la Cooperación Internacional para el Desarrollo, a través de la formación de profesionales autóc-tonos que operen en programas de cooperación internacional, la realización de investigaciones en esta área del conocimiento, el apoyo a redes y al

trabajo interinstitucional con las organizaciones que promueven el desarrollo de la región.

La Escuela posee una estructura interna conformada por dos unidades operativas interdependientes: for-mación e investigación.

La Unidad de Investigación tiene como ob-jetivo realizar investigaciones en el campo de la Cooperación Internacional para el Desarrollo que ���������������� � !������"������ �����������en herramientas básicas en los procesos de gestión de proyectos. Los trabajos de investigación guardan correspondencia con las áreas que conforman el pro-grama académico de la Especialización en Cooperación Internacional para el Desarrollo: Economía del desa-rrollo, Sociopolítica y Metodologías sobre proyectos.

Página 7

Tabla de contenido

Prólogo ...................................................................................................... 11

Presentación ............................................................................................. 13

Contenido y organización del manual .....................................................15

Capítulo 1 Fundamentos del monitoreo y la evaluación ...........................................19

1.1 Importancia y función del monitoreo y la evaluación .............................................21 � #�$�% ���� ���&����� ������� ���� '������ .....................................................22 1.3 Monitoreo y evaluación en el ciclo del proyecto ....................................................24 1.4 El Monitoreo y la Evaluación en la etapa de formulación del proyecto ..............25 1.5 La planeación a través del Marco Lógico ..................................................................25

Capítulo 2 Monitoreo .........................................................................................................29

2.1 Planeación del monitoreo ............................................................................................31 2.2 Formatos para el monitoreo .......................................................................................33 2.3 Desarrollo del monitoreo por niveles de la organización .....................................35

Capítulo 3 Evaluación ........................................................................................................37

3.1 Criterios básicos de la evaluación ..............................................................................39 3.2 Tipos de evaluación .......................................................................................................41 3.3 Desarrollo de la evaluación .........................................................................................42 3.4 La evaluación participativa ...........................................................................................46

Capítulo 4 Selección de información para el sistema de monitoreo y evaluación ...49

4.1 Preguntas de desempeño .............................................................................................51 � *�$�������� ����+ �'�� �� �' ����� � ......................................................................53 4.3 Líneas base y metas .......................................................................................................59 � *�*�/ ����� �' ����� ..................................................................................................60

Capítulo 5 Recolección de información para el monitoreo y la evaluación .............61

5.1 Muestreo .........................................................................................................................63 5.2 Categorías de información ...........................................................................................64 5.3 Métodos de recolección de datos ..............................................................................65 5.4 Técnicas de Valoración Participativa Rápida (VPR) ..................................................73 5.5 Cómo mejorar la calidad de la información .............................................................77

Monitoreo y Evaluación de ProyectosPágina 8

Capítulo 6 Análisis y empleo de la información ..............................................................79

6.1 Sistematización y organización de datos ...................................................................81

6.2 Análisis e interpretación de datos ..............................................................................81

6.3 Empleo de la información ............................................................................................84

Capítulo 7 Monitoreo y evaluación en proyectos de incidencia y de emergencia ....87

7.1 Monitoreo y evaluación en proyectos de incidencia ...............................................89

7.2 Monitoreo y evaluación en proyectos de emergencia ............................................93

Referencias ................................................................................................ 97

Anexos ..............................................................................................................99

Anexo I. .....................................................................................................................101

Anexo 2. ......................................................................................................................107

Anexo 3. ......................................................................................................................111

Anexo 4. .....................................................................................................................117

Anexo 5. .....................................................................................................................125

Página 9

Índice de figuras y tablas

Figura 1. M y E en el Ciclo del Proyecto ...........................................................................................24

Figura 2. Esquema para el “Análisis de las partes interesadas” ....................................................74

Figura 3. Ejemplo de Diagrama de Venn.............................................................................................75

Tabla 1. Diferencias entre el monitoreo y la evaluación ..............................................................23

Tabla 2. Estructura de la Matriz de Marco Lógico .........................................................................26

Tabla 3. Formatos para plan e informe de monitoreo ..................................................................34

Tabla 4. Organización de las actividades de monitoreo por niveles de la organización .......36

Tabla 5. Ventajas y desventajas de evaluaciones externas e internas ........................................42

Tabla 6. Ejemplo de una matriz de evaluación ................................................................................44

Tabla 7. Distinción entre evaluaciones convencionales y evaluaciones participativas ...........48

Tabla 8. Preguntas de desempeño para cada nivel de intervención ...........................................51

Tabla 9. Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo) ........52

Tabla 10. Pasos para la formulación de indicadores (texto de ejemplo) ....................................54

Tabla 11. Características de los indicadores .....................................................................................54

Tabla 12. Resumen de indicadores por nivel de intervención .......................................................58

Tabla 13. Indicadores, Líneas Base y Metas (texto de ejemplo) ....................................................60

Tabla 14. Diferencias entre información cualitativa y cuantitativa ...............................................64

Tabla 15. Cuadro resumen de métodos de recolección de datos ...............................................72

Tabla 16. Errores comunes en la recolección de información ......................................................77

Tabla 17. Tabla resumen de recomendaciones .................................................................................85

Tabla 18. Ejemplo de Estrategia de Difusión .....................................................................................86

Tabla 19. Tabla guía de indicadores para estrategias de incidencia ..............................................91

Tabla 20. Preguntas e indicadores en un proyecto de atención humanitaria .............................95

Página 11

Prólogo

Las actividades de monitoreo se realizan du-rante el periodo de ejecución de un pro-yecto y están a cargo fundamentalmente del

equipo que lo está ejecutando, sirven sobre todo para averiguar si se están logrando los objetivos y los resultados esperados, y si es necesario mo-�������� �� �������;<����= ���� ���� + ����

Las actividades de evaluación se realizan en un momento determinado, están a cargo fundamen-talmente de un experto o de un equipo externo al proyecto, y sirven sobre todo para entender si el proyecto cumplió con los criterios de pertinencia, � ���� ������=���������� �������

Sin embargo, a pesar de las diferencias, se trata de dos caras de la misma moneda. Ambas actividades están orientadas a aprender de la experiencia pa-sada, a través de la formalización de las lecciones �=� ��������� ������� ����=�&�������� ������ �mejorar la formulación y la ejecución de nuevos proyectos, por un lado, y de orientar las políticas y las programaciones futuras, por el otro.

Por eso su importancia nunca se evidenciará lo ��� �� ��>� ����� ����� ��������������������donantes como a los demás actores involucrados en la formulación de las políticas y la realización de los proyectos de cooperación internacional para el desarrollo para que no escatimen esfuerzos y recursos para el monitoreo y la evaluación.

Monitoreo y Evaluación de ProyectosPágina 12

Este manual es una herramienta de mucha utilidad para los dirigentes y los operadores que trabajan �� ����� ��=<�������=�'�����?� � �@� �����diariamente el desafío de diseñar y realizar pro-yectos con un impacto relevante sobre la calidad de vida de miles de hombres y mujeres; para los cuales la cooperación internacional representa una oportunidad concreta de tener acceso a servicios educativos y sanitarios de buena calidad, disponer de microcrédito, oportunidades de ingresos, o fortalecer sus organizaciones de base.

Este manual representa además uno de los resul-tados concretos de un esfuerzo, interinstitucional e internacional, orientado a la creación de una escuela y de un centro de excelencia para la for-mación de jóvenes especialistas latinoamericanos que decidieron dedicar su vida profesional a la cooperación para el desarrollo.

K���<������ � !���� �����=�����=����?� �������� -mas de monitoreo y evaluación sean efectivos, es ne-cesario que cumplan por lo menos con los requisitos y principios generales que se mencionan a continuación:

- Viabilidad: no es oportuno diseñar sistemas en extremo complejos, que normalmente requie-ren una enorme cantidad de tiempo y recursos humanos y materiales. La experiencia nos indica que estos sistemas se resuelven muy a menudo �� + ����� �������=���<�� ����N����-trario, es recomendable concentrar la atención sobre una pequeña cantidad de procesos e in-dicadores y asegurar que se cumpla cabalmente

con el levantamiento de la información esencial para medirlos de manera simple y efectiva.

- Adopción de una política orgánica de evaluación: � ��������� �� ������� ����� ;<��������� ��una organización decide evaluar cierta cantidad de los proyectos que realiza y las modalidades operativas para hacerlo.

- Formación: más allá de los especialistas, que son necesarios y aseguran un valor agregado im-portante, todo el personal que trabaja en un proyecto tiene que contar con una formación esencial sobre los conceptos, las metodologías ������> ���� ������&���� �����?� �� �� � � �a monitoreo y evaluación.

- Participación: todas las partes interesadas de un proyecto tienen que involucrarse en la realización de las actividades de monitoreo y evaluación y, sobre todo, tener la oportunidad de conocer sus informes y demás productos para opinar sobre ellos.

- Sistematización y retroalimentación: hay que ga-rantizar el acceso de todos los operadores de una organización que trabaja en la cooperación para el desarrollo a la información producida. La disponibilidad y la circulación de la informa-ción representan una herramienta importante para aprender de la experiencia, evitar así los errores del pasado y aprovechar las buenas prácticas para el futuro.

Carlo Tassara1

1. Experto, asesor y docente de cooperación internacional. Profesor de Monitoreo y evaluación de la Escuela Latinoamericana de Cooperación y Desarrollo (ELACID) y de Estrategias para la cooperación internacional de la Universidad La Sapienza de Roma.

Página 13

Presentación

El monitoreo y la evaluación son reconocidos como dos fases fundamentales del ciclo del proyecto por todos los actores de la coope-

ración al desarrollo, incluidas las ONG, pero estas <������� �� ���=�&�������� �=� � �������=����como su modus operandi. Urgencias o cargas de trabajo excesivas se imponen y no consienten dedicar tiempo y recursos adecuados a la reco-pilación y el análisis de datos para el monitoreo regular de los proyectos; otras veces, resistencias a poner en tela de juicio las propias acciones y ��������� ������������� � '������� �� !� �����o internos, obstaculizan una verdadera cultura de la evaluación, percibida erróneamente como un ��+���<������� �=W��� �������� �������?��������diálogo, un veredicto no negociable, una intrusión para robar poder, etc.

Por lo tanto, es absolutamente importante acercar conceptos y sobre todo herramientas para que las ONG puedan aplicarlos en su diario accionar al comprender el gran valor del monitoreo y la evaluación como oportunidad de aprendizaje y apertura a nuevas perspectivas de mejoramiento de la gestión y organización del trabajo. El “Ma-nual de monitoreo y evaluación de las ONG de Forum Solint” (Gosparini, Russo, Sirtori y Valma-rana, 2004) ostenta la gran calidad de surgir de la experiencia de las ONG y de estar basado en sus realidades.

Monitoreo y Evaluación de ProyectosPágina 14

Cuando me preguntaron sobre apoyar a Jaque-line Berumen en la construcción de un nuevo manual a partir de la revisión y actualización del Manual del Forum Solint acepté la invitación con mucho gusto, porque creía que algo faltaba en el Manual del Forum Solint que había encontrado en el Manual “Sharpening the Development Process: a practical guide to Monitoring and Evaluation” (Bakewell, Adams y Pratt, 2003), publicado por The International Training and Research Center X��YZN�[����� ������=��@������ � !������� �el concepto de información, base fundamental de cualquier sistema de Monitoreo y Evaluación (MyE). La construcción de este nuevo manual ofre-W������=���������� �� � !�������+����� �� �sobre la posible fusión de estos dos enfoques, y fue acogida con gran entusiasmo e interés por Jaqueline Berumen, especialmente en nuestros encuentros de apasionado intercambio durante los días en Cartagena en la Escuela Latinoamericana de Cooperación y Desarrollo (ELACID).

N�=������ ����� � !������� ����� �@�?� ��� �����dos manuales nace el acompañamiento al lector, ����������?� �'��� �� ����� �������� �����cuestiones hasta la elaboración de indicadores y

herramientas de recopilación de datos, utilizando dos supuestos del enfoque participativo: la trian-gulación y la ignorancia óptima (no recoger más información de la que se necesita o se puede analizar); estas llaves de lectura son esenciales para guiar a los operadores de ONG que luchan todos los días con recursos limitados para recopilar y analizar datos en los sistemas de monitoreo, o a los evaluadores que en un corto plazo tienen que ejecutar la evaluación general de un proyecto.

El trabajo exhaustivo de investigación realizado =���\�?� �� �] ��� ����������>��������������validez de esta perspectiva de integración entre enfoques, sino que la ha enriquecido y ampliado con otros enfoques y herramientas, explorando �<��=� �������� �������� �����=������ ;������este nuevo manual a un producto innovador. Al mismo tiempo, esta investigación se ha convertido en una importante colección de material sobre MyE, a disposición del lector en el CD-ROM ane-xo, otro valor agregado de este manual que espe-ramos pueda devenir una herramienta de trabajo ����<�������>������ ��/��ual del Forum Solint.

Silvia Favaron2

2. Evaluadora y docente sobre monitoreo y evaluación. Profesora del “International Master Program in Cooperation and Develo-pment, Institute for Advanced Study” (IUSS), Pavia, Italia.

Página 15

Contenido y organización

del manual

Por mucho tiempo prevaleció la ingenua con-vicción de que un proyecto de “ayuda” so-cial, al ser producto de buenas intenciones,

garantizaba buenos resultados. Sin embargo, la experiencia en el campo de la cooperación y el desarrollo ha demostrado que no basta la buena voluntad: en ocasiones los proyectos no generan los efectos deseados o incluso pueden llegar a tener impactos negativos sobre la población y el medio en el que intervienen. Los procesos so-ciales son difíciles de predecir, por lo que debe-mos estar preparados para cuando las cosas no salgan exactamente como lo planeamos. Si bien esto puede parecer un escenario bastante incier-to, es también una oportunidad para aprender de los procesos, adaptarse al cambio, desarrollar soluciones creativas y propiciar que el mismo aprendizaje sea un resultado positivo de la inter-vención, que sirva a la organización, a la teoría y a la experiencia, y de forma más importante a ����� � �������������� ���� ��@����� �����?� �las instituciones y personas involucradas en estas intervenciones dediquen una atención especial al diseño y seguimiento de la intervención al igual que a la evaluación de sus efectos e impactos.

Los procesos de MyE nos permiten medir el im-pacto real, como un proceso de introspección y autocrítica en el que podamos mejorar nuestra acción y promover una mayor calidad de los pro-

Monitoreo y Evaluación de ProyectosPágina 16

yectos. Asimismo, permiten demostrar los logros, en medio de un contexto en el que hay poca �����^�� ������� � ���� ��=������ ������� �-venciones de la cooperación para el desarrollo. La participación y solidaridad de la población general en estos procesos de cambio dependen en buena parte de nuestra capacidad de demostrar que es posible lograr un avance hacia mayor bienestar y equidad en la sociedad. Esto sólo se puede hacer midiendo y evaluando nuestra acción, adoptando los aprendizajes y difundiendo los resultados.

El presente manual ha sido elaborado con el obje-tivo de proporcionar una herramienta básica que sirva de guía para el monitoreo y la evaluación de proyectos sociales. Busca reunir, en un solo lugar, conceptos, descripciones de procesos y herra-mientas que permitan facilitar el MyE, así como mejorar su calidad para que los proyectos logren impactos sociales positivos y sostenibles.

El manual está formulado y dirigido a personas involucradas en el diseño y la implementación de programas y proyectos: personal de Organiza-ciones No Gubernamentales (ONG), que incluye a directores y equipo de proyecto en el lugar de implementación, así como a coordinadores y dirigentes en las sedes principales; personal de agencias de cooperación internacional; servido-� ��=<������ �������� ��;�� ���� ���� �����estudiantes.

La información del manual ha sido reunida de diversas fuentes. Al tener el objetivo de adap-tar y profundizar los contenidos del “Manual de monitoreo y evaluación de las ONGs de Forum Solint” (Gosparini et al., 2004), gran parte de la información incluida aquí ha sido retomada de este manual. Otras secciones se han elaborado con base en la información del libro “Sharpening the Development Process, guide to Monitoring and Evaluation” (Bakewell, 2003), publicado por INTRAC. Se ha hecho una recopilación de la in-@��������&��� � '��� �� ������<��=� ��� ��-sos y publicaciones disponibles, pero se invita a

consultar los documentos, investigaciones, guías, manuales y recursos en línea incluidos para ahon-dar más en los contenidos.

El Manual está dividido en dos partes. La primera sección revisa de forma general el monitoreo y la evaluación, enfocándose en la parte conceptual y operativa. Esta revisión se hace en los primeros tres capítulos. En el capítulo 1 se desarrollan los fundamentos conceptuales y la importancia del monitoreo y la evaluación. Se describe además la inclusión del MyE en el ciclo del proyecto, haciendo particular énfasis en la etapa de formulación. Si bien la intención de este manual es servir de guía para el MyE (y no para el diseño general de los proyectos), aquí se hace un breve resumen del diseño de proyectos a través de la metodología de Marco Lógico. Esto debido a la importancia de la calidad en la etapa de formulación para todo el MyE que se realizará durante la vida del proyecto. El capítulo 2� ��&� ������� �= W��� �� � ��el Monitoreo, desde un enfoque más operativo. Se describen las principales preguntas que se han de responder cuando se hace la planeación del monitoreo y se ofrecen algunas herramientas para facilitar su desarrollo. El capítulo 3 se enfoca en la evaluación, profundizando más sobre algu-nos conceptos básicos como criterios y tipos de evaluación. Asimismo, aquí se describe el proce-��������� ����� '��������� �� ����� �����de los términos de referencia, la selección del evaluador, la elaboración del plan de evaluación, >����� ���@��� �������_���� �� ��� �� ��� ����evaluación participativa y sus principales caracte-rísticas y ventajas.

La segunda parte del manual profundiza más sobre el sistema de MyE. Los siguientes tres capítulos se enfocan a detallar los componentes y medios para la selección, la recolección, el análisis y el uso de la información. Así, en el capítulo 4, se desarrollan ����� ����=�������� ������ ������ ���� ��de información: las preguntas de desempeño, los indicadores, las líneas base, las metas y los medios

Página 17

� �' �������`�� ��capítulo 5 se profundiza ���� ����� �� ���� ��@���������� �� �� ��las categorías de información y se explica el pro-ceso de muestreo. Posteriormente se presenta una lista de los distintos métodos de recolección de datos, y se describe brevemente cada uno, sus ventajas y sus desventajas. Se presentan asimismo algunas técnicas complementarias de valoración =���=��'���&=����`�����<������ ���� ���-pítulo se dan algunos consejos para mejorar la calidad de la información. En el capítulo 6 se describe el proceso necesario para el análisis de la información obtenida: sistematización, organiza-ción, interpretación y recomendaciones. También se hace una revisión del empleo y la difusión de la información.

Finalmente, en el capítulo 7 del manual, se des-�� ������=�� ���� �= W����� ��/�`�=����=��-� ����� ��� ���=<������=��� ����� �����en emergencias. Aquí se describen las principales diferencias y posibles obstáculos en el diseño, el monitoreo y la evaluación de este tipo de inter-venciones. Se incluyen recomendaciones y ejem-=����� ���� ����� �/�`� �= W����=���� �� �tipo de proyectos. Los anexos del manual buscan profundizar el contenido y proporcionar insumos adicionales que puedan facilitar el trabajo de MyE. Se incluyen entonces un glosario, formatos de MyE, algunas guías de indicadores, ejemplos de un marco lógico, el plan y el informe de monitoreo correspondientes.

Fundamentos del monitoreo y la evaluación

1C a p í t u l o

Fundamentos del monitoreo y la evaluación Página 21

1.1 Importancia y función del monitoreo y la evaluación

Es bien sabido que la implementación de un pro-grama o proyecto social o de desarrollo, de aten-ción humanitaria, de fortalecimiento de capaci-dades o de incidencia no garantiza por sí mismo la consecución de los objetivos planteados ni un impacto positivo en la vida de las personas. Las buenas intenciones, los programas o proyectos de ;��������{���������������� ��� ���������� ����por sí solos no garantizan resultados positivos.

Para aumentar las posibilidades de efectividad de cualquier programa o proyecto social es necesario contar con un diseño y una planeación cuidadosos, ����=���=������'��� ������ � �����������MyE apropiados. Si bien la planeación adecuada � ����=��� ��� ��@����� ��������� ����;���+����inalterable: si nuestro proyecto no está funcio-nando o si las circunstancias han cambiado, los planes deben cambiar también. El MyE permite darnos cuenta si los planes están fallando o si hay �������;����'��� �� ����� !�����������������oportunidad de analizar y tomar decisiones sobre ����������� ��?� �� � ����>� �����=��� ���

El monitoreo y la evaluación generan información para mejorar la acción, reorientarla o hacer una planeación futura mucho más asertiva y efectiva. Sin un monitoreo y una evaluación efectivos, no ��=���� � � ���������� ����������+��� � ��&�encaminando en la dirección correcta, si el pro-greso o los cambios logrados se deben a nuestra ���� �= W�������� ��� �����>� ��������en la planeación a futuro (Programa de Naciones Unidas para el Desarrollo [PNUD], 2009).

El monitoreo y la evaluación sirven para:

- Mejorar el desempeño: permiten la detección de problemas de un proyecto en etapas iniciales de la implementación, y de es-

ta forma reducen las posibilidades de fracaso y ahorran recursos y tiempo al posibilitar la adopción oportuna de medidas correctivas.

- Fortalecer la toma de decisiones y la pla-neación: permiten aprender de los logros y las ������� ��=������~�������� �������������de decisiones y al diseño de iniciativas presen-tes o futuras (para suspender, reformular o multiplicar un proyecto). Asimismo, permiten aproximar los proyectos a la realidad y a los resultados alcanzables.

- Contribuir al aprendizaje: permiten a la organización y a los involucrados en el proceso aprender de la experiencia, con lo cual no sólo se mejoran las acciones posteriores sino que se contribuye al aprendizaje institucional y al aprendizaje social.

- Avanzar hacia el empoderamiento: el monitoreo y la evaluación permiten fortalecer las capacidades de la población involucrada, de los socios locales, del equipo encargado de la ejecución y de la misma organización, ya que favorece el conocimiento de la problemática, de los procesos y de las estrategias.

- Mejorar la rendición de cuentas: permiten a las organizaciones responsables informar a ���������� ����������� � ���������� � ������de los recursos y el impacto de los proyectos. `����=� � �����"��@�� ����� ���=����=<����y político de las iniciativas.

- Contribuir al conocimiento general: el análisis de la evaluación permite compartir con otros, difundir los aprendizajes y las mejores prácticas, contribuyendo al conocimiento gene-ral de los procesos y proyectos de desarrollo. Esto puede servir tanto a la misma organización como a otras organizaciones o instituciones gubernamentales y académicas.

Monitoreo y Evaluación de ProyectosPágina 22

1.2 Definiciones básicas de monitoreo y evaluación

El monitoreo es un proceso continuo y sistemá-tico para obtener y analizar información sobre el avance hacia la consecución de las metas y obje-�'���� ����=��� �����`�������� ��� �� � � ������' �������������� �����=� � ������� ��=��-yecto y de su primer impacto a través del proceso de recolección de datos y de sus análisis, informe y uso de la información” (Gosparini et al., 2004).

El monitoreo es un proceso continuo durante toda la vida de un proyecto y proporciona a las personas involucradas los insumos necesarios para � ��������� �=����;������=�������� ���� ��-dades y amenazas, de manera que se faciliten los ajustes al proyecto y se direccionen.

El monitoreo nos sirve, entre otras cosas, para conocer:

- Si los recurs������ ��� �������� ����������� �� �~

- Si el personal encargado de la ejecución tiene �����������������=���� ��� �����~

- Si el plan de trabajo ha sido implementado en los tiempos y en la forma planeada;

- Si las actividades realizadas son coherentes con los planes de trabajo;

- Si estamos progresando para avanzar hacia los resultados u objetivos propuestos;

- Si la respuesta de la población involucrada en las actividades del proyecto es positiva;

- Si hay participación y aceptación de las activi-dades y los procesos, y

- Si existen circunstancias o eventos inesperados.

La evaluación�� �� �� ����������=� ��������más sistemática y objetiva posible, de un proyecto ������������� ��^���������� ����=��������� + -cución o resultados. Su propósito es determinar la pertinencia y el cumplimiento de los objetivos,

��� � ��� ������ ��^�������� ����� ���=����y la sostenibilidad (Organisation for Economic Development /Development Assistance Commi-tee [OECD/DAC], 2002). La evaluación, además de determinar la medida en que se ha logrado el cumplimiento de los objetivos de un proyecto ya ����^�����= ��� ���� �� ���=����X� � ���������� � ���[�� ��=��� ��~���W�����' ��������������� �>���=� � ������� ���� ��� � �� �� ��^������� ��� ����� '������� ����������� �-to fundamental para la toma de decisiones, pues = ��� �� � !��������� ���������������� ����� -gias del propio trabajo, proporcionando valiosos insumos para la planeación futura.

Los criterios básicos para la evaluación de un pro-yecto tienen que ver con la pertinencia (de los =���� ������� ���� ��� �������� ��� ����������@���������� �����=���� �������� �[����� �-ciencia (de los procesos de conversión de insumos ��� ��������[����� ����X ��?�"�� ���� ��=��-yecto puede producir los resultados esperados), el impacto (cómo contribuye a la introducción de cambios a largo plazo) y sostenibilidad (perma-nencia o durabilidad de los cambios introducidos).

Como se puede ver, el monitoreo y la evaluación están interrelacionados pero son procesos dis-tintos. Mientras que el monitoreo es un proceso continuo y permanente en la ejecución del pro-yecto, la evaluación se realiza en periodos esta-blecidos, entre lapsos más largos. El monitoreo es un proceso continuo de análisis, observación y sugerencias de ajustes para asegurar que el pro-yecto esté encaminado a alcanzar su objetivo. La evaluación, por su parte, permite la formulación de conclusiones acerca de lo que se observa a una escala mayor, del diseño del proyecto y sus impactos (Ortegón, Pacheco y Prieto, 2005).

Los procesos de monitoreo y de evaluación son complementarios: la evaluación depende en gran medida de la información reportada y recolec-tada de forma periódica a través de los sistemas de monitoreo. Sin embargo, cada proceso tiene @���� �� �= W������� !�� ����;������@ � ����fundamentales que se resumen en la Tabla 1.

Fundamentos del monitoreo y la evaluación Página 23

Tabla 1. Diferencias entre el monitoreo y la evaluación

Monitoreo Evaluación

Función Información para la gestión del proyecto.Valoración más profunda enfocada en el aprendi-zaje y la rendición de cuentas.

Enfoque Revisión del progreso del proyecto.Enfoque en los resultados, objetivos e impacto más amplio y a largo plazo.

Insumos Levantamiento de datos/información.Información proviene de la recolección de datos para el monitoreo, para la línea base, etc.

Tiempo Continuo, durante toda la implementación del proyecto.

`����� ����� �= W����� ������ ��=��� ���

Responsable Equipo responsable del proyecto.Evaluadores internos o externos al proyecto (o a la organización ejecutora).

Presentación Presentación directa con base en formatos estandarizados.

Presentación menos estandarizada y enfocada en menos temas, pero analizados con mayor profun-didad.

Difusión Entre el equipo del proyecto y los usuarios.Más amplia: partes involucradas, donantes, opinión =<����� ��

Fuente: Elaboración propia con base en información de Gosparini et al., 2004.

Otros instrumentosExisten otras actividades de revisión de proyectos ?� �� � ������ @����� �= W�������� �@�?� �particular, y por lo tanto no deben confundirse con el monitoreo y la evaluación. Estas son:

- Auditoría: valoración de los procesos y pro-cedimientos administrativos para asegurar el ���� � �� �� �� ������� ��������� � ����� � ����������������� �����@��������� ��respeto a las políticas, normas y criterios pre-viamente establecidos. El objetivo de la audi-toría se limita a examinar la conformidad con las obligaciones contractuales. La pregunta guía de la auditoría es: ¿Estamos siguiendo los pro-cedimientos adecuados?

- Estudio de factibilidad: es una valoración crítica de una propuesta de proyecto con el ���� ������������ �������� ���� ' �������-

nanciamiento e implementación. La valoración está encaminada a determinar la pertinencia, ���'��������"�������� ����������������socioeconómica, así como la sostenibilidad pre-vista de la propuesta.

- Revisión: es una valoración periódica de todo el diseño metodológico del proyecto para re-troalimentar la planeación y la gestión y hacer recomendaciones de acciones correctivas. Una revisión puede devenir en una evaluación sobre ������>������ � �� ;��������' ����� �� �� �profundidad y de análisis.

- Investigación: �����<�?� ����������&����=��-fundo y sistemático para desarrollar un tema �= W���������������������� ������ -neralmente la investigación documental sirve de insumo para la evaluación, pero por sí sola ��� ����� �� �=������������� �� ��� ��

Monitoreo y Evaluación de ProyectosPágina 24

1.3 Monitoreo y evaluación en el ciclo del proyecto

En esta sección analizamos el papel del monitoreo y la evaluación en el proceso de diseño y desa-�������� ����=��� �����Z '����������� ���� ��y los principios básicos de la formulación y la planeación del proyecto con base principalmente en la metodología del marco lógico. Si bien este tema por sí solo conformaría un manual, es nece-sario mencionarlo para poder comprender todo el proceso de MyE en cada nivel de la lógica de intervención del proyecto.

El proceso de diseño y desarrollo de un proyecto puede resumirse de manera sencilla en el Ciclo del Proyecto. Este ciclo consiste en una serie de pasos estrechamente vinculados entre sí y acomodados =��� ����� �� ��?� �� �� ��������������� ����-ción del problema, la planeación del proyecto, su ejecución y seguimiento, y la evaluación que nor-���� �� ���� ���� ����&������ ��� � �������de futuros proyectos (ver Figura 1).

En el ciclo del proyecto, el MyE se debe considerar desde la etapa de diseño y formulación, planeando los componentes del proyecto de tal forma que se tomen en cuenta, se faciliten y garanticen pro-cesos de MyE. La etapa de planeación y diseño es crucial para todo el desarrollo del proyecto, pues �� �� �� ���� ����������� �� �� � � sistema de MyE, estableciendo claramente la información disponible antes de la intervención (línea base) y determinando las necesidades de información (a través de la formulación de indicadores) que per-mitan ir midiendo avances, efectividad e impacto. N�� ��� ���� + ����� ��=��� ����� �� �� � ��plan de MyE��=��=�� ����� ���� ��� �= W���cómo se deberán organizar las actividades, respon-sabilidades y recursos para realizar el monitoreo durante el desarrollo del proyecto.

Este monitoreo se realizará periódica y sistemá-ticamente durante todo el tiempo de implemen-tación del proyecto. Esto implica el seguimiento de las actividades y revisión de los objetivos, así como la recolección, sistematización y análisis de

Figura 1. M y E en el Ciclo del Proyecto

Evaluación Identificación

Diseño oFormulación

Ejecucióny Seguimiento

Fuente: Elaboración propia con base en Comisión Europea (CE), 2002

Fundamentos del monitoreo y la evaluación Página 25

datos. Posteriormente, se lleva a cabo el proceso de evaluación, como una etapa misma del ciclo del proyecto. La evaluación producirá información que es fundamental para la rendición de cuentas, la implementación de recomendaciones y mejo-rar el desempeño. Estos aprendizajes pueden ser valiosos tanto para determinar las necesidades de reformulación del mismo proyecto o para ser con-siderados en la formulación de otros proyectos.

1.4 El Monitoreo y la Evaluación en la etapa de formulación del proyecto

Los primeros pasos de MyE se toman desde la etapa de formulación del proyecto. En esta etapa, las per-sonas que formulan el proyecto tienen la responsa-bilidad de asegurar que su diseño lo haga evaluable y que disponga de un buen sistema de MyE. Un proyecto bien diseñado, con una cadena de efectos clara, será fácilmente monitoreado y evaluado. Un proyecto que no cumpla con esta característica muy probablemente fallará en la consecución de sus objetivos (o en la demostración de los mismos).

Asegurar la evaluabilidad es por lo tanto el primer control de calidad que se debe realizar sobre los documentos de formulación de un nuevo proyec-to. Incluye cuatro momentos principales, que se recomienda asegurar en la etapa de diseño:

- Que la lógica de intervención sea coherente y clara, que el diseño de los resultados, los objetivos, las actividades y las estrategias esté � ������� ����� �� �

�� �� � �������� �/�`�� ��@���� ����;���-tivo con relación a los resultados y objetivos del proyecto, y que existan los medios para ' ����� ���'�� ��� ��� ��������� ��������

- Que los planes del proyecto prevean activida-des de monitoreo y evaluación adecuadas, y que exista un plan de monitoreo y evaluación con métodos, procedimientos y personas res-=������ ������� �� �� ������

- Que las lecciones y las buenas prácticas apren-didas de los proyectos anteriores se incluyan en el proyecto actual.

1.5 La planeación a través del Marco Lógico

Existen distintos enfoques para la planeación de proyectos o programas de desarrollo, siendo algu-nos de los más comunes el Enfoque de Marco Lógi-��X`/�[��������������� ����� ������ ��������Objetivos (ZOPP, por su sigla en alemán) y la Ges-tión Basada en Resultados (GBR)3. En este manual, nos centraremos en el Enfoque de Marco Lógico, por ser uno de los más ampliamente utilizados por diversos donantes bilaterales y multilaterales y por facilitar el diseño, la ejecución de los proyectos y procesos paralelos de MyE.

La Metodología de Marco Lógico es un enfoque de análisis, diseño, planeación, ejecución y evaluación de proyectos que busca, a través de una matriz, resumir de manera global la lógica de funciona-miento de todo un proyecto o programa. Esta metodología está basada en la planeación por ob-jetivos y orientada a facilitar la participación de los ;��=���� � ��������������^� �=� ���� ������> ���� ����<���=����>� ������� {���� ������=� ��= ��� �� ��������;��^��� ����=��&� �����de desempeño del proyecto, puntos de referencia e indicadores. Al determinar los indicadores y sus ��� �=��� �� ��� ����� �' �������� � ���-blecen las condiciones para futuras evaluaciones y ajustes al proyecto. Esto ayuda a formular, desde un inicio, el plan de MyE del proyecto que incluye el proceso de evaluación (Ortegón et al., 2005).

3. Para un análisis más detallado sobre los distintos enfoques de gestión de proyectos de desarrollo, ver el capítulo 1 del manual “Formulación de proyectos: enfoques, procesos y herramientas” (Londoño, 2009), en donde se explican los antecedentes his-tóricos, las herramientas y las características principales de cada uno.

Monitoreo y Evaluación de ProyectosPágina 26

`����� ������;W��=��' �> ���� �����<�� ��=������� ��=��� �� ���������@�������������� ��=��� �� �������� ��=���� ���� ��������<�� �-te en cuatro tipos de análisis: el de involucrados, el de problemas, el de objetivos y el de estrategias. Cada uno de estos análisis se puede desarrollar a través de talleres y ejercicios participativos con la población involucrada4. En la etapa de planeación, estos análisis se retoman para diseñar el proyecto y el plan operativo para su ejecución.

Todo este trabajo de diseño se resume en la matriz de marco lógico (ver Tabla 2), que sintetiza lo que el proyecto pretende hacer (Resultados, Objeti-'�� �= W�������+ �'���; � ��� �[���������'��a hacer (Actividades), cuáles son los supuestos claves (Hipótesis) y cómo serán monitoreados y '��������X������� ����_� �� ��� �' �����[�los insumos y productos del proyecto.

1.5.1 La lógica de intervenciónLa lógica de intervención indica la estructura de todo el proyecto y permite analizar las relaciones de causalidad de forma vertical:

- Objetivo general

�� ��+ �'�� �= W��

- Resultados

- Actividades

Las actividades que se llevarán a cabo para produ-cir los resultados; los resultados que se producen a partir del proyecto permitirán la realización del ��+ �'�� �= W�������' ^�����^���� ��=��� ��������� ���;��� ����+ �'�� �= W����� �=���&���-�����������+ �'��; � ������`�����<�������������������=� �������>=�� ��� �= �����?� ������-cunstancias ajenas al proyecto que deben existir para que puedan implementarse las actividades y puedan producirse los resultados y objetivos �= W������ ����+ �'��; � ������N����������se describen de forma breve los componentes de esta lógica vertical.

Objetivo general: es la descripción de la con-tribución del proyecto a un problema más amplio (sectorial, regional o nacional). El objetivo general, ����"���������������� �������������� � ��=� � �-te el contexto y la problemática general en la cual el proyecto se introduce, y describe el impacto que se espera tener en el largo plazo. Se espera ?� � ��=��� ������������� ���� ����;����'���� �� �����= �������=���?� � ��=��� ���� ���W�������� �&���� �� �=������;������X�' �����=��-yectos o medidas, desde distintos actores, pueden ��������������������� ��=���� ���� ������[�

Ob����������� ��� responde al problema cen-����� � ���������� ��� � �� @ ������������ ���?� �� �?� � ���;������������� ��=��� ����

4. Para más información ver: CE, 2002; Food and Agriculture Organisation [FAO], 2001; Guijt y Woodhill, 2002, y Ortegon et al., 2005. Varios ejemplos sobre los ejercicios de árbol de problemas, así como tipos de Marco Lógico se pueden encontrar en Fundación CIDEAL, 2001.

Tabla 2. Estructura de la Matriz de Marco Lógico

LOG

ICA

VER

TIC

AL

LOGICA HORIZONTAL

Lógica de Intervención Indicadores / ����� �� ����� SupuestosObjetivo General��+ �'��`�= W��ResultadosActividades Medios Costes

Condiciones Previas

Fundamentos del monitoreo y la evaluación Página 27

`�� �� �� �� � ���"������� �� � �������� �-�� ��=�������=�������� �����̀ ����+ �'�� �= W���está dirigido a reducir las causas que generan el problema central que el proyecto busca resolver.

Resultados: son los componentes que deberá =������ ��=��� �������' ^�����^����������de vida. Si se producen los resultados, se podrá ����^��� ����+ �'�� �= W���� ��=��� ����`��una formulación correcta, todos los resultados ��������� ��������������� �� ��=���� ����;���� ����+ �'�� �= W�������� @�������;����=����conseguirlo. Si un resultado planteado depende más de factores externos que del propio proyecto, no es un resultado adecuado. Los responsables del proyecto deben responder por la consecución de cada uno de los resultados.

Un objetivo o resultado correctamente planteado, debe ser:

�� `�= W���X� ��� �����������@������=��-ticular deseada).

- Medible.

- Realista en el contexto y con los recursos dis-ponibles.

- Pertinente (responde a los problemas pre-� �� �� � ����������>� ���������������;����'�[�

�� K����� ������ �=��� �������������@ >��límite de cumplimiento.

Actividades: son todas las acciones que se de-berán llevar a cabo para producir los resultados ��=���� �� �=� ��� �� ���������� �������-teriales y humanos. Las actividades dependerán de las estrategias seleccionadas en el diseño del proyecto. Deben ser realistas en tiempo y recur-sos y considerar el contexto local, así como las condiciones previas necesarias.

Los términos empleados por distintos donantes para cada nivel de la lógica de intervención pueden '�������`�� �� ��������� � �=� �������������

de la Comisión Europea, por ser una de las más utilizadas en la cooperación internacional. Sin embargo, es recomendable tener en cuenta que existen diferencias en la terminología de cada organización o donante: algunos denominan al Objetivo general como Fin, Finalidad (CIDA, DFID) u Objetivo de desarrollo (PNUD). Los Objetivos �= W����=� � ��� ������"����+ �'����� -diatos (PNUD) u Objetivos del proyecto (SIDA). Finalmente, los resultados también son denomi-������ ��<�� �� �=�������� X��K%��]����Mundial, CIDA y DFID).

La lógica horizontal de la matriz permite evaluar o medir los alcances del proyecto y es, por lo tanto, la parte central del monitoreo y de la evaluación. Está formada por:

Indicadores: son descripciones operativas de los objetivos y resultados del proyecto en tér-minos de cantidad, calidad, grupos metas, tiempo y localización. Los indicadores sirven para medir y dar seguimiento a lo que queremos lograr con el proyecto, presentando información necesaria para determinar el progreso hacia el logro de las metas establecidas. Los indicadores de activi-dades se representan con los recursos y medios empleados para llevar a cabo las actividades. Por ser un componente fundamental del sistema de MyE, los indicadores se verán con mayor detalle en el capítulo 4.

�������������� ���������establecen en dónde y cómo se pueden obtener los datos y comprobar la información para el cálculo de los indicadores.

Supuestos o hipótesis: a partir de un análisis � � ����� �;������� ������� �������� ���� ��y políticos que pueden limitar o hacer que fra-case el proyecto, se desarrollan los supuestos, expresados como hipótesis positivas que deben cumplirse para poder avanzar en las actividades, resultados y objetivos. Los supuestos son exter-nos: no dependen ni pueden ser controlados por el proyecto. El MyE debe prestar especial atención

Monitoreo y Evaluación de ProyectosPágina 28

al cumplimiento de las hipótesis pertinentes y darles seguimiento a lo largo del proyecto, y en la evaluación revisar si han cambiado las hipótesis planteadas en un principio. El tener en cuenta las hipótesis ayuda a revisar y prever lo necesario para una mayor viabilidad del proyecto y sostenibilidad de sus resultados e impacto.

Como ya se mencionó, un diseño de calidad de la Matriz de Marco Lógico es fundamental para poder llevar a cabo un monitoreo y una evaluación adecuados y pertinentes. Si el diseño de la lógi-ca de intervención no es claro y los indicadores están mal formulados, el proceso de MyE será sumamente complejo y será muy difícil para el equipo y el responsable del proyecto analizar el =��;� ���� ��=��� ��� �� ����������� ���� ��de cambios en la acción.

Monitoreo

2C a p í t u l o

Monitoreo Página 31

En esta sección se revisa el monitoreo desde una perspectiva general, y se enfoca sobre todo en sus características y procesos operativos. El diseño del sistema de MyE se basa en la selección de la información que será requerida durante todo el proceso posterior de seguimiento y evaluación del proyecto, así como en la recolección de los datos, su sistematización y su análisis. Dada su im-portancia, estos temas se verán con mayor detalle en los capítulos 4, 5 y 6.

El monitoreo es una continua comprobación de la ejecución del proyecto de acuerdo a lo planeado y de su impacto inicial a través del proceso de recolección y análisis de los datos, de elaboración de los informes y del uso de la información. Es un proceso continuo y estructurado de obtención y análisis de datos e información que involucra �� ����� �����;��^�������� ����� � ������� ��proyecto. El monitoreo debe ser visto como un proceso integral de la ejecución del proyecto, que se lleva a cabo de forma paralela a las actividades, las cuales son revisadas y actualizadas constante y sistemáticamente durante toda la vida del pro-yecto. El monitoreo está entonces tan ligado a las mismas actividades del proyecto que en muchas ocasiones es visto como una labor cotidiana de la implementación y no como un proceso inde-pendiente y adicional.

2.1 Planeación del monitoreoPara realizar un seguimiento adecuado del pro-yecto, se recomienda contar con un plan de mo-nitoreo que debe ser acordado entre los invo-�������� X� �=������ �� ��� � �����[� ��� � �hacerse desde la etapa de diseño del proyecto, pensando estratégicamente tanto en los procesos de monitoreo como en los de evaluación. Esto es fundamental para que puedan considerarse los recursos necesarios y para posibilitar la operación del monitoreo desde el inicio de las actividades. Este marco debe facilitar el monitoreo sistemático y debe responder a las siguientes preguntas:

¿Qué políticas y procesos deben guiar el monitoreo?`��=�� ����;����� �� �� ����� �����������������detalles acerca del procedimiento de monitoreo. N�;������ ���� ��; � ��� ��� � ��?� �' �����la priorización que tendrá el MyE en el proyecto, las =��W����� ������;��^�������� �/�`������ ������ �� �=������ �=������ ���������� ���� ���&�� �= W����� � ��?� �' ����������"����?� �� �&��utilizadas, quién lo prepara y quién lo lleva a cabo. N�������� �� �� ����� ����?�"���= ����� ��/�`�� �� � ;��&��������=��=���� � ����������otros involucrados en el proyecto.

¿Qué tipo de información será necesaria? ¿Qué se va a monitorear?Es fundamental discutir con los responsables y � � ������� ��=��� ���?�"� �@�������� �requiere y determinar las preguntas y los indi-cadores relevantes para obtenerla. Si bien la se-lección de los indicadores es importante desde la planeación, no siempre se podrán determinar todos los indicadores desde el inicio del proyecto, y será necesario irlos adaptando conforme éste se desarrolle. La información que se determine para el monitoreo será esencial para la evaluación ����������� �� ��� ������ �=� � �������� ��tres categorías que corresponden a diferentes ������� ��� �������� ��

- Información sobre la ejecución de las actividades planeadas y nivel de participación � � ����� � ������� � �����=�����=����� ���gestión cotidiana de los proyectos sobre el terreno. Estos datos se obtienen con un moni-toreo sistemático sobre la marcha que permite � ����������������� ����=���� ����������surgen.

- Información sobre los resultados obte-����������� �=� ����� ������ � �������=����comprobar los avances y revisar los planes de trabajo. Esta información se puede obtener a

Monitoreo y Evaluación de ProyectosPágina 32

través de un monitoreo periódico, que permita analizar los problemas y obstáculos principales y sugerir medidas correctivas.

- Información sobre la consecución del ob-����������� ������������ para revisar la lógica de intervención y el avance hacia la transformación de problemas. Para este tipo de información se realiza el monitoreo en momen-���� �= W����� ����'���� ��=��� ���X�� �����caso, a través de evaluaciones intermedias), de manera que pueda sugerir ajustes en el diseño o la intervención.

¿Quiénes serán los responsables de levantar la información?Desde la etapa de diseño, es necesario que las funcio-nes y procedimientos del monitoreo sean conside-������ ����;<����;���� ���� �����������;��^������del proyecto. Dependiendo del tipo de información que se vaya a recolectar, las fuentes y los métodos, habrá distintas personas responsables de reunirla. La asignación de responsabilidades debe estar clara y ser aceptada por todos los que van a intervenir. Es necesario determinar si las actividades de mo-nitoreo y evaluación serán realizadas por personal en terreno, por personal externo al proyecto (de la misma organización) o por personas externas �������;��^�����`����� = �� �&�� ���������^��administrativa, la credibilidad, la objetividad, el cono-cimiento del proyecto y el potencial para utilizar los resultados. No debe olvidarse que un proceso de monitoreo requiere recursos humanos capacitados, ��������;����?� � ��=��=��=��� ���� � ���;����recursos para la capacitación del personal.

¿Qué presupuesto se requiere para las actividades de monitoreo?`��� ����������� ���������� ����� ��=��-yecto para el monitoreo y la evaluación y asignar

���=� ��=� ���� �= W���=���� �������'��� ���Se recomienda considerar los costos de personal e instalaciones, talleres y reuniones de capacitación y costos de la recolección de datos (dependiendo de la técnica que se emplee, se deberán contemplar los recursos humanos y materiales necesarios).

¿Cómo se recolectará la información? ¿Qué métodos se emplearán para llevar a cabo las actividades de monitoreo?`!�� ���<��=� ���"��������> ���� �����=����la recolección de información, la selección de las más adecuadas dependerá de la naturaleza del proyecto, así como de la capacidad del personal y de los involucrados, entre otros factores. Al deci-dir sobre la técnica para obtener información, es bueno tener en cuenta que dicha herramienta será empleada de forma sistemática y periódica, dado que el monitoreo es un proceso continuo. Tener esto en mente ayudará también a considerar la disponibilidad de recursos humanos y materiales.5

¿Cuándo se planea la realización de las actividades de monitoreo?Si bien el monitoreo es un proceso continuo y sistemático durante toda la vida del proyecto, la recolección de datos debe ser realista, lo cual implica asegurar que la frecuencia y la cantidad de herramientas y datos requeridos no se vuelva una carga para los responsables del proyecto o =��������� � ������������� ;���; � ������ �� -comienda una mayor frecuencia para indicadores y datos de proceso y una menor frecuencia para obtener información acerca del efecto o impacto del proyecto. Los cambios sociales por lo general toman mucho tiempo, e intentar comprobar los ������� �@������ �������@� � �� ��������ver la diferencia de un momento a otro. En la mayor parte de los casos, la información sólo es

5. Para más información sobre los distintos tipos de métodos de recolección de datos, ver el capítulo 5.

Monitoreo Página 33

relevante cuando permite ver una tendencia, lo cual puede observarse solo a partir de la recolec-ción de datos en distintos momentos de la vida del proyecto (Bakewell et al., 2003).

¿Quiénes se encargarán de organizar y analizar la información?En la mayor parte de los casos, el personal a cargo de la ejecución del proyecto es el responsable de organizar y analizar la información obtenida del monitoreo. Sin embargo, dependiendo de la orga-nización, diferentes personas tendrán un rol distinto en el análisis de los datos. De tal forma que el personal sobre terreno podrá tener la función de organizar la totalidad de la información y hacer un primer nivel de análisis, mientras que el personal de �����;��^���� ���������� ������X ����� �������país o región) se encargará de hacer un análisis de la información seleccionada y previamente analizada (Bakewell et al., 2003).

¿Cómo se emplearán los resultados del monitoreo?La difusión de los resultados del monitoreo es importante para el aprendizaje, pues sirve tanto para el mejoramiento del proyecto en ejecución como para proyectos futuros. Por lo tanto, es fundamental que el plan de monitoreo contemple mecanismos, tiempos y recursos de difusión de resultados, de lecciones aprendidas y de mejo-res prácticas (Bakewell et al., 2003). Asimismo, al diseñar el plan de monitoreo se recomienda considerar e incluir los riesgos posibles que pue-den presentarse durante el proceso. El análisis y la difusión de resultados se explicarán con más detalle en el capítulo 6.

Participación de las partes involucradas en el proceso de monitoreoEl monitoreo debe contar con la participación de las partes implicadas en el proyecto de tal forma que estén involucradas en su diseño y ejecución desde el comienzo y comprendan claramente sus � �=��������� ���� �� �� ����� ������� �� �

un inicio quién puede y quiere estar involucrado; así como aclarar las expectativas de los participan-tes en los procesos. Un buen monitoreo sólo se podrá efectuar si los involucrados lo consideran importante y valioso. Por esto, es recomendable que se tomen en cuenta los intereses de los bene-��������� �� ��� ���� ����� �����=�������desde la etapa de diseño y preparación.

2.2 Formatos para el monitoreo

Como ya se mencionó, el proceso de monitoreo involucra a distintos actores; sin embargo, el per-sonal responsable de la ejecución sobre el terreno es el que debe llevar el registro de las actividades y los resultados. Esta labor puede facilitarse si se tienen herramientas para registrar la información, tales como:

- Formatos del Plan de Monitoreo

- Formatos de reporte estandarizados (para in-@�������������'�������� ��[

- Reportes y minutas de reuniones

- Reportes de visita

- Reportes de las actividades de recolección de datos

- Diarios del equipo, en donde se registra infor-�������������� ������'��� �� �= W����de monitoreo

- Registro del proyecto por medios diversos como fotografías o notas en medios de co-municación (prensa, entrevistas, video)

Como vemos, existen diversos formatos que pue-den ayudar a organizar las actividades del moni-toreo, así como los tiempos, recursos y objetivos de las mismas. Estos formatos pueden ser elabo-rados con la periodicidad que se estime necesaria (mensual, semestral, etc.). Es importante desa-rrollar instrumentos y prácticas de monitoreo que respondan a las estructuras y estrategias de

Monitoreo y Evaluación de ProyectosPágina 34

intervención de cada organización, adaptando los formatos de acuerdo a las necesidades del propio proyecto u organización.

En la Tabla 3 se muestran dos ejemplos de for-������?� �=� � ��� ��<�� ��� ��=�� ���=���� ��

diseño de un plan de monitoreo y el segundo para un registro o informe de monitoreo, los cuales =� � ��� �����=�������� ;<������� ���� ��� �cada organización6.

Tabla 3. Formatos para plan e informe de monitoreo

Plan de monitoreoNombre del Proyecto:Duración del Proyecto:Equipo del Proyecto: Lógica de Intervención Indicadores Responsable Actividades Tiempos

Y���"��=� � �� ��<���� ����� �������� �� �����@�������� ��@��� �� ������� ���?� �=� � �� �����=������ ;<������� ���� ��� �������;��^����

Registro o Informe de MonitoreoNombre del Proyecto: Fecha: Técnica: Fuente: Periodo de Informe:

Lógicade Intervención Indicadores Estado de Avance Comentarios o Recomendaciones

Fuente: Tassara, 2010

El registro de los resultados del monitoreo se puede organizar de acuerdo a la lógica de inter-vención del proyecto, ordenando los indicadores para cada nivel y reportando sobre los avances y resultados de cada uno. En los comentarios y observaciones se pueden incluir explicaciones de la diferencia entre lo planeado y lo logrado, así como recomendaciones de cambios en el sistema

de MyE (ya sea en los indicadores, la técnica de recolección de datos o la revisión de la fuente).

N�=������ �����@�������� � +���� �� ��@����-to se puede hacer un análisis esquemático del progreso logrado en el periodo, los puntos que se deben cuidar, las condiciones externas que es-���W��� ���� ���� �� ��=��� ���� ���= ��� ���de los indicadores y la utilidad de los métodos

6. Ver también el Anexo 4, donde se encuentran un ejemplo de un plan y un formato de monitoreo.

Monitoreo Página 35

de recolección de datos. Con este resumen se =� � �� � ������ ����� ���� ��?� �� �� � ��cuidar y hacer recomendaciones para cambios en la implementación y en el sistema de monitoreo. De esta forma, el monitoreo puede servir no solo para alimentar la evaluación, sino también para la toma de decisiones en el día a día.

2.3 Desarrollo del monitoreo por niveles de la organización

Por lo general, el monitoreo de una organización se realiza en tres niveles diferentes:

- Equipo del proyecto sobre terreno

- Coordinadores nacionales o regionales

- Responsables de la sede principal (por sec-������&� ��; �;�&��[

Distintos niveles de gestión son responsables de distintos tipos y actividades de monitoreo, de acuerdo a las necesidades de información de la organización. Cada área determinará qué acto-res deben estar involucrados y las técnicas de recolección de datos más adecuadas. General-mente, conforme los reportes del monitoreo son enviados a niveles más altos de la organización la �@�������� �� ���� ���&��� ����������=���-da. En cada área se analiza la información recibida y se incluye un nuevo análisis.

Nivel del equipo del proyecto sobre terrenoEl primer nivel del monitoreo es responsabilidad del director y de los administradores del proyecto, que mantienen actualizados los documentos de registro y los archivos administrativos y de gestión. La información obtenida se resume en un formato de informe de monitoreo, aproximadamente cada mes o cada tres meses. El propósito principal del monitoreo en este nivel es el de apoyar la gestión cotidiana a través de la reunión de datos sobre

las actividades diarias, para tener la información requerida en análisis posteriores (ya sea en este nivel o en el de los coordinadores regionales o nacionales).

Nivel de coordinadores nacionales o regionales`��� ;������' ��� ������� �� �� ��� ������-na de coordinación (del país o región), que se basa en los informes y reportes entregados por los responsables del proyecto y otros materia-les relacionados con la planeación. En esta etapa se hace una primera apreciación de la estrategia de ejecución, se revisan avances y limitantes y se sugieren posibles medidas correctivas para el seguimiento. A partir de este análisis, los coor-dinadores deciden si es necesario llevar a cabo misiones de monitoreo para visitar los proyectos que presentan problemas.

Este tipo de monitoreo pretende valorar la efec-tividad de las actividades, los avances hacia la sos-tenibilidad del proyecto, el sentido de apropiación � � ����� � ������� �����=���� ��� ���� +��institucional y de gestión operativa, y la coherencia y complementariedad con otras acciones realiza-das en la misma región o país. Permite además generar conclusiones generales sobre la ejecución � ���������� ������=���� ������������ ����hacer recomendaciones para el siguiente periodo � � + �����Y���� �����@�������� �� <� � �����breve informe para los directores del proyecto y para la sede principal. Este informe revisa los cro-��;�������� �� �=� ��� �� ������� �� �������es necesaria una extensión del plazo del proyecto o una reasignación del presupuesto.

Nivel de sede principal��������� ����������� '���������^�� ����informes que llegan del proyecto y los transmite ������ � �=��=�������<�� �� ������ � �=��=���organiza misiones al lugar del proyecto con el objetivo de revisar la lógica global de intervención � � ������ ����� ;���=���� �@� ����� ����=��-

Monitoreo y Evaluación de ProyectosPágina 36

blemas que se hayan presentado. Estas misiones ����"��=� � ��� ��<�� ��=����� '������� ����� ����� ���� ������� �����=���������� �����de hacer o no una misión sobre terreno depen-derá de la duración, el presupuesto del proyecto, la importancia estratégica de la iniciativa o la di-� ������ �����=���� ����� ��������

La Tabla 4 ayuda a tener una idea sobre cómo se pueden distribuir las actividades del monitoreo bajo la responsabilidad de distintos actores com-prometidos en la gestión del proyecto, desde el terreno hasta la sede principal.

Tabla 4. Organización de las actividades de monitoreo por niveles de la organización

Informes Frecuencia Finalidad Contenido Responsables

Registros y reportes de monitoreo

Regulares (mensual o trimestral)

Apoyar la gestión coti-diana

Avances en el desarrollo del proyecto, participa-���� ������ � �����

Directores y ad-ministradores del proyecto y equipo

Informes sintéticosLapsos intermedios (de trimestrales a semestrales)

Apreciar los avances hacia los resultados pla-neados y analizar cambios en los planes de acción

Calidad de los resulta-dos y coherencia con un programa más amplio u otros proyectos de la misma región. Respuesta � ������ � �����

Coordinador/a a nivel regional o nacional

Informes generales Anuales

Apreciar la pertinencia del proyecto o de la lógica de intención y hacer recomendaciones a futuro

Revisión del proyecto, coherencia con estrategia de la organización, impac-��� ������� � �����

Director/a de la organización

Fuente: Gosparini et al., 2004

Evaluación

3C a p í t u l o

Evaluación Página 39

La evaluación es una apreciación, lo más sistemá-tica y objetiva posible, de un proyecto en curso o ya realizado, de su planeación, ejecución y resul-tados. Su propósito es determinar la pertinencia, ����=�� ����� �������+ �'������� � ��� ������ ��^����� ��=��� ������� ����� ���=����y la sostenibilidad (OECD/DAC, 2002).

La evaluación se construye a partir del monito-reo periódico y puede efectuarse en diferentes momentos del ciclo del proyecto, o incluso años después de completada la acción (en el caso de evaluaciones de impacto o sustentabilidad)(Or-tegon et al., 2005).

Una buena evaluación se caracteriza por:

- Ser imparcial y transparente

- Tener credibilidad: ofrece información con-���� ���� ��������� !�� ����������� �����entre resultados, conclusiones y recomenda-ciones.

- Ser útil: contribuye oportunamente al pro-ceso de decisión de aprendizaje organizativo y de los involucrados.

- Tener elementos participativos: � � � +��intereses, necesidades y percepciones de las partes involucradas.

�� ����� ���������relación equilibrada entre el ������� ��� � ���

- Retroalimenta la toma de decisiones y el aprendizaje organizativo y social: a través del análisis de la información y la difusión de los resultados.

3.1 Criterios básicos de la evaluación

La evaluación sirve para revisar si un proyecto está funcionando y si se están logrando los objetivos planteados. Esta valoración del avance y la calidad del proyecto se fundamenta en cinco criterios básicos (OECD/DAC 2002):

- Pertinencia: está relacionada con la formula-ción del proyecto, esto es, qué tanto el diseño de la intervención responde a las necesidades � ������ � ���������������� ���� ���������busca avanzar hacia la solución de los proble-����� ����������� � � '������ ����� �����a la consistencia de diseño de acuerdo a la situación local y a las prioridades de desarro-llo. Algunos factores para tomar en cuenta y asegurar la pertinencia de la acción son:

�� �� ���cación y selección de grupos meta ��� � ������

�� �� �������� ������ ���� ����=���-��� ��� �;��=���� ������ � ������

- Participación de las partes interesadas lo-cales en la fase de formulación y en el ciclo del proyecto en general.

- Calidad del Marco Lógico, incluyendo las >=�� ���������� �;���� ��������

- Realismo en la selección de los objetivos y de los servicios que se pretende ofrecer.

�� ������� �� !������ �� ��=��� ���

- Apreciación de las capacidades locales de absorción y de ejecución.

- Coherencia con otras iniciativas de desa-rrollo en el mismo país, región o sector.

�� � �������� �� � � ������� ���� ��������� ��proyecto produce los resultados esperados y �����= ��� �� ��;���� ����+ �'�� �= W���del proyecto. Se valoran:

�� ����@���� ��?� ����� �� �������� ����� ����+ �'�� �= W�������� ��������@�-tores externos.

- La capacidad de gestión para asegurar que los resultados conseguidos permitan lograr ����+ �'�� �= W���

�� ���� �������=��=����� ������ � ��-rios.

Página 40

- Los efectos potenciales obtenidos sobre los temas transversales (en diferentes casos podrán ser, por ejemplo, temas de género, medio ambiente, fortalecimiento de capa-cidades, etc.)

�� � ���������� �� � � ������� ���� ���������� �brindan y gestionan los servicios y se realizan las actividades previstas del modo más apro-piado de acuerdo con los medios, recursos y tiempo disponibles para producir los resultados �= ��������̀ ����&����� ���� � ���� ��� �-tra en la calidad de la gestión del proyecto y en el uso de la alternativa económicamente más efectiva para conseguir los mismos resultados. Este análisis se puede hacer a partir de:

- Gestión del presupuesto.

�� �=�������=� ������� ������ �'���� ;<��el cronograma establecido.

- Aprovechamiento de los recursos locales e involucramiento y alianzas con otros actores.

- Calidad de los procedimientos y las prácticas.

�� N�&������=����'��� �������� � ��� ��relación con otros proyectos similares.

- Impacto: � �� � � ������� @ ����� ��=��� ���(positivos y negativos; intencionales o no; direc-tos e indirectos) sobre los grupos meta o bene-���������W��������� @ ����;����� ������ �����������<� ���� �= �������� ������ ���������&� ��; �;�&���� � ��������`���=���� ���������������� ����;����'����=� � �� ���"-nico, económico, sociocultural e institucional.

El impacto está vinculado a la relación entre el ��+ �'�� �= W�����������+ �'���;����� ��� ��proyecto (aunque algunos donantes u organiza-�� ��� �� � � ������=���� �= ^������ �� � ���' ��� ����+ �'�� �= W��[��`���=������ �tener en cuenta que en este nivel el proyecto es sólo una de muchas variables que contribuyen a un resultado más amplio. Así, el impacto se '��<������ ������ ����� !���; � ���� �� ��

que se inscribe el proyecto, es decir, tomando en cuenta el papel de otros actores y variables sociales, económicas, políticas y medioambienta-les nacionales o globales. El análisis del impacto normalmente se concentra en:

- La medida en la cual se han logrado los objetivos globales y el aporte del proyecto para su consecución.

�� ����@���� �� !� �����?� �>�����������-bre el impacto global.

- El impacto no planeado del proyecto.- Los posibles efectos a largo plazo del pro-

yecto y su sostenibilidad.- El impacto del proyecto sobre temas trans-

versales.

- Sostenibilidad: � �� � � ������� ���� �����cual los impactos de la intervención tienen la posibilidad de continuar después del cierre � ��=��� ����% ������������� '��<���� ����;��=���� ������ � ������?� � ����=� � ��dar continuidad a los objetivos del proyecto (desarrollando actividades, gestionando apo-yos, incidiendo en el gobierno local, etc.) aun después de la salida del personal del proyecto.

Este criterio es muy amplio, y la importancia relativa de los diferentes temas depende de la naturaleza del proyecto y de su relación con el contexto local. Los análisis de sostenibilidad pueden centrarse en:

- Sentido de apropiación de los objeti-vos por parte de las personas involucradas (dependerá en parte de su participación en el diseño y la ejecución del proyecto).

- Sostenibilidad institucional la medida en la ���� ��=��� ���� �= ��� ����� � ���������-terísticas de las organizaciones o instituciones locales y en la capacidad de éstas de desempe-ñar su papel después del cierre del proyecto.

�� �������������� �������� si los servicios pueden seguir funcionando cuando se ago-ten los fondos externos, y si se genera una

Evaluación Página 41

capacidad local para sostener los gastos de operaciones después del cierre del proyecto.

- Sostenibilidad sociocultural si el proyec-to tiene en cuenta el contexto social y cultu-ral, así como la percepción local de las necesi-��� ���Y���"��'������������� � ������������otras partes interesadas han aceptado y adop-tado los cambios producidos por el proyecto.

- Sostenibilidad técnica si la tecnología y el conocimiento brindados se concilian con las tradiciones, capacidades, conocimientos ��> ���� ����� !�� �� ������������ � �-ciarios pueden mantener la tecnología ad-quirida sin asistencia externa.

3.2 Tipos de evaluaciónEn el marco de un proyecto, programa, sector o país se pueden hacer diversos tipos de eva-luaciones. De forma general, se suelen dividir las evaluaciones en formativas y sumativas. Las eva-luaciones formativas son evaluaciones intermedias y periódicas sobre el desempeño del proyecto, se consideran formativas porque su objetivo básico es mejorar el desempeño del proyecto. La evalua-ción sumativa o postproyecto examina el impacto � ��=��� �������' ^�?� � �� �>������^������ � !����� ���� {����;�������� ����������-nes introducidas como resultado del monitoreo u otras evaluaciones, y el alcance en cuanto al objetivo de desarrollo del proyecto. También exis-ten las evaluaciones o apreciaciones de impacto, que valoran los efectos positivos o negativos de un proyecto o programa sobre individuos, ho-gares, instituciones o el medio ambiente. Estas evaluaciones pueden medir impactos de mediano o largo plazo. Otras distinciones de los tipos de evaluaciones son las siguientes:

Por etapas en el ciclo del proyecto- Evaluación Ex ante: es un análisis del con-

texto, de estudios preliminares o de inter-venciones anteriores que permitan valorar la

factibilidad o mejorar el diseño del proyecto que se pretende implementar.

- Evaluación sobre la marcha: se realiza du-rante la ejecución del proyecto para evaluar las actividades del proceso mientras estas se � ����������� �� ����������� ������ ���� ����������� ������������ �� ����� ��=����la introducción de ajustes.

- Evaluación al cierre: � �� ��^����������� ��=��� ������ ������ �����^������ ;����������resultados y efectos tempranos de la interven-ción. También puede dar recomendaciones para intervenciones futuras.

- Evaluación ex post: se realiza después (des-de meses hasta varios años después) de con-cluido el proyecto, evaluando los resultados con la intención de valorar el impacto del proyecto en el largo plazo y deducir indicaciones para futuras intervenciones similares.

Por agente- Autoevaluación: la realizan personas in-

volucradas directamente en la ejecución del proyecto. Las autoevaluaciones se llevan a ca-bo para fortalecer las capacidades internas y empoderar el equipo del proyecto y los socios locales. Existe una modalidad de autoevalua-ción asistida, en la que un externo apoya las acciones de evaluación, pero ésta es realizada por los actores locales, fomentando su empo-deramiento.

- Evaluación interna: la realizan personas que forman parte del equipo de la organización, pero que son externas al proyecto.

- Evaluación externa: La realizan personas externas al proyecto y a la organización (sin ��;<�� �� �"����� ����� �� ����� ��������[������ '������ ��?� � @ �<���= ������� !-ternas, a menudo se consideran más objetivas y se llevan a cabo con��� ��� ������=�� �����responsabilidad (ver Tabla 5).

Monitoreo y Evaluación de ProyectosPágina 42

Tabla 5. Ventajas y desventajas de evaluaciones externas e internas

Evaluación Interna Evaluación ExternaVentajas- El evaluador conoce la manera de operar de la organi-

zación.- Genera menos preocupación y rechazo.- Se desarrollan capacidades internas.- Conclusiones y recomendaciones más adaptadas a la

realidad y por lo tanto más fáciles de implementar.

Ventajas- Al no haber intereses personales, es más objetiva.�� ��� �� ���� ������;��^��'���- Al ser especialista, el evaluador tiene las capacidades y

los conocimientos técnicos necesarios.- Puede dedicarle más tiempo.

Desventajas- Es más difícil mantener una opinión objetiva frente

al proyecto (se pueden evitar valoraciones críticas o negativas).

- Posibilidad que el evaluador carezca de las capacidades necesarias.

- Posible tiempo limitado para comprometerse con la evaluación.

Desventajas- El evaluador puede estar descontextualizado sobre las

políticas, procedimientos y características de la organiza-ción o el entorno.

- No siempre se está en condiciones de dar seguimiento a la efectiva implementación de las recomendaciones.

- Por lo general es más costosa.- Si bien es más objetiva, también puede haber un sesgo

del evaluador por quedar bien con la organización y ser menos crítico en las conclusiones.

Fuente: Gosparini et al., 2004.

3.3 Desarrollo de la evaluación

Criterios de selección de los proyectos para evaluarPor lo general, es difícil contar con recursos pa-ra evaluar todos los proyectos de un programa de una organización. Por otro lado, puede que no sea necesario evaluar todos los proyectos y ������&������;����� '������ �� �= W����� �sólo algunos (United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009). Los siguientes son posibles criterios de selección de los proyectos a evaluar:

- Cuando un proyecto tiene un presupuesto muy alto.

- Cuando se está proponiendo una segunda fase o una ampliación del proyecto.

- Cuando un proyecto es considerado nuevo o estratégico, y se quiere ampliar el conocimiento para mejorar otras acciones futuras.

- Cuando un proyecto está teniendo muchas limi-taciones, atrasos o no ha logrado avanzar hacia la consecución de los objetivos planteados.

- Cuando un proyecto tiene una larga duración.

- Cuando un proyecto se lleva a cabo bajo mo-dalidades operativas particulares (por ejemplo, �� �����������=����@ � �� �������� �[�

Al determinar qué proyecto se va a evaluar, es necesario preguntarse: ¿Qué nos interesa evaluar en particular? ¿Se quiere evaluar todo un proyecto o sólo un componente? ¿Se quieren evaluar todos los temas del proyecto o sólo una estrategia o tema transversal del mismo?

Planeación de la evaluaciónEs fundamental que el ámbito de la evaluación sea claro desde un inicio, para asegurar resultados y � �� ����� ��=� ������� ��� �� �<�� �����bien las evaluaciones pueden enfocarse en distin-tos aspectos o temas; por lo general, se centran en un proyecto, un programa, un sector, una es-trategia, un tema transversal o en las relaciones

Evaluación Página 43

de una organización. Este manual se centra en el MyE de proyectos, pero los criterios y principios pueden ser aplicables también para otros ámbitos. También se debe tener claro cuál será el propósito de la evaluación, ya sea que esté en función de las necesidades de la agencia implementadora, de la ��;��^��������^���� �������� ������������� ��de la evaluación pueden estar relacionadas con la gestión del proyecto, para introducir medidas correctivas; con el aprendizaje, para fortalecer el conocimiento de las organizaciones y mejorar el desempeño, o con el fortalecimiento de las capa-cidades de socios locales, el equipo del proyecto ������� � ������

La evaluación requiere asignación de tiempo y recursos para un trabajo especial, que puede in-volucrar la participación de profesionales espe-cializados no asignados al proyecto. En este caso, la organización que solicite una evaluación debe tener claro los objetivos y metodologías, lo cual se puede facilitar mediante la elaboración de tér-minos de referencia y la selección adecuada del evaluador.

Términos de referenciaLos términos de referencia (TdR) son elaborados por la organización que está solicitando la evalua-ción, sea ésta interna o externa. Sirven para guiar toda la evaluación al determinar su enfoque y pro-pósito, y lo que se espera del evaluador. Los TdR deben desarrollarse en coordinación cercana con ����� � ������� ��=��� ����% ��� �� ����+ -tivo (por qué se realiza la evaluación); el alcance (qué se debe evaluar), y los parámetros generales para llevarla a cabo (actividades y metodología).

Los términos de referencia de una evaluación por lo general incluyen: información básica sobre el proyecto (datos, antecedentes, alcance, caracterís-ticas, e información básica de la organización que lo implementa); propósito y enfoque de la eva-������X��+ �'��; � ��������+ �'��� �= W���[~�metodología (parámetros generales para realizar la evaluación: qué metodologías se necesita em-

plear, si se requiere llevar a cabo actividades parti-culares, preguntas clave, nivel de participación de � � �������@��������� ��@��� ��� � '��������etc.), y condiciones del contrato de evaluación (capacidades requeridas en el evaluador, respon-sabilidades, tiempos y costos).

Selección del evaluadorUna vez que se tengan los términos de referencia, se puede seleccionar al evaluador o al equipo de evaluación. Tanto en una evaluación interna como en una externa, es recomendable que el equipo de evaluación esté formado por personas externas y personas involucradas directamente en la ejecu-ción del proyecto. En la selección del evaluador es importante considerar la combinación de cualida-des, habilidades (de evaluación o de conocimiento �"��� �= W��[��� != � ���� ������������=���� ��� ?� �����=� � ��'������ ;<�� ����características del proyecto, el objetivo de la eva-luación y los métodos seleccionados. En cualquier caso, es necesario lograr un buen equilibrio entre capacidades de evaluación, experiencia técnico-sectorial y conocimiento del contexto local.

Conviene preguntarse si el evaluador…- ¿Tiene las capacidades de evaluación solici-

tadas?- ¿Posee los requisitos de conocimiento téc-

nico-sectorial?- ¿Tiene experiencia en evaluaciones similares?- ¿Tiene una comprensión adecuada del con-

texto sociocultural local?, ¿habla el idioma local?

- ¿Demuestra capacidades de liderazgo y de comunicación?

- ¿Tiene capacidad de facilitación y manejo de grupos?

- ¿Es asertivo para establecer sus propias con-����� ��� ���� ������ ����=���&���

�� �Y � � != � �����������"������ �= W�-cos de la organización (por ejemplo métodos participativos)?

Monitoreo y Evaluación de ProyectosPágina 44

Plan de trabajoEl primer producto elaborado por el evaluador es el plan de trabajo o plan de la evaluación, que representa su propuesta para realizar el trabajo, teniendo en cuenta los términos de referencia. Es importante que dicho plan de trabajo sea compar-tido con el equipo del proyecto, pues es en este momento inicial cuando se puede hacer cambios al plan y asegurar la apropiación del proceso de evaluación. El plan de trabajo es fundamental, ya que será un punto de referencia para todo el desarrollo de la evaluación. Se recomienda incluir:

- Visión general del proyecto y del con-texto: comprensión del evaluador del con-texto y los antecedentes, del proyecto y de la organización. Esto se desarrolla a través de la revisión de los documentos y de la consulta con el equipo del proyecto.

- Diseño metodológico indicativo: el enfoque de la evaluación, los objetivos (generales y espe-W���[�� ��� ����������� �������� ������;��-zación contratante y a la propuesta del evaluador, y las preguntas de evaluación o hipótesis.

- Matriz de evaluación: reformulación de las =� ;������ �= W����'���������������� ����de evaluación, los indicadores, las fuentes de datos y los métodos para su recolección (ver Tabla 6).

- Metodología: es la estrategia para conseguir los objetivos de la evaluación, teniendo en

cuenta la información disponible, los tiempos y los recursos. Aquí se incluyen los métodos de recolección de datos, actividades y explicación de los pasos previstos para la evaluación. Si hay sistemas de MyE ya diseñados y adecuados a las necesidades de evaluación, se recomienda que el evaluador los emplee para aprovechar la información existente.

- Cronograma de actividades: tareas y fe-chas límite de las fases de evaluación (fase de preparación, visitas sobre terreno, elaboración del informe, presentación de los resultados al ?�=����������� � ������� ��[�

- Composición del equipo de evaluación: composición (evaluadores, coordinador sobre terreno, asistente de evaluación, etc.) y respon-sabilidades de cada uno.

�� ��� ���������������� índice indicativo de los contenidos del informe de evaluación y la es-tructura de la presentación. En este apartado se incluyen también la extensión, el tiempo de la '������������� ��� ;��� �= W����� �� =��� ��

Implementación de la evaluaciónUna vez que la organización gestora de la evalua-ción haya aceptado el plan de trabajo y se haya se-leccionado y conformado el equipo de evaluación, se puede comenzar la evaluación. Como acciones previas, se recomienda:

- Reunir y revisar la información disponible sobre el contexto y sobre el proyecto (propuesta ini-

Tabla 6. Ejemplo de una matriz de evaluación

Criterios Preguntas de desempeño Indicadores Fuentes de

���� ������Métodos de

recolección de datosPertinencia� �������� �����ImpactoSostenibilidad

Fuente: Gosparini et al., 2004.

Evaluación Página 45

����� =��� ���� �� ���������� ����@�������� ��W� ����� �� ����W��������� ����' ��;��-nes y documentos sobre la problemática o el contexto, etc.).

- Programar que el evaluador o el equipo realicen al menos una visita previa al lugar del proyecto para recolectar información que no esté dis-ponible, y para asegurar una contextualización adecuada si el evaluador es externo. En esta visita puede haber una reunión con las perso-nas que estarán involucradas en la evaluación (responsables de la ejecución del proyecto, y quienes darán la información).

- Entregar a los responsables del proyecto el cro-nograma, los itinerarios y el plan de evaluación.

- Considerar aspectos logísticos y organizativos antes de la salida, y planear agendas alternas a partir de un análisis de riesgos.

- Seleccionar y revisar las técnicas para la reco-lección de datos y los distintos métodos de evaluación, de acuerdo a los resultados de las visitas y reuniones preliminares.

Durante el desarrollo de la evaluación se reco-mienda la participación activa de diversos acto-� ���� � ��������������������� ��� ?�=��� ��proyecto, otras organizaciones, donantes y otras partes interesadas, sobre todo del nivel local. El gestor de la evaluación deberá decidir sobre el �' ��� ��������� ������ � ��������� ����������si es pertinente y existen las condiciones nece-sarias para realizar una evaluación participativa.

Para guiar el trabajo de la evaluación se puede =������ ������� �����&����X= ��� ���� � �-��� ��������� ������� � �=���[���=������cada uno a los objetivos y estrategias generales �� �= W����� ��=��� ���������=�������� ��que el enfoque de la evaluación se concentre en una parte del proyecto, un tema transversal, un problema o un solo criterio de evaluación (por + �=���� ����� � ���� ��=��� ��[�

Al desarrollar la evaluación, es posible que el evaluador se enfoque en:

- Aspectos técnicos y de proceso del proyecto X� ������������������'��� ������� � ���en el uso de los recursos).

- Nivel de cumplimiento con la lógica de inter-' ����� ��=��� ��������^�������� ������ � ������=����������� ������������+ �'��� �= W��������+ �'���; � ��� ��

- Los resultados o impactos que se generaron en relación con las intenciones del proyecto.

También es posible que el evaluador establezca pun-tos de análisis más pertinentes o alternativos a los diseñados en el sistema de MyE del proyecto, puede por ejemplo enfocarse en un tema transversal o una =���� �&��� �= W���X�������� '�������� �nivel de cumplimiento con parámetros de equidad de género, o una evaluación para medir el impacto ambiental). Durante el desarrollo de la evaluación quizá sea necesario incluir nuevos parámetros de � �������� �� ������=���� �����=������ ��no considerados anteriormente y no incluidos en el diseño del proyecto. En este caso, el evaluador puede desarrollar nuevas preguntas de evaluación e indicadores que respondan a las necesidades de información que considere más importantes.

Indicadores de evaluación Los indicadores de evaluación sirven para ayudar a respon-

� ������=� ;������� � '������� �= W������� � ��;���-dar relación con la lógica de intervención o estar enfoca-dos en nuevas necesidades, problemas o desafíos que han +������������� �' ��������������� ��� � '�������pueden ser los propuestos en el sistema de MyE duran-te el diseño del proyecto o pueden construirse después, �= W��� �� � ������ � ��� ��=�� � � '������� �� �&��allá de los indicadores formulados en el sistema de MyE.

La construcción de indicadores nuevos durante la etapa de evaluación normalmente se da cuando se busca iden-��������=���� ��� �= W���� ��=��� ���������������=� ;������� � '�������� �� � � ����������= ���������-versales, los factores de sostenibilidad, los efectos no es-perados, la evolución de las necesidades o la coherencia del proyecto. Sin embargo, es muy recomendable emplear los indicadores propuestos en el diseño del proyecto, y después, si es necesario, incluir otros indicadores nuevos.

Monitoreo y Evaluación de ProyectosPágina 46

K���' ^�� ������������ �� � �� �@�?� �?� �tendrá la evaluación, se pueden seleccionar y desarrollar los instrumentos necesarios para la recolección de datos que permitan reunir la in-formación necesaria. Esta etapa del proceso de evaluación es la que requiere más tiempo y trabajo, por lo que es fundamental planearla y llevarla a cabo cuidadosamente. Después de la recolección de datos, es necesario hacer una recopilación y análisis de los datos obtenidos y evaluarlos en relación con los criterios y objetivos establecidos anteriormente, para poder interpretar los resulta-dos, deducir conclusiones y lecciones aprendidas.7

Informe final de evaluaciónEl resultado de todo el proceso de evaluación se � � +�� �� ���@��� �� � '��������`�� �� � �� ��coherente con los requisitos de contenido de los términos de referencia y la propuesta del Plan de Evaluación. Si bien los informes son extensos, basados en información diversa a partir de las �<��=� ��@� �� ��� ������� ��@�������� ��� !���del informe debe ser lo más claro y conciso po-sible, e incluir solo la información más relevante de la evaluación y las recomendaciones a futuro. Esta claridad es importante para que la evaluación pueda ser realmente una herramienta de apren-�^�+ �=����������;��^��� ��������� � �������Algunos elementos esenciales que debe conside-rar un informe de evaluación son:

- Resumen ejecutivo: en esta sección se res-=��� ���� ' � �� �����=� ;������� ������ ��los términos de referencia y en la matriz de evaluación, y se exponen las principales con-clusiones y recomendaciones de la evaluación.

- Metodología: descripción de la metodolo-gía usada durante la fase preparatoria de la evaluación y de la misión sobre el terreno, los métodos de recolección de datos y de análisis de la información.

- Resultados de la evaluación: es el texto principal del informe. Esta sección debe res-ponder los objetivos y las preguntas concre-���� �>=�� ���� ������ �� �����"������� �referencia y en la matriz de evaluación. Aquí se desarrollan al detalle los resultados de la evaluación y las recomendaciones, incluyen-do evidencia concreta de la información y las conclusiones.

- Conclusiones y recomendaciones: puede � ��<���� =���������������� ��� ��� ������los criterios de evaluación y las recomenda-ciones en términos del objetivo general del proyecto, los objetivos y las estrategias espe-W����������?� ��� ��� ��=��������?� �>����surgido como importante en los hallazgos de la evaluación.

- Anexos: Términos de Referencia (TdR), cu-��W������ �� '����������;��������������

�� �����������������!�" ��

3.4 La evaluación participativa

“Es una dimensión participativa del desarro-llo que abarca muchos conceptos similares, involucra a las partes interesadas y a los be-� ������� ��=��;�������=��� ��� �� ��análisis colectivo y la evaluación del mismo. Está centrada en las personas: las partes in-� � ������������� � ������� ��=��� �������actores clave del proceso de evaluación, y no solamente un objeto de esto (PNUD, 1997)”.

La experiencia ha demostrado que los proyectos sociales tienen más posibilidades de éxito cuando la población local se apropia del proyecto y se involucra en los procesos de diseño, implementación, monito-reo y evaluación. Ya se ha mencionado la importancia de que los proyectos sean diseñados e implementa-dos en respuesta a una necesidad expresada por los

7. En el capítulo 6 se desarrollan en detalle las diversas técnicas de recolección de datos, y se dan algunas recomendaciones ge-nerales tanto para este proceso como para la interpretación de resultados.

Evaluación Página 47

propios implicados. Si las iniciativas responden a una necesidad planteada por la población local, necesa-riamente las mismas personas deberán determinar ����"��?�"� �����?� ��;��������'�� �������� -jora sustancial en cuanto a dicha problemática. Por eso es fundamental que las personas impactadas por el proyecto participen en determinar los parámetros del monitoreo y la evaluación. Así, la participación debe ser una parte fundamental y natural del proceso de evaluación, tanto en los procesos de diseño, como en las actividades de recolección de datos, el análisis y la evaluación de los resultados y la formulación e implementación de recomendaciones.

Algunas de las ventajas de un proceso de evalua-ción participativo son:

- Pro�� ' � ���� ������ �=��&� �������-partidos de resultado y desempeño.

- Fomenta la corresponsabilidad.

�� _�������������^�� ��� �����=��� ��

- Crea compromiso entre los involucrados.

- Fomenta el aprendizaje, la gestión y otras ca-=���� ������ ��� ������ � ������

- Al incluir a las partes involucradas en el análisis de problemas y en la propuesta de soluciones se refuerza el sentido de apropiación. Esto genera mayor apertura a las recomendaciones de la evaluación y facilita la introducción de cambios.

Principios básicos de la evaluación participativaExisten diferentes enfoques de evaluaciones parti-cipativas, que comparten ciertos principios básicos

que los distinguen de los enfoques de evaluación convencionales:

- Intervención: el mismo diseño del proyecto lo abre a la participación e intervención de las per-sonas directamente afectadas por un problema ��� � ������� ������ �' ��������=�������debe estar involucrada en todas las etapas de la implementación del proyecto, incluso en el seguimiento de las actividades y en la evaluación.

- Negociación: se negocia y acuerda con los � � ������?�"�� �&������� ������ '��������así como los métodos y las herramientas de re-colección de datos. Por otro lado, las estrategias y los procedimientos para el análisis de infor-mación y la difusión de los resultados también deben retomar los aportes de la población local.

- Aprendizaje: se acuerda con las personas in-volucradas cómo se retomarán las lecciones aprendidas para lograr mejoras sustanciales en el futuro. En este proceso, es fundamental tener ����� �� �� ���������� ��@����&�������� -nas prácticas y su promoción, de manera que el aprendizaje permanezca y sea apropiado por ����� � ������

- Flexibilidad: los proyectos de desarrollo se afectarán por una diversidad de factores fuera del control de los responsables. Por lo tanto, es importante estar conscientes de la necesidad de � ��� !�� ����adaptarse a cambios inesperados.

La evaluación participativa se distingue de las eva-luaciones convencionales en diferentes aspectos (ver Tabla 7).

Monitoreo y Evaluación de ProyectosPágina 48

Tabla 7. Distinción entre evaluaciones convencionales y evaluaciones participativas

Evaluación Convencional Evaluación ParticipativaMás orientadas por el donante y dirigidas a asegurar la res-ponsabilidad y la rendición de cuentas.

�� �������=�������� � ������� ��=��� ����������prioridad al aprendizaje y la apropiación.

Las partes interesadas tienen un papel pasivo: proveen la infor-mación requerida sin participar en el proceso de evaluación.

Las partes interesadas deciden sobre los planes de tra-bajo, realizan investigaciones, analizan datos y elaboran recomendaciones.

El énfasis se concentra en los resultados de la evaluación.

Énfasis en el proceso: el objetivo no es sólo el de cumplir los requisitos formales, sino también desarro-����������=���� ��� ������ � ������=���� '���������entorno y actuar con base en esta apreciación.

������� ��� �"!���=� � � ��������� �@������ ����� �- �������� ����� �������;������ ���=����� ��=��� ���

La población local determina sus propios indicadores de éxito.

Diseño predeterminado: métodos convencionales, centrados en lograr el mayor rigor y objetividad posibles.

%� {��� !�� ��� ��� �����;�����&����=���� �“saberes”, valores e intereses locales para guiar la evaluación (empleando por ejemplo la autoevaluación y métodos simples adaptados a la cultura local).

Se emplean métodos convencionales, como entrevistas estructuradas, mediciones, datos estadísticos, revisión de la documentación, observación directa, etc.

Se emplean métodos más participativos, como entre-vistas abiertas, grupos focales y técnicas de valoración participativa rápida.

Fuente: Elaboración propia con base en diversos documentos de referencia

Es recomendable lograr un equilibrio entre evalua-ciones participativas y convencionales, buscando la opción más adecuada con relación al proyecto, a las necesidades de evaluación y al contexto. Así, puede ser que en ciertas circunstancias sea mucho �&��<������� '���������' �������� ������������=���=��'��� �N�����>�� ����;<�� �@�?� �� ���'��=������� '�������=���=��'��� ����=� -de ser adaptada al contexto y a las necesidades y combinarse con evaluaciones convencionales.

La evaluación participativa tiene la desventaja de que suele requerir más tiempo y recursos para llevarse a cabo, y por lo general exige mayor ca-pacitación y preparación por parte del facilitador de la evaluación. Existen límites a la viabilidad de la evaluación participativa. A veces es demasiado ������� �= �����'�������������� � ������en una evaluación, ya sea por el contexto, su dis-ponibilidad o una limitada apropiación del proyec-to (al no haber estado involucrados en todas las etapas de diseño, implementación y seguimiento). En este sentido, es importante tener en mente ciertos factores acerca de la participación en los procesos de MyE del proyecto (UNESCO, 2009):

�� �������������� � ������� ��=��� ���?� -rrán involucrarse en el proceso de MyE. Esta participación requiere tiempo y energía que no todas las personas estarán preparadas o dispuestas a dar.

- Es necesario adaptarse al contexto y a las nece-sidades de la población. En este caso, se pueden obtener muy buenos resultados empleando y combinando diferentes técnicas y herramien-tas participativas de obtención de datos y de evaluación.

- La participación de la población en la recolec-ción de datos puede, por sí misma, empoderar a los involucrados al asignarles una responsabi-lidad en el proyecto y fortalecer su formación en las técnicas y habilidades necesarias (inves-tigación, entrevistas, etc.).

- Las evaluaciones participativas pueden contri-buir a la construcción social de aprendizaje. El proceso de análisis colectivo sobre un tema en particular puede resultar en una comprensión y un aprendizaje mucho más profundos, a través de cuestionamientos, diálogos y generación de ideas.

Selección de información para el sistema de monitoreo

y evaluación

4C a p í t u l o

Selección de información para el sistema de monitoreo y evaluación Página 51

En esta sección veremos en mayor profundidad los procesos y las herramientas necesarias tanto para el monitoreo como para la evaluación. El diseño del sistema de MyE se realiza desde el ���� ��=��� ���X���=���� ��������� ������ �������>�[�������� � ������ �������y la selección del tipo de información que será necesaria para el MyE y los medios para obte-nerla. Un sistema completo de MyE consta de 6 fases (Guijt y Woodhill, 2002).8 Veamos:

#�� �� �������� �����=� ;������� �� � �= {�

$�� �� �������� ������ ���� ��� ��@��-mación e indicadores

3. Conocer la información base que se requiere

4. Seleccionar los métodos de recolección de datos

��� �� ������ ���=����=�&���� �����=����la recolección de datos

6. Organizar el análisis, la retroalimentación y el cambio

����� ���� �� �= W����� ��@�������� �=� -� ��� ������� � !����������� �����=� ;������

que se quieren responder (preguntas de desem-= {����' [���� ��/�`~� ��� � �������� � ����cambios que se espera observar (indicadores); la comparación de la situación inicial (línea base) con ������������ �� ����������X� ���[��������� ����=����' �����������;����X� ����� �' �����[�

4.1 Preguntas de desempeño���<�� �� ���������� �^��������� {��� ��sistema de MyE, se pasa directamente de elaborar los objetivos de la intervención a la formulación de los indicadores. Esto puede ser problemático, pues existe el riesgo de perderse en el detalle de los indicadores y su adecuado diseño, y no nos detenemos a pensar por qué los indicadores que proponemos son de utilidad y de qué forma podrían apoyar el proceso de adopción de deci-siones. Formular preguntas de desempeño claves para cada nivel de objetivos (ver Tabla 8), antes de la elaboración de indicadores, puede ayudar � ���� ����;����'����;���� ��/�`�� �����@��-ma que realmente sirva a nuestras necesidades y permita mejorar el desempeño del proyecto (Guijt y Woodhill, 2002).

8. En esta sección nos enfocaremos en las primeras tres fases, y las subsiguientes se verán en los capítulos 6 y 7.

Tabla 8. Preguntas de desempeño para cada nivel de intervención

Nivel de intervención Tipo de preguntas

Objetivo general ¿Qué impacto ha tenido la intervención del proyecto?

��+ �'�� �= W�� ¿Qué se ha conseguido como consecuencia de los resultados?

Resultado ¿Qué hemos producido como consecuencia de las actividades del proyecto?

Actividad ¿Qué hemos hecho? ¿La actividad se lleva a cabo adecuadamente y a tiempo?

Monitoreo y Evaluación de ProyectosPágina 52

En la Tabla 9 presentamos ejemplos de preguntas � �� � �= {��X; � ��� ���� �= W���[�=��������

nivel de intervención, y los indicadores que se desprenden de ellas.

Tabla 9. Preguntas e indicadores de proyecto para el sector agua (texto de ejemplo)

Nivel de intervención Pregunta clave ���!��������������� �� Indicador

Objetivos

¿Cuáles son los efectos del � ��� � � ���� � � ������ ���uso de/ satisfacción con los bienes o servicios entregados?

¿De qué manera el proyecto ha mejorado el acceso al agua =����� � � � ���� � � ������� ��������

- Aumento del % de población rural en los distritos con acceso al agua potable (del actual 20% al 35%).

- Reducción del tiempo nece-sario para las mujeres en el abastecimiento de agua (de 2 horas a 30 minutos en los 3 pueblos de referencia para el monitoreo).

- Aumento de la cantidad de agua utilizada en cada familia (de 20 a 40 litros).

Resultados

- ¿Cómo son utilizados los re-sultados físicos?

- ¿Los servicios o productos ��� ;����� @������� � ;<��lo planeado?

- ¿Quién utiliza los servicios y productos?

- ¿Cuáles capacidades se han creado o fortalecido a través de la entrega de los servicios o productos?

- ¿Cómo ha cambiado el siste-ma organizativo o estructu-ral?

- ¿Cómo funcionan los servi-cios o productos después del cierre del proyecto?

- ¿Cómo ha mejorado la dis-ponibilidad del agua a nivel comunitario?

- ¿Se han desarrollado las ca-pacidades de la comunidad para la operación y el man-tenimiento (O&M) de los puntos de agua?

- ¿Cómo se han establecido las capacidades O&M a nivel de distrito?

- Capacidad de entrega de los puntos de agua (2.000 litros por día).

- Contribución comunitaria (20% del total) a los costos de construcción e implementa-ción.

- Nivel de contribución de los usuarios (1$ por familia/sema-na).

- Al menos el 50% de la manu-tención de los puntos de agua está a cargo de la comunidad.

- Tipo y calidad de las activida-des de O&M realizadas a nivel comunitario.

- Al menos el 90% de la manu-tención de los puntos de agua está a cargo del distrito.

Actividades

- ¿Se han creado y entregado los servicios o productos � ;<�����=��������

- ¿Cuáles son los resultados físicos?

- ¿Cuáles son los resultados físicos?

- ¿Se ha aumentado la dispo-�������� ��;���� ;<�����=��������

�� �<� ����� �=������� ��;���en función.

�� �<� ����� ����"��� �����-rios de agua establecidos.

Fuente: Gosparini et al., 2004.

Selección de información para el sistema de monitoreo y evaluación Página 53

Una vez formuladas las preguntas, el siguiente paso ����� � �� � ������ ��� �@�������� �����=����� �=��� ���������� �� ������ �� �� ����-cadores para cada nivel de intervención.

4.2 Indicadores objetivamente verificables

Los indicadores son las descripciones operativas (cantidad, calidad, grupo meta, tiempo y ubicación) de los objetivos de un proyecto (Comisión Euro-= ���$��$[������������ ��= ��� �� �= ������� @����� ��?� �� �' ����&� ��;������ ���-plimiento de los resultados y objetivos. Estos se formulan a manera del efecto esperado (o cambio que se quiere generar) para cada nivel de la lógica de intervención. En el caso de las actividades, los indicadores se formulan como medios (insumos) y recursos (presupuesto) necesarios.

De manera general, los indicadores sirven para:

�� �������������;�� ��� �������'��� �������resultados y los objetivos del proyecto.

�� _���^���� �@������&�� �= W�������� �-ción del proyecto, al indicar qué se quiere lograr, con qué características, en dónde, en qué tiempo, para qué población, etc.

- Medir el avance y los logros permiten sa-ber si efectivamente se está realizando lo planeado y conocer el impacto de nuestra acción.

- Informar la toma de decisiones para hacer cambios en el curso de la acción.

- Revisar el desempeño del proyecto y del equipo encargado de su ejecución, así como los tiempos y recursos disponibles.

Los indicadores describen el avance del proyecto y son esenciales para todo su MyE. Una formulación correcta de los indicadores es crucial para todo el sistema de MyE, porque funcionan como “mapa”

=����;����������'��� ������� ��������� �� ������ -cesidades y el enfoque para la recolección de datos.

Formulación de indicadoresEn la formulación de los indicadores, se debe to-mar en cuenta que:

- Se pueden emplear varios indicadores pa-ra cada resultado y objetivo, pero es re-comendable usar los menos posibles para ��=������� '����>� �������� ���� �/�`�complejo, caro y poco gestionable. En cual-?� ��=��� ���� ���<� ���� ������� ��se reduce a medida que se sube en la lógica de intervención, con más indicadores para resultados y menos para objetivos especí-������; � ��� ��

- Usar diferentes tipos de indicadores (cuan-titativos y cualitativos) ayuda a medir de mejor forma el avance y el impacto. Los cuantitativos permiten un análisis más sim-ple y objetivo, mientras que los cualitativos �����&���@W� ��� �' �����= ����� ��mejor el cambio profundo que se esté dan-do (PNUD, 2009).

�� ���� ������ ����������� ��� � �� �����proceso participativo, para asegurar tanto la apropiación del proyecto y de los procesos de MyE, como la efectividad de los mismos. Los principales involucrados en el proyecto tendrán una idea más clara sobre los cam-����?� � �= ����' �������� ���������y en dónde encontrar la información para medirlos.

�� ��� @���������� � �� ��� !�� �� ���?� �permite que los indicadores sean revisa-dos ante cambios en el contexto y a partir de la experiencia de la implementación del proyecto.

- Los indicadores deben poder emplearse en diferentes momentos del proyecto, no sólo ���������`�� �� ������ �=� � �� @��������

Monitoreo y Evaluación de ProyectosPágina 54

9. �/NZY��=��� ��������� ���;�"��� ��= ���/ ������� ��N������� ��Z � '��������Y� ���

metas intermedias que permitan conocer el avance que tenemos para la consecución � ����������������

Para formular indicadores (ver Tabla 10) es necesa-rio considerar los siguientes aspectos para cada re-���������� �� ����=���� ����+ �'�� �= W����� ��caso de que sea necesario, para el objetivo general:

�� ����� � ��������?�"��

- La cantidad: ¿cuánto?

- La calidad: ¿qué? ¿cómo?

- El periodo: ¿a partir de cuándo? ¿por cuánto tiempo?

- El lugar: ¿en dónde?

- El punto de referencia: ¿en comparación con qué o cuánto?

Tabla 10. Pasos para la formulación de indicadores (texto de ejemplo)

1.er Paso #������������ ���� Los pequeños agricultores mejoran el rendimiento de la producción de café.

2.º Paso Cantidad Mil pequeños agricultores (2 hectáreas o menos) aumentan el rendi-miento promedio de café en un 30% (pasan de una producción “x” a “y”).

3.er Paso CalidadMil pequeños agricultores (2 hectáreas o menos) aumentan el rendi-� ����=��� ���� ��@"� ���������X� ��!�������[���� �������orgánica.

4.º Paso TiempoMil pequeños agricultores (2 hectáreas o menos) aumentan el rendi-� ����=��� ���� ��@"� ���������X� ��!�������[����� �������orgánica, entre septiembre de 2009 y septiembre de 2011.

Fuente: elaboración propia con base en CE, 2002.

Características de los indicadoresSi bien distintos tipos de proyectos requieren indicadores muy diferentes, cualquier indicador de calidad o “inteligente”9 debe cumplir ciertas características (ver Tabla 11):

Tabla 11. Características de los indicadores

Un indicador debe ser:

���� �� El indicador da información sobre los elementos particulares que se quieren �����������"�� ���������?�"� �= ���� ���� ��?�"���;���

Medible `��������� �������� ����= ������ ������������+ �'�� �� ��������� ���Puede ser medible tanto un indicador cuantitativo como uno cualitativo.

Alcanzable El indicador establece metas realistas y los datos para medirlo están disponibles a un costo y esfuerzo razonables.

Relevante`��������� ��� � '��� �=���� ��=��� ����� �= W��� �� �=���� ��� ����������objetivo deseado. Uno puede preguntarse: ¿es ésta la mejor manera de saber si se ha alcanzado el objetivo?

Enmarcado en el tiempo El indicador debe expresar plazos y tiempos sobre cuándo se alcanzarán las metas.

Fuente: Elaboración propia con base en CE, 2002.

Selección de información para el sistema de monitoreo y evaluación Página 55

Si bien la selección de los indicadores es una parte importante de la planeación del sistema de MyE, desarrollado desde la fase inicial del proyecto, no siempre se pueden determinar todos los indica-dores desde un principio. Por esto es necesario dejar abierta la posibilidad de que los indicadores formulados se adapten a nuevas circunstancias ��� ���� ����� � �� ���� !������� ��;� ;���nuevos indicadores cuando ya el proyecto y el proceso de MyE estén en marcha. Puede ser que los efectos no planeados de un proyecto hagan ne-cesarios nuevos indicadores para medir el impacto.

He aquí algunas de las razones por las que un indi-�����=� � �� +���� �� ��<������=��� ���X]�� � ���et al., 2003):

- La información que se requiere para medir el indicador es demasiado difícil de obtener �� ��=��������� �

- Factores externos al proyecto generan más impacto y cambios en los indicadores que el mismo proyecto.

�� ���>������������;����'�� �� ��� �-formación del indicador conforme pasa el � �=����������=� � ��;�����?� � ��=��-yecto no está teniendo un impacto notable o que no hay una relación directa entre las actividades del proyecto y el indicador.

Ser claros con los temas transversales Los temas transversales (género, empoderamiento,

participación, etc.) son fundamentales en la formula-ción de proyectos y esto se debe tener en conside-����� �� ��/�`�=�������� �������� ������� ��adecuados. De hecho, mientras todos están de acuer-do con la promoción de la participación o de la igual-dad de género, la interpretación de estos conceptos puede variar. Por ejemplo, el análisis de género en una acción de ayuda alimentaria podría interpretarse como el acceso de las mujeres a la distribución de alimentos o como el efectivo control de los recursos por parte de las mujeres. Los indicadores serán diferentes en los ���������� �� ��=�� ���� �&� ���<� ���� ���+ � ��que reciben alimentos, mientras que en el segundo se-rán más cualitativos (por ej.: participación y papel de las mujeres en los comités de distribución de alimentos).

Categorías de indicadores

Por sus característicasCuantitativos: son medidas estadísticas que miden los logros en:

�� �<mero

- Porcentaje

- Frecuencia

- Tasa (por ejemplo, tasa de mortandad in-fantil, 100 de cada 1.000)

- Proporción (por ejemplo, proporción de mujeres del total de la población)

Cualitativos: Z � +���un comportamiento, una si-tuación o una descripción de cómo se hacen o perciben las cosas. Pueden ser opiniones, actitu-des, prácticas y comportamientos de la población hacia una situación o en relación con un tema. En las personas, los indicadores cualitativos pueden incluir cambios en actitudes, comprensión, conoci-miento, sensibilización o empoderamiento. Miden los avances en términos de:

- Cumplimiento con….

- Calidad de….

- Las características…

- Grado en el que…

- Nivel de….

- Percepción acerca de….

Indicadores sustitutos o “Proxy”: para aquellos casos en los que no hay datos disponibles para los in-dicadores ideales, o que es muy difícil o costoso obtener estos datos, se pueden emplear indica-dores sustitutos o “proxy” para medir el objetivo. No es una medida directa de la situación sino una forma paralela de obtener la información con base en una relación conocida entre ambas variables.

Por ejemplo, ante la falta de datos sobre la co-rrupción en algunos países, muchas agencias de

Monitoreo y Evaluación de ProyectosPágina 56

cooperación emplean información de encuestas sobre la percepción del nivel de corrupción en el país como un indicador alternativo. De forma simi-lar, la medición del Índice de Desarrollo Humano por agencias de la ONU emplea el indicador de “expectativa de vida al nacer” como un indicador sustituto de las condiciones de vida y de servicios de salud (se puede hacer una correlación entre ���<� ���� ��{���?� �'' ����; �� ����������-ciones de vida y de servicios de salud en un país) (PNUD, 2009).

¿Cómo mejorar la calidad de los indicadores?

K���� ������������<�� �����@���������� ��-����� �� �� >� ����� � ������� ; � ��� ����<�-camente cuantitativos, por ejemplo: un indicador ������<� ��� � � /��� ���� � � ��� ���� ?� �tienen una estrategia de equidad de género” no considera si esta estrategia es adecuada, si se apli-ca correctamente, si ha tomado en consideración las necesidades planteadas por la sociedad civil, etc. Un indicador más completo podría complemen-tar lo cuantitativo con elementos cualitativos, por + �=������<� ���� �/��� ����� ���� ����?� �tienen una fuerte estrategia de género, desarrollada en consulta con la sociedad civil”. Como se puede ' ��� �������=������ �?� ������������ � + ����que es realmente importante, para saber si realmen-te hemos logrado nuestros objetivos. Así, para que un indicador sea lo más completo posible, es ne-cesario que esté desagregado e incluya indicadores tanto cuantitativos como cualitativos (PNUD, 2009).

Por el nivel de intervenciónSe requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la jerarquía de intervención (ver Tabla 12). Así, en �� �@�?� �� ��������;���� �=� � ��� ������tres tipos de indicadores:

- Indicadores de Proceso para las Actividades

- Indicadores de Efecto (o impacto) para los Resultados

- Indicadores de Impacto para el Objetivo ; � ������������+ �'��� �= W���

Por lo general, a medida que se pasa de las acti-vidades al objetivo general o meta en la jerarquía de intervención, la información del MyE tiende a perder concreción. En el nivel de las actividades y los resultados es mucho más fácil de medir y mostrar avances en los indicadores al ser informa-ción sobre procesos y productos. Sin embargo, el impacto del conjunto de productos o resultados es por lo general más difícil de determinar y más complicado de medir (Guijt y Woodhill, 2002).

Indicadores de Proceso

Son indicadores sobre la realización de las activi-dades, enfocados en medir eventos importantes ?� �=� ����� � +��� ��� ��������� ���� + ����de varias actividades. Si bien estos indicadores describen acciones, etapas y procesos que condu-cen a los resultados, por sí mismos no aseguran que se logren los resultados. Sin embargo, son importantes, debido a que son insumos básicos del proceso de MyE. Las fallas o el mal desempeño de resultados u objetivos muchas veces dependen de fallas en la implementación de las actividades, y ����������� ��= ��� ��� ���������

Los indicadores de proceso permiten además precisar la estrategia que se sigue al monitorear la calidad de los procesos en curso con la parti-cipación de la población involucrada. El nivel de cumplimiento con los tiempos y el presupuesto programado se puede medir como un indicador paralelo de proceso.

La matriz de marco lógico no prevé la inclusión de indicadores de proceso (en la sección de ac-tividades se incluye, en lugar de indicadores, un resumen de los recursos y costos del proyecto), aunque pueden ser incluidos para facilitar el mo-nitoreo de los avances.

Ejemplos de indicadores de proceso:

�� �<� ���� �=���=��� �� ��������� �

�� �<� ���� ����� � ��� ��=�������=������

�� �<� ���� �� � ������� ���� ��� ;��� �ayuda alimentaria

Selección de información para el sistema de monitoreo y evaluación Página 57

Indicadores de Efecto

Son indicadores para medir el progreso y los cambios generados a nivel de resultados y obje-�'��� �= W���������� ������� ����� ����� �los resultados, los indicadores de efecto emplean � ��=�� �� �= W����X� �����������������tiempo) de los productos generados.

Es importante que los indicadores de efecto no sean un resumen de los productos generados, sino el efecto de tener dichos productos: deben medir cambios en las condiciones o capacidades y no la entrega de productos o servicios. Para que estos ������ ��� � + ������������ �� @ ���?� �� �produce, se recomienda considerar:

- Descripción de la calidad: no basta con que ��;��� �=����^���� �����?� ���� ���� ��`��necesario que este cambio o logro tenga las cua-lidades que consideramos adecuadas. Así, los in-dicadores cuantitativos deben ir acompañados � � �= ���� ��������'���?� �� ������ �������� ���������������=��������� � ������

- Sostenibilidad: un indicador esencial para medir la calidad es su capacidad de producir efectos aun después del cierre del proyecto. Algunos factores relacionados con la soste-nibilidad son: aceptación cultural, social e institucional de las soluciones y los cambios propuestos e introducidos; continuidad econó-��������� ��~���=���� �������� �����adquiridos; variables organizativas, y participa-ción de la población involucrada en el diseño y la ejecución del proyecto.

- Fortalecimiento de capacidades: aunque no todos los proyectos tienen como compo-nente central el fortalecimiento de capacidades ���� ��� ���=������ ����� ��������� � +�����en la medición, pues está directamente vincu-lado con el empoderamiento de la población local y la sostenibilidad de los resultados.

- Participación: en la medida en que los grupos � ������ � ������� ��=��� ���=���= �� ��

su diseño y en su implementación, el proyecto tendrá más pertinencia con relación a las ne-cesidades de la población local y tendrá más posibilidades de ser sostenible en el tiempo. En este sentido, es fundamental incluir indica-dores sobre el nivel de participación que se ha logrado a raíz de la intervención.

Ejemplo de indicador de efecto:

Resultado - Servicio mejorado: ��������del cuarto año de ejecución del proyecto, 23 pueblos rurales de La Esmeralda, cada uno con una población de 2.500, están servidos con 115/litros/persona por día de servicio continuo de agua potable (Ortegón et al., 2005).

Indicadores de Impacto

Son indicadores que miden el cambio logrado en ��� ����������;��=��^������������ ��=��� �����incluso después de su cierre. Están directamente relacionados con la medición de nuestro objetivo ; � ����X ����;������������� ����+ �'�� �= W�-co) y ayudan a revisar que el cambio positivo que se buscaba realmente se haya logrado. El impacto puede ser un cambio social, económico, político, ambiental o de comportamiento y se puede dar a nivel local, regional o nacional. Cuando se habla de indicadores de impacto más amplios, de con-tribución a un objetivo general a nivel regional o nacional, su medición puede ser más complicada, debido a que involucra datos y estadísticas macro sobre niveles de bienestar social y económico que en algunos países o en ciertos momentos no están disponibles. Además porque al ser proble-máticas más amplias, es muy complejo determinar �� �=����� ��� ��������� �= W��� ����������������� � �������=� � �� ������<��=� ��factores. En estos casos, para mejorar el alcance y la posibilidad de reunir los indicadores de impacto, se pueden emplear indicadores proxy o substitu-tos y es muy recomendable emplear indicadores complementarios, cuantitativos y cualitativos.

Monitoreo y Evaluación de ProyectosPágina 58

Ejemplo de indicador de impacto:

#������������ �����������$����������N�������del cuarto año de ejecución del proyecto, el X% de diarrea infantil (niños de 5 años o menos) en

los pueblos rurales de Esmeralda atendidos por el proyecto, ha declinado en un 15% con relación al año base (Ortegón et al., 2005).

Tabla 12. Resumen de indicadores por nivel de intervención

Lógica de Intervención

Tipo de Indicador Característica ¿Qué miden?

Objetivo general Indicador de impacto

Descripción del cambio logrado en el � ����������;��=��^������������ ��=��-� ������������&�����&�� ��������^�-ción, a nivel local, regional o nacional.

IMPACTOS:¿Ha alcanzado los cambios sosteni-bles, de largo plazo? ¿En qué medida es responsable el proyecto de estos cambios? ¿Qué otras consecuencias positivas o negativas tuvo el proyecto?

��+ �'�� �= W��Indicador de efecto o de impacto

Descripción de los cambios genera-dos que permiten conseguir el ob-+ �'����� � +��� ���������� �� @ ���que se produce y la diferencia con la situación inicial.

CAMBIOS:¿Qué cambios se han registrado como consecuencia de los resultados o pro-ductos y en qué medida contribuyen al propósito del proyecto?

Resultados Indicador de efecto

% ��=�� �� �= W���� X� � ���-dad, calidad y tiempo) del uso de los productos que se generan.

RESULTADOS:¿Qué productos o servicios tangibles y directos ha prestado el proyecto como resultado de las actividades?

Actividades Indicador de proceso

Describen acciones, etapas y proce-sos que indican la implementación de lo planeado y que conducen a los resultados.

ESFUERZOS¿Se han completado a tiempo las acti-vidades planeadas? ¿Se ha respetado el presupuesto?

Fuente: Elaboración propia con base en información de Guijt y Woodhill, 2002.

El proceso de MyE se basa primordialmente en la ��=����������������� ��?� �� �����������permitirán obtener información sobre la situación generada por la intervención del proyecto. Para conocer el nivel de impacto de nuestra acción esta información debe ser comparada, y esta com-paración puede hacerse de tres formas (Guijt y Woodhill, 2002):

1. Comparar la situación “inicial” o anterior a la del proyecto con la situación “después de la intervención”.

2. Comparar los cambios percibidos en el contexto o territorio del proyecto con los cambios en otros lugares similares.

3. Comparar las diferencias entre dos grupos: Uno que haya trabajado con el proyecto y otro que no (grupo de referencia).

Para hacer una comparación de los indicadores y medir nuestro impacto, es recomendable em-plear información de línea base, ya sea que ha-ya sido recopilada antes de la intervención, en la primera medición de avances, o a través de fuentes secundarias (documentación existente: encuestas nacionales o estudios e investigaciones). Y���"��� �� � ��� ��������� ����=�������^����estableciendo claramente el nivel de cambio que se espera conseguir (PNUD, 2009).

Selección de información para el sistema de monitoreo y evaluación Página 59

4.3 Líneas base y metasLa línea base es el estándar básico contra el cual se medirán todas las metas futuras. Es la base para medir el cambio. La línea base es importante porque establece el punto de comparación desde el cual se � ��&� ��������= ��� �' ����� ���'�� �� ����-gro o el impacto contra una situación que prevalecía antes de nuestra intervención. Sin la información de línea base es muy difícil valorar el cambio generado y hacer el MyE adecuadamente. En ocasiones, será necesario adaptar la información de indicadores a los datos disponibles en líneas base que ya existen, tales como encuestas o estadísticas nacionales.

�� ��� �� �� �����@�������� �� <� � ����+�������� ����� � ������� ��=��� ��� �� ��� ��=��� �diseño. Se puede reunir a partir de la información recogida en los estudios de factibilidad y otros docu-mentos relacionados con la preparación del proyecto. Sin embargo, para algunos resultados programados o para ciertas actividades, es posible que esta informa-ción no haya estado disponible desde la formulación del proyecto, por lo que será necesario obtenerla durante la ejecución. Ya sobre la marcha, la línea base puede obtenerse de (Guijt y Woodhill, 2002):

- Primeras mediciones como punto de partida.

- Levantamiento de líneas base durante la implementación, conforme se inician los procesos de cambio (por ejemplo, levanta-miento de línea base al formarse el grupo de microcrédito, al iniciar las capacitaciones sobre manejo de residuos, etc.).

- Utilización de la documentación existente.

Cuando la línea base se recoge después de implemen-tado el proyecto y la información inicial no existe, es posible obtener información aproximada sobre la situación inicial con “preguntas sustitutas”. Estas pre-guntas están relacionadas con la percepción de la gente acerca de sus circunstancias actuales en comparación ���������������� ����X>� �!��<� ���� ��{��[��̀ ��caso de que no haya información de línea base y que ����=� ;�������������������� ���'��� ���=� � �� ��<�-������������������ ����������� �� �=� �����

Recomendaciones para el desarrollo de la Línea Base

La mayoría de los proyectos tienen grandes ������� ����� ���� �W� ���� ���� ���=����� ������������?� �� ��<���=����+�^;��� ��cambio. Algunos de los problemas más comu-nes que plantean los estudios de base son que se hacen tarde o nunca, son excesivamente detallados o demasiado generales e irrele-vantes, parten de una muestra demasiado grande que sobrepasa la capacidad analíti-ca del proyecto o de los coejecutores, no prevén un grupo de referencia […] (Guijt y Woodhill, 2002).

Para evitar estos problemas, se recomienda rea-lizar la línea base una vez que se haya elaborado y revisado la matriz de marco lógico del proyecto, =������ ;�����?� �����@�������?� �� �� <���� ��acorde con los resultados, objetivos e indicadores. Se recomienda asimismo tener en cuenta lo si-guiente (Guijt y Woodhill, 2002):

1. Recoja solamente la información que va a utilizar. Como regla general, se debe re-copilar información de línea base que esté relacionada directamente con las preguntas ������� ��?� �� �>������ �������

2. Planee la obtención de información de línea base al igual que en los demás procesos de recolección y análisis de datos.

3. Asegure que sea un proceso viable y realista. Tenga en cuenta que una línea base siempre se-rá una aproximación y nunca podrá ser exacta.

4. Adopte métodos creativos de recolección de la información.

5. Incluya información relativa al género.

MetasUna vez que tengamos la línea base, existen ele-� �������� �� ��=���� ����� ������ ���� ���-���� ��=��� ��������� ����� �=� � ���+���=����el término del proyecto o para avances cada año,

Monitoreo y Evaluación de ProyectosPágina 60

semestre o trimestre. La meta dependerá del pe-riodo de intervención del proyecto, del programa en el que se inserta y de las actividades. También dependerá del tipo de intervención que sea, pues ciertos cambios toman más tiempo que otros (por ejemplo: cambios en prácticas agrícolas susten-tables serán de más largo plazo, mientras que la atención inmediata en situaciones de emergencia será una meta de corto plazo). Es importante te-ner en cuenta que aunque el desarrollo social sea un proceso de largo plazo, la inclusión de metas �= W���� ������������ ��� ��=��� ���= ��-� ��������'������������ ��������� {�� ��� ��cambio o de un impacto más amplio.

¿Cuál es la diferencia entre Indicadores y Metas?

- Los indicadores son neutrales (por ejemplo: “N° de acciones independientes realizadas por parte de los grupos o instituciones locales”).

- Las metas son indicadores de avance, con un valor asociado (por ejemplo: “al menos 8 de las acciones independientes son realizadas por parte de los gru-pos o instituciones locales”).

Es fundamental que la línea base y las metas sean coherentes y estén alineadas con los indicadores, usando las mismas unidades de medición (ver Tabla #�[������� ����?� �� ��+ ��� = �� �&������"��� ��nivel de intervención y el tipo de indicador que se esté formulando (si es de proceso, de efecto o de impacto). Para el nivel de indicadores de efecto, las metas pueden ser mucho más realistas y en perio-����� �� �=���&�������������� ��=���� ��+���metas para periodos de corto o mediano plazo, es posible que el indicador que se haya formulado sea demasiado ambicioso y sea necesario reformularlo.

Tabla 13. Indicadores, Líneas Base y Metas (texto de ejemplo)

Indicador de Resultado Línea Base Meta al segundo año del proyecto

$������� ����%��� el proyecto

�������������� ���� ������������� �el índice de analfabetismo entre la población femenina de la comunidad de San José, en un %.

2005: El 60% de la población femenina de San José sabe leer y escribir.

2008: El 70% de la población femenina de la localidad de San José sabe leer y escribir.

2010: El 80% de la po-blación femenina de la localidad de San José sabe leer y escribir.

Fuente: Elaboración propia

4.4 Medios de verificaciónPara que un indicador sea medible, la información debe estar disponible fácilmente y a un costo ra-^����� ��N��� ��������� ������������+ �'���������indicadores correspondientes, es importante con-siderar cómo y en dónde se obtendrán los datos durante el proceso de monitoreo y evaluación. Y � ��� ����� �' ����������� �� �� ��-������@����� �� ����� � ����� ���� ����� ������� ����������� �� �@������;����'����asegurar que los proyectos sean evaluables.

����������� �� ����� �' ������� ��������^�de marco lógico permite, al responsable del pro-� ����� ������@� �� �� !�� �� ��� ��@����-ción y hacer la planeación necesaria para reunir los ��������̀ ����� ���������������>������ ��^���el proyecto, pues si los planes o indicadores son demasiado ambiciosos, puede ser muy difícil o muy costoso obtener evidencia acerca del avance y el impacto de la iniciativa. Así, los medios de ' ���������������� ���@������ ��� ;�����?� �los indicadores son medibles y que la iniciativa es realista y alcanzable (PNUD, 2009).

Es muy importante revisar que los medios de ve-������� ��� ����� ����������� �� ��=������� � �� ����������� ?� ��������� � �������� ������ ����� �' ������� �� � �>� �� ��coordinación con los actores clave involucrados en el proyecto, pues serán en gran parte los respon-sables de ofrecer la evidencia sobre los cambios y avances.

Recolección de información para el monitoreo

y la evaluación

5C a p í t u l o

Recolección de información para el monitoreo y la evaluación Página 63

La recolección de información puede ser necesaria en varios momentos del proyecto:

- En la etapa de diseño, para obtener datos de línea base.

- Durante la implementación del proyecto, ���� ���������� ��'��� �� �= W����� ��monitoreo (mensual, semestral o anual).

�� N������^��� ��=��� ���� �� ' ���������-'��� �� �= W����

- Después del cierre del proyecto, para de-terminar los impactos y la sostenibilidad en el largo plazo.

K���' ^�?� �� �>������ ������������ ��������� �indicadores claves para monitorear, se debe elegir la forma más adecuada de reunir dicha informa-ción. En la elección de la técnica de recolección de datos se debe considerar el tipo de información que se quiere obtener, así como también el tamaño del proyecto, el tiempo y los recursos disponibles, las personas que se encargarán de la recolección de datos, las necesidades y disponibilidad de la gente involucrada. De forma concreta, se debe ana-lizar el tipo de proyecto, los tipos de indicadores formulados, la duración de la acción (cambios de largo plazo o de corto plazo), el contexto local, el interés de las partes involucradas en participar y la ��������� ����� �� ���� �������X=��� + �=����si es para el aprendizaje interno o si es para rendir cuentas a donantes).

Las técnicas de investigación y recolección de in-formación pueden ser cualitativas o cuantitativas, y estas pueden ser grupales o individuales. Hay además una gran variedad de técnicas de apoyo que pueden emplearse de forma complementaria para reunir información. Es muy recomendable adaptar el método seleccionado a las necesidades del proyecto y elegirlo de acuerdo a la información que se quiera obtener. Se debe tener en cuenta y analizar la diferencia entre información obtenida por un método y por otro, las implicaciones de emplear métodos individuales o grupales y qué

tanto permiten la participación de la población local.

En resumen, los factores para examinar en la elección de la técnica de recolección de datos son: su factibilidad (considerando el contexto y las =������� ��� ��=��� ��[��'��� ^�=��������� � �-��������� !����^����������������� � '����y capacidad para reunir la información necesaria, ������ � ������ �=��?� �� �>��� ��' ����

5.1 MuestreoEn muchas ocasiones no es posible obtener la in-formación deseada a través de un censo general de la totalidad de la población objetivo. Puede ser que el grupo poblacional sea demasiado amplio o que los recursos disponibles (humanos, económicos ����� ��� �[����� ������ �� ��=������ '�������cabo. En estos casos, es viable tomar una muestra representativa de la población total, que permita generalizar sobre datos o conclusiones obtenidas del segmento de población seleccionada. La se-� ���� ������ ������ �=�������=� � �������;����'�� �� ����� � �������������� � ����� ������������� ��� �/�`���`������ ���� ��?� ����muestra se seleccione de forma imparcial y sea lo más representativa y amplia posible, la información ��� ������=������ � ����� ���&��&�������������Por lo tanto, para asegurar un buen muestreo, se debe (Guijt y Woodhill, 2002):

- Precisar el marco de muestreo: descrip-ción de la unidad que se estudiará (por ejemplo: individual, familiar, comunitaria u organizacio-nal).

- Determinar el tamaño adecuado de la muestra: el tamaño de una muestra determi-nará en gran medida la validez de los resultados de la recopilación de la información. El tamaño de la muestra se debe determinar con base en el presupuesto y los recursos disponibles, el tiempo con el que se cuenta y el necesario para reunir la información; el tamaño del grupo

Monitoreo y Evaluación de ProyectosPágina 64

����"��� = �� �&�� ���<� ���� ����;��=�����el margen de error aceptable para la muestra.

- Seleccionar el método de muestreo: una vez determinado el tamaño de la muestra, se debe optar por un método de muestreo: aleato-rio o delimitado. El muestreo aleatorio consiste en seleccionar a la población sin conocimiento previo o delimitación de las características repre-sentativas de la selección. Este tipo de muestreo � � �=� ����<�� �� � ��=�� ����� �� �-lección de datos más amplios y no se recomienda cuando el tamaño de la muestra es reducido, pues ����=������ � �� ����� �&������� �� � �� �representativo. El muestreo delimitado o inten-cional (no aleatorio) consiste en seleccionar a la población con base en criterios determinados. El muestreo delimitado se emplea más en ejer-cicios de recolección de datos pequeños. Tiene la desventaja de no ofrecer la información más representativa, diversa u objetiva al estar basada

en una población predeterminada y seleccionada por el mismo evaluador.

5.2 Categorías de información

Categorías de información por tipo����@�������?� ���� � ����=� � �������� �en cualitativa y cuantitativa. La selección del tipo de datos dependerá de la variable que queremos medir y el tipo de análisis que queremos hacer. La infor-mación cuantitativa es por lo general más simple y consiste en datos numéricos (como edad o ingreso), �� ��������������'���?� �=� ����� ������������(categorías a las que se les puede asignar un valor, como sexo). La información cualitativa es más com-pleja y difícilmente se puede reducir en categorías � ���������� �� � � ���� ��=�� ���� =��� ���respuestas a preguntas abiertas, opiniones a par-tir de encuestas o entrevistas, etc. (ver Tabla 14).

Tabla 14. Diferencias entre información cualitativa y cuantitativa

Cualitativa CuantitativaPreguntas ¿Qué? ¿Quién? ¿Cómo? ¿Por qué? ¿Cuánto? ¿Cuántos?Tipo de preguntas Abiertas CerradasInteracción Observación o diálogo Pregunta-Respuesta

¿A quién?Pequeño muestreo representativo seleccio-����� �= W��� �� �=����� �=��� ��������necesidades.

Muestreo amplio, seleccionado normalmente al azar.

Análisis Interpretación Análisis estadístico

Métodos Entrevistas, observación, textos escritos, etc. Información secundaria, encuestas, observa-ción, etc.

Fuente: UNESCO, 2009.

Categorías de información por fuente���� @� �� ��� � �@�������� �=� � ���������en dos tipos: fuentes primarias y fuentes secun-darias. Para obtener información completa y que responda a nuestras necesidades de MyE es muy recomendable emplear las dos fuentes de infor-mación.

Información secundaria: las fuentes secunda-rias son la primera fuente de datos que se debe considerar. Es información primaria que fue ob-tenida, recopilada y publicada por otras personas. Por lo general, son fuentes documentales, como ������� ��;�&���������� ���� ;���� �������-les, reportes nacionales o internacionales, indica-dores sociales y económicos a partir de encuestas

Recolección de información para el monitoreo y la evaluación Página 65

y estadísticas nacionales, evaluaciones previas, pla-nes estratégicos e investigaciones. La revisión de información secundaria o documental puede ser ����<���=��������� ����� !����&����=���� ����problemática (por ejemplo, el contexto regional o nacional de un proyecto local), y para comprender la historia y la evolución del tema sobre el cual se está interviniendo en el proyecto.

La información secundaria puede servir para gene-rar información de línea base y de metas, y además puede ser especialmente relevante para medir ������ �����' ��� ���+ �'��� �= W������; -nerales. Es asimismo una fuente de información de bajo costo, en comparación con la obtención de datos primarios. Sin embargo, en muchas ocasio-nes las fuentes secundarias no proveen los datos �= W����� ?� �����=���� ��=��� ���X=��� ���general, son datos más macro y sobre indicadores más amplios), y la información disponible difícil-mente estará actualizada. Por estas debilidades, y por la necesidad de obtener información estre-chamente vinculada con el proyecto, las fuentes secundarias siempre deben ser complementarias a la información primaria.

Información primaria: es información que se observa o se obtiene directamente de las perso-nas involucradas o vinculadas a la intervención, acerca de su situación o experiencia directa con el =��� ����� �� � � �=������; � �������@�������sobre circunstancias, opiniones, valores, actitudes, comportamientos, motivaciones, prácticas, conoci-miento y experiencia. Es información crucial que por lo general no está disponible en las fuentes de información existentes y que se debe construir como una tarea del mismo proceso de MyE. Por lo general, es información de un nivel más local, cercano al proyecto.

5.3 Métodos de recolección de datos

Para la obtención de información primaria exis-ten diversos métodos de recolección de datos, y se recomienda emplear más de una técnica para ��� � �����������@���������� ������ ���;����� +���������������������������� �����������(triangulación de métodos)(ver Tabla 15). A conti-nuación, se presentan los métodos más comunes10.

Métodos básicos

A. Recopilación de medicionesEs la medición física de cambios en el tiempo con relación a un indicador, mediante el empleo de una unidad de medida y un procedimiento e ������ ����� �= W�����`+ �=����� � �� ��=��de información son: peso y talla de niños y niñas =����� ��� ������ ��� �������~��<� �����monto de préstamos para indicadores de crédito; toneladas de producción o calidad de los suelos para indicadores de producción agrícola. Es una herramienta fundamental de MyE, pues permite ; � ���������������� ���� ����W���� �� �' -����� ��?� ����� @����� ���� ��=����� ��� ��cambio logrado y el impacto generado. El método que se emplee dependerá de los instrumentos disponibles y de la especialización de la persona � �=������ �� ����� �����K���' ^�?� �� �� <� ��los datos necesarios, se pueden vaciar en tablas ����;����������<� ������ !=���� ������� -riormente esta misma información se utiliza como marco de comparación en periodos posteriores (Guijt y Woodhill, 2002).

`�� ��"����� ��<����=� ��= ��� �� � ���@����-ción muy precisa. Sin embargo, es difícil emplear

10. La mayor parte del contenido de esta sección fue tomado del Anexo D de Guijt y Woodhill, 2002. Es un material muy completo y extenso que detalla más de 30 métodos de recolección de datos. Se recomienda consultarlo si se quiere obtener ejemplos y más información sobre técnicas adicionales.

Monitoreo y Evaluación de ProyectosPágina 66

� ��� ��@W���� �= W����=������;��������-dores de proyectos sociales. Otra desventaja es que puede ser muy costoso y requerir en algunos casos una alta especialización técnica.

B. Observación directaImplica la observación de eventos, sucesos, pro-cesos, relaciones y comportamientos. Antes de la observación se debe realizar un análisis sobre la información que se quiere obtener. Se recomien-���>� ������������ �' ������=� ������?� �considere los objetivos del ejercicio y los puntos o � ����=��=�� ���� ;<������@�������� �������la programación del proyecto. Estos instrumentos base se pueden retomar en ejercicios de obser-vación posteriores, para comparar los resultados en el tiempo. Al tomar como base estas líneas guía, el observador se ubica en el lugar de interés y hace anotaciones sobre actividades, procesos, discusiones, comportamientos, interacciones, pro-ductos materiales y cualquier otra observación pertinente. Es importante que las valoraciones hechas sean precisas, enfocadas y lo más objetivas posible. También se recomienda que el observador comparta y analice sus anotaciones y conclusiones de la observación con otras personas involucra-das, ya sea miembros del equipo de trabajo o los ������� � ������� ��=��� ���

Este método es fundamental para el MyE, porque ������ @������ �' �������������� �����=���� ���� ��������"�������`�������"�������<����pues permite revisar la operación de un proyecto mientras está en práctica. También tiene la ventaja � �� ��� !�� ����=� � ����=���� � @&�� �� ���circunstancias cambiantes. Es además un método relativamente sencillo, que se emplea fácilmente sin necesidad de una especialización técnica.

Su desventaja es que existe el riesgo de que sea muy subjetivo o parcial, dependiendo mucho del lugar, el momento o la población que se decida ob-servar. Igualmente puede ser muy difícil interpre-tar comportamientos observados o una situación ajena al observador. De ahí que la observación

directa se recomiende como un método comple-mentario a otros métodos.

La observación participativa

Una alternativa a la observación directa es la observación participativa, la cual implica que el observador se involucra en las actividades y en el contexto, en vez de mantener su distancia. Por lo general se recomienda que el observador tome ����������' ^����� ������� �'����=����?� �pueda introducirse de forma más natural. Para un ejercicio de observación directa más profundo, el observador se inserta en el lugar de estudio por ���= ������ � �������������� ���� �����'���cotidiana o la experiencia de un grupo en relación con el proyecto, desde el interior del mismo grupo. El objetivo es que el observador pueda introdu-cirse en el contexto y entre las personas, siendo aceptado como parte del grupo, con lo cual logrará un conocimiento mucho más profundo y relevante.

La desventaja es que es difícil combinar los pro-cesos de observación y registro de información con los de participación. Además, que el obser-vador sea aceptado como parte del grupo puede tomar mucho tiempo, y es difícil asegurar que su =� � ���������������� �����=�� ����������� ��del entorno.

Algunas recomendaciones para el observador (Bailey, 1995)

- Recuerde que observar va más allá de la vista: es nece-sario emplear todos los sentidos.

- Hay que observar todo, el contexto físico, los compor-tamientos y prácticas: quién viene, quién hace qué, con quién, cuándo, cómo, por qué, patrones, costumbres, sucesos inesperados, etc.

- Poner atención al lenguaje no verbal puede ser una > ���� ��������<���=������=� �� ��� +���������-tudes y opiniones de las personas.

- Al anotar sus observaciones, tome en cuenta que el ��+ �'��<����� ����=� �� ������������ ���������mejor forma de lograr esto es a través de una inmer-sión profunda en el medio.

Recolección de información para el monitoreo y la evaluación Página 67

- Es necesario leer entre líneas y observar no sólo lo que está presente, sino también lo que está ausente. ¿Quién no está? ¿Qué no se dice?

- Recuerde siempre ser respetuoso con las personas y el entorno. Se debe tener el permiso explícito de las personas para estar en un lugar y para observar un evento o una situación.

C. Cuestionarios y encuestasConsiste en la obtención de datos mediante pre-guntas en cuestionarios entregados a la población. Las preguntas pueden ser de respuesta cerrada (sí – no), o abiertas. También pueden formularse pre-;���������� �=� ������+����?� ������������� � ��información para ser analizada estadísticamente. Algunos puntos para tener en mente:

- La lista de preguntas en un cuestionario nunca será exhaustiva y debe estar abierta a recuperar información adicional, no ne-cesariamente incluida desde un principio.

- Es fundamental que la lista sea empleada y comparada en momentos distintos del proyecto para medir el avance.

- Las preguntas son elaboradas de acuerdo a las necesidades de cada proyecto u objeti-'�� �= W����`���=������ �?� �?� ������elabore tenga un conocimiento profundo sobre el tema y esté contextualizado con los procesos del proyecto.

Los cuestionarios y las encuestas se emplean normalmente para un amplio grupo de personas. N������"��������������<�� ��=������� � ���-formación personal que difícilmente se comparte en una entrevista o un diálogo abierto. La mayor ventaja de las encuestas y los cuestionarios es que se puede obtener información variada, sobre temas distintos y de muestras de población más grandes. Es también información fácil de analizar a costos relativamente bajos, aunque poco profun-da o analítica en términos cualitativos. Por estas razones es un método fundamental para muchas estrategias de MyE de proyectos.

Sin embargo, se recomienda poco su uso en con-textos en donde puede haber altas tasas de analfa-betismo. Por lo general los cuestionarios emplean preguntas cerradas, que ofrecen poca información cualitativa y con datos casi siempre descontextua-lizados. En resumen, se puede obtener una fotogra-fía general de la situación, pero quizá no se logre obtener información de análisis más profundo.

D. EntrevistasLa entrevista es un diálogo con las personas a par-���� �=� ;������@����������X����^�������� ������previamente, y adaptadas a las circunstancias o al curso de las circunstancias) para obtener informa-ción sobre su experiencia o su opinión acerca de una situación, problemática o proyecto. Depen-diendo de la información que se quiere obtener, las entrevistas pueden ser individuales o colectivas (en grupos pequeños o grandes). Si se necesita infor-mación personal, conviene hacer entrevistas indivi-duales. Cuando son temas que requieren un análi-sis más profundo o incluso conocer percepciones y actitudes colectivas, las entrevistas grupales son más adecuadas. Las entrevistas se pueden hacer a informantes clave (personas muy involucradas, que pueden tener una percepción y una experiencia ����'������[��� � ����������� ��� ���������-ganizaciones, equipo encargado del proyecto, etc.

`������> ���� ��������<���=������� � ������-@��������� ��� �� �� � ����� � ���������reducir las posibilidades de una interpretación subjetiva (aunque siempre existe el riesgo de un sesgo por parte del entrevistador). Asimismo, = ��� �����������@������� �= W���?� ����siempre se puede obtener por otros medios, ade-más de que la información de las entrevistas suele ser de mayor profundidad al ser un proceso que @���������&��;��= ���������� ������������^���Las desventajas de las entrevistas es que requieren mucho tiempo y pueden ser bastante costosas ���"������� �� ������>������������� �����Finalmente, por lo general la información obtenida es muy valiosa pero difícil de analizar.

Monitoreo y Evaluación de ProyectosPágina 68

Tipos de entrevistas

- Estructuradas: entrevista tradicional basada en una lista de preguntas preestablecidas para ser respondidas por los entrevistados. Tiene la ' ���+��� ������������� ����?� �@�����������-lización oportuna de la entrevista sin desviarse � ��� �������+ �'������ ����;��� ��=���� !�� �al no permitir al entrevistador explorar otras respuestas alternativas o conocer perspectivas diferentes sobre una misma problemática. Puede también dar la impresión al entrevistado de estar sometido a una “evaluación” muy mecánica, lo ?� �; � ��������� �� �� �� ������^��?� �puede desalentar la participación.

- Semiestructuradas: son menos formales que las entrevistas estructuradas, se caracte-�^���=���= ���������� � ����&��� !�� �del ejercicio y presentar preguntas abiertas, ���?� �; � �������&��;��� ��&�������^����apertura y facilita aportes alternativos. La pre-paración de este tipo de entrevistas requiere ���� �������� �� ������=� ;������; � ��-les, para posteriormente ir desarrollando las =� ;������ �= W���������� ���� ��� '������ �recomienda que las preguntas sean sencillas, se inicia con las más fáciles y se termina con las más complicadas o sensibles. Con este tipo de entrevistas se obtiene información focalizada sobre un tema, sin ser excluyente de visiones o perspectivas alternativas. Es posible asimismo obtener información variada en poco tiempo.

- Entrevistas temáticas: antes de la entre-'����� �@�������<��� �� �����;�W���������� ���� �= W����?� �� �?� � ����������������preguntas se van formulando conforme se de-sarrolla la entrevista, en función de la respuesta de la persona o grupo. Su desventaja es que es más difícil obtener datos que sirvan para un análisis estadístico sobre el conjunto de la población, pues cada entrevista se adapta a las circunstancias y no se tiene una información �= W���� ���=������

- Entrevistas informales: se llevan a cabo durante una conversación informal. Permiten obtener información y comprender, de manera discreta, la opinión y percepción de las personas sobre la problemática o el proyecto. Requiere de habilidades especiales de comunicación por parte del entrevistador, de tal forma que pueda ���� � ������������� ���������� ��� ����las respuestas, al mismo tiempo debe evitar desviarse del tema y dirigir la conversación para llegar a conclusiones concretas. Una de sus � �' ���+��� �������������=����� ;�����������la información obtenida, pues al ser un diálogo natural no se hacen anotaciones. Además es un ejercicio que puede tomar mucho tiempo, y puede ser difícil no desviar la conversación y enfocarse sólo en aquellos temas de los que se quiere obtener información.

- Entrevistas a informantes clave: se hacen a especialistas sobre el tema en particular o a personas que puedan ofrecer un punto de vista o información clave sobre el proceso, por estar directamente involucrados. Normalmente son entrevistas en profundidad con expertos de la comunidad, que pueden, además de ofrecer conocimientos claves, hacer recomendaciones para mejorar la acción o solucionar problemas. Una de las principales ventajas de esta entre-vista es que los informantes clave, al no estar directamente relacionados con la organización del proyecto, pueden dar una opinión sustenta-da y objetiva, así como una idea general de la situación, y no enfocarse tanto en lo individual (que podría suceder con los entrevistados tra-dicionales). Una desventaja es que pueden ser bastante parciales, desde la misma selección de los informantes. Además, suele considerarse que la información ofrecida por el entrevis-������ ��' ���� ������ ���'���� ������?� �esta debe comprobarse y ser tomada como una opinión adicional, no la absoluta.

Recolección de información para el monitoreo y la evaluación Página 69

(!) Algunos consejos básicos para ser un buen entrevistador…

- Recuerde escuchar más y hablar menos.- Haga las preguntas de una forma directa, clara y amable.- Sea lo más imparcial posible, evite palabras o tonos

?� �=� ���� ����� �� ��� � �=� ����� �� ��� '������- No aparente estar aburrido o con prisa al realizar la

entrevista.- Ponga atención al lenguaje no verbal.

E. Grupos focales`������"�����?� �� <� ������;��=��� �����de personas (entre 6 y 12) para entrevistarlas �� @�� ����� ���&��;����� � �������� �� �����de la técnica de entrevistas como una entrevista grupal. El facilitador del grupo focal debe tener preparado previamente una guía de preguntas o de temas (dependiendo si se seguirá un formato de entrevista estructurado o semiestructurado). Las preguntas se hacen con la intención de fo-� �������������������� ����� ��� �= W���������=�� ����;�������&���� ������<���?� � ��entrevistador, en vez de tomar notas, grabe el ejercicio y después lo transcriba.

La selección del grupo de personas dependerá de las necesidades o intereses del recolector de información, pero por lo general tendrán cier-�������� �W����� ����<����=��' ���&��� ������������ !���; �;�&������� ���������������������;��=���@��� ����������@���������<���de saber la opinión y percepción de una muestra amplia de gente (representada por el grupo se-leccionado). Asimismo, el hecho de poder sepa-rar a las personas involucradas en el proyecto en grupos diferentes puede generar respuestas que normalmente no habríamos obtenido.

�������������� �����"��� ��?� � ���@W����;����un muestreo aleatorio, por lo que los resultados son difícilmente generalizables. Otro problema tiene que ver con la parcialidad de los resultados, =� �� ��������<��?� ���;�����= ������� �� ��;��=��@����� ��� ��� ������=�������������� ��para decir o callar algo.

Se pueden emplear materiales especiales para provocar una reacción en el grupo que genere discusión, y fomente que las personas expresen sus perspectivas acerca del material. Los materiales se utilizan al principio de la actividad o durante su desarrollo (por ejemplo: fotos, artículos pe-riodísticos, videos, anécdotas, materiales elabo-������ �= W��� �� �=���� ��;��=��@����� ��[��También se pueden emplear diversas técnicas en el grupo focal para facilitar la participación, tales como escalas de valoración o análisis del cambio �&���;����'��X=�����&�� + �=�����' ����������de esta sección, Técnicas Complementarias).

Consejos para una entrevista o grupo focal exitoso (UNESCO, 2009)

- Crear un ambiente favorable, relajado y cómodo, que ; � � ������^����� ��^�� ����=������� ��� � �-terrupción.

- Es muy posible que las personas que vayan a par-ticipar en la entrevista o ejercicio de grupo focal estén un poco incómodas o nerviosas al principio, al no saber qué esperar del ejercicio. Por esto es muy importante que el entrevistador explique desde un principio cuál es el objetivo de la entrevista, qué ti-po de información se pretende obtener y cómo se emplearán los resultados. Se recomienda aclarar a los participantes que no existen respuestas inco-rrectas. También es bueno aclarar cualquier duda y dar oportunidad de que los participantes expresen sus inquietudes.

- Se recomienda empezar siempre con las preguntas más sencillas y menos sensibles e ir haciendo las preguntas más complicadas conforme vaya avanzan-do la entrevista o ejercicio.

- Es importante que el entrevistador tenga cosas en ��<��������=������� ��� '������X=��� + �=����=� � �>�� ���&�������^�� ��� �= �������� ����-mo sexo). Por otro lado, para evitar que las per-sonas se sientan comprometidos a responder de una forma y para fomentar que los entrevistados se expresen con toda libertad, se recomienda que el entrevistador sea percibido como independiente y objetivo, sin un interés en los resultados.

- No olvide tener las herramientas pertinentes a la mano, incluyendo la guía de preguntas o temas, gra-badora (si es que será empleada) y materiales que vayan a emplearse para incentivar la discusión.

- Es importante tener en cuenta que las respuestas del ��� '���������� � ��� �����<���@� �� �� ��@��-mación, sino que deben complementarse con otras técnicas y métodos.

Monitoreo y Evaluación de ProyectosPágina 70

Métodos complementarios

F. Análisis de acontecimientos críticosEs un método que implica hacer entrevistas a indi-viduos o grupos sobre eventos o incidentes especí-������� ������ �� � ���@�������; � �������� �������� � ���� �= W����`������ ���;����exhaustiva que implica cruzar y comparar varios resultados de entrevistas a partir de un mismo acontecimiento. Este método sirve fundamen-talmente para lograr dos objetivos: por un lado, � ������ �������� � ������&���;����'���en un periodo determinado y con relación al pro-yecto implementado; por otro lado, nos permite conocer en profundidad un caso seleccionado, lo cual ayuda a encontrar la relación causa–efecto que existe entre los acontecimientos estudiados y la intervención de nuestro proyecto. Es por tanto ����> ���� ��������<���=����� ��������� ��a nivel de impacto.

Las desventajas de este método es que requiere mucho tiempo y recursos, y además la información puede ser muy difícil de analizar. Tiene el riesgo de que el equipo encargado del análisis del caso se sature de información detallada y contradicto-ria de distintas perspectivas. Asimismo, es difícil mantener la objetividad y no tomar una posición respecto al acontecimiento estudiado.

G. Caminata transversal participativaEste método consiste en realizar una excursión =��� ���� ������� � �������̂ ����; �;�&���=����observar ciertos indicadores. Su objetivo es ob-servar en el terreno una serie de parámetros que � �>�����=��� ������� ���� �� �=����� ������los cambios que se han producido en ellos y cono-cer las causas e implicaciones de dichos cambios.

Es recomendable hacer la caminata con un pe-queño grupo de personas involucrados en el pro-� ���X�W� � �������������� � ������� ��[���seleccionadas con anterioridad. También es reco-mendable trazar el recorrido antes en un mapa o

diagrama. Una caminata transversal puede durar varias horas o un día completo, dependiendo del lugar y la información que se quiere obtener. Mien-tras se hace el recorrido se elabora un diagrama ������ �'��� �� �= W����� ������������los indicadores que se van a medir.

Después de un tiempo determinado, se vuelve a hacer el mismo recorrido y se elabora otro diagrama, para comparar los cambios en el tiempo. Es muy impor-���� � ������� �������� ������� ������ � � �����inesperados (no previstos en los indicadores preli-minares), sobre todo en la primera caminata, pues esto permitirá recolectar datos muy valiosos para el monitoreo y evaluación en etapas posteriores.

Es un método relativamente económico y puede emplearse para obtener tanto información cuali-tativa como cuantitativa. Su desventaja es que el proceso puede ser largo y no siempre se logra obtener la información planeada en un principio (Guijt y Woodhill, 2002).

H. DiariosEl objetivo de un diario es obtener datos, eventos, reacciones y opiniones en el tiempo a partir de los registros de personas o grupos involucrados en el proyecto. Desde el MyE es una herramien-ta de mucha utilidad, porque permite obtener información detallada para entender el contexto y las razones detrás de los procesos de cambio.

El diario se comienza a desarrollar desde el inicio del proyecto. Como paso preliminar se debe pla-near su forma y su enfoque, así como la persona o personas responsables de llevarlo. Un diario puede ser estructurado (enfocarse en un indi-����� �= W��[����&����=���X� ������ ����generales). Las entradas del diario pueden incluir descripciones escritas, fotografías, video, diagra-mas, etc. Los diarios se pueden escribir también a partir de una reunión o discusión grupal. El análisis de los cambios o efectos en el tiempo se hace al revisar las entradas pasadas y comparar con las más recientes.

Recolección de información para el monitoreo y la evaluación Página 71

`������� ������"�����<������ ��� �����������libertad de elegir cuándo y cómo se registra la información. Es un buen mecanismo para la au-toevaluación; sin embargo, llevar un diario requie-re mucha disciplina (para cumplir con el registro de entradas con una periodicidad determinada), así como una buena capacidad de redacción. El análisis de los diarios requiere además una lectura enfocada y muy analítica de los registros, lo cual puede demandar mucho tiempo. Por esto se re-�� ����� ��������� �� �� �� ����=��=��el tipo de información que se incluirá y sistema-tizarla en el diario de forma ordenada (Guijt y Woodhill, 2002).

I. Monitoreo fotográfico o de videoEste método permite revisar los cambios a partir de una serie de fotografías o videos tomados en diferentes momentos. Puede basarse en indica-��� �� �= W������=� � �� ���� ������=��=��-cionando la cámara a las personas participantes del proyecto para que registren los cambios que consideren más importantes.

Hay una serie de pasos para este ejercicio: des-pués de analizar los indicadores que se quieren monitorear, se toma la foto o la grabación de la situación actual de dichos parámetros. Es im-=������ �?� �� �� ���?� ������ {����+��X?� �� �mantenga en el tiempo, como un poste de luz, una construcción o una marca sobre una piedra) ?� �= ������ ������ ���������;���� ����@����grabación en años posteriores. Se toman las fo-tografías o el video y se hacen anotaciones sobre cuándo y en dónde fueron tomadas. Una vez que se tiene la fotografía o la grabación, se discute con las personas involucradas para comprender ������������' �� �������������������� ��-chos cambios, y cualquier otro análisis pertinente.

Después de un periodo determinado, se regresa al lugar y se vuelve a tomar la foto o video. Las distintas imágenes o grabaciones se ubican una después de otra, y se genera una discusión con las personas involucradas sobre los cambios que se observan, las causas de los cambios, el impacto, las acciones que se requieren, etc.

Este método se puede combinar con otros, co-mo el uso de diarios, o puede ser un insumo para incentivar la discusión de los participantes en métodos como grupos focales. Las imágenes =� � ��� ������<�� ��=����������������������antes y después del proyecto, como medios de ' ������������=��� �� �=� � ����� ��=����la rendición de cuentas con el donante. Sin em-bargo, no se debe caer en el error de emplear ���� @���;��@W�����;������ ��<��� �� ������ ����� �' ���������'������?� �����=��� �del análisis mismo.

J. Reportes del proyecto����� =��� ���������� �����@������� �= W�����en una serie de preguntas, todas dirigidas a evaluar los indicadores correspondientes a los resultados y objetivos de un proyecto. Los reportes pueden ser los mismos formatos donde se registran las actividades y las observaciones de dichas acciones.

Como herramienta tienen la ventaja de ser muy accesibles, por ser una extensión del trabajo co-tidiano. Es por lo general una herramienta muy económica y no requiere dedicarle demasiado tiempo. Su desventaja es depender mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos para los reportes sistemáticamente; además, es necesario que sean muy analíticos y objetivos al reportar sus propias actividades.

Monitoreo y Evaluación de ProyectosPágina 72

Tabla 15. Cuadro resumen de métodos de recolección de datos

Técnica Característica principal Ventaja Desventaja

A. Recopilación de mediciones

Medición física de cambios en el tiempo en relación con un indicador determinado, emplean-do una unidad de medida y un procedimiento e instrumentos �= W����

Permite generar datos =� ����������� ���� �-���W���� �� � ' ���-bles para medir el cam-bio logrado y el impacto generado.

- Puede ser muy costoso y requiere en muchos casos una alta especiali-dad técnica.

B. Observación directaImplica la observación de even-tos, sucesos, procesos, relaciones, comportamientos, etc.

- Permite revisar la ope-ración de un proyecto mientras está en práctica.

�� `��� !��

- Puede ser parcial (a par-tir de la selección del he-cho a observar).

- Es difícil interpretar comportamientos.

B.1 Observación partici-pativa

El observador se involucra en las actividades y en el contexto en vez de mantener su distancia.

- Permite al observador acercarse a conocer la vida cotidiana o la expe-riencia de un grupo en relación con el proyec-to, desde el interior del mismo grupo.

- Es difícil combinar los procesos de observa-ción y de participación.

- Es un proceso que toma tiempo.

C. Lista de control de preguntas/ Cuestio-narios

Serie de preguntas que pueden ser empleadas como guía para entrevistas, conversaciones infor-males o cuestionarios.

- Se puede obtener infor-mación variada, sobre temas distintos y de muestras de población más grandes.

- Información fácil de ana-lizar a costos relativa-mente bajos.

- Los cuestionarios em-plean preguntas cerra-das, pueden obtener poca información cuali-tativa y poco contextua-lizada.

- No se obtiene informa-ción muy profunda.

D. Entrevistas

Diálogo en forma de preguntas, diseñadas para obtener infor-mación sobre la experiencia u opinión de las personas.

- Útil para obtener la in-formación directamente � ������ � ������

- Da menos posibilidad de interpretación subjetiva.

- Permite obtener infor-����� �= W���

- Requiere mucho tiempo- Es bastante costosa en

términos de recursos >������������� ����

- Información muy valiosa pero difícil de analizar.

E. Grupos focales � �� <� ������;��=��� ������ �personas (entre 6 y 12) para en-trevistarlas y fomentar el diálogo.

�� /���<�� �� =������� � ��la opinión y percepción de una muestra amplia de gente (representada por el grupo selecciona-do).

- Es difícil lograr un mues-treo aleatorio.

�� `��������<��?� ���;�-nas personas en el grupo � ������ ������=������opinión de los otros.

F. Análisis de aconteci-mientos críticos

Entrevistas con individuos o gru-pos sobre eventos o incidentes �= W������� ������ �� � ��información general sobre un ���� � ���� �= W���

� � ���� ��������<���para medir indicadores de impacto.

- Requiere mucho tiempo y recursos.

- Puede ser información muy difícil de analizar.

- Es difícil mantener la objetividad y no tomar una posición respecto al acontecimiento.

Recolección de información para el monitoreo y la evaluación Página 73

G. Caminata transver-sal participativa

Consiste en realizar una excur-sión planeada en una determina-���^����; �;�&���=������� �'���ciertos indicadores.

- Es un método económico.- Puede emplearse para

obtener tanto informa-ción cualitativa como cuantitativa.

- Se puede obtener infor-mación difícilmente acce-sible por otros métodos.

- Puede ser un proceso muy largo.

- No siempre se logra obtener la información planeada en un principio.

H. Diarios

Registro de datos, eventos, reacciones y opiniones en el tiempo a partir de las entradas redactadas por personas o gru-pos involucrados en el proyecto.

- Permite obtener información al detalle ?� �=� � �� ��<���=����entender el contexto y las razones detrás de los procesos de cambio.

�� `������"�����<�����accesible.

- Es un buen mecanismo para la autoevaluación.

- Requieren de mucha disciplina (cumpliendo con el registro de entra-das con una periodici-dad determinada).

- Requiere una lectura enfocada y muy analítica de los registros para hacer el análisis en el tiempo.

I. Monitoreo ����!�" ��� o de video

Permite revisar los cambios a partir de una serie de fotografías o videos tomados en diferentes momentos.

- Se puede combinar fácilmente con otros métodos.

�� �� � �� ��<���=�������-trar la situación antes y después del proyecto.

- Sirve también como � ����� �' ������o para la rendición de cuentas con el donante.

- Confusión del método como mecanismo de rendición de cuentas y no como un método de análisis en sí mismo.

J. Reportes del proyecto

Reportes basados en un formato �= W����� ������� � �� �=� -guntas, todas dirigidas a evaluar los indicadores correspondientes a los resultados y objetivos de un proyecto.

- Es muy accesible, al ser una extensión del trabajo cotidiano.

- Por lo general, es muy económico y no requie-re demasiado tiempo.

- Depende mucho de que los encargados del proyecto en campo sean muy disciplinados y recojan los datos siste-máticamente, de forma analítica y objetiva.

Fuente: elaboración propia con base en diversos documentos de referencia.

5.4 Técnicas de Valoración Participativa Rápida (VPR)

Existe una gran variedad de técnicas complemen-tarias a los diversos métodos de recolección de datos que suelen conocerse como herramientas de valoración participativa rápida. Se pueden em-plear para la recolección de información, facilitar la participación en la obtención de información,

incentivar el diálogo o lograr un análisis más pro-fundo sobre una problemática o proyecto en diver-sos momentos: en la etapa de diseño del proyecto, en el monitoreo, en la evaluación o en el análisis de la información. Algunas de las técnicas de VPR se mencionan brevemente a continuación11.

Técnicas de análisis- Análisis FODA: se discuten en grupo las for-

��� ^������������ �� X�� ����[����W����� ����oportunidades y amenazas (externas) en relación

11. Para información más detallada y ejemplos concretos de estas técnicas, ver Guijt y Woodhill, 2002 o Department for International Development [DFID], 2002.

Monitoreo y Evaluación de ProyectosPágina 74

con un proyecto o un proceso. Se puede hacer el ejercicio nuevamente después de un tiempo, para comparar el análisis. Es una herramienta ����<���=������ {������ ����'����������� ��de una problemática, sobre todo en las etapas iniciales de un proyecto. Sirve además para valo-rar cuantitativamente un proyecto o un proceso, y retomar debilidades o errores anteriores para transformarlos en un aprendizaje constructivo. `�����=�� �������<���=����������� '�������� �un grupo. Se puede hacer a través de una tabla:

Fortalezas Oportunidades

'� ������� Amenazas

- Análisis de las partes interesadas: Esta técnica de análisis consiste en hacer una lluvia de ideas para analizar a los actores relacionados ��� ��=��� ����?�"� ������� � �������?�"-nes lo implementan y quiénes toman decisiones que pueden afectarlo, entre otros. A partir de esta lista, se comienza a ubicar y priorizar a los

�� � ������� ;<�� ���' ��� ��� �"����� �=�� �������� ����� �=� � � �=� ������=�����;�&���(ver Figura 2) de acuerdo a la importancia y el nivel de poder de un actor, e ir ubicando a los interesados en un punto del plano.

Si bien esta técnica se acostumbra emplear al inicio del proyecto en la etapa de diseño, ����"��=� � �� ������<��� ��=�� ����=��-teriores de recolección de datos. Sirve también =����� ������=���� �����������=���� ����ya presentes así como soluciones y alternativas. Cuando la actividad se hace desde el diseño del =��� ����=� � �� ������<���=���� � ������a los actores que estarán involucrados en las mismas actividades de MyE.

�� *�������"��!�� ��������ejercicio que sirve =����� �������������;����'������W����(tanto positivos como negativos) en relación con los objetivos del proyecto. Esta herramien-��� ��<���=���������� ���� ����?� ���������������� ����?� ������@W� ��� �� dir, tales como fortalecimiento de capacidades y avances en la equidad de género. Consiste en hacer reu-

Figura 2. Esquema para el “Análisis de las partes interesadas” Esquema de Importancia/Poder de Actores

Alta Importancia/Bajo Poder

Alta Importancia/Alto Poder

Baja Importancia/Bajo Poder

Baja Importancia/Alto Poder

* ACTOR A

* ACTOR B

Fuente: Elaboración propia con base en Guijt y Woodhill, 2002.

Recolección de información para el monitoreo y la evaluación Página 75

niones periódicas con un grupo de participan-tes. En la primera reunión se pregunta al grupo qué cambios o aspectos considera importante lograr. Estos cambios serán los parámetros que serán monitoreados y analizados por el grupo en reuniones posteriores (la frecuencia de las reuniones dependerá del tiempo que requieran los cambios). En las reuniones subsecuentes, se pregunta al grupo cuáles han sido los cambios �&���;����'��� ��� �������� ��=��&� ����?� � �; ����� �� ����<������ ������� ������<������� � �������� �=� ������ ��;��=���&��; � �����������������?� �� �&�<���=����conocer los cambios y las razones de estos.

Diagramas- Diagrama de Venn: Es una herramienta em-

pleada para ilustrar las relaciones entre diversos actores, organizaciones, proyectos, servicios o instituciones vinculadas con la intervención:

���@����� ��?� ��� ���<��� ��� ��W�������-portancia o poder relativo de cada uno (ver _;�����[��`�����"���=� � �� ������<���=����comprobar cambios en las relaciones de poder ��=����� ������=���� ����?� �� ?� � ���&��atención. Para realizarlo, en primer lugar se dibuja un círculo con el tema/proyecto central. Se pide al grupo de participantes que hagan una lista de los grupos, personas, organizacio-nes o instituciones relacionadas con el círculo central. Para cada uno, se dibuja un círculo: el tamaño deberá ser acordado por los partici-pantes de acuerdo al poder o importancia que tengan los actores, y la proximidad entre los círculos determinará el nivel de interacción. Los círculos que se superponen representan funciones compartidas y los círculos dentro de otros representan unidades en grupos u organizaciones más grandes.

Figura 3. Ejemplo de Diagrama de Venn

Lider de la comunidad Iglesia

Escuelasprimarias Junta de

PadresEducaciónTradicional

AlumnosGobierno Estatal

Fuente: Elaboración propia

- Diagrama de causa y efecto: en esta técnica ;��=���� �� @��������=�� ����� ��� �= W���(puede ser una actividad del proyecto, un proble-ma en la comunidad, una situación, o cualquier otro relevante) como imagen central en un lugar visible. Posteriormente, se les pide a los partici-pantes que comenten cuáles han sido las causas

y consecuencias del hecho, actividad o problema. Estas se anotan de forma esquemática arriba y abajo (o antes y después) de la idea central, y se �;������� >���?� ��� ��� ������ �������-sal. Si se mencionan consecuencias indirectas, el facilitador debe intentar llegar a la consecuencia directa, incluyendo ambas en el diagrama.

Monitoreo y Evaluación de ProyectosPágina 76

Técnicas de jerarquización- Matriz de puntuación: permite hacer una

comparación entre distintas opciones o solucio-nes a un problema y hacer un análisis sobre la ��^���=����������� �=� � � ������=������� �la otra. Se hace una matriz y se insertan en ��������������=�� ���������� �� ����� ��� �prioridad. Se discute con el grupo las venta-+���������� �' ���+���� ������=������� �����de determinar los criterios que servirán para comparar las diversas posibilidades. Cada cri-terio se ubicará en las columnas de la matriz y se establece una puntuación máxima para cada ���������������=���������;����&������ +���capacidad de la solución para cumplir con el �� ���� ������`�� + ���� �'��>� ������partir de la comparación de cada alternativa y se anota en la tabla la puntuación para cada una.

- Escalas de valoración o de preferencias: se establece un parámetro en el cual las personas deben ubicar sus opiniones, percepciones o sentimientos sobre un tema. Por ejemplo, se � �=� ������; �� �?� �� ������ ��&�������� �� �de acuerdo, de acuerdo, no saben, en desacuerdo �������� �� � ��� ��� ����������������-ción. También se puede enumerar una serie de elementos (por ejemplo: causas de un proble-ma o soluciones del mismo) y pedir que cada persona los enliste por orden de importancia. Para llegar a una conclusión grupal, se pueden resumir los elementos a los que en promedio se les dio mayor o menor importancia. Esto permite incentivar el diálogo y conocer en más profundidad las razones detrás de la valoración.

Mapas- Bosquejo de mapas comunitarios: es una

�"���<���=���������� ����� '������ ����-= ���@W�����; �;�&���� ���;�����=��� �����de acuerdo a la percepción de las personas involucradas. Consiste en pedir a las personas que hagan un dibujo de una determinada ubi-����; �;�&����� ��������������� � ��� ��

(dibujando carreteras, pueblos, ríos, etc.) y señalando los recursos disponibles. Una vez que se ha dibujado el área, se les pide a los partici-pantes que agreguen información (con dibujos o palabras) sobre lo que es más importante de la región, los problemas que existen, las mayo-res necesidades o cualquier factor relevante. �� � �� ��������������' ��?� �� ��>�����que los participantes estén conformes con el � ��������������`�� + ���� �'� �' ���� = -tir después de un periodo determinado (de preferencia con los mismos participantes), se >� ����=����� '���?� �� � + ������������actual y luego se los compara con los anterio-� ��X� �=� � ��>� ������������� ������ �el mismo mapa con colores o señalamientos distintos).

Otras técnicas- Lluvia de ideas: es una técnica que consis-

te en pedir a las personas de un grupo que piensen tantas ideas como sea posible acerca � ����� ��� �= W����`������ �'������������en un lugar visible. Posteriormente, las ideas, temas o preguntas pueden agruparse o prio-rizarse, para analizarlas de forma general. Es importante aclarar desde el inicio del ejercicio que no se trata de un análisis profundo, para evitar juicios de valor sobre cada idea que surja. Por lo general, esta técnica se emplea al inicio de otras actividades para generar discusión y �&��;��=� '���`�� ��"����� ������<���=����obtener una gran cantidad de información de un grupo sin enredarse en una discusión muy detallada. Además, incentiva la creatividad de los participantes.

- Juego de roles: dinámica en la que un grupo de =���=��� �� � ����������� ��� ����'���cotidiana respecto a problemáticas, percepcio-nes o temas relacionados con la intervención del proyecto para luego discutirlas con el mis-mo grupo. La dramatización debe ser construi-����� � ������=�������= ��������� ������ ��facilitador debe registrar el ejercicio de forma

Recolección de información para el monitoreo y la evaluación Página 77

escrita o por medio de grabaciones. Esta es ����> ���� ����<���=����� �����@�������cualitativa sobre un tema, pero antes de imple-mentarla es importante tener presente qué tan cómodos se sienten los participantes haciendo ���� � ������

5.5 Cómo mejorar la calidad de la información

Para aumentar las posibilidades de que la informa-������ ����� �������� ��� �=� � ��=� ' ����evitar errores e inconsistencias en el proceso de recolección de datos y en su posterior análisis. Al-gunos de los errores más comunes y algunas pro-puestas para minimizarlos se muestran en la Tabla 16.

(!) Siempre se debe considerar el contexto en el que se aplicará un método o técnica determinados �������� ����������� �������������������������������del lugar, la población y los recursos disponibles. Esto es especialmente importante cuando se está trabajando con población que no sepa leer o escribir, en cuyo caso se deberán seleccionar los métodos ��������������� ���� �� �� ������� ����� ��focales o juegos de roles) o adaptar los métodos (por ejemplo, usando símbolos o imágenes en lugar de palabras escritas). Además del contexto, es muy ��� ��������������������������� �������� ������-formación que se quiere obtener, para seleccionar el método adecuado y para considerar el nivel de sensibilidad sobre ciertos temas.

Tabla 16. Errores comunes en la recolección de información

Error RecomendaciónSelección de una Técnica Inadecuada: se eligen métodos de recolección de datos fuera de contexto, demasiado complicados o inoperables de acuerdo a los recursos disponibles. También se puede caer en el error de emplear la técnica de forma inadecua-da, por ejemplo al plantear preguntas demasiado ambiguas o un método inadecuado de acuerdo a la información que se quiere obtener (por ejemplo, técnicas grupales para temas más sensibles).

Se recomienda hacer un profundo análisis previo a la selección de la técnica de recolección de datos, consi-derando las posibilidades, las necesidades de informa-ción y el contexto.

Sesgos del entrevistador: el entrevistador puede fácilmente in-���� ������� �=� ������ ����; �� ������ ��� ���� ����'���������X�������� �=� ��������� �=� ������������������� � �� ��� '������a través de su lenguaje verbal o no verbal) o de forma deliberada (cuando el entrevistador es también responsable del desempeño del proyecto y tiene un interés en los resultados del MyE).

Se puede reducir este riesgo, asegurando que el en-trevistador y los involucrados conozcan los objetivos del proceso y valoren su importancia para el proyecto. Asimismo, previo a la recolección de datos, se pueden practicar las técnicas de entrevista y de facilitación pa-ra estar mejor preparados. Otra estrategia es enlistar con anterioridad todos los posibles problemas que se podrían presentar y proponer formas de evitarlos o solucionarlos.

Sesgo de los Entrevistados:- El sesgo de la empatía: al estar en un contexto muy posi-

tivo, en una situación muy amable, puede ser que la población evite decir cosas críticas.

- Autocensura: no explicarse libremente por temor a que se perciba como un riesgo.

- Se recomienda plantear preguntas abiertas y mez-clar preguntas positivas y negativas para evitar el sesgo de la empatía.

- Garantizar el anonimato y la promesa, con lo cual se evita la autocensura del entrevistado.

Errores en el procesamiento de la información: muchos de los problemas en la calidad de la información se deben a un � ;��������� ��������� �� ������� '�����������&����� �-cuidados de los resultados o a fallas en las herramientas emplea-das para vaciar la información.

Se recomienda procesar la información reunida y vaciarla inmediatamente después del ejercicio de recopilación de datos. Además, es muy recomenda-ble tener formatos estandarizados para la docu-mentación, probarlos y adaptarlos previamente si es necesario.

Fuente: Elaboración propia con información de Guijt y Woodhill, 2002.

Monitoreo y Evaluación de ProyectosPágina 78

������������� ��������������������������-car los datos obtenidos periódicamente. Puede ser útil � �������������������������� ������������-��������������������� ���������������������������de recolección de datos, por ejemplo, cuando:- No se perciben problemas (en la mayor parte de los

casos, los problemas serán inevitables y el no repor-tarse puede ser señal de alguna inconsistencia).

- Los datos son demasiado precisos.- Se presentan grandes cambios de forma repentina.- Hay vacíos de información.

Algunos consejos generales���������������������� � ��� �@���������-tenida en el proceso de MyE son fundamentales para asegurar la credibilidad de los resultados. Algunos consejos básicos para asegurar la calidad en la información se enlistan a continuación:

- Recoger únicamente la información que será útil y que podrá emplearse.����<�-mente se cae en el error de reunir demasiados datos y de baja calidad y formulamos un sistema � �/�`�� ���������=� +�����������������un análisis adecuado. Menos datos (de mayor calidad) pueden ofrecer información mucho �&��<���������=�������� ������� �� ��=���posteriores del proceso de manejo de infor-mación.

- Realizar una planeación adecuada: como se mencionó anteriormente, un diseño adecua-do del proyecto así como del sistema de MyE es esencial para obtener información de cali-dad, esto incluye: formulación de indicadores �� ��������'��������� ������������� �����necesidades de información de línea base, dise-ño cuidadoso del plan de monitoreo, selección de los métodos y las técnicas de recolección de datos más convenientes.

�� ������������ �������"�����+��������� aunque no sea un enfoque riguroso o cientí-

����� �������� �� ����������?� �� ��������� ����=� ����������� �� ��� �=������con una metodología rigurosa y pertinente de acuerdo a las necesidades de información. Los ������������ ��� = �� ���������� ����� -lección de una muestra representativa y de la unidad de análisis adecuada.

- Validación de la información: los datos obtenidos con un método de seguimiento, se ' ������������@���������� ������������método.

- Triangulación de las fuentes: para asegurar la calidad de la información, es muy importante contar con diferentes fuentes, con distintos tipos de métodos e informantes diversos, para obtener una visión completa de la situación.

- Combinar datos cuantitativos con infor-mación cualitativa: esto facilita el análisis, pues permite explicar, a través de la informa-ción cualitativa, algunos de los resultados que se obtienen con los datos cuantitativos.

�� �������������������� ������� esto es fun-damental para asegurar la pertinencia de los métodos y de la información obtenida.

- Capacitación y preparación de quienes participan en la recolección: los encues-tadores y entrevistadores deben estar capa-citados para hacer bien su trabajo. Previo al ejercicio de recolección de información, se recomienda tener preparados los apoyos mate-riales (formatos y bases de datos para guardar la información) y de capacitación, asegurando que todos tengan las herramientas necesarias ����� �� ��� ���������� ����

- Flexibilidad en la revisión de indicadores: conforme se desarrolle el proyecto, será necesa-rio revisar las necesidades de información y los indicadores formulados en un inicio. Es nece-������ ��� !�� �� �������� '���� ���� ��o eliminar aquellas que ya no sean relevantes.

Análisis y empleo de la información

6C a p í t u l o

Análisis y empleo de la información Página 81

12. Esta sección está en su mayor parte basada en los capítulos 7 y 8 de Bakewell et al., 2003, Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: International NGO Training and Research Centre (INTRAC).

Una vez que los datos de monitoreo y evaluación hayan sido reunidos, deben ser sistematizados y organizados para facilitar su interpretación y aná-lisis posterior. Este análisis permite convertir los “datos brutos” en “conocimiento” para facilitar la toma de decisiones y el aprendizaje de la organi-^������� ������ � �����12.

6.1 Sistematización y organización de datos

Los datos pueden ser sistematizados de diversas maneras, dependiendo de la técnica de recolección que se haya empleado (por ejemplo, algunas quizá requieran llenar formatos, otras podrán requerir grabaciones o notas detalladas). Es importante determinar desde un inicio cómo se registrarán los diversos datos, de forma que puedan compa-rarse y analizarse fácilmente. Además de saber cómo recopilar datos, el personal debe saber có-mo registrar la información obtenida. Para esto se recomienda llevar a cabo una capacitación que prepare al personal para vaciar los datos y manejar ����> ���� �������=���� ������ ��������� �� �en dónde se almacenará la información de tal for-ma que se guarde en un lugar seguro y accesible.

Una vez que los datos hayan sido reunidos, se ��;��^��� ��@�������� �= W������ ����� ��� �datos electrónicas. Esta organización de la infor-����� ������<���=����=�� ����=����� �@��-mación distinta: cuando se quiere pasar de una unidad de análisis mayor a una más pequeña o para homogeneizar información proveniente de distintas fuentes y recopilada a través de distintos métodos. En los formatos se vacía la información por unidades de análisis, que pueden ser valores de medición o valores asignados a los distintos datos cualitativos. Una vez organizada bajo categorías o unidades, la información puede resumirse en tablas

��;�&����?� �@��� �� ����&����; � �������� �����variable o pregunta de evaluación.

6.2 Análisis e interpretación de datos

Idealmente, los resultados obtenidos del MyE se analizan en comparación con los datos de las lí-neas base establecidas al inicio del proyecto y en relación con los indicadores establecidos en la planeación. Si la línea base no existe, el análisis tenderá a ser más descriptivo, mostrando una fotografía de la situación presente pero no un análisis de cómo las circunstancias han cambiado a partir de la intervención.

El análisis de la información consiste en identi-����� �� ���� ����������������� �������'"��� �la valoración de hallazgos importantes (análisis) o a partir de la agrupación de diversas fuentes de información para llegar a una comprensión global (síntesis). En este proceso de análisis se recomienda preguntarse:

- ¿Los hallazgos son realistas?

�� �`��&��� ��� ���� ����� � ��������������involucrados con los resultados?

- ¿La información demuestra que se han alcan-zado los objetivos del proyecto?

- ¿Cuáles son los efectos deseados y no desea-dos?

�� �����=���� ���� �= W����?� �� ?� � ���� �-ción?

- ¿Qué elementos explican el éxito o fracaso del proyecto en cada nivel de intervención?

- ¿Existen otros factores externos para ser con-siderados en los logros y fracasos?

Monitoreo y Evaluación de ProyectosPágina 82

- ¿Fueron las preguntas y los indicadores los más adecuados?

- ¿Se emplearon los métodos correctos de re-colección de datos?

Consideraciones importantes para el análisis de datos

- El análisis de la información debe hacerse en todos los niveles, desde el lugar de implementación del pro-� ���>��������������� ����� ��� ������;��^����

- Asegurar, en la medida de lo posible, que las personas involucradas en la recolección de información estén involucradas también en el análisis (si las personas ?� �� <� ������@������������� �=� �������� ���&����;<���� �"�� ���� ;�����?� �� ���� �;���������[�

- El análisis debe ser participativo e involucrar tanto al equipo responsable de la ejecución del proyecto co-���������� � ��������̀ ����&����=� � � ��?� �� ���>�������� != � ����� ��� � ���������� � !���� ������ � ���������� � ���=����� ������ �' ����

- El análisis debe hacerse de forma regular, de prefe-rencia después de la recolección de datos, para per-mitir una mayor compresión sobre el desarrollo del proyecto.

- La información no debe manipularse para producir resultados “correctos”.

�� `�� ��&���� � � � � � +��� �������� = ��= �'���� ������� ���� ��������� ����� ���� !��� �= W����X=��� + �=���� ����� ���� ��� � ���?� ��;�������éxito o un fracaso pueden variar sustancialmente desde distintos enfoques).

Categorías de análisisExisten dos tipos distintos de análisis de la infor-mación, el cuantitativo y el cualitativo.

Análisis cuantitativo: consiste en la interpreta-���� �������������������� ������ ��� ��� ��u otros valores numéricos, que son analizados a partir de operaciones sencillas como sumas, porcentajes y promedios o por medio de méto-���� ����W������&��������������� {�����=����comprobar la relación entre distintas variables. Se recomienda mantener el análisis cuantitativo lo más sencillo posible para asegurar la exactitud y ����������� ������ ����������`�����?� �������la información cuantitativa puede ser fácilmente organizada en distintas categorías, cruzada e inter-

pretada en hojas de cálculo con el apoyo de pro-gramas como Microsoft Excel, EPI-INFO o SPSS.

Análisis cualitativo: este tipo de análisis suele considerarse más complejo que el cuantitativo y consiste en leer y examinar la información obte-����=����������������� ;��W���� �� �=� �������obtener una “fotografía” general de lo que signi-�����������������������������'�������������-�'�� ��&��� ��������;<��;������ ��� �=� �����subjetiva, por lo que es importante asegurar que estas interpretaciones no estén sesgadas hacia la obtención de resultados positivos del proyecto. Para evitar esto, se recomienda que el análisis sea realizado por más de una persona o en una evaluación participativa.

Entre la gran cantidad de datos, es posible en-contrar mucha información interesante. Para no perderse entre tanta información, es importante �@���� ������ ���?� ����� �������� �= W��-mente con los objetivos del MyE. Esto se logra revisando la evidencia de cambio para cada uno de los indicadores.

Además de revisar los datos sistematizados y or-ganizados, se recomienda regresar a las fuentes de ' ������X��� ��������;�������;������ ���fotografías, etc.), que pueden dar más informa-ción sobre puntos que no quedan claros con la información disponible.

Existe también la posibilidad de “traducir” la infor-mación cualitativa en datos cuantitativos. Esto se hace asignando un valor numérico a las respuestas � �=� ;�������� �������?� �� �� �� ����� ;��^��a partir de un análisis cualitativo previo.

Ejemplo de asignación de valores cuantitativos datos cualitativos:

Pregunta: ¿En dónde ha perci-bido un mayor impacto a partir

del apoyo crediticio?Valor asignado

En el ingreso + 1En la educación + 1En la salud + 1No ha habido impacto - 1

Análisis y empleo de la información Página 83

Interpretación de los resultadosEl proceso de interpretación de los resultados ����� � ����������;������������>����^;���� �los análisis cualitativo y cuantitativo. Es un juicio � �'��������� � ���?� ��;����� ����� ���������obtenidos de los datos duros, las opiniones y los documentos. A partir de estas conclusiones se =� � � @����� �� �� �=� ��^�+ �� ��� � ����?�"�funciona y qué no en términos de actividades, estrategias, enfoques y políticas; también se hacen recomendaciones para acciones futuras.

Si el análisis de datos se hace para el monitoreo, esto puede resultar en una revisión del proyecto (actividades, objetivos, etc.) o en una revisión del sistema de monitoreo (nuevos indicadores, nue-vos métodos de recolección, etc.). Si el análisis se hace como parte de una evaluación, se incluirán también recomendaciones sobre la totalidad del proyecto, su orientación y su impacto.

Para facilitar la interpretación de los datos se pue-de emplear una tabla con los indicadores para cada nivel de intervención, y enseguida se des-criben los resultados que muestran los cambios para cada uno. La interpretación de avances en relación con los indicadores es una de las partes más importantes del proceso de MyE, pues per-mite mostrar el avance y derivar los aprendizajes del proyecto. Distintas interpretaciones de los resultados darán recomendaciones diferentes, por ello es importante que la interpretación sea un proceso colectivo, que involucre preferentemente ������� � ������

Conclusión del análisis: recomendacionesEl análisis permite mostrar los avances del pro-yecto y explicar el porqué de los logros (o en su caso, de los fracasos). A partir de este análisis, es posible sacar conclusiones, hacer recomendacio-nes de cambios futuros que requiera el proyecto y para la organización, e incluso puede generar aprendizajes para otras organizaciones.

Las recomendaciones son propuestas de imple-mentación de cambios o nuevas acciones basadas en la evidencia y las conclusiones del análisis. Im-plican comparar alternativas, revisar prioridades � ������� ������=������� ��� ����� �����contexto más amplio. Al elaborar las recomen-daciones, vale la pena preguntarse:

- ¿Existen limitantes al proyecto generados por la falta de capacitación o de recursos del proyecto?

- ¿Existen limitantes que son externas al proyec-to? Si es así, ¿qué se puede hacer para minimizar su efecto?

- ¿Son los resultados y las actividades implemen-tadas los más apropiados? ¿Siguen siendo éstas las necesarias y adecuadas?

- ¿Son los objetivos del proyecto los adecuados?

- ¿Existen preguntas sobre el progreso del pro-yecto que no pueden responderse a partir del proceso actual de monitoreo y evaluación?

Para hacer recomendaciones pertinentes, se debe tener conocimiento sobre el contexto organiza-cional en donde se tomarán las decisiones progra-máticas, y sobre el contexto social y económico en donde opera la iniciativa. Para asegurar que las � �� ����� ��� ���� ��������� �� � �� � !�-nar sobre lo que es realmente viable teniendo en cuenta los tiempos y recursos y el contexto del proyecto. Por otro lado, las recomendaciones deben dialogarse y acordarse con los responsables ��� � ������� ��=��� ������@�������� �� �����manera que ayuden realmente a introducir cam-bios en la acción y no solo a señalar un problema existente. Cada recomendación debe mostrar las ��� �� ������ �� �= W����?� �� ���; � ���=� � �������� ��������� �� �������� �=����-bles de los cambios.

Además de las recomendaciones para el proyecto, las conclusiones del análisis pueden arrojar tam-bién recomendaciones más generales y buenas =�&����<�� ��=���� ����������� =��� �����metodologías o contextos similares.

Monitoreo y Evaluación de ProyectosPágina 84

Diferencia entre lecciones, buenas prácticas y recomendaciones…

Lecciones Aprendidas: más relacionadas con el pro-ceso de gestión del proyecto, y sobre todo en rela-ción con el impacto.

Buenas Prácticas: cuando una experiencia resulta ser muy exitosa y se quiere destacar entre otras or-ganizaciones. Las buenas prácticas muchas veces se desarrollan más en el nivel de las metodologías em-pleadas, y son transferibles a otros casos similares.

Recomendaciones: están vinculadas a conclusiones �� ��&����;������@�� ��������������� ������ �-ciencia.

Presentación del análisisLa presentación del análisis y las recomendaciones que hayan resultado del proceso de MyE puede hacerse a través de:

- Reportes: es el registro escrito del análisis y es importante para transferir los aprendizajes a proyectos futuros.

- Reuniones: suelen hacerse con los responsa-bles del proyecto o los donantes.

- Talleres: se emplean sobre todo para compar-tir las conclusiones y revisar las recomendacio-nes con un grupo más amplio de involucrados, �= W��� �� ��������� � �ciaros.

Es muy recomendable que la información del aná-lisis sea presentada de forma visual y esquemática =���� ���� ���;����������������;�&����

6.3 Empleo de la información����?� ���?� �� �� ����+ �'��� ��/�`�� ��<���tener en cuenta las siguientes consideraciones para la difusión de la información:

- Asegurar claridad en el mensaje.

- Facilitar la comunicación empleando métodos ;�&����

- Acordar desde un inicio la frecuencia con la que se comunicará la información.

- Promover que la información se comunique en los tiempos adecuados y más oportunos.

- Tener en cuenta el contexto para determinar el lugar y la forma de comunicar los avances o resultados.

El uso de la información por lo general está en-focado a lograr alguno de los siguientes objetivos principales:

Rendición de cuentasLa rendición de cuentas “hacia arriba” (a los direc-tores de la organización o a los donantes) es por ���; � ���� ����+ �'���&����<��� ��/�`��=� ��muchas veces es requisito para dar continuidad al proyecto. Sin embargo, es importante que la rendición de cuentas sea también hacia los involu-��������� � ������� ��=��� ����̀ ������ � �� �forma natural en los procesos de MyE participati-'��� ��������� ��� �@�� ����?� ������ � ������hagan su propio análisis, den recomendaciones al proyecto, e implementen los cambios sugeridos en la evaluación.

Mejorar el desempeñoUnos de los objetivos principales de las evaluacio-nes es el de capacitar a las organizaciones y a las personas para que aprendan de la propia expe-riencia con miras a mejorar el rendimiento en el futuro. Para esto, las recomendaciones de cambio surgidas deben analizarse, difundirse y ponerse en práctica. La implementación de los cambios puede ser un proceso difícil, pues requiere un alto nivel de introspección y autocrítica por parte de los responsables del proyecto.

Algunas preguntas guía para facilitar este proceso son:

- ¿Quién es responsable de implementar los cambios? ¿Quién debe aprobar estos cambios dentro de la organización? ¿Se requiere apro-bación del donante?

- ¿Cómo se dará seguimiento a los cambios?

Análisis y empleo de la información Página 85

- ¿Qué impacto tendrán estos cambios sobre la ��;������ �� ������X���� �����>�������y de tiempo)?

- ¿Qué posibles resistencias se pueden enfrentar y cómo se manejarán?

Una evaluación debe contar con un mecanismo para seguir las recomendaciones e implementar las acciones necesarias para reencaminar el proyecto. `���� ���<���&��� � '��� �������� �� ����� ��tienen que ver con la gestión y administración de la organización, el uso inadecuado de los recursos ��������������� ���= ���'���

Si bien la implementación de cambios puede ayu-dar a mejorar sustancialmente el desempeño del proyecto, se debe evitar hacer demasiados cam-bios con demasiada frecuencia, pues se puede poner en riesgo la estabilidad del proyecto. Al-gunas veces, puede ser más recomendable dejar que las circunstancias se desarrollen por sí solas: ����=���� ����=� � ��� ���������;����� �����el paso del tiempo, o su misma resolución puede fortalecer a los actores involucrados.

K��@�������<���=����� ;�������=� � ������� �las recomendaciones se presenta en la Tabla 17.

AprendizajeResponder a las recomendaciones para mejorar el proyecto en marcha puede ser más fácil que asegurar que el aprendizaje sirva para el futuro. Las lecciones aprendidas tendrán que institucio-nalizarse para que haya cambios en los proyectos, programas, prácticas, procedimientos y políticas futuras de la organización.

Esto permitirá que la organización pueda conti-nuamente mejorar su capacidad de alcanzar ob-jetivos y metas y logre satisfacer las necesidades �� != ���'���� � ����� � ������������� ����demás involucrados. Si esto no ocurre, se corre el riesgo de malgastar los recursos, repetir los mis-mos errores y no aprender de la experiencia para mejorar el desempeño y fortalecer la organización.

Actualmente hay diferentes factores que afectan los procesos de aprendizaje de las actividades de MyE al interior de las organizaciones. Veamos:

�� %������ ��=������� +��� ��@����������� ������cuando puede poner en riesgo la continuidad de los proyectos o las probabilidades de apro-������ ��� '��������� ��� ������� ����

- Limitada cultura de evaluación, al no reconocer las ventajas del MyE para el proyecto o para la organización.

- Debilidades organizativas, como la falta de es-tandarización de los procesos de MyE, la al-ta rotación de personal o priorización de las acciones cotidianas, y poca inversión de tiempo o recursos para la planeación del MyE.

- Falta de apropiación de las conclusiones y re-comendaciones por parte de los encargados de la planeación y ejecución de nuevos proyectos.

- Valor limitado del mismo MyE, ya sea porque los resultados y recomendaciones no están vinculados a la realidad del proyecto, las reco-mendaciones no son pragmáticas o realistas, o =��?� �>�����������������;����'��� ��el contexto que hacen que los resultados de la evaluación sean irrelevantes.

Tabla 17. Tabla resumen de recomendaciones

Recomendaciones(formuladas en el informe

de evaluación)

Responsabilidad(dirigentes, coordinadores,

directores de proyecto)

Fecha límite(3 a 6 meses, 1 año)

1.2.

Fuente: Bakewell et al., 2003.

Monitoreo y Evaluación de ProyectosPágina 86

Un adecuado aprendizaje requiere el desarrollo � ���� ���� �= W����=����@�� �������������-cionalización de las lecciones aprendidas y tomar medidas para que estos sistemas sean realmente @ �'����`�����;����

- Garantizar la memoria de la organiza-ción: los aprendizajes deben ser instituciona-lizados a través de mecanismos que aseguren que el conocimiento adquirido por las personas se mantenga en la organización, aun cuando los individuos ya se hayan ido. Esto se puede lograr fácilmente a través de medios electrónicos que permitan almacenar los reportes de MyE.

- Asegurar que los aprendizajes sean acce-sibles: �;����;�����^�����������=�� �����el acceso a los informes y reportes, así como facilitar su revisión en un archivo fácilmente � ������ ��������;����X@W����� � �����[�

- Aplicar el aprendizaje: solo cuando las lecciones son realmente tomadas en cuenta e implementadas, se puede alcanzar un proceso de aprendizaje continuo.

- Aprendizaje compartido: las lecciones que pueden funcionar para la propia organización muy probablemente podrán ser de utilidad para otras organizaciones, y viceversa.

Comunicación y difusiónLos resultados (positivos o negativos) de todo el proceso de MyE deben ser difundidos entre diver-sos actores directa o indirectamente involucrados en el proyecto, para asegurar la implementación y continua retroalimentación de aprendizajes. La adecuada difusión de los resultados es fundamental para optimizar el valor agregado del MyE. No exis-te solo una forma para desarrollar una estrategia ��^�� ���������X' ��Y�����#¡[��= ��� ����puede guiarse por algunas preguntas básicas:

- ���"�� �� ��=<����� ���� ������ ���������� ��/�`�

�� ����&�� ������@��������&��= ��� �� ���<���para compartir?

- ¿Cuál es la m +������ ���=������ ;������=<����� ���

Las estrategias y mensajes de comunicación, que van desde boletines informativos, reuniones de diálogo y talleres hasta la difusión en materiales impresos, dependerán del tipo de audiencia:

- Equipo responsable de la implementación�� ] � �����- Donantes- Donantes potenciales- Individuos asociados a la organización- Otras organizaciones

Tabla 18. Ejemplo de Estrategia de Difusión

Medios de difusión Sede principal

Coordinadores y equipo del proyecto

Otras ONG Donantes Involucrados/

;��� ������Informes de monitoreo X X XInformes de evaluación X x X x X

Z �<� � �� + ��'�����`!������ XPáginas web X X X X

Intranet XSeminarios / Talleres x x X

Fuente: Gosparini et al., 2004.

Monitoreo y evaluación en proyectos de incidencia

y de emergencia

7C a p í t u l o

Monitoreo y evaluación en proyectos de incidencia y de emergencia Página 89

En esta sección revisaremos algunas considera-ciones importantes del MyE para proyectos de campañas e incidencia y proyectos de atención a la población en situación de emergencia. El análisis de estas intervenciones es relevante, pues representa dos extremos de la cooperación in-ternacional, uno de ayuda inmediata y otro de atención de las causas estructurales de problemá-ticas sociales. Además, por su propia naturaleza, son intervenciones generalmente más difíciles de monitorear y evaluar e involucran procesos de MyE distintos a las intervenciones tradicionales. Sin embargo, dada su relevancia y generalización, es fundamental medir los avances y el impacto de este tipo de iniciativas.13

7.1 Monitoreo y evaluación en proyectos de incidencia

Ante las limitantes que pueden tener los pro-yectos sociales que se desarrollan en medio de un contexto más amplio de inequidad, injusticia y limitado acceso a la participación ciudadana, la necesidad de lograr cambios de fondo en las estructuras políticas, económicas y sociales ha sido cada vez más evidente. Diversas organiza-ciones han afrontado esta necesidad por medio de estrategias de campañas e incidencia (ya sea como su estrategia central o complementaria a los proyectos), enfocadas a generar los cambios estructurales requeridos.

La incidencia es el empleo estratégico de la in-@�������=���� ����� ��=��W������ ��� ����acciones de quienes detentan el poder, con el objetivo de lograr cambios positivos en las vidas de las personas. Así, una campaña puede tener co-

mo objetivo de cambio la incidencia en una ley, en =��W����=<�������=� ��=� �������@����� � ����y participación de la sociedad civil, apertura de-mocrática y defensa de derechos, etc.

%����?� � ����+ �'�������� �������� ��� ��-cidencia consiste en generar cambios en las vidas de las personas, las acciones también deben estar basadas en el conocimiento y en la experiencia � ����=����������������������� � ������N�W�����igual que en cualquier otro tipo de iniciativa, se recomienda que la incidencia sea esencialmente participativa, que retome necesidades reales y esté dirigida a empoderar a individuos y comunidades para que incidan en las decisiones que les afectan.

Las razones para monitorear y evaluar proyectos de incidencia son las mismas que para otros pro-yectos de desarrollo: rendición de cuentas, mejora en el desempeño, aprendizaje y difusión. Poder evaluar el impacto de este tipo de intervenciones es fundamental, pues lograr un objetivo de inci-dencia no necesariamente se traduce en un cambio positivo en la vida de las personas (por ejemplo, si se logra la aprobación de una política en defensa de los derechos de las personas con discapacidad en las escuelas primarias, pero no se asigna pre-supuesto para la capacitación del personal escolar en el tema, habrá pocos cambios para la población infantil con discapacidad). Es posible además que ���� �>��������^���� ����+ �'��<������ ��-dencia, pero se logre un impacto secundario a raíz de la estrategia implementada (por ejemplo, ���� � ��;��� ����=�������� � ���=��W���=<����pero se genera mayor concientización sobre las necesidades y los derechos de las personas con discapacidad). Por estas razones, es importante desarrollar una evaluación que mida el impacto de este tipo de acciones.

13. Esta sección se basa en su mayor parte en dos publicaciones de INTRAC: Capítulos 9 y 11 de Bakewell Adams y Pratt, 2003, y el documento de O´Flynn 2009, así como de “A Guide to Measuring Advocacy and Policy” de Reisman, Gienapp y Stachowiak, 2007. Aquí se desarrolla tan solo de manera breve el tema de MyE en proyectos de incidencia y de emergencia, por lo que se recomienda consultar estas fuentes para más información, así como los recursos adicionales electrónicos adjuntos a este manual.

Monitoreo y Evaluación de ProyectosPágina 90

Diferencias en el diseño de la intervenciónLa labor de monitorear y evaluar el trabajo de incidencia es compleja, sobre todo al diseñar un sis-� ���� �/�`�� ��������<���� ������'�������^�� ��

- El diseño de objetivos claros puede resultar más complicado que para otro tipo de pro-yectos. Esto es especialmente cierto en el caso del diseño de objetivos intermedios o de corto plazo, pues por lo general aparecen como lo-gros de proceso y no de impacto.

- Las estrategias de incidencia no se adaptan fácil-mente a la matriz de marcó lógico, ya que la re-lación entre actividades, resultados y objetivos no es tan directa al depender de otros (aliados, grupos objetivo de la incidencia, sociedad civil, medios, etc.).

- Si bien puede emplearse también la metodolo-gía de marco lógico, la lógica de intervención ��� � �� ��� ����>���&��� !�� ������objetivos de incidencia de una campaña son revisados y adaptados de forma más frecuente que en otro tipo de intervenciones.

- A diferencia de proyectos de desarrollo, que son generalmente apoyados por la mayor parte de los involucrados, los proyectos de incidencia, por su propia naturaleza, parten del supuesto de que habrá oposición abierta a sus objetivos.

- Mientras que los objetivos de proyectos tra-dicionales son formulados como un logro de “progreso”, los objetivos de incidencia pueden, en ocasiones, formularse en términos de “de-fensivos” (por ejemplo, evitar que pase una ley que atenta contra la seguridad alimentaria de la población).

Diferencias para el monitoreo y la evaluación�� ���<�� �� ��������+ �'���� ��� �������

intangibles y por lo tanto más difíciles de me-

dir, especialmente los logros intermedios o de avance.

- Existen diversas fuerzas externas que pueden contribuir u obstaculizar el logro de los ob-+ �'���� ��� �������������������������de los avances, logros o fracasos a la propia organización.

- En comparación con otros proyectos de de-sarrollo, la incidencia es de largo plazo: toma más tiempo comprobar cambios sustantivos.

�� `����<��?� �>����������� ��@� � �� ��en las estrategias y hasta en los objetivos: el contexto y los actores clave están en constante cambio. Aun cuando la formulación de objeti-vos sea la más adecuada, es casi imposible iden-�������=� ' ������������'����� ��?� �=� � ������� �� ��=�� �������?� �������;��^����� ��������������+ �'��� ��^��� � �����determinado momento, puede ser completa-mente irrealizable poco tiempo después.

- Los impactos en muchas ocasiones son más difíciles de medir, pues los cambios deseados suelen ser en un nivel mucho más amplio (ma-yor población, varios territorios, etc.), y por lo tanto más costosos de monitorear y evaluar en términos de recursos y tiempo.

- Por lo general, es difícil contar con informa-ción de línea base (por ejemplo, para un tema políticamente sensible es más difícil tener in-formación sobre las posiciones u opiniones de ����= ����������� �������� ��?� � �������ir.

Recomendaciones claves para Monitoreo y Evaluación en proyectos de incidenciaLas siguientes consideraciones pueden ayudar a facilitar el MyE de proyectos de incidencia:

Diseño y formulación de objetivos de incidencia clarosAl igual que con otros proyectos, las estrategias de incidencia (ver Tabla19) requieren una formu-

Monitoreo y evaluación en proyectos de incidencia y de emergencia Página 91

lación clara de objetivos y resultados, así como un sistema de MyE adecuado. Para desarrollar los objetivos de incidencia, es necesario preguntarse: ¿Qué cambios se quieren lograr con el proyecto? ¿Qué está mal, qué debe cambiar? ¿Qué soluciones alternativas pueden adoptarse?

Los objetivos de cambio de una campaña pueden ubicarse dentro de las siguientes categorías:

- Lograr mayor concientización sobre un tema.

- Contribuir al debate sobre un asunto en parti-cular.

- Fortalecer las capacidades de incidencia de la propia organización o de organizaciones aliadas o socias.

�� ��;���������� ������=����=<����

�� ��;���������� ��=��W����=<�����

- Conseguir la implementación de políticas (nue-vas o existentes).

Uno de los errores más comunes de los proyec-tos de incidencia es que se plantean objetivos demasiado ambiciosos e irrealizables de acuerdo al contexto social, económico y político (local,

14. Para más información ver Coffman, 2007.

nacional y global). De tal forma que al desarrollar los objetivos es fundamental entender claramente cuál es la situación actual y qué es realmente alcan-zable durante el periodo del proyecto. Cualquiera que sea el nivel de impacto que se busque, los objetivos de incidencia deben ser claros y realistas, lo cual puede facilitarse con un análisis detallado de la realidad a través de distintas herramientas, como los mapas de poder y las teorías de cambio14.

Desarrollo de metas e indicadores mediblesSe recomienda establecer indicadores y metas es-= W������ ��� ����� ��� ��?� �= ������ '�-luar el avance y logro de los objetivos de incidencia y la calidad de lo que se ha hecho (actividades). Dada ������������ �� ���������� ��� ��� ����� �ha encontrado de gran utilidad emplear indicadores substitutos o “proxy” (ver sección 5.2). Asimismo es importante tener en mente que para responder a circunstancias cambiantes, es muy probable que los objetivos y las actividades de un proyecto de incidencia tengan que adaptarse con el transcurso del tiempo, para lo cual también tendrán que adap-tarse los indicadores.

Tabla 19. Tabla guía de indicadores para estrategias de incidencia

Tipo de estrategia Ejemplo de Indicadores de Proceso Ejemplo de Indicadores de Efecto

1. Difusión e im-pacto en medios

�� �<� ���� ������� ��� �������� �������'��� ��� ����campaña.

�� �<� ������=��� �� ���� ������?� ��=�� ��������sobre actividad de la campaña (prensa escrita, radio, Internet, televisión; medios especializados o generales; medios invitados frente a medios atraídos, etc.)

�� �<� ���� ��"=������ �<� ���� ������������&� ������� � ��� ���X; � ������

por la campaña).- Respuestas de especialistas y líderes de opinión.

- Cantidad de cobertura de la campaña en medios.

- Calidad de cobertura de la campaña en medios (profundización del tema, prioriza-ción, réplicas, message echoing, etc.)

Monitoreo y Evaluación de ProyectosPágina 92

2. Sensibilización y participación de la ciudadanía

- Porcentaje de personas que conocen la problemática, porcentaje de personas que conocen las propuestas de la campaña.

- Cantidad registrada de acciones colectivas.- Cantidad registrada de acciones individuales.�� �<� ���� ��W� � ��� ��=����?� �� ����� �������

favor de las demandas de la campaña.�� �<� ������=��� ���������=������������=�{���� �<� ���� ���;��^��� �� ���'�������=��^��� ��

de la campaña.

�� /������� ���=<�������� ����=��-�� �&��������� �����=��W����=<�����relacionadas.

- Cambio en la percepción sobre el proble-ma (se considera positivo o negativo, se conocen riesgos, se le da mayor importan-cia, etc.).

- Mayor conocimiento de las propuestas y objetivos de la campaña.

- Mayor disposición de la ciudadanía a actuar para incidir en las políticas gubernamentales.

2. Incidencia en gobierno

�� �<� ���� ���� ��� ��� ���� ������=<�����ante instancias gubernamentales.

- Nivel de comunicación y colaboración con funcionarios =<�������=������ ������&��;�~��=�����=����enviar el mensaje correspondiente a las autoridades.

�� �<� ���� ��������;�� ���� ���� ��?� ��=��������=��-puesta

- Cambio en percepciones y opinión, en porcentaje, de = ����������� �� ����@�'���� ��� �������+ �'��� ��-dencia

- Investigaciones, diagnósticos e informes entregados, pro-puestas presentadas a instancias de gobierno.

�� ���W������� � ��?� �� ������������=�W���� ��� ������nuestras demandas

��=������ ������=�{��=��������� ��- Desarrollo de políticas o leyes- Adopción o cambios en políticas o leyes- Implementación de políticas o leyes- Observancia de políticas o leyes- Incremento o redistribución de presupues-

tos

3. Generación o fortalecimiento de alianzas

�� �<� ������=��� ���������=������� ��� ��- Fortalecimiento de las capacidades de cada organiza-

ción y de la alianza en su conjunto- Logros conjuntos en acciones de concientización so-

�� ����� ���������� ������=����=<������������ ��=��W����=<����

- Nivel de colaboración y coordinación con aliados (reuniones, estructura, rol de la di-rección, rol de la propia organización en la alianza, participación activa de todos los miembros, etc.).

- Capacidad para alinear esfuerzos (coin-cidencia de prioridades y objetivos; re-partición de actividades; acuerdo sobre el trabajo que corresponde a cada quien; ne-gociaciones, cabildeo y actividades de inci-dencia realizadas en conjunto).

3. Generación o fortalecimiento de alianzas

- Nivel de colaboración y coordinación con aliados (reu-niones, estructura, rol de la dirección, rol de la propia organización en la alianza, participación activa de todos los miembros, etc.).

- Capacidad para alinear esfuerzos (coincidencia de prioridades y objetivos; repartición de actividades; acuerdo sobre el trabajo que corresponde a cada quien; negociaciones, cabildeo y actividades de inciden-cia realizadas en conjunto).

�� �<� ������=��� ���������=������� ��tema

- Fortalecimiento de las capacidades de cada organización y de la alianza en su conjunto

- Logros conjuntos en acciones de concien-tización sobre un tema, cambios en la opi-����=<������������ ��=��W����=<����

Fuente: Elaboración propia con información de Reisman et. al, 2007.

Establecer unidades o niveles de evaluaciónLa incidencia involucra e impacta a diversos ti-=���� ����� ������ ������� � ���������� ��X��?� � �� ��&� �= W��� �� ���;��������=�-

ña), población en general, organizaciones locales, organizaciones aliadas, tomadores de decisión X� ;������ ����� �'��� ��=<����[��= ���������académicos y líderes de opinión. Esta variedad � �=<�������+ �'��>� �� ������ ����������un análisis de involucrados desde el inicio, tanto

Monitoreo y evaluación en proyectos de incidencia y de emergencia Página 93

para el diseño de la intervención como para el diseño del sistema de monitoreo y evaluación. En este sentido, se recomienda hacer monitoreo en varios niveles:

- Monitoreo del grupo objetivo

- Monitoreo de relaciones y aliados

- Monitoreo de medios

�� /����� ��� �����=����=<���

Mantener el sistema de monitoreo y evaluación simple y sencilloCon tantas consideraciones de factores exter-nos, niveles de análisis, actores e implicaciones de contexto, el sistema de MyE para proyectos de incidencia puede volverse demasiado complejo. Por eso se recomienda que las herramientas de MyE sean lo más sencillas posible, y se debe evi-tar dedicar demasiado tiempo y recursos a estas actividades. Si los objetivos e indicadores son cla-ros, no se requieren sistemas de evaluación muy complejos. Asimismo, buena parte del monitoreo de las acciones puede darse de manera informal, con la información disponible y las acciones que de cualquier forma se llevarían a cabo (revisión de medios, diálogo con aliados, etc.). El resto de la información no disponible se puede reunir por medio de técnicas de recolección de datos co-mo encuestas, grupos focales, observación en reuniones y diálogos. En este sentido, es muy re-comendable que la información sea triangulada (que provenga de fuentes distintas) para asegurar �������������� ������ ���������

Dedicar suficiente tiempo al análisis y la reflexión sobre los avances y limitantesEn proyectos de incidencia es especialmente � �� ����� � � � ��� � !�� ��� ;���� ���?� �permitan analizar en profundidad y críticamente los avances y las limitantes de las acciones de la

campaña. Si bien parece algo sencillo, es algo que ��<�� �� �� �� +��� �������̀ �� ��&��;��� �=� � �hacer en los espacios regulares de reunión entre el equipo encargado de la labor y miembros de organizaciones aliadas, y es un momento ideal para:

- Actualizar información sobre los indicadores y el progreso logrado.

- Revisar otra información que muestre los avan-ces o limitantes.

�� �� ��������� ;������@���� �� !� �����X���-ternos) que hayan cambiado.

- Hacer recomendaciones, adaptarse a nuevos escenarios y desarrollar nuevos planes, obje-tivos e indicadores, si es necesario.

En este análisis es muy importante monitorear también la contribución general de la campaña, independientemente de haber alcanzado o no los objetivos principales planteados. Existen muchas contribuciones positivas que se pueden estar lo-grando y que no están siendo consideradas den-tro de los logros. Por ejemplo, el posicionar un � ��� ��� �����=����=<������������=� =���� ��terreno para acciones posteriores, sino que es un logro en sí mismo al generar cambios en el nivel de concientización de la sociedad sobre una problemática.

7.2 Monitoreo y evaluación en proyectos de emergencia

Los proyectos de emergencia son aquellos que se llevan a cabo en situaciones de crisis, ocasionadas por desastres naturales (huracanes, terremotos, etc.), un colapso repentino en los medios de vida � ����=�������X>����������� ?�W�[������������social generalizado. En medio de situaciones de emergencia como estas, la acción de las organiza-ciones se concentra en la entrega inmediata de la asistencia para salvar vidas y aliviar el sufrimiento de las personas afectadas por el desastre.

Monitoreo y Evaluación de ProyectosPágina 94

Por lo general, son circunstancias que inician de forma repentina, sin posibilidades de detenerse a planear cuidadosamente la intervención.15 En momentos tan críticos, la planeación del MyE es ��<�� �� ����<�����=����������� ����� �?� ����entrega de la ayuda equivale a una acción positiva por sí misma, sin necesidad de evaluar el efecto de dicha acción. Sin embargo, la práctica ha demos-trado que esto no es necesariamente cierto, y en muchas ocasiones los proyectos de intervención en situaciones de emergencia no alcanzan sus objetivos o incluso pueden llegar a causar ma-yor daño. Veamos algunos ejemplos de posibles efectos negativos de este tipo de intervenciones:

- Se entrega la ayuda inadecuada (alimentos que no pueden ser preparados o medicinas inapro-piadas para el tipo de padecimiento).

- La ayuda de emergencia incrementa la vulnera-bilidad económica de una comunidad al dete-riorar el tejido productivo local (por ejemplo, al introducir alimentos bajan los precios de los alimentos, perjudicando a los productores locales).

- La respuesta humanitaria menoscaba las insti-tuciones locales, como instancias de gobierno, organizaciones o líderes locales (al responsa-bilizarse de la situación, las organizaciones que intervienen no permiten que las instituciones locales adopten y fortalezcan su conocimiento sobre cómo actuar ante crisis futuras).

- Se genera una “cultura de dependencia” cuando la ayuda no está acompañada de una estrategia para fortalecer capacidades y asegurar la inde-pendencia de la ayuda exterior.

�� ���������� � � �; ��� �� �=� ��������� ��políticos por parte de actores locales (lo que =� � ��� � ����� �������[�

- Mala administración de la ayuda (ante situacio-nes de emergencia, suelen incrementarse los ��+���� �� ����������� ���������=������� ��� ������������� � �� ������������� �����mismos).

Una planeación y un proceso de monitoreo y evaluación adecuados son cruciales para evitar o minimizar este tipo de problemas. Incluso se podría decir que el monitoreo y la evaluación son =�� �����<���&��� � '��� �� �������� ��� �emergencia que en circunstancias normales, pues las consecuencias negativas de una intervención inadecuada son más inmediatas y pueden ser más = �+���� ������ ����;���>��� ������������ ��que es importante tener en cuenta.

Dificultades relacionadas al MyE en acciones de emergencia- El equipo de trabajo está completamente con-

centrado en la entrega de ayuda inmediata.

- Existe por lo general un cambio constante de personal, por lo que es difícil mantener y apro-vechar los aprendizajes.

- Es probable que la comunidad afectada tenga pocas posibilidades para participar activamente en la intervención o en el MyE.

- La población puede estar desplazada de sus >�;�� �����������������=�� ������� ;�� ����al impacto del proyecto.

- La situación tiende a cambiar rápidamente, y hace que la información de línea base y de avance cambie también.

- El proyecto puede desarrollarse en un ambien-� �� ��� ;����������?� ����������������� ��diarias del equipo, incluyendo los procesos de MyE.

15. Muchos proyectos de emergencia, incluyen también componentes de prevención o gestión de desastres y reconstrucción de medios de vida. Estas intervenciones pueden considerase más similares a proyectos de desarrollo tradicionales, por lo que las ���� �W������ ��/�`�����;���� �� ��=���� ���`�� ��=W������ �� � � ��������� �' ��� �� �= W����� ��� ����� �� ���-tres, y no a proyectos de prevención o gestión de riesgos o de restitución de medios de vida.

Monitoreo y evaluación en proyectos de incidencia y de emergencia Página 95

- En situaciones de emergencia a gran escala, ����<��?� � �� �' �;�����>����; ��������;��^��� ���@ � �� ���?� ���<������objetivos y estrategias distintas.

�� `�������� ��� � � �; ���=��������������� � ������� ��=��� ���=� � ������"��estar involucrados, lo cual genera dilemas sobre su rol en el manejo, el monitoreo y la evaluación de proyecto.

Diseño del sistema de MyE para emergenciasAl ser los objetivos de los proyectos de emer-; ����;����'�� �� ���������� ��� �����considerar preguntas para el seguimiento y la evaluación e indicadores adaptados a la realidad del tipo de proyecto. Así, se encontrará que por lo general los indicadores parecerán menos de impacto y más de efecto o resultado. En la Tabla 20 se muestra un ejemplo de preguntas e indica-dores para un proyecto de atención humanitaria.

Tabla 20. Preguntas e indicadores en un proyecto de atención humanitaria

Proyecto de emergencia: Distribución de raciones alimentarias secas o hidratadas a la población en riesgo

Preguntas clave ���!��������� �� Posibles indicadores

��+ �'��`�= W��

¿Cuáles son los efectos del acceso / uso / satis-@����� ������ � ��-rios con respecto a los bienes recibidos y a los servicio brindados?

¿Cómo ha contribuido la dis-tribución de raciones alimen-tarias (secas o hidratadas) a la reducción de la tasa de mortalidad o de malnutrición entre la población meta?

- Tasa de mortalidad bruta para hombres, mujeres, madres ���{���X�<� ���� ��� �����=���#�����= �������� ��-do de X% en un periodo determinado)

- Tasa de malnutrición para la población meta (por sexo, grupo de edad, etc.) (mantenido / bajado a X%).

- Porcentaje de niños meta menores de 5 años con proble-mas de malnutrición (reducido de X%).

- Porcentaje de ingreso de las familias gastado en alimentos (reducido de X%).

������>�����������������-ción de raciones alimentarias (secas o hidratadas) sobre las estrategias de supervivencia y de adaptación de la población meta?

- Porcentaje de personas objetivo, hombres, mujeres y niños que se han quedado o se han desplazado a lugares adecuados (X%).

�� �<� ����������� �= �������?� �� �>��� ���=����� ��programa (X y X% personas que ya no encajan en los criterios de elegibilidad).

- Porcentaje de la población meta que vende sus bienes para sobrevivir (reducido de X%).

Fuente: Gosparini et al., 2004.

Monitoreo de proyectos de emergenciaLa primera etapa del monitoreo consiste en repor-tes situacionales, en donde se describen cambios en la situación general, las actividades del proyecto y

los objetivos inmediatos. La necesidad de generar nuevos reportes dependerá de la rapidez con que se desarrollen los cambios (que pueden desarrollarse con mayor o menor periodicidad y generar menos reportes a medida que la situación se estabilice). Los reportes de monitoreo pueden incluir:

Monitoreo y Evaluación de ProyectosPágina 96

�� ������� ������������� �� � ��<������ =��� �

�� N�'��� ����� ���������� �� � ��<������ -porte.

- Cambios en el plan del proyecto y razones de estos cambios.

Es muy probable que estos reportes sean ela-��������������=���=����� �� � ����������embargo, la participación debe ser considerada ����;<����� ���������� � ��� ���������� ��=��-yecto, por ejemplo levantando encuestas entre la población sobre la calidad y los efectos de la intervención. Otro aspecto que debe cuidarse con especial atención en proyectos de emergencia es ���� ������ �� ��������� �����`����>���ocasiones, ante la situación de urgencia y la re-lativa disponibilidad de recursos, los controles ������ ���� � ��� !��^��� ���� ����<��?� �existan vacíos de información sobre cómo se ha gastado el recurso.

Evaluación de proyectos de emergenciaEn este tipo de proyectos de corto plazo es mucho más difícil hacer una distinción entre los procesos de monitoreo y los de evaluación. Por lo general, ���� '������ ��� �>��&��>��� �������� ������ �-vención. Los objetivos de la evaluación son los mis-mos que en otro tipo de proyectos, con grandes posibilidades de aprovechar el aprendizaje para futuras situaciones de emergencia. En este caso, ������ ������������ ��� � '�������X � ���� ������=�����= ��� ��������� ������[�����reformulados para adaptarlos a las necesidades de evaluación en circunstancias de crisis. Veamos:

- Adecuación (pertinencia):� �����;�������sólo asegurar la pertinencia del proyecto, sino también su adecuación a las prioridades, formas ��=�&����� ������ � �������� �� � � ������adaptación de las actividades humanitarias a las necesidades locales para asegurar su apropia-ción (por ejemplo entrega de ayuda alimentaria adecuada, de tal forma que pueda ser preparada en el contexto local).

- Articulación (sostenibilidad): necesidad de garantizar que las actividades de emergencia a corto plazo tomen en cuenta el largo plazo y el contexto más amplio, considerando todas las interrelaciones, los efectos e impactos que puede tener la acción inmediata en la situación posterior de estabilidad (por ejemplo, contra-tar a personal local capacitado puede generar su salida de escuelas u hospitales locales). Para poder atender las necesidades inmediatas hay que considerar el impacto de las actividades en un contexto más amplio.

- Coherencia: analizar la forma en que el pro-yecto de la propia organización se introduce en coordinación con otras organizaciones, con el gobierno local y otras autoridades. Es im-portante evaluar si la intervención logra evitar o duplicar esfuerzos y no obstaculizar la labor de otros actores.

- Cobertura: es necesario valorar qué tanto alcanza la intervención a llegar a toda la po-blación afectada, y si todos los grupos fueron incluidos sin distinción de género, grupo étnico o posición política.

Página 97

Referencias

Bailey, C. (1995). A Guide to Field Research. EEUU: Pine Forge Press.

Bakewell O., Adams J. y Pratt B. (2003). Sharpening the Development Process: a Practical Guide to Monitoring and Evaluation. Oxford, UK: INTRAC, The International Non-governmental Organisa-tion Training and Research Centre.

CE, Comisión Europea (2002). Manual Gestión del Ciclo de Proyecto. Unidad de Evaluación de la ������ ����= �����`���= N��

CE, (2006). Metodología de Evaluación de la Ayuda Exterior de la Comisión Europea. Bases Meto-dologías de Evaluación. Francia.

Cohen, Ernesto, y Martínez, Rodrigo (2003). Manual de Formulación, Evaluación y Monitoreo de Pro-yectos Sociales. Santiago de Chile: CEPAL, Comi-sión Económica para América Latina y el Caribe.

Coffman, J. et al. (2007). Using the Composite Lo-gic Model to Articulate an Advocacy Strategy or Theory of Change [En línea]. Disponible en: http://www.gse.harvard.edu/hfrp/eval/issue34/index.html

DFID, Department for International Development (2002). Tools for Development. A handbook for those engaged in development activity.

ECHO, European Comision Humanitarian Aid and �'������ �����@� �X$��¢[��̀ '���������@���-manitarian Aid by and for NGOs. A guide with ideas to consider when designing your own eva-���������'� ���`���= N�������� ����= -ración.

Monitoreo y Evaluación de ProyectosPágina 98

Food and Agriculture Organisation [FAO] (2001). Programa de análisis socioeonómico y género. Roma: Autor.

Fundación CIDEAL (2001). El enfoque del marco lógico: 10 casos prácticos. Cuaderno para la identifcación y diseño de proyectos de desarro-llo. Madrid: Centro de Cooperación y Ayuda al Desarrollo.

Giffen J. (2009). The Challenges of Monitoring and Evaluating Programmes. Oxford UK: INTRAC.

Gosling, L., and M. Edwards (1995). Toolkits: A Prac-tical Guide to Assessment, Monitoring, Review and Evaluation. Development Manual 5. London: Save theChildren.

Gosparini, P., Russo, L., Sirtori, M., Valmarana, C. (2004). Manual de monitoreo y evaluación de las ONGs de Forum Solint. Roma: CISP, DNR.

Guijt I. y Woodhill J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD, In-ternational Fund for Agricultural Development. ������ �`'���������`�������

Kusek J. y Rist R. (2004). Ten steps to a results-based monitoring and evaluation system: A handbook for development practitioners. Washington, DC: World Bank.

Londoño, N. (2009). Formulación de Proyectos: En-foques, Procesos y Herramientas” Análisis de 40 guías metodológicas producidas por agencias de cooperación internacional. Medellín, Colombia: Escuela Latinoamericana de Cooperación y De-sarrollo.

OECD – Organization for Economic Co-operation and Development / DAC – Development Assistan-ce Committee (1998). Review of DAC Principles for Evaluation of Development Assistance. Paris.

OECD / DAC (2002). Glosario de los principales términos sobre evaluación y gestión basada en resultados, París, DAC, Evaluation and Aid Effec-�' � �������£�����W��

O’Flynn (2009). Tracking Progress in Advocacy: Why

and How to Monitor and Evaluate Advocacy Pro-jects and Programmes. Oxford UK: INTRAC.

Ortegón, E., Pacheco, J.F y Prieto, A. (2005). Meto-����;W��� ������� ��;��=���� ���=���������el seguimiento y la evaluación de proyectos y programas. Área de proyectos y programación de inversiones, CEPAL. Santiago de Chile: ILPES, Instituto Latinoamericano y del Caribe de Plani-�����`�������������

OXFAM (1995). A Basic Guide to Evaluation for De-velopment Workers. UK.

PNUD, Programa de Naciones Unidas para el De-sarrollo (1997). Who are the Question-makers? A Participatory Evaluation Handbook. [En línea]. Disponible en: http://www.undp.org/evaluation/documents/who.htm [Consultado: 12 de agosto de 2010].

PNUD (2009). Handbook on Planning. Monitoring and Evaluating for Development Results. Nueva York

Reisman J., Gienapp, y Stachowiak, S. (2007). A Gui-de to Measuring Advocacy and Policy. Maryland: EEUU: Annie E. Casey Foundation

Robson C. (1993). Real World Research: A resource for social Scientists and Practitioner Researchers. Oxford UK: Blackwell.

Shapiro, J. (2003). Monitoring and Evaluation. CIVI-CUS.

United Nation Educational, Scientifc and Cultural Organization [UNESCO], 2009). A guide for mo-nitoring and evaluating comunity-based projects. Paris: Autor.

Tassara C. (2010). Formulazione e gestione dei pro-getti nella cooperazione internazionale. Roma: Associazione delle ONG Italiane.

UNICEF (1990). Monitoring and Evaluation Guide.USAID, United States Agency for International De-

velopment, Centre for Development Information and Evaluation (1996). Performance Monitoring and Evaluation: TIPS.

A n e x o s

Página 101

Anexo I. Glosario16

Actividad: acción realizada, utilizando varios me-dios (fondos, materiales, recursos humanos, etc.), para generar determinados productos. El conjunto de las actividades sintetiza lo que se quiere realizar durante el proyecto.

<�"������������� ���� comparación entre los costos de la inversión y operación y los be-� ������ ���=������ ���� ������� ��� �����inversión en una determinada intervención.

Análisis de estrategias: apreciación crítica de las diferentes posibilidades para conseguir los objetivos, y selección de una o más de ellas para incluirlas en el proyecto.

Análisis de género: análisis de las posibles dife-rencias en el impacto de un proyecto sobre muje-res y hombres. Se focaliza en los papeles diferentes (producción, reproducción, decisión) de la mujer y del hombre; en el acceso diferencial a los recursos �������������~� ������� ���� �� �= W���������intereses y problemas; en los obstáculos para la plena y equitativa participación de las mujeres y los hombres en la realización de actividades y en ������������� ������ � ������� �����

Análisis de objetivos: � ���������' ���-���� ����������� ��=���'���?� ������ � ��-rios y las partes interesadas consideran priorita-rias y que deberían lograrse con la realización del proyecto. El producto de un análisis de objetivos es el árbol [jerarquía] de objetivos.

Análisis de las partes interesadas: implica la � �������� ������� ����;��=������ =��� ��de ser afectados (de manera positiva o negativa) =������=��� ��~����� ��������� ����&����� �sus intereses, problemas potenciales, y otros. Sus

16. Tomado de Gosparini et al., 2004, OECD/DAC 2002, y Anexo A de Guijt y Woodhill, 2002.

conclusiones se integran en el diseño y la formu-lación del proyecto.

Análisis de problemas: investigación estructu-rada de los aspectos negativos de una situación para establecer sus causas y efectos. Análisis de los problemas que enfrenta un grupo meta y que se pretenden resolver a través de la realización del proyecto.

Aprendizaje:�� � !������� ���� != � ���=�-ra ver el modo de mejorar una situación o las acciones futuras y utilizar este conocimiento para introducir mejoras efectivas. Puede basarse en un ejercicio individual o de grupo.

Auditoría: actividad de control independiente y objetiva que averigua si, y en qué medida, los procesos, directivas y prácticas organizativas están conforme a las normas y criterios previamente establecidos. Ayuda a una organización (o a un proyecto) a lograr sus objetivos aportando un enfoque sistemático para evaluar y mejorar la ����� ����; ������ �� �;���� ���������������procesos y procedimientos internos.

;��� ������� quienes (individuos, grupos u ��;��^��� �[�� �� � ������� ����� ��� -tamente, de la realización de un proyecto, hayan sido o no sus destinatarios explícitos.

Ciclo de proyecto: secuencia de las seis fases de un proyecto desde la idea inicial hasta su cumpli-� �����=��;��������� �������������������������� + ������ '��������_���������dinámica orientada a la consulta de las partes in-� � �������������� ������ ������ ��� ����' ��las necesidades informativas y las responsabilida-des. Se apoya en la evaluación para aprovechar las lecciones aprendidas y utilizarlas en el diseño de los nuevos proyectos.

Coherencia: conformidad con las políticas, líneas ;�W���=������ ������ ����� ��� ������=���una institución.

Monitoreo y Evaluación de ProyectosPágina 102

*�� ��������������������������� coherencia y consistencia de los datos recolectados y utili-zados y de las apreciaciones que se desprenden de su análisis. Está relacionada con la calidad de los instrumentos y procedimientos empleados.

Creación de capacidades: proceso a través del cual se crean capacidades nuevas, tanto a nivel personal como institucional. Es un tema trans-versal cada día más importante en los proyectos orientados a la reducción de la pobreza.

Cronograma o calendario de actividades: � =� � ������;�&���?� �� �� � ��� �=���� ��periodo, la secuencia y la duración de las actividades � ��=��� ����� ��� �� ����������"������ ��=���importantes para el monitoreo de los avances y repartir las responsabilidades con vistas a lograrlas.

Efecto: cambio, intencional o no, originado directa o indirectamente de un proyecto.

Efecto directo: cambio intencional producido directamente por un proyecto para cumplir con �����+ �'�� �= W���

Efecto indirecto: cambio no planeado que se ha producido como resultado de una intervención.

Empoderamiento: proceso de fortalecimiento de la capacidad de las personas para tomar decisio-nes y generar cambios en el entorno físico y social.

Enfoque participativo:�� ��������^����=����indicar la participación activa de los grupos y de las partes directamente interesadas en una tarea (por +��� ���=��������� ���� {��� ��� �=� � �������el monitoreo y la evaluación de un proyecto). Es muy apropiado para proyectos orientados a la generación de procesos sociales, pero requiere �=���� �� �= W�������&��� �=����=���� ��Su uso aumenta la apropiación del proyecto por =��� �� ������ � ��������=������������������� -nibilidad potencial de sus resultados.

Estrategia de proyecto: marco general que formaliza los métodos y las modalidades previstas por un proyecto para utilizar los recursos dispo-

nibles y realizar las actividades para obtener los resultados.

Estudio de factibilidad: estudio realizado du-���� � ��� @�� �� � ��������=����' ������� ���propuesta de proyecto está bien fundamentada, y si es susceptible de cumplir con las necesidades � ������ � �������% � �� � �� ������ �����todos los aspectos políticos, técnicos, económicos, ���� �������������� ���� �; ��������� ���� ���socioculturales y de género.

Estudio de línea base: análisis que describe la situación previa a la recepción de la ayuda. Se utiliza para determinar los resultados y su cum-plimiento, y sirve de referencia para el monitoreo de los avances y la evaluación.

Evaluabilidad: medida en que puede evaluarse un proyecto (sus acciones, prestaciones, impactos, ��[�� ���� ������� ���� W�� ��̀ '� �� � �� �����evaluabilidad depende mucho de la manera como haya sido formulado el proyecto.

Evaluación: análisis, lo más sistemático y objetivo posible, de un proyecto en curso o ya terminado, de su formulación, ejecución y resultados. El pro-pósito es determinar el cumplimiento de los obje-tivos y las prestaciones del proyecto (pertinencia, � ���� ������=���������� ������[�

Gestión del ciclo del proyecto: metodología para la preparación, implementación y evaluación de proyectos basada en el enfoque del marco ló-gico.

Grupo de control: grupo que no está expuesto directa o indirectamente a las actividades de un proyecto. Se utiliza normalmente en el marco de la evaluación de impacto para medir y evaluar las diferencias respecto al grupo meta del proyecto.

Grupo(s) meta:� ;��=���� ������ �= W����=���� ����?� ����=��� ���>������=����������diseñado y que serán afectados positivamente por �� ��;���� ����+ �'�� �= W����`�X���[������ �los interlocutores más importantes del proyecto.

Anexos Página 103

Indicador: variable o factor, cuantitativo o cuali-���'���?� �=��=���������� ���� ����������� �=����� �����;������� ������������ � +���������-bios obtenidos por un proyecto o una entidad.

Información secundaria: datos que ya existen en forma de publicaciones o de archivos (de un proyecto o de otras fuentes), que se pueden uti-lizar para una evaluación.

Impacto: efecto de un proyecto sobre los bene-�������� ������W��������� ���� ��������&��amplio, al interior de un sector o en un área geográ-���� ���"������� �@���� ���"����� ��������socioculturales e institucionales. Evidencia la relación ��� ���+ �'���; � ��� ������+ �'��� �= W����

Indicadores objetivamente verificables (IOV): indicadores medibles de los diferentes ni-veles de objetivos (objetivos generales /globales, ��+ �'�� �= W����� ������������'��� �[��?� �señalan si estos se han logrado o no. Representan la segunda columna de la matriz de marco lógico y sirven de base para el diseño de un sistema de monitoreo adecuado.

Indicador substituto o “proxy”: variable o indicador que se utiliza en sustitución de otra/o que resulta demasiado difícil de medir.

Informantes clave: personas en una comunidad, región u organización que, por su posición, pue-den brindar información o conocimientos sobre aspectos relevantes para un proyecto. Tienen un papel fundamental en la evaluación, especialmente en sus aspectos cualitativos, pero a veces pueden expresar puntos de vista subjetivos. Por lo tanto los evaluadores deberán obtener la información � ������=����<� ���� ��@������ ����' �

Jerarquía de objetivos (árbol de objetivos): � =� � ������;�&���� � ���� �� �' ��� ��� ����=��� ������ ������� ;<�������;��� ��������con base en un análisis de los problemas, y que �� ����������� ���� ��� �������������� ��

Lecciones aprendidas: generalizaciones aproxi-madas basadas en las conclusiones de una o más

evaluaciones realizadas en circunstancias especí-������ ���=�� �?� �� �;�������'��� ^�; � ����y que se puedan aplicar de manera más amplia a varias situaciones parecidas.

Lógica de intervención: estrategia que está en la base de un proyecto. Es la descripción de lo relacionado con cada uno de los cuatro niveles de objetivos usados en el Marco lógico (objetivos ; � ��� �����+ �'�� �= W����� ������������'��-des). Coincide con la primera columna del Marco lógico.

Métodos cualitativos: pertenecen a la tradición de las ciencias sociales y se basan en la obser-vación de las personas en su mismo territorio, en la interacción con ellas en su propio idioma, posiblemente en sus propios términos. Enfatizan la comprensión de la manera como las personas estudiadas construyen la realidad. La mayoría de estudios cualitativos cuentan con análisis descrip-tivos más que estadísticos.

Métodos cuantitativos: se apoyan en instru-mentos estructurados para recolectar informa-ción estandarizada de una muestra cuidadosa-mente seleccionada de individuos, unidades o eventos. La información es analizada a través de una comparación estadística entre grupos o de un análisis multivariado.

Monitoreo o seguimiento: actividad sistemá-tica y permanente de recolección y análisis de datos para proveer, al equipo de gestión y a las principales partes interesadas, indicaciones sobre el avance y el logro de los objetivos, así como sobre la utilización de los fondos disponibles. Es muy importante para retroalimentar la gestión y la toma de decisiones.

Muestra/Muestreo: grupo de personas, familias, comunidades, u otras unidades seleccionadas para estimar las características de la población de la cual se obtuvieron. La muestra generalmente se utiliza en el marco de las evaluaciones de impacto. Los mé-todos muestreo pueden ser probabilísticos (todo

Monitoreo y Evaluación de ProyectosPágina 104

elemento de la población tiene la misma probabi-lidad de integrar la muestra) o no probabilísticos.

Muestreo aleatorio: se hace una lista de todas las unidades que componen la población. Luego, � ���� ����?� ����� ���X=��� +���������� ��<-meros al azar) se sortean las unidades que com-ponen la muestra.

Muestreo delimitado o intencional: se � � ��������� �� �������� ;<�� ��������� -rísticas que son particularmente pertinentes para el estudio. Supone un buen conocimiento previo de la población. Es una técnica muy económica para obtener información, pero no se presta para hacer generalizaciones.

Partes interesadas o Stakeholders: indivi-duos, grupos, empresas, organizaciones o insti-tuciones que tengan un vínculo con un proyecto. Pueden afectar —directa o indirectamente, posi-tiva o negativamente– el proceso y los resultados del proyecto o ser afectados por estos.

Periodo de arranque: periodo comprendido entre el inicio del proyecto y la formulación de algunos documentos básicos (plan de trabajo actualizado, matriz del marco lógico, estudio del marco de evaluación). Suele durar entre uno y tres meses y termina con el primer informe, o informe de arranque.

Pertinencia: compatibilidad de la formulación � ��=��� ���X� ;<�� ���=�������� ������ ����eventuales reajustes introducidos después de su inicio) con los problemas reales, las necesidades � �����;��=���� ������ �&��� � ������������el entorno físico y político en el que opera.

Plan de trabajo:����� ����?� �� �� �������-vidades, los recursos y el tiempo necesarios para ��;��������� ����������� ����+ �'�� �= W���� �un proyecto.

����� ������� proceso a través del cual se de-�� �� ������+ �'����; � ������ �= W������ ����=��� ����� �� �������������� ���'����������� ��� ��������������� � �= ����������'��� ���

se establece el cronograma de actividades, y se � �� ������� �������� ������� ���=����?� �se puedan conseguir puntual y oportunamente los efectos directos y los productos esperados.

Producto: materiales, bienes y servicios que re-sultan de las actividades realizadas por un proyec-to. Pueden incluir también los cambios generados por un proyecto. Normalmente son tangibles y son necesarios para llegar a los efectos directos.

Proyecto: intervención que consiste en una serie de actividades planeadas interrelacionadas, desti-������������^�����+ �'���� �������������=� ��-puesto determinado y en unos plazos concretos.

Rendición de cuentas: obligación de demostrar que el trabajo se ha cumplido en conformidad con las reglas y los estándares acordados o de infor-mar precisa e imparcialmente sobre los resultados obtenidos en comparación con las funciones o planes encomendados.

Resultados: productos, efectos directos e im-pactos (intencionales o no, positivos o negativos) generados por la realización de un proyecto. En la terminología de la Comisión Europea representan el producto de las actividades realizadas, datos que permitan: (a) la retroalimentación informa-tiva permanente sobre todos los aspectos clave del proyecto; (b) la utilización de la misma para orientar las decisiones relativas a su gestión.

Sostenibilidad: =����������� �?� � ����+��� � @ ������� � ����; � ������=������=��� �������< �� �=�"��� ���� �� ���� �=�"��� �?� �� ��;�� ������������ !� �����/ ���� �����?� �los grupos que recibieron la ayuda quieren y pue-den realizar las actividades necesarias para seguir cumpliendo con los objetivos del proyecto.

Términos de referencia:����� ����?� �� �-ne las tareas que le corresponden a una persona u organización contratada e indica el contexto, los ��+ �'����������'��� ��=���������������������y productos esperados, el presupuesto, el crono-grama y la descripción del trabajo.

Anexos Página 105

Triangulación: uso sistemático y comparativo de tres o más teorías o métodos de análisis, fuentes o �=���� ��@��������� = �� �� ��=����' �����y sustentar una evaluación. Se utiliza para aumen-���� ��;������ ������^�� ������������� ��

Validación: =�� ���� �' ������=������ ;�����que los datos obtenidos con un método de segui-� ������ �������������=���������������� �����con otro método.

Valoración Participativa Rápida: métodos utilizados para comprobar, de manera rápida y barata, las condiciones de una comunidad o área ������ ����� ����=��������� ��=��� ����`�-tos métodos se concentran en los procesos y el sentido de apropiación de los participantes.

Anexos Página 107

Anexo 2.Formatos de monitoreo y evaluación

Matriz de Sistema de MyE

Pregunta de desempeño

Indicado-res

Necesidades de información de

línea base

Método de recolección de

datos

Periodici-dad

Respon-sable

Formularios, capaci-tación, conocimien-

tos técnicos, etc.Objetivo General:

��+ �'��`�= W����

Resultado 1:

Adaptado de Guijt I. y Woodhill, J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD.

Formato para guiar el Plan de Evaluación

Formato para plan de evaluaciónEnfoque de la Evaluación

¿Qué se va a evaluar? ¿Todo el proyecto? ¿Una parte? ¿Un tema transversal?

Preguntas¿Qué queremos

saber?

Indicadores¿Cómo lo sabre-

mos? ¿Qué eviden-cia lo demuestra?

Tiempo¿En cuánto

tiempo?

Recolección de DatosFuentes

¿En dónde en-contramos esta información?

Método/Herramienta¿Cómo se reunirá esta

información?

Muestra¿A quién se va a

interrogar?

1. a)b)c)

2. a)b)

3. a)b)c)

Tomado de: Smith, J. (2009). On Target: A Guide for Monitoring and Evaluating Community-Based Projects. Paris: K�`�����K�� ���������`����������� �������������������;��^�����

Monitoreo y Evaluación de ProyectosPágina 108

Formato para Informes de EvaluaciónAquí se presenta un ejemplo de los contenidos para un informe de evaluación, a partir de un formato empleado por la CE. En cualquier caso, la estructura de cada informe y los contenidos se adaptarán a ������+ �'���� ���� '��������������=��=��������� ���������� �= W��������=� � �� ������� ������de la organización contratante. (Gosparini et al., 2004)

I. Resumen ejecutivoNúmero de páginas: 5-6

`��� ��� �� + ��'�� ������=��� � � ����� �� �@��� ��� � ���>�� ��� ������ � �?� �� ���&�� @&��de consultar que las otras partes. Se debe enfocar en los propósitos y temas principales de la evaluación, enfatizar los puntos de mayor interés sobre el rendimiento, e indicar de manera clara las conclusiones, las � �� ���=� ������������� �� ����� �� �= W���������� @ � ���������' ���� ��� � ��>� �� � �����=&;����� ���<� ���� ��=&���@����� �=��� �� � �� ��� !���=��=���

El resumen ejecutivo debe contener la siguiente información sobre la evaluación: (a) Propósito(s); (b) Con-texto; (c) Metodología; (d) Análisis de los resultados; (e) Conclusiones y recomendaciones.

II. IntroducciónNúmero de páginas: 1-2

Describe brevemente el propósito del informe, el alcance y el contexto del proyecto evaluado. Puede incluir reconocimientos a quienes contribuyeron en la realización de la evaluación.

III. ConclusionesNúmero de páginas: 30. Esta es la sección más larga del informe.

����������� ��������� ��������� ���������� ������@�������� �;����`��� �=��� ���@��� �� � �� ;������������ ����� � '��������� ���������> >��� ��� �=� �������������^������� ;<������=� ;������clave relativas a cada criterio.

��� ��� ����� ���������@���������� ��=��� ��� �����;���� �� ��������'W���;� �� �����= ��� �� ��=��� + �=������ �=��� �������� ���� ����=���� ����� �� ��� ������ � ������� ��������

��`� ����� � ������������������� ���������=��W������ ;��� ����������@ ��� �~���>��W����� ����diferentes y más apropiadas para conseguir los mismos resultados.

��`������' �;������� ����;��� ����+ �'�� �= W������������ � ������� � ��������������=��-�'���=� '����~�������� ������������ ;�����>����� ����� ����� ���� '��������� '��������+ �'�� �= W���del proyecto.

iv. Impacto: detectar si existen las condiciones para introducir cambios a largo plazo en el entorno. Se re-� � �������� ����������&��; � ��� ��=��������� � ������� ��������� �� ������ �� �� ������������grupo más amplio de personas o toda una sociedad; el éxito y el fracaso en la consecución de los objetivos generales, y sus razones principales.

'������ ������������������ ����+��� �������=���'���=��������� � ���������=��������� ���� ��; � �����puede continuar o no después del cierre del proyecto, y por qué.

Anexos Página 109

IV. Metodología Número de páginas: 3

Indica cómo se elaboraron las preguntas relativas a la evaluación y cuáles limitaciones se encontraron al � �= ����% ��� �����"������������ �����^�����=���������� ��� ��� �������W���������@� �� ��� ��@��������������"���������^�����=�������� �� ����� ����&����� �����@��������% � � �= ����también el nivel de participación y la contribución de las partes interesadas a la evaluación.

V. Conclusiones y recomendacionesNúmero de páginas: 3-6

����������� ��� ��� ������� �����������;������������ ������ ���=������������ != ���'���� ������������ ����=����������@���������� ��=��� ��������� �� ����� ������������� ��?� �' � ��� �las evidencias registradas y determinan quién debería hacer qué cosa en el futuro, y brindan sugerencias =������������� +�������� ����������=���� ����?� �� � ��?� �� �������� �����=���� ��� ;�� ����posterior. Si es posible, para cada conclusión debería haber una recomendación correspondiente.

`��'������ ����� '�������� = �� �� ��������������������� ������ �� ����� ����������������� �� �-daciones deben ser lo más realistas, pragmáticas y operativas posible; o sea, deben tener cuidadosamente en cuenta las circunstancias que prevalecen en el contexto del proyecto en el momento de la evaluación, y los recursos disponibles para implementarlas.

����� �� ����� ��� � �� �������;����� ���� �����������=<������ ��� �� ��� � ����� ��������-tintos niveles, especialmente al interior de la estructura operativa de las ONG (coordinadores nacionales o regionales, responsables del proyecto, dirigentes y responsables de área en la sede principal, administración en la sede principal, responsable de la evaluación).

AnexosEl informe debe generalmente incluir los siguientes anexos:

1. Términos de referencia de la evaluación.

2. Composición del equipo de evaluación (las hojas de vida deben estar incluidas, mejor si están formuladas en una versión sintética).

3. Matriz de marco lógico (la versión original y, si es posible, las versiones posteriores con las mejoras o actualizaciones eventualmente introducidas).

4. Anexos técnicos (por ej.: análisis estadístico).

5. Mapa del área del proyecto, si es relevante.

6. Listado de las personas u organizaciones encontradas o consultadas.

7. Literatura y documentos consultados.

Anexos Página 111

Anexo 3.Guías de indicadores

Guía de Indicadores por categoría

Seguridad Alimentaria Pobreza Fortalecimiento de organizaciones locales

Fortalecimiento de capacidades de Género

¦������� �����=�������� �alimentos

¦� ������ �� ���� ^����� ���-vadas

¦� ������ �� �� � ��� ����de los cultivos alimentarios básicos

¦� ������ �� �� ������� � �los alimentos básicos

¦������� ������=� ���� �����alimentos básicos

¦������� �� ��� ������ �-cados

¦������� �� ��� �=����� � �almacenamiento de alimen-tos

¦� ������ �� ��� � ��������crónica de niños

¦� ������ �� ���� �;� ����reales de las familias

¦������� �� ��� ���������ingresos no agrícolas

¦������� �� ��� ���������capitales

¦������� �� ��� ��������mano de obra

¦������� �� ��� ���������servicios de riego

¦� ������ �� ��� ��=���-lidad de servicios para atender necesidades bá-sicas

¦� ������ �� �� � ��� ���agua potable

¦������� �� ��� ��������educación básica

¦������� �� ��� ���������servicios sanitarios bási-cos

¦������� �����=���=����� �����grupos en la adopción de deci-siones a nivel local/ de proyecto

¦������� �����@�������� �;��-pos autónomos en la zona del proyecto

¦������� ������=������ ����=�-blación de practicar el autose-guimiento y la evaluación de los progresos

¦������� �� ��� �=����� � � �-mercializar los propios produc-tos

¦������� �� ���� �"����������-diciones de los dispositivos de comercialización

¦������� ���������W����@ � ���� ��la enseñanza primaria

¦������� �� ���<� ���� �;��=���� �mujeres constituidos en la zona del proyecto

¦������� �� ���<� ���� �=�"�������aprobados/ desembolsados para los grupos de mujeres

¦� ������ �� �� �<� ��� � � ��+ � ��que son miembros de asociaciones locales de producción/servicios

¦������� ������=������ ����=���de decisiones de las mujeres a nivel de la familia

¦� ������ �� ��� =���=���� � � ����mujeres en la adopción de decisio-nes a nivel local/del proyecto

Tomado de Guijt I. y Woodhill, J. (2002). Guía para el Seguimiento y Evaluación de Proyectos. Gestión orientada al impacto en el desarrollo rural. Roma: IFAD.

Indicadores de los Objetivos de Desarrollo del Milenio (PNUD)Objetivo 1:Erradicar la pobreza extrema y el hambreMeta 1A: Reducir a la mitad entre 1990 y 2015 el porcentaje de personas con ingresos inferiores a un dólar

¦� #�#���� ���+ �� ����=�����������;� �����@ ��� ����#�������=����W�¦� #�$��� � �� �� ������ >��� ����=��� ^����#�������=����W�¦� #������=������ ���;� ������������?� ���� �=��� ������?�����=��� ��&��=��� �� ����=������

Meta 1B: Alcanzar el empleo pleno y productivo y el trabajo decente para todos, incluidas las mujeres y los jóvenes¦� #�*�Y����� �� � ����� ����]�=���= ������ �=� ���¦� #���Z ����� �=� ��=������¦� #�£���� ���+ �� ����=������� �=� ����������;� ���������@ ��� ����#�������=����W��X'���� ��� ���N[¦� #�¢���� ���+ �� ������+���� ��@����� ��=���� ����=��=�����=������� �� �� �� �=� �������

Meta 1C: Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre¦� #�¡��� '�� ���� ��{���� ��� ��� ����{���� �= ����@ ���������������¦� #�§���� ���+ �� ����=�������=���� ��+��� ���' ���W����� ��������� � � �;W����� ������X���������[

Monitoreo y Evaluación de ProyectosPágina 112

Objetivo 2: Lograr la enseñanza primaria universalMeta 2A: Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo comple-

to de enseñanza primaria¦� $�#�Y����� ���� �����W���� ����� �� ���=�����¦� $�$���� ���+ �� ����� ������� ��?� ��� �^��� ��=�� ��;��������� ;������<�����;������ ���� �� ���=�����¦� $���Y����� ���@�� �^����� ���+ � ����>���� ��� � ��� ����=� ������ ��� �����#��������$*��{��

Meta 2A: Velar por que, para el año 2015, los niños y niñas de todo el mundo puedan terminar un ciclo comple-to de enseñanza primaria¦� $�#�Y����� ���� �����W���� ����� �� ���=�����¦� $�$���� ���+ �� ����� ������� ��?� ��� �^��� ��=�� ��;��������� ;������<�����;������ ���� �� ���=�����¦� $���Y����� ���@�� �^����� ���+ � ����>���� ��� � ��� ����=� ������ ��� �����#��������$*��{��

Objetivo 3:Promover la igualdad de género y la autonomía de la mujerMeta 3A: Eliminar las desigualdades entre los géneros en la enseñanza primaria y secundaria, preferiblemente

=���� ���{��$������� �������������' � ��� ���� �� {��^����� ��� ������ ���{��$�#�¦� ��#�Z ����� ��� ��{������{��� ����� ������=�������� �����������= ���¦� ��$����=������ ���+ � �� ��� ����� �=� ������ ��� ������ �� ��� ��������;�W���¦� �������=������ �=� �������=�����=�����+ � �� �� ��=����� ����������

Objetivo 4:Reducir la mortalidad infantilMeta 4A: Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años

¦� *�#�Y����� ������������ ������{���� ��� ��� ����{��¦� *�$�Y����� ������������@����¦� *������ ���+ �� ��{���� �#��{��'�������������� �������=��

Objetivo 5:Mejorar la salud maternaMeta 5A: Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes

4. 5.1 Tasa de mortalidad materna5. 5.2 Porcentaje de partos con asistencia de personal sanitario especializado

Meta 5B: Lograr, para 2015, el acceso universal a la salud reproductiva¦� ����Y����� ������ ������ =�'��¦� ��*�Y����� ���������� ��� ��������� � �� �¦� ������� ������� ��� ����=� ������X���� ��������'���������� ����������'����[¦� ��£�� ���� �������@ >��� ����� ���� �=��������@�����

Objetivo 6:Combatir el VIH/SIDA, el paludismo y otras enfermedadesMeta 6A: Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/sida

¦� £�#��� '�� ���� ������ ��� ����=�������� �#����$*��{��¦� £�$�K���� ��=� � �'��'�� ��=�&����� !��� ��� ������� �;�¦� £������ ���+ �� �=�������� � ��� �#����$*��{������������� ������ ����� ��� ;����� ���������¦� £�*�Z ����� ��� ��������W����� ��{���>�"�@��������������W����� ��{������>�"�@������ �#����#*��{��

Meta 6B: Lograr, para 2010, el acceso universal al tratamiento de la infección por VIH a quienes lo necesiten¦� £������ ���+ �� �= �����������@ ����'��^����=����������� ���������� ��� ���������� ���'��� �

Meta 6C: Haber comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades graves¦� £�£�Y������ ����������� ��� ��������������=�������¦� £�¢���� ���+ �� ��{���� ��� ��� ����{���?� ��� �� ����+�����?�� ������������������ ���¦� £�¡���� ���+ �� ��{���� ��� ��� ����{������� �� �?� ������������������ ��� ��������=��<������ �����¦� £�§�Y����� �=� '�� ���������������� ������� ������¦� £�#�����=������ ������� ���� �������� � ������������������ �������� ������ ' ���+����� �'������ ��

Anexos Página 113

Objetivo 7:Garantizar la sostenibilidad del medio ambienteMeta 7A: Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e inver-

tir la pérdida de recursos del medio ambiente¦� ¢�#����=������ ������= �� �� ������ ������� �����=������?� �¦� ¢�$�`���� ��� ���!���� ������������� ���= ��&=�����=���#���������]�X��N[¦� ¢������������ ����������?� ��;���������=��� ��^���¦� ¢�*����=������ �=������ ��� �= ��� ������ ��W�� ������;���� ;����

$����=;�������������>������������������������!������!�����������@KWK�����������������!�� �����������������de pérdida¦� ¢������=������ �� ������>W���������� ��������¦� ¢�£����=������ �&� ���� �� ��� �����������=��� ;���¦� ¢�¢����=������ � �= ���� ��^������ � !����

Meta 7C: Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua potable¦� ¢�¡����=������ ����=�������?� ����^��@� �� ��� ������ � ����� ��;���=����� �� +������¦� ¢�§����=������ ����=�������?� ����^��� �'���� ���� �� ����� +������

Meta 7D: Haber mejorado considerablemente, para el año 2020, la vida de por lo menos 100 millones de habi-tantes de tugurios¦� ¢�#�����=������ �=��������������?� �'' � ���������� ���;�����¨���=��=������ ���� �= �������?� �'' �� ���������

de tugurios se mide mediante una variable sustitutiva representada por la población urbana que vive en hogares con al menos una de las cuatro características siguientes: a) falta de acceso a un mejor abastecimiento de agua; b) falta de acceso a un mejor saneamiento; c) hacinamiento (3 o más personas por habitación); y d) viviendas construidas con material de corta duración.]

Objetivo 8:Fomentar una asociación mundial para el desarrollo$����X<��'�����������Y���"��������������������+� �������������������������������������������+������-

criminatorio. � ����� � ����=������� ���;���������� ���; ������ �������������=<����������� ������ ����=��� ^���en cada país y en el plano internacional.

Meta 8B: Atender las necesidades especiales de los países menos adelantados. Se incluye el acceso libre de arance-les y cupos de las exportaciones de los países menos adelantados; el programa mejorado de alivio de la deuda de los países =��� ������ �� �������������� ������ ����� �������� ����������������� ����� ��������� ���=���� ��� ����������&��generosa a los países que hayan expresado su determinación de reducir la pobreza.

Meta 8C: Atender las necesidades especiales de los países sin litoral y de los pequeños Estados insulares en desarrollo (mediante el Programa de Acción para el desarrollo sostenible de los pequeños Estados insulares en desarrollo y los resultados del vigésimo segundo periodo de sesiones de la Asamblea General).

Meta 8D: Encarar de manera general los problemas de la deuda de los países en desarrollo con medidas nacio-������������������������ �����Z����������������������������!����%�[

����������� ����������������� �� ������¦� ¡�#����N�%�� �������=�� ���+ �� ��=��������������������X��][�� �����=�W� �������� ��� ������"�� �N��� ���

para el Desarrollo (CAD) de la OCDE¦� ¡�$����=������ ����N�%�� �������������� �'������� ���&����X �������&������ ����=������� ���������������-

ción, abastecimiento de agua potable y servicios de saneamiento)¦� ¡������=������ ����N�%�?� ���� ��&���������¦� ¡�*����N�%�� ���� ������=�W� ��������������������=��=������ ����=�������������������¦� ¡������N�%�� ���� ������= ?� {���`������������� �� ��� �����������������=��=������ ����=�������������������

Acceso a los mercados¦� ¡�£����=������ ����� !=������ ��X=������'������������������������[������������ �� �� � >������=��¦� ¡�¢�N��� � �����=���� �����=������������=���������;�W�������� !�� ���� ��' ����¦� ¡�¡�������������� !=������������=�������� �=���������;�W����� ������=�W� ��� ������;��^����� ����= �������

Desarrollo Económicos (OCDE)¦� ¡�§����=������ ����N�%��@� ���=�������������� �������=������� ���

Monitoreo y Evaluación de ProyectosPágina 114

Sostenibilidad de la deuda¦� ¡�#���<� ���� �=�W� ��?� �����^�������=������� �� ������� ��������� ��������'��=�������� ������ ����� ����

de los países muy endeudados¦� ¡�##�N�'��� ����� ������+���������'��=�������� ������ ����� ����� �����=�W� ��=��� ������ �� ����������������'��

para el Alivio de la Deuda Multilateral¦� ¡�#$�� �'��� ����� ��������=�� ���+ �� ����� !=������ ��� �� � ����� �'��

Meta 8E: En cooperación con las empresas farmacéuticas, proporcionar acceso a los medicamentos esenciales en los países en desarrollo¦� ¡�#�����=������ ����=����������� ��� ����� ���� ��� ����� � ��� ����=� �����^����� �

$����X�������������������������������������������������\�����������������Z���������� �������������-vas tecnologías, en particular de las tecnologías de la información y de las comunicaciones.¦� ¡�#*��W� ���� �� �"@����=�������#���>������ �¦� ¡�#��N����������� �"@����� ����� ��=�������#���>������ �¦� ¡�#£�K�������� ���� �� ��=�������#���>������ �

Guía de Indicadores de ParticipaciónCon el objetivo de garantizar la sostenibilidad de los cambios, la gran mayoría de las intervenciones sociales han incorporado el fortalecimiento de capacidades y la participación como componentes del proyecto (y no solo como estrategias transversales) o incluso como objetivos centrales de la interven-����`�����;�������;�����'�� � ���"������� �����=������� ��� �; � �������������� ������-deros. Sin embargo, este tipo de objetivos son muy difíciles de medir por dos razones principalmente: Primero, el producto que resulta de la participación y el fortalecimiento de capacidades es intangible. Segundo, porque la relación entre la intervención y el efecto generado es mucho más lejana y más difícil � ���=�������N�= ����� � ������������ ���� ��� �� ��=��� ��� �' ��� �� ��� �������=���� ��haciendo un adecuado diseño del sistema de MyE, con indicadores tanto cualitativos como cuantitativos.

Los indicadores cuantitativos de capacitación o participación pueden utilizarse para monitorear los procesos. Los indicadores cualitativos de capacitación y participación describen aspectos de la par-�=����?� ����� �=� � ���=���������'"��� ��<� �����% � �����^��� �=���������� ��� ��;������ ���� ����� ����+ �'�� �= W����`���;� �� ���������� ��������������� ;��W���� ������� ������;�����=���� ��� ��� ���`�� �������=� � ����^��� �=���� � �������&� ��������� �� ���� ��el ámbito del proyecto y cuáles aspectos averiguar durante una misión de monitoreo, una revisión a mediano plazo, una evaluación, etc. (Gosparini et al., 2004).

Ejemplos de Indicadores de Capacitación y ParticipaciónIndicadores Cuantitativos

¿Quién está participando?�� �<� ���� ���+ � ����>���� ��=���=��� ���� �<� �����=�� ���+ �� �= ��������&��'��� ���� ���� �<� ���� �= �������?� �= �� � �����@ � �� ��;��=���"�����

¿Cuántas personas están participando?�� �<� ���� �;��=������������ ������ �� ����� ������ �<� ���� �� ������- Tasa de crecimiento y tasa de retiro de miembros.

¿Cuál es el nivel de participación en las activida-des clave? �� �<� ���� �= �������?� �=���=��� ���������� � ����=����� ��

¿Los participantes están movilizando sus mismos recursos?

�� �<� ���� ��W���� ������+������ ��� ���> ���� �������� ����=�������como contribución por parte de los usuarios.

Anexos Página 115

¿Se mantienen las inversiones / instalaciones del proyecto?

�� �<� ���� � �� ������ �������"�������� ������� �<� ���� �=������� ��;����= ���'���- Parcelas experimentales cultivadas o viveros logrados.

¿Las instituciones locales se están desarrollando / � � ��&��'��' ����������� �� ��

- Frecuencia de los encuentros de los grupos o comisiones de trabajo.�� �<� ���� �� ������=���=��� �� ������ �� ������X;"� �������-

ción económica, etc.).- Reducción de la dependencia del equipo del proyecto.�� �<� ���� ���� ���� = �� �� ��� ��^�����=���=��� �� �����;��-

pos o instituciones locales.�� �<� ���� �����=��� ������=��� ��� ������+�� ����������� ���-

nera independiente.Indicadores cualitativos

¿Cómo se pretende que los grupos logren ��������� ��� = �� ���X�����^�� �� �����mismos)?

- Efectiva distribución de papeles y funciones importantes al interior de los miembros del grupo.

- Rotación del liderazgo en el tiempo.- Pruebas de una menor dependencia del equipo del proyecto.- Aumento del nivel de capacidades técnicas y de gestión en el mante-

nimiento de las instalaciones habilitadas por el proyecto.- Evidencias de acciones colectivas independientes realizadas por el

grupo para futuros proyectos.�� `'� ����� ���� ����� ������������ ��=��=� �����=�������=��-

ticipantes para adecuar los insumos y el estilo de gestión del proyecto a las condiciones locales.

¿Cuáles capacidades están siendo desarrolladas en los grupos participantes?

- Toma de decisiones- Roles de gestión�� ��=������ ���&���� �� �������� ������ ���� �����=�������-

des existentes a nivel local.- Individuación realista de las oportunidades prioritarias.- Capacidad de formular microproyectos y planes de trabajo anuales.- Capacidad de auto-monitorear sus propias actividades y avances.

¿Cuál es la calidad esperada de la contribución de los participantes?

- Altos niveles de capacidades logradas en el mantenimiento de las instalaciones habilitadas por el proyecto.

- Uso efectivo de técnicas de conocimiento indígenas (locales) en la realización de actividades relevantes, como parcelas de granja.

- Provisión de materiales de buena calidad para la construcción de ���������������

¿Qué cambios de comportamiento se pretende que muestren los participantes?

- Altos niveles de compromiso de todos los miembros del grupo en las reuniones y en las discusiones.

- Evidencias de una toma de decisiones consensual.- Rapidez en llegar a las decisiones.- Aumento de las evidencias de identidad y solidaridad colectivas.�� ������^�� ����� !=� ����� ������=��� ����� ���� ��- Compromiso activo en los procesos de toma de decisiones.

Monitoreo y Evaluación de ProyectosPágina 116

Una manera de combinar las dos dimensiones de la participación es la de utilizar conjuntamente los indicadores de participación (medidas cuantitativas) y de madurez socio-institucional (medidas cualitativas). Por ejemplo, en un proyecto de desarrollo comunitario, el siguiente listado puede representar los aspectos clave (cuantitativos y cuali-tativos) que deben ser tomados en consideración:

¦��<� ���� �;��=���@��������¦�_� � �����=���=���� ������ �� ������¦��<� ���� �;��=���?� � ����� ��'W������� ��������������������;��=���¦�����=����� ������ ������� �����;��=��� ���������� � ��� ��=���������� ��=���� ������ ��^;��¦�Y����+��� ������ ���������������� ����� ��� ����������'��� ��� ��;��=��¦��������� ���&����� ���� ��^;�� �� �������� ��� �=��X � �� �[�¦�`������������ ������� ����=��� ���� ��=� � ������� �=��� ��� ������+��¦�Z �= ���� �����=��� ��� ������+������;���� �� ��������� �= W����¦�N=����� @ �'��� ������=���� ����?������=�������� � ����� ��� �� ������������� ��;��=��X�������-

nes, equipos, instalaciones para el agua, etc.).¦���=��� ������� ��� ������ ������� ��;��=�� ��������'��� �� !� ��������=��� ���¦�`+ �=���� �� ;������� �'���������������� ��� �� �������� ��¦�N ������ ��������������� �� !� ��������=��� ���=���=��� �� �� ������� ��;��=��

Anexos Página 117

Anexo 4. Ejemplos de marco lógico, plan de monitoreo y formato de monitoreo

Los materiales presentados en este anexo hacen parte del curso de “Monitoreo y Evaluación: enfoques, métodos e instrumentos” que el Profesor Carlo Tassara dicta en la Especialización en Cooperación internacional para el desarrollo de la ELACID desde el 2004. En el año 2010, los materiales fueron publicados en italiano en el libro “Formulazione e gestione dei progetti nella cooperazione internazio-nale”, del mismo autor.

Marco lógico del proyecto “Rehabilitación de las comunidades rurales del Distrito de Kedaf involucrado por la guerra civil en el Kualand meridional”

El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos ��������@�������������� ��� ��������� ��&� ��@� ��@ �����=�������� ?�W�������;��=�����������>���suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multi-nacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria.

Lógica de intervención Indicadores objetiva-���������� ����� �������������� ������ Condiciones

externas

Objetivo general

Contribuir a mejorar las condi-ciones de vida de la población rural en el Kualand meridional.

- Indicadores económicos y de pobreza.

- Datos del Ministerio de �����������

Objetivo ���� ��

Reducir la inseguridad alimen-taria a corto plazo y mejorar los estándares de vida de la población.

- El porcentaje de familias que dependen de la ayuda alimentaria disminuye del 50% al 25%.

- La disponibilidad de alimentos esenciales en los mercados locales aumenta del 20% al 50% de la demanda.

- Los precios de los princi-pales productos agrícolas en los mercados locales disminuyen el 20%.

- Archivos de las agencias de emergencia.

- Encuestas muestrales realizadas por el pro-yecto.

�� N�>'���� ���������Distrital de Agricultura.

- Ausencia de otras sequías.

- Se mantiene la paz en el área de operaciones del proyecto.

- El gobierno local asegura las condicio-nes logísticas necesarias para operar.

Monitoreo y Evaluación de ProyectosPágina 118

Resultados esperados

1. Resueltos los problemas de inseguridad alimentaria a corto plazo.

- El porcentaje de niños menores de 5 años que presenta síntomas de malnutrición disminuye del 60% al 25%.

- Archivos de monitoreo del proyecto.

- Disponibilidad en los merca-dos locales de alimentos no producidos en el área.

2. Asegurada la producción agrícola también fuera de la temporada de lluvias.

- El área regada durante la estación seca aumenta de 25 a 750 hectáreas.

- Archivos de monitoreo del proyecto.

- Ausencia de sabotajes de los canales de riego por parte de los actores armados.

3. Rehabilitada la producción agrícola.

- El área cultivada au-menta de 1.500 a 7.500 hectáreas.

- La producción de maíz aumenta de 2 a 6 quinta-les por hectárea.

��N�>'���� ���������Distrital de Agricultura.

- Archivos de monitoreo del proyecto.

- Los campesinos aceptan el mé-todo “alimentos por trabajo”.

Actividades

1.1 Distribución de 250 ton. de ayuda alimentaria a los grupos vulnerables.

1.2 Activación de 75.000 días de trabajo comunitario con el método “alimentos por traba-jo” (food for work).

2.1 Rehabilitación de 6 km de canales de riego con métodos de alta intensidad de trabajo.

2.2 Realización de 20 cursos (15 participantes c/u) en manejo del agua.

2.3 Edición de 3 folletos de sen-sibilización sobre la importan-cia del pago de los servicios =���=��� �� ������ � ������

3.1 Distribución de 1.000 q. de semillas y 5.000 juegos de herramientas agrícolas.

3.2 Realización de 30 cursos (15 participantes c/u) en gestión y cultivo de tierras áridas.

3.3 Siembra de 100 ha. de árboles (50 ha producción, 50 ha bosque y lucha contra la erosión).

Recursos- Recursos humanos.- Vehículos y otros equi-

pos.- Ayuda alimentaria.- Semillas.- Herramientas agrícolas.- Capital de trabajo para

microcrédito.- Actividades formativas.- Gastos de operaciones.- Imprevistos.

Costos (€) [ver Presu-puesto]

100.000,0075.000,00

450.000,0085.000,00

120.000,00180.000,0085.000,0075.000,0045.000,00

- Presupuesto del proyec-to.

- Informes del proyecto.- Reuniones con las comu-

nidades.

- Oportuna disponibilidad de los recursos de contrapartida a cargo del gobier-no local.

- Ausencia de ����������-nitarios sobre los derechos de uso del agua.

- Pleno apoyo de las organizacio-nes de base en la implementación de las activida-des previstas.

Condiciones previas

- Las autoridades internacionales con jurisdicción sobre el área (fuerza multina-cional) otorgan los permisos.

Anexos Página 119

Proyecto Kualand meridional: Ejemplo “Plan de monitoreo” [Primera parte]

El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos ��������@�������������� ��� ��������� ��&� ��@� ��@ �����=�������� ?�W�������;��=�����������>���suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multi-nacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria.

Nota: El equipo del proyecto está compuesto por: 1 Director; 1 Responsable de la distribución de las ayudas; 3 Logísticos; 1 Responsable del componente agrícola (agrónomo); 1 Experto en capacitación; 3 Divulgadores agrícolas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo.

Lógica de intervención Indicadores objetivamente ���� ����� Responsabilidad Actividades y Cronograma

#������������ ��

Reducir la inseguridad alimentaria a corto plazo y mejorar los estándares de vida de la población.

- El porcentaje de familias que dependen de la ayuda alimentaria disminuye del 50% al 25%.

- La disponibilidad de alimen-tos esenciales en los merca-dos locales aumenta del 20% al 50% de la demanda.

- Los precios de los princi-pales productos agrícolas en los mercados locales disminuyen del 20%.

- Responsable distribución de las ayudas.

- Responsable administrativo.

- Responsable administrativo.

- a. Elaborar cada mes una hoja elec-trónica con los datos de las fami-���� � � ������ X� �����=��� ��Consejo de Distrito local) y de las ayudas distribuidas. b. Transmitir cada tres meses los datos respecti-vos al Director del proyecto.

- a. Visitar cada mes los mercados locales, medir la dinámica de los productos (vendido, no vendido, demanda insatisfecha) y los precios respectivos. b. Elaborar y transmitir cada tres meses los datos respecti-vos al Director del proyecto.

Resultados esperados

1. Resueltos los problemas de inseguridad alimenta-ria a corto plazo.

- El porcentaje de niños me-nores de 5 años que presen-ta síntomas de malnutrición disminuye del 60% al 25%.

- Responsable distribución de las ayudas.

- a. Visitar cada mes los puestos de salud y levantar los datos sobre el estado nutricional de los niños atendidos. b. Elaborar y transmitir cada tres meses los datos respec-tivos al Director del proyecto.

�� ���% �������������?� �� ��=��� -to, un muestreo de niños de las @������ � � ������ � � ��� ������alimentaria. b. Levantar, al momen-to de la distribución de alimentos, los datos nutricionales relativos a los niños del muestreo. c. Elaborar y transmitir cada tres meses los datos respectivos al Director del proyecto.

2. Asegurada la producción agrícola también fuera de la temporada de lluvias.

- El área regada durante la estación seca aumenta de 25 a 750 hectáreas.

- (…) - (…)

Monitoreo y Evaluación de ProyectosPágina 120

3. Rehabilitada la produc-ción agrícola.

- El área cultivada aumenta de 1.500 a 7.500 hectáreas.

- La producción de maíz au-menta de 2 a 6 quintales por hectárea.

- (…)- (…)

- (…)- (…)

Actividades

1.1 Distribución de 250 ton. de ayuda alimenta-ria a los grupos vulne-rables.

- Toneladas de ayuda alimenta-ria distribuida.

- Responsable distribución de las ayudas.

- a. Al momento de la distribución, levantar los datos sobre cantida-des de alimentos y familias bene-������� ��� `�������� �� ���������cada tres meses los datos respec-tivos al Director del proyecto.

1.2 Activación de 75.000 días de trabajo comu-nitario con el método “alimentos por traba-jo” (food for work).

- Días de trabajo activados.- Responsable de

la componente agrícola.

- (…)

2.1 Rehabilitación de 6 km. de canales de riego con métodos de alta intensidad de trabajo.

- Km de canales de riego reha-bilitados.

- Responsable de la componente agrí-cola. - (…)

2.2 Realización de 20 cur-sos (15 participantes c/u) en manejo del agua.

�� �<� ���� �������� ��^��������<� ���� �=���=��� �� - (…) - (…)

Proyecto Kualand meridional: Ejemplo “Plan de monitoreo” [Segunda parte]

El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos ��������@�������������� ��� ��������� ��&� ��@� ��@ �����=�������� ?�W�������;��=�����������>���suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multi-nacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria.

Nota: El equipo del proyecto está compuesto por: 1 Director; 1 Responsable de la distribución de las ayudas; 3 Logísticos; 1 Responsable del componente agrícola (agrónomo); 1 Experto en capacitación; 3 Divulgadores agrícolas; 1 Responsable administrativo; 1 Secretaria; 4 Conductores. Por ende, no hay una persona responsable de las actividades de monitoreo.

Lógica de intervención

Indicadores objetivamente ���� ����� Responsabilidad Actividades y Cronograma

Recursos

§ Ayuda alimentaria.(...)§ Actividades formati-

vas.

- € 450.000,00 previstos.- € 85.000,00 previstos.

- Responsable admi-nistrativo.

- Cada mes: a. Elaborar una síntesis de: a1. Primera nota de los gastos realizados, a2. Elenco de bienes distribuidos; a3. Inventario de bienes almacenados en bodega. b. Transmi-tirlas al Director del proyecto.

Anexos Página 121

Lógica de intervención

Indicadores objetivamente ���� ����� Responsabilidad Actividades y Cronograma

Actividades horizontales Responsabilidad Actividades y Cronograma

- Elaboración de los informes de moni-toreo.

- Director del pro-yecto.

- Analizar los datos recibidos y redac-tar un informe sintético de monito-reo (cada tres meses) y un informe consolidado de monitoreo (cada seis meses).

- En el informe consolidado, formali-zar los ajustes operativos necesarios de las actividades que hayan presen-tado problemas o atrasos relevantes.

- Utilizar el análisis de los datos de monitoreo para decidir si presentar al donante solicitudes de variación X��=������ �=��������������del presupuesto, etc.).

- Elaboración de los informes del pro-yecto.

- Director del pro-yecto.

- Incluir en cada informe de proyecto la situación relativa al logro del Ob-+ �'�� �= W������ �����Z ���������esperados y a la realización de las Actividades previstas.

- Anexar a cada informe de proyecto los informes consolidados (semes-trales) de monitoreo.

- Realización de una misión de monito-reo de la sede prin-cipal de la entidad ejecutora.

- Director del pro-yecto.

- La misión de monitoreo está prevista para el 9° mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de la misión ����#��� ����� �� ������� ��'�� � �� ����;���� ���+ �'�� �= W���y Resultados; b2. Realizar reuniones informativas y preparatorias con el ?�=��� ��=��� ���������� � ��-rios.

- Realización de una misión de eva-������������ ��proyecto estableci-da por el donante y realizada por exper-tos externos.

- Director del pro-yecto.

- La misión de evaluación está previs-ta por el 18° mes. Antes de su inicio: a. Preparar el listado de informes y otros documentos producidos por el proyecto. b. Leer los TdR de ������������#��� ����� �� ������de avance en el logro de Objetivo �= W�����Z ��������~��$��Z ��^���reuniones informativas y preparato-rias con el equipo del proyecto y los � � ������

Monitoreo y Evaluación de ProyectosPágina 122

Proyecto Kualand meridional: Ejemplo “Formato de monitoreo”

Duración global del proyecto: 18 meses

Informe de monitoreo después de: 12 meses

El proyecto tiene una duración prevista de 18 meses y se realiza en un área rural que incluye 8 pueblos ��������@�������������� ��� ��������� ��&� ��@� ��@ �����=�������� ?�W�������;��=�����������>���suspendido las hostilidades desde hace unos meses. La zona está bajo el control de una fuerza multi-nacional de peace-enforcing que colabora con el gobierno local, recién creado. Acaba de concluirse un proyecto de ayuda humanitaria.

Lógica de intervención

Indicadores objetivamente ���� ����� Estado de avance Explicaciones/Comentarios/

Recomendaciones

��+ �'�� �= W��Reducir la inseguridad

alimentaria a corto plazo y mejorar los estándares de vida de la población.

- El % de familias que dependen de la ayuda alimentaria de emergen-cia disminuye del 50% al 25%.

- La disponibilidad de alimentos esenciales en los mercados loca-les aumenta del 20% al 50% de la demanda.

- Los precios de los principales productos agrícolas en los mer-cados locales disminuyen el 20%.

- El % de familias que depende de la ayuda alimentaria dis-minuyó del 50 al 40%.

- La disponibilidad de alimen-tos aumentó del 20 al 35% de la demanda.

- Los precios de los produc-tos agrícolas en los merca-dos locales aumentaron el 10%.

- Considerando el tiempo que fue necesario para la activación inicial del proyecto, el indicador parece alcanzable.

- El aumento de la disponibilidad � ���� ������ � +���=������-mente el aumento de la pro-ducción agrícola local.

- Los precios no disminuyeron debido a la distorsión generada por la presencia del proyecto (efecto no previsto durante la � ������[��`���=���������-licitar al donante una variación del Marco lógico.

Resultados esperados1. Resueltos los proble-

mas de inseguridad alimentaria a corto plazo.

- El porcentaje de niños menores de 5 años que presenta síntomas de malnutrición disminuye del 60% al 25%.

- El porcentaje de niños mal-nutridos disminuyó del 60% al 40%.

- No hay comentarios o reco-mendaciones especiales.

2. Asegurada la produc-ción agrícola también afuera de temporada de lluvias.

- El área regada durante la estación seca aumenta de 25 a 750 hectá-reas.

- El área regada aumentó de 25 a 250 hectáreas.

- El escaso aumento del área re-gada se debe al atraso en la dis-tribución de alimentos por tra-bajo. Con los ritmos actuales, se prevé alcanzar el resultado esperado sólo al 70% (¿solicitar un cambio en el ML?).

�� /������ �����"������� ���-tribución de alimentos y de control de la participación en el trabajo comunitario.

3. Rehabilitada la pro-ducción agrícola.

- El área cultivada aumenta de 1.500 a 7.500 hectáreas.

- La producción de maíz aumenta de 2 a 6 quintales por hectárea.

- El área cultivada aumentó de 1.500 a 6.500 hectáreas.

- La producción de maíz au-mentó de 2 a 5 quintales por hectárea.

- Es probable que se logre reba-�������������� ��=����������El área cultivada aumentó gra-cias a los buenos resultados lo-grados en la capacitación y en la producción en áreas áridas.

Anexos Página 123

Actividades1.1 Distribución de

250 ton. de ayuda alimentaria a los grupos vulnera-bles.

1.2 Activación de 75.000 días de trabajo comunita-rio con el méto-do “alimentos por trabajo” (food for work).

2.1 Rehabilitación de 6 km. de canales de riego con métodos de alta intensidad de trabajo.

2.2 Realización de 20 cursos (15 partici-pantes c/u) en ma-nejo del agua.

- Toneladas de ayuda alimentaria distribuida.

- Días de trabajo activados.- Km de canales de riego rehabili-

tados.�� �<� ��� � � ������ � ��^����� ��

�<� ���� �=���=��� ��

- 140 ton. de ayuda alimenta-ria distribuida.

- 20.000 días de trabajo acti-vados.

- 3 Km de canales de riego re-habilitados.

- 25 cursos realizados con 500 participantes en total.

- La ayuda alimentaria llegó tar-de y no será posible distribuir ����������=��������X' ��Z -�������� �= �����#[��/������el presupuesto: disminuir los recursos para los alimentos y aumentarlos para los cursos, que han tenido gran éxito.

- (...)- (...)- (...)

Recursos

§ Ayuda alimentaria.(...)§ Actividades formativas.

- € 450.000,00 previstos.(...)- € 85.000,00 previstos.

- € 150.000,00 gastados.(...)s- € 80.000,00 gastados.

- Además del atraso antes se-ñalado, los precios de compra fueron inferiores. Solicitar al donante la disminución de este rubro.

(...)- Solicitar el aumento de este

rubro.

Anexos Página 125

Anexo 5. Recursos adicionales

Recursos del Manual de MyE

Documentos, guías y manuales

BID (INDES): EL M y E: herramientas indispensables de la gerencia social, Mokate

CE: Gestión del Ciclo de Proyecto

CE: Manual Corto Gestión del Ciclo de Proyecto 2001

CE: Guía para la integración de la igualdad de género en la CI

CE: Project Cycle Management Guidelines

CEPAL: Formulación, Evaluación y Monitoreo de Proyectos Sociales, Cohen y Martínez

CIVICUS: Monitoring and Evaluation Toolkit, Janet Shapiro

DFID: Tools for Development: A handbook for those engaged in development activity

EML: 10 Casos Prácticos

FAO: Guía Sectorial GCP

FAO: Manual para el Nivel del Campo. Programa de Análisis Socioeconómico y de Género. Wilde, V.

Forum Solint: Manual de monitoreo y evaluación de las ONGs. Gosparini, P., Russo, L.

GTZ: Monitoreo y valoración del impacto Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra

JICA: Lineamientos de la JICA para la Evaluación de Proyectos

���`���/ ������;W��� ���������;��=�������=��������� ��� ;�� ��������� '�������� �=��� ������=��;�����

INTRAC Newsletter: Rethinking Monitoring and Evaluation

��YZN���/������;�����`'������;���=����]����;�������� ������>����@�����

INTRAC: The Monitoring and Evaluation Toolkit

INTRAC: The Challenges of Monitoring and Evaluating Programmes

Monitoring Comunications

PNUD: Gender and Pro Poor Indicators

PNUD: Handbook on Planning, Monitoring and Evaluating for Development Results

UNFPA: Program Managers Planning and M and E Toolkit

UNESCO: On Target, A Guide for Monitoring and Evaluating Community-Based Projects

WB: 10 Steps to a Results-Based Monitoring and Evaluation System, A Handbook for Development Practitioners, Kusek and Rist

Monitoreo y Evaluación de ProyectosPágina 126

IFAD: 2002 Guía para el Seguimiento y Evalua-ción de Proyectos, Gestión orientada al impacto en el desarrollo rural. Guijt I. y Woodhill J.

Sección 1. Presentación de la Guía de SyE

Sección 2. Utilizar el SyE para la gestión orientada al impacto

� ������������� ���� {��� ��=��� �������=���������������� ��SyE

Sección 4. Establecer el sistema de SyE

Sección 5. Decidir el objeto del SyE

Sección 6. Recoger, gestionar y comunicar la información

Sección 7. Establecer las capacidades y condiciones necesarias

� ���¡����� � ��������� � !����W���=����� +�����������

Anexo A. Glosario de conceptos y términos de SyE

Anexo B. Ejemplo anotado de la matriz del marco lógico de un proyecto

Anexo C. Ejemplo anotado de una matriz de SyE

Anexo D. Métodos de SyE

Anexo E. Modelos de descripciones de puestos de trabajo y térmi-nos de referencia

Proyectos de Emergencia Declaración Estocolmo.pdf

Handbook Proyecto Esfera

ECHO, European Commission Humanitarian Aid and Civil Pro-� �����@� �X$��¢[��`'���������@������������N���������@���NGOs. A guide with ideas to consider when designing your own '����������'� ���`���= N�������� ����= ����

Proyectos de Incidencia The Annie E. Casey Foundation: A Guide to Measuring Advocacy and PolicyUSING THE COMPOSITE LOGIC MODEL: To Articulate an Advo-cacy Strategy or Theory of Change

Amnesty International Campaigning Manual, 2002

INTRAC: Tracking Progress in Advocacy: Why and How to Monitor and Evaluate Advocacy Projects and Programmes. O´Flynn

Advocacy Indicators

8 STEPS TO DEVELOP A POLICY ADVOCACY EVALUATION PLAN

CE: Metodología de Evaluación de la Ayuda Exte-rior de la Comisión Europea CE Evaluación Vol. 1

CE Evaluación Vol. 2

CE Evaluación Vol. 3

CE Evaluación Vol. 4

Ejemplos y lecturas cortas Ejemplo de Marco Lógico 1

Ejemplo de Marco Lógico 2

Anexos Página 127

Ejemplo de Marco Lógico, Plan de Monitoreo y Formato de Moni-toreo (Tassara, 2010)

Example 100 Result logframe

Lectura: Análisis de las partes Interesadas

� ������������� ����@� �� ��� �' �����

Lectura: Information Contained in the Logframe Matrix

Lectura: Performance Indicators WB

Lectura: PNUD Key Result Indicators

Lectura: Selección de indicadores

Lectura: Stakeholder Analysis Matrix

Lectura: Using Rapid Appraisal Methods TIPS USAID

Lectura: WB Correct Indicators

Páginas Web

Advocacy Progress Planner: An Advocacy & Policy Change Composite Logic Model http://www.planning.continuousprogress.org/benchmarks

ALNAP: Active Learning Network for Accounta-bility and Performance in Humanitarian Action www.alnap.org

BOND: Network of UK based voluntary orga-nizations working in international development and development education

http://www.bond.org.uk/

Continuous Progress: Better Advocacy through Evaluation http://fp.continuousprogress.org/node/83

The Sphere Project: Humanitarian Action http://www.sphereproject.org/

ELDIS: Internet directory and gateway to a vast range of information sources on development and the environment, produced by the British Library for Development Studies

www.ids.ac.uk/eldis/eldis.html

Europe Aid – Evaluation Unit: Evaluation Guide-lines

http://ec.europa.eu/europeaid/evaluation/methodology/foreword_en.htm

IDRC: International Development Research Centre created by the Canadian government http://www.idrc.ca/index_en.html

IDS: Institute of Development Studies, Sussex www.ids.ac.uk

Innovation Network, Transforming Evaluation for Social Change http://www.innonet.org/

International Development Evaluation Associa-tion (IDEAS)

http://www.ideas-int.org/home/index.cfm?navID=1&itemID=1&CFID=855207&CFTOKEN=62085509

MandE – Monitoring and Evaluation – Cambrid-ge, UK (Oxfam, Save the Children, Action Aid, CAFOD, CIIR, IDCR)

http://mande.co.uk/

ODI HPN: Humanitarian Practice Network at the Overseas Development Institute www.odihpn.org

Monitoreo y Evaluación de ProyectosPágina 128

Programa para el fortalecimiento de la capacidad de seguimiento y evaluación de los proyectos FIDA (Fondo Internacional de Desarrollo Agrí-cola) en América Latina y el Caribe

http://preval.org/

RELAC Red de seguimiento, evaluación y siste-matización en América Latina y el Caribe

http://www.relacweb.com/

K�%��`'���������@� http://www.undp.org/evaluation/index.html

Who Are the Question-makers? A Participatory Evaluation Handbook�@� ��@�`'����������������� ;�������;�UNDP

http://www.undp.org/evaluation/documents/who.htm