Guía Metodológica para Evaluación de Resultados · Guía Metodológica para Evaluación de...

Guía Metodológica para Evaluación de Resultados

2

Documento desarrollado en base al informe del consultor Javier Carmona

Elaborado con apoyo del Programa “Medidas de Apoyo al Desarrollo Institucional y a la Gestión Pública” MADIGEP de la Unión Europea

Diciembre - 2017

Secretaría de Coordinación General de Gobierno Centro Cívico Gubernamental, Bulevar Fuerzas Armadas, contiguo a Chiminike, Tegucigalpa MDC, Honduras, Centroamérica Teléfono: PBX (504) 2230-7000 [email protected]


3

Contenido 1. Generalidades .......................................................................................................................................................... 4

2. Características .......................................................................................................................................................... 4

3. Preguntas Orientadoras ....................................................................................................................................... 5

4. Desarrollo de la Evaluación ................................................................................................................................ 6

4.1. Revisar o construir el modelo lógico ........................................................................................................... 6

4.2. Selección de Indicadores ................................................................................................................................. 8

4.3. Selección de Técnicas de recogida de información ............................................................................... 9

4.4. Revisión y finalización de la Matriz de Evaluación: ..............................................................................11

4.5. Selección de la muestra ..................................................................................................................................14

4.6. Elaboración del Informe Preliminar y Plan de Trabajo .......................................................................16

4.7. Valorar y aprobar el Informe preliminar ..................................................................................................17

4.8. Diseño y aplicación de las técnicas de recopilación de información ............................................18

4.9. Análisis e interpretación de los datos .......................................................................................................18

4.10. Construcción de la cadena de evidencia ...............................................................................................19

4.11. Redacción del informe final ........................................................................................................................21

4.12. Valorar y aprobar el Informe Final ...........................................................................................................21

5. Utilidad de los Resultados ................................................................................................................................23


4

EVALUACIÓN DE RESULTADOS

1. Generalidades

La Secretaría de Coordinación General del Gobierno a través de la Dirección Presidencial de Gestión por Resultados, desarrolla un sistema de evaluación de políticas, programas y proyectos del sector público, que permite mejorar su implementación y fomentar una cultura de evaluación en las instituciones del Estado. Cada evaluación tiene como objetivo fortalecer los programas y proyectos, generando y velando por la implementación de recomendaciones que contribuyan a optimizar la eficiencia, eficacia y la calidad en la entrega de los bienes y servicios del sector público, y con ello mejorar las condiciones de vida de la población.

2. Características La evaluación de resultados es un estudio sistemático de los efectos1 de una intervención en todas sus dimensiones: eficacia, sostenibilidad, cobertura, contribución (cuando se realicen evaluaciones de impacto y la evaluabilidad de la intervención y su contexto lo permitan). Estas dimensiones son también los criterios de la evaluación de diseño:

• Eficacia: Medida en que se lograron o se esperan lograr los objetivos inicialmente previstos del proyecto (resultados intermedios (cambio en la actitud/ conducta del beneficiario o en la calidad del producto) y finales (cambios en las condiciones de vida de la población)).

• Sostenibilidad: Análisis sobre la probabilidad de que los efectos positivos del proyecto continúen una vez haya concluido el programa

• Cobertura: Evaluar hasta qué punto la intervención llega a su población meta • Contribución1: Análisis de la contribución del programa a los resultados obtenidos (evaluación

de impacto) Los grandes objetivos de la evaluación de resultados son:

1. Identificar los resultados intermedios (cambio en la actitud/ conducta del beneficiario o en la calidad del producto) y finales (cambios en las condiciones de vida de la población) del programa

2. Detectar los resultados del programa sobre los usuarios/ beneficiarios

3. Proporcionar evidencias y formular recomendaciones que retroalimenten y mejoren el programa y sirvan de base para la mejora de otros proyectos en marcha o futuros.

1 Entendiendo por efecto los cambios en conducta o calidad de los objetos (personas, bienes) de la intervención


5

3. Preguntas Orientadoras Las siguientes preguntas de evaluación son las que guían el proceso de análisis y valoración de la intervención. La División de Evaluación deberá revisarlas y ajustarlas según convenga. También debe decidir si se incluirá el criterio de Contribución en la evaluación: Eficacia: 1. ¿El programa ha conseguido los resultados previstos a corto, medio y largo plazo?

a) ¿Los productos del proyecto/ programa se han logrado? b) ¿Los resultados de la intervención han sido alcanzados o se está progresando hacia su

consecución? c) ¿Cómo han afectado los productos del proyecto a los resultados, y en qué sentido no han sido

efectivos? d) ¿Qué resultados no intencionales (positivos y negativos) se produjeron? e) ¿Qué factores ayudaron al logro de los objetivos y cuales lo dificultaron? f) ¿Cuál ha sido el aporte de otros programas a los resultados?

Sostenibilidad: 2. ¿Es posible que perduren en el tiempo los efectos positivos de la intervención?

a) ¿Se ha implementado una estrategia de sostenibilidad, incluyendo el desarrollo de capacidades de los principales actores de la intervención?

b) ¿Qué evidencias existen de que los resultados se mantendrán en el tiempo (p.ej., a través de las capacidades necesarias (sistemas, estructuras, personal, etc.)?

c) ¿Están en marcha los marcos normativos y políticas que respaldarán la sostenibilidad de los efectos positivos?

d) ¿Se han comprometido recursos para proporcionar un apoyo duradero? e) ¿Los resultados del proyecto han beneficiado de igual forma a mujeres y hombres? f) ¿La intervención ha beneficiado a pueblos indígenas que viven en la zona de intervención? g) ¿El proyecto ha velado por la protección del medio ambiente?

Cobertura: 3. ¿Se ha alcanzado a la población meta deseada?

a) ¿Qué nivel geográfico ha alcanzado el proyecto (ej. Individuo, comunidad, distrito, región, alcance nacional), y cuáles han sido?


6

b) ¿El proyecto ha alcanzado a la población teórica que debería recibir el servicio? c) ¿Son diferentes los grupos beneficiarios respecto a los identificados inicialmente? d) ¿Qué problemas han existido en cuanto a la accesibilidad de los beneficiarios al proyecto debido

a alguna barrera física, socioeconómica, lingüística, cultural, religiosa...etc.? Contribución: 4. ¿Es razonable concluir que el programa marcó una diferencia sobre el problema que estaba abordando? (basado en “Contribution Analysis: An approach to exploring cause and effect, John Mayne”)

a) El programa se basa en una congruente teoría del cambio, ¿los supuestos subyacentes del programa son sólidos, creíbles, y fueron acordados por al menos uno de los actores principales?

b) ¿La cadena de resultados se ha cumplido? c) Una vez analizados otros factores que afectan al programa, ¿se puede concluir que no han tenido

una contribución significativa, o en el caso de que sí la tuvieran, esta contribución relativa ha sido reconocida?

4. Desarrollo de la Evaluación

El desarrollo de una evaluación de resultados comprende una serie de etapas, estas son:

o Revisar o construir el modelo lógico o Selección de Indicadores o Selección de Técnicas de recogida de información o Revisión y finalización de la Matriz de Evaluación o Selección de la muestra o Elaboración del Informe Preliminar y Plan de Trabajo o Valorar y aprobar el Informe preliminar o Diseño y aplicación de las técnicas de recopilación de información o Análisis e interpretación de los datos o Construcción de la cadena de evidencia o Redacción del informe final o Valorar y aprobar el Informe Final

4.1. Revisar o construir el modelo lógico

En ocasiones, el evaluador encontrará que en la fase de diagnóstico del proyecto se diseñó un modelo lógico (puede ser un marco lógico, una cadena de resultados, una teoría del cambio…etc.). En tal caso, deberá ser revisado y confirmado con los gestores del proyecto.


7

Sin embargo, en otras ocasiones, tendrá que elaborar un modelo lógico. Esta sección pretende ayudar en su desarrollo, pero no es una guía exhaustiva, más bien un resumen de los pasos que hay que seguir.

El modelo lógico describe cómo las actividades realizadas originan los productos que llevan a los resultados. Es el marco a evaluar y proporciona la estructura para el análisis. En la evaluación de resultados de la presente guía, ayuda a adaptar las preguntas de evaluación convenientemente, identificar los indicadores, detectar ausencias en los datos y a priorizar los datos a recolectar. De forma resumida, los pasos a seguir para elaborar un modelo lógico son los siguientes:

1. Identificar el problema principal y las necesidades en la sociedad que pretende abordar el programa. Profundizar en las causas del problema principal ayudará a entender el proyecto y a construir el modelo lógico.

2. Especificar los resultados deseados en la intervención. Los evaluadores deben identificar lo que espera alcanzar el proyecto en el corto y largo plazo, es decir los productos, resultados y el impacto.

3. Identificar los factores del contexto que pueden afectar a la intervención. Pueden existir elementos económicos, políticos, legales, institucionales…etc., ajenos al control directo del proyecto, que afectan a la intervención de forma directa e indirecta, como apoyo o barrera en su ejecución.

4. Describir cómo funciona la intervención, partiendo de los insumos y especificando las actividades, productos y resultados. Es necesario explicar el funcionamiento del proyecto, los recursos (insumos) que utiliza el proyecto; las actividades que apoyan los insumos, los productos que originan las actividades y los efectos que se derivan de los productos. Este trabajo también ayuda a determinar los supuestos del siguiente punto.

5. Enunciar los supuestos que deben cumplirse para que la cadena de resultados se pueda materializar. Consiste en definir las condiciones que se tienen que cumplir para que se produzca una relación exitosa entre los niveles de la cadena de resultados

6. Representar gráficamente el modelo lógico. Hay que ordenar la información y mostrar los flujos y los vínculos entre los componentes (ver gráfico Cadena de Resultados)

7. Verificar la teoría con los responsables de la intervención. Comprobar con los diseñadores y gestores del proyecto si el modelo propuesto es completo, plausible y tiene el suficiente detalle para entender los distintos componentes y sus relaciones

Para realizar este trabajo, se pueden utilizar las siguientes fuentes de recolección de información:

- Documentos clave del proyecto relacionados con el diagnóstico, planificación y seguimiento - Literatura relevante: evaluaciones y otras investigaciones de proyectos similares - Entrevistas y reuniones con los principales actores: gestores del proyecto, beneficiarios,

financiadores...etc.

A continuación, se presenta bibliografía que se puede consultar para ampliar información sobre la utilidad y la manera de desarrollar un modelo lógico:

- El camino hacia los resultados, Diseño y realización de evaluaciones eficaces para el desarrollo. Linda G. Morra Imas Ray C. Rist. Banco Mundial


8

- Theory-Based Approachesto Evaluation: Concepts and Practices: Treasury Board of Canada Secretariat

- Purposeful Program Theory, Effective Use of Theories of Change and Logic Models. Sue C. Funnell & Patricia J. Rogers

- www.betterevaluation.org. Describe the Theory of Change

Ilustración 1: Cadena de Resultados

4.2. Selección de Indicadores

Una vez estén definidas las preguntas definitivas de la evaluación (Ver Preguntas Orientadoras), y con la ayuda de la columna Qué Buscar de la Matriz de evaluación (ver paso 4.4. Matriz de evaluación), se deben seleccionar los indicadores del programa que corresponden a cada una de las preguntas que permitan medir su alcance. Las preguntas se encargan de representar lo más completamente posible las diversas cuestiones que definen el criterio, y el indicador es una variable medible, observable y registrable que aporta información que contesta a las preguntas de la evaluación.

Pasos para seleccionar indicadores2:

1. Establecer las preguntas de evaluación: para ello los evaluadores se deberían basar en las preguntas orientadoras de la presente guía.

2 Basado en Selecting Performance Indicators. 1996. USAID Center for Development Information and Evaluation

http://www.betterevaluation.org/


9

2. Elaborar una lista de posibles indicadores, existen diversas opciones: - Consultar con expertos de la temática del proyecto - Buscar indicadores de referencia en bases de datos ya existentes o bibliografía relevante 3. Evaluar cada uno de los indicadores: este trabajo se puede realizar en base a unos criterios

previamente establecidos. Se proponen los criterios de los indicadores SMART3: - ESpecífico: ¿Es el indicador lo suficientemente especifico como para medir avances hacia los

resultados? - Medible: ¿Es el indicador una medida clara y confiable de los resultados? - Asequibles: ¿Son realistas los resultados para los que el indicador busca registrar avances? - PeRtinente: ¿Es el indicador pertinente para los efectos y productos buscados? - Limitados por el Tiempo: ¿Están los datos disponibles con un esfuerzo y costes razonables? 4. Seleccionar los mejores indicadores disponibles para cada pregunta que mejor responda a la

pregunta de evaluación, teniendo en cuento un balance adecuado de los criterios SMART.

4.3. Selección de Técnicas de recogida de información

Una vez establecidos los indicadores para cada pregunta, se determinarán las fuentes de extracción de la información, es decir las técnicas o herramientas que se utilizarán para recoger la información que posteriormente se sistematizará y analizará.

A continuación, se presentan las técnicas más utilizadas en la evaluación de resultados. No pretende ser una lista exhaustiva, simplemente una base sobre la que trabajar. Los evaluadores son los que tienen que valorar cuales son las idóneas para cada pregunta, y si lo consideran oportuno, incluir otras que no se encuentren en esta sección.

• RECUPERACIÓN DE DATOS EXISTENTES: Desde el inicio de la evaluación se debe recoger y revisar documentación clave publicada por otros, tanto de carácter cualitativo como cuantitativo. Se puede diferenciar entre:

o Documentos de políticas formales, planes e informes de su ejecución o Estadísticas oficiales: publicadas por el gobierno u otras instituciones públicas como son

los organismos internacionales o Evaluaciones e investigaciones relacionadas con la temática del proyecto. o Registros del proyecto: documentación técnica disponible en relación a las acciones

específicas del proyecto (diagnósticos, formulaciones, líneas de base, informes de seguimiento, actas de reuniones, evaluaciones…)

La recogida de datos existentes se tiene que complementar con la recogida de datos nuevos, en aquellas preguntas sobre los que falte información. Para recabar estos nuevos datos se presentan una serie de

3 Manual de Planificación, Seguimiento y Evaluación del PNUD (2009)


10

técnicas de recolección de información para las que, en su caso, se deberán diseñar las herramientas pertinentes.

Tabla 1: Técnicas de recolección de información

FUENTE TÉCNICA DISEÑO DE HERRAMIENTA Recolección de datos de individuos

Entrevistas semiestructuradas y no estructuradas

Elaboración de guiones

Encuestas Cuestionarios on-line Recolección de datos de grupos

Grupos focales Técnicas participativas: lluvia de ideas, análisis DAFO, Delphi, Mapeo de conceptos, Discusiones de grupos focales…

Observación Visitas de campo, observaciones de participantes y no participantes, reportaje fotográfico

• ENTREVISTAS SEMIESTRUCTURADA y NO ESTRUCTURADAS: Según el entrevistado, se podrá recurrir a un guion fijo utilizado de manera flexible o se dejará que el entrevistado sea el que plantee los temas a su manera. Las entrevistas individuales, permiten obtener gran cantidad de información de todas las dimensiones de análisis, así como profundizar, corroborar o interpretar datos obtenidos por las otras técnicas. La entrevista permitirá profundizar en aspectos cualitativos relacionados con el contexto y cambios que a menudo no quedan reflejados en documentos escritos. Además, permiten contrastar información y datos obtenidos con la revisión de datos existentes para dar respuesta a los indicadores. Se tienen que diseñar los guiones correspondientes y seleccionar la muestra de personas a ser entrevistados.

• ENCUESTAS: Se pueden desarrollar cuestionarios para recoger información de manera sistemática y homogénea que facilite su posterior análisis. Los medios más frecuentes para realizar encuetas son: cuestionarios telefónicos, plataformas online (por ejemplo, Surveymonkey) o en persona. Es importante llevar a cabo una prueba piloto (y mejorar la herramienta) antes de utilizarla de manera generalizada.

• GRUPOS FOCALES: El uso de estas técnicas tienen como finalidad fomentar la reflexión colectiva sobre

las diferentes dimensiones a valorar del proyecto. Por su naturaleza, estas técnicas son más efectivas en generar espacios de diálogo, toma de consciencia y reflexión participativa, y son adaptables a las características de los grupos meta. También representan una oportunidad para que los diferentes actores involucrados y sujetos de derechos se relacionen e intercambien ideas, lleguen a acuerdos e incluso se genere entre ellos cierta identidad grupal. A diferencia de las otras técnicas, con los grupos


11

focales las conclusiones serán conocidas al momento por todos los participantes en los espacios a convocar, y cumplirán uno de los fines de la evaluación que es generar aprendizaje y apropiación del proceso evaluativo. Existen multitud de técnicas participativas, a continuación, se presenta un ejemplo ellas:

o Lluvia de ideas: centrándose en un problema y luego permitiendo que los participantes

propongan tantas soluciones como sea posible. o Análisis DAFO: reflexionar y evaluar las Fortalezas, Debilidades, Oportunidades y Amenazas

de una estrategia en particular o Delphi: solicitando opiniones de los grupos en un proceso iterativo para responder

preguntas con el fin de obtener un consenso o Mapeo de conceptos: muestra cómo se relacionan diferentes ideas entre sí. o Discusiones de grupos focales: descubrir los problemas que más preocupan a una

comunidad o grupo cuando hay poca o ninguna información disponible

• OBSERVACIÓN DIRECTA: En visitas de campo y otros lugares donde se ejecutan las acciones y en las entrevistas individuales y grupales se podrá observar el comportamiento y la interrelación de las personas y documentar la incidencia de los objetos y cosas. La observación directa es muy útil, especialmente para la triangulación de datos obtenidos desde diferentes fuentes, así como para la obtención de datos primarios, pero necesita ser apoyada por otros métodos, porque el significado de lo que se ve no es siempre obvio.

A la hora de seleccionar las herramientas, se deberían integrar distintos métodos de recolección de datos y triangular distintas fuentes, para responder a las preguntas de evaluación, y de esta manera superar las limitaciones de cada fuente de datos individual. Este enfoque mejora la fiabilidad de las constataciones cuando la información de distintas fuentes de datos converge (coincide en la dirección de las constataciones) y puede profundizar el entendimiento de la intervención.

4.4. Revisión y finalización de la Matriz de Evaluación:

Con el fin de facilitar un análisis metodológico ordenado y sistemático de la evaluación, el evaluador deberá elaborar la matriz de evaluación, realizando un ejercicio de articulación de las preguntas de la evaluación con el criterio al que se refiere, indicador y técnica.

El evaluador deberá revisar, completar y ajustar la matriz que se presenta a continuación, teniendo en cuenta la intervención concreta a evaluar. Se incorpora la columna “Qué buscar” que sirve como orientación al evaluador sobre los aspectos sobre los que se tiene que centrar en cada una de las preguntas:


12

Tabla 2: Matriz de Evaluación

Criterio Preguntas evaluación Qué Buscar Indicador

Técnica

Eficacia

1. ¿El programa ha conseguido los resultados previstos a corto, medio y largo plazo?

a. ¿Los productos del proyecto/ programa se han logrado?

- ¿Qué productos del proyecto se han alcanzado? - ¿Qué porcentaje de cada producto se ha

logrado?

b. ¿Los resultados de la intervención han sido alcanzados o se está progresando hacia su consecución?

- ¿Cuáles son los cambios originados por el proyecto en usuario/ individuos?

- ¿Cuáles son los cambios que se han originado en los sistemas/ modelos de gestión?

- ¿Cuáles son los cambios originados a nivel comunitario?

c. ¿Cómo han afectado los productos del proyecto a los resultados, y en qué sentido no han sido efectivos?

- ¿Qué cambios se observan a raíz de los productos del proyecto?

- ¿Qué factores externos al proyecto han influido en los resultados, incluyendo otros programas?

- ¿Los supuestos en la cadena de resultados se han cumplido?

d. ¿Qué resultados no intencionales (positivos y negativos) se produjeron? e. ¿Qué factores ayudaron al logro de los objetivos y cuales lo dificultaron?

- ¿Qué obstáculos y barreras se ha encontrado el proyecto para alcanzar sus logros? ¿Cuáles se han solventado?

- ¿Cuáles han sido los elementos clave que han facilitado el logro de los resultados?

Sostenibilidad

2. ¿Es posible que perduren en el tiempo los efectos positivos de la intervención?

a. ¿Se ha implementado una estrategia de sostenibilidad, incluyendo el desarrollo de capacidades de los principales actores de la intervención?

- ¿El proyecto tiene una estrategia de sostenibilidad?

- ¿La estrategia tiene aspectos relacionados con factores políticos (apoyo de las autoridades clave), económicos (capacidad financiera para ejecutar el proyecto), técnicos (conocimientos y habilidades necesarias de los recursos humanos)?

b. ¿Qué evidencias existen de que los resultados se mantendrán en el tiempo?

- ¿Se han diseñado los sistemas de gestión necesarios?

- ¿Se han creado las estructuras sobre las que se ejecutará el proyecto?

- ¿Existe personal capacitado y con las habilidades que requiere el proyecto?

- ¿Están en marcha los marcos normativos y políticas que respaldarán la sostenibilidad de los efectos positivos?

c. ¿Se han comprometido recursos para proporcionar un apoyo duradero?

- ¿Existen recursos para continuar con el proyecto durante un periodo razonable de tiempo para que sus beneficios se mantengan?

-


13

Sostenibilidad

d. ¿Qué aspectos surgieron durante la ejecución del proyecto que fueron una amenaza para su sostenibilidad?

- ¿Qué amenazas inesperadas para la sostenibilidad han surgido durante la ejecución?

- ¿Cuáles fueron las medidas que se tomaron en cuenta para paliar las amenazas, y que resultado tuvieron?

e. ¿Los resultados del proyecto han beneficiado de igual forma a mujeres y hombres? Aspectos que se pueden tener en cuenta4

- Acceso y control de recursos, cuerpo y trabajo: Acceso a la economía y oportunidades productivas / economía; Acceso y control a los recursos / mecanismos y espacios de toma de decisiones para los recursos; División sexual del trabajo / perfil de actividades; Acceso a los servicios públicos (capacidad); Uso del tiempo; control del uso del tiempo.

- Calidad de la participación / participación en espacios privados y públicos.; Empoderamiento y voz.

- Condición, posición social y necesidades: Necesidades prácticas y estratégicas; necesidades e intereses / problemas y necesidades; Ámbito sociocultural / diferencias culturales; Condición y posición de hombres y mujeres / los roles de género.

- Seguridad: económica, física y ambiental

f. ¿La intervención ha beneficiado a las minorías que viven en la zona de intervención?

- ¿Se han tenido en cuenta las necesidades de los grupos más necesitados en el diseño y ejecución del proyecto?

- ¿La inclusión social se ha tenido en cuenta en el proyecto?

g. ¿El proyecto ha velado por la protección del medio ambiente?

- ¿Se ha diseñado y desarrollado un enfoque medioambiental?

Cobertura

3. ¿Se ha alcanzado a la población meta deseada? a. ¿El proyecto ha alcanzado a la población teórica que debería recibir el servicio? ¿Son diferentes los grupos beneficiarios respecto a los identificados inicialmente?

- ¿Cuál ha sido el alcance geográfico del proyecto (individuo, comunidad, distrito, región, alcance nacional) y qué grupos de población lo habitan?

- ¿Los beneficiarios han sido alcanzado por el proyecto?

- ¿Cuál ha sido la ratio entre población receptora y población real del proyecto?

b. ¿Qué problemas han existido en cuanto a la accesibilidad de los beneficiarios al proyecto debido a alguna barrera física, socioeconómica, lingüística, cultural, religiosa...etc?

- ¿Se tuvieron en cuenta las particularidades de los grupos de población que habitan en la zona de ejecución del proyecto en su diseño y ejecución?

- ¿Algún grupo de población ha encontrado dificultades para acceder al proyecto debido a alguna berrera?

4 Diferentes aproximacionespara hacer una evaluación sensibleal género y al enfoque basadoen derechos humanos para el desarrollo. MAEC, 2014. Ligero, Espinosa; Mormeneo; Bustelo.


14

Contribución5 (Impacto)

4. ¿Es razonable concluir que el programa marcó una diferencia sobre el problema que estaba abordando?6

a. El programa se basa en una congruente teoría del cambio, ¿los supuestos subyacentes del programa son sólidos, creíbles, y fueron acordadas por al menos uno de los actores principales?

b. ¿La cadena de resultados se ha cumplido? c. Una vez analizados otros factores que afectan al programa, ¿se puede concluir que no han tenido una contribución significativa, o en el caso de que sí la tuvieran, esta contribución relativa ha sido reconocida?

4.5. Selección de la muestra

En la mayoría de las ocasiones es imposible o complicado y costoso investigar todos los casos relacionados con el objeto de evaluación (universo), lo que obliga a seleccionar un número reducido de ellos, es decir una muestra significativa.

Así, el evaluador tendrá que seleccionar la muestra de las técnicas que permiten obtener datos primarios, como la entrevista, la encuesta o el grupo focal. En esta sección se presentan brevemente los distintos tipos de muestreo, como ayuda y soporte para que el evaluador desarrolle este paso en el diseño de la evaluación.

Se puede distinguir entre muestras aleatorias y no aleatorias. En las muestras aleatorias, cada unidad del marco de la muestra7 tiene la misma probabilidad de ser seleccionada para participar en la evaluación. Así, se elimina cualquier tipo de sesgo en la selección de la muestra.

Existen seis tipos de muestra aleatoria8:

• Aleatorias simples: Se dispone de un marco muestral numerado, todas las unidades del marco muestral tienen la misma probabilidad. Se utiliza cuando el principal objetivo es hacer deducciones sobre la población total y no sobre subpoblaciones.

5 Este criterio se evaluará únicamente si la División de Evaluación lo considera oportuno teniendo en cuenta los recursos y el tiempo disponible y también la evaluabilidad del programa. 6 Basado en “Contribution Analysis: An approach to exploring cause and effect, John Mayne 7 Conjunto de elementos (individuos, organizaciones, regiones…etc) que componen el universo de la evaluación, del cual se extrae la muestra 8 Banco Mundial. Morra Imas, L.G. Y Ray C.R. 2009. The Road to Results: Designing and Conducting Effective Development Evaluations.


15

• De aleatoria de intervalos: Es una muestra seleccionada utilizando distancias entre números escogidas al azar. Se utiliza cuando hay una población secuencial que no está enumerada y sería complicado hacerlo.

• Con arranque aleatorio y seguido de intervalos fijos: El punto de partida es aleatorio, pero luego se selecciona cada n-ésimo caso.

• Aleatorias estratificadas: Se utiliza cuando el objetivo es que la muestra tenga una proporción conocida de una variable relevante (sexo, edad, grupo étnico...etc.). Para ello, se divide a la población en estratos o grupos, basados en esa característica significativa, y después se procede a seleccionar las unidades últimas con un sistema aleatorio.

• Aleatoria de conglomerados: Las unidades de la muestra no son individuos sino grupos de individuos. Así, se hace el muestreo de los grupos de manera aleatoria, y luego se recopilan los datos de todas las unidades que conforman el grupo.

• Aleatorias de etapas múltiples: Se combinan dos o más formas de muestreo aleatorio

Un aspecto importante es el tamaño de la muestra, ya que, aunque el muestro sea aleatorio, existe una posibilidad de error en la muestra seleccionada. Los requisitos clave a tener en cuenta a la hora de determinar el tamaño de la muestra son los siguientes:

• Margen de Error de muestreo tolerado: cuanto menor sea, mayor será el tamaño de la muestra exigido.

• Nivel de Confianza de la estimación: cuanto más alto, mayor será el tamaño de la muestra (suele ser el 95%)

• Varianza del universo: cuanto mayor sea (población más heterogénea), mayor será el tamaño de la muestra.

En ocasiones no es posible utilizar una muestra aleatoria, con lo que se utiliza una muestra no aleatoria bajo distintos criterios. Entre las tipologías se puede distinguir9:

• Bien dirigidos: la muestra se selecciona según unos criterios predeterminados por el evaluador que cumplan con los objetivos del estudio.

• Bola de nieve: se pregunta a los primeros informantes sobre otros informantes, creando un efecto de bola de nieve donde la muestre va creciendo.

• Por conveniencia: se basa en la facilidad (o conveniencia) de tener acceso a la muestra. La información se obtiene de la gente que está disponible.

9 Banco Mundial. Morra Imas, L.G. Y Ray C.R. 2009. The Road to Results: Designing and Conducting Effective Development Evaluations


16

4.6. Elaboración del Informe Preliminar y Plan de Trabajo

El primer producto del evaluador es el Informe Preliminar, donde el diseño de la evaluación y los detalles y procedimientos prácticos que se utilizarán en la ejecución de la evaluación, incluyendo al menos:

• El marco de evaluación: los objetivos del proyecto / programa, las preguntas de evaluación, el contexto de evaluación (como los aspectos de la organización, el personal, los participantes, etc. que pueden afectar la evaluación).

• Tipos de información, recolección y análisis de datos que se utilizarán: técnicas y muestra de cada una de ellas

• Quién hará qué tareas y cuándo en la implementación de la evaluación • Cronograma del trabajo y calendario de entregas de los productos

Las secciones a incluir en el Informe preliminar son:

1. Introducción a) Antecedentes, contexto y resumen del proyecto b) Alcance de la evaluación

2. Evaluabilidad y limitaciones de la evaluación 3. Metodología de la evaluación

a) Matriz de evaluación 4. Actores y técnicas de recolección de la información

a) Mapeo de actores b) Descripción de las técnicas

5. Plan de Trabajo: Fases y actividades de la evaluación a) Estudio de gabinete (como mínimo contemplará las siguientes actividades: análisis documental,

reuniones, finalización de la matriz de evaluación, diseño de las herramientas de recogida de información, redacción del plan de trabajo)

b) Trabajo de campo (contemplará al menos las siguientes actividades: entrevistas con actores, grupos de discusión, elaboración de las conclusiones preliminares, presentación de las conclusiones preliminares)

c) Informe de evaluación (incluye al menos las siguientes actividades: redacción del informe borrador, informe final, actividades de comunicación de resultados)

6. Cronograma


17

4.7. Valorar y aprobar el Informe preliminar

La División de Evaluación deberá revisar el Informe preliminar elaborado por el evaluador. Dependiendo de la calidad y la coherencia de la propuesta se procederá a su aprobación o a solicitar ajustes. Al menos se tendrán en cuenta los siguientes aspectos para valorar la calidad del informe preliminar:

• Contexto de la evaluación: el informe preliminar incluye suficiente y relevante información contextual: El informe describe adecuadamente el ambiente político, programático y de gobernanza en

el que se llevará a cabo la evaluación. Por ejemplo, se describen los aspectos más relevantes del contexto económico, social y político.

El informe describe adecuadamente los aspectos programáticos y temáticos más relevantes para la evaluación

Existe un mapeo de actores que incluye su papel en el proyecto y en la evaluación.

• Metodología: en el informe preliminar se especifican los indicadores y métodos para la recopilación y el análisis de datos. El informe contiene una matriz de evaluación clara y consistente. Los métodos de recopilación y análisis de datos son suficientemente rigurosos para evaluar

el tema de la evaluación y garantizar una evaluación completa, justa e imparcial. Por ejemplo, habrá datos suficientes para abordar todas las preguntas de evaluación.

La metodología de evaluación incluye múltiples métodos (triangulación); preferiblemente con análisis de datos cuantitativos y cualitativos y con una gama de partes interesadas cubiertas por los métodos de recopilación de datos.

Se proporcionan enlaces lógicos y explícitos entre las preguntas, los indicadores y los métodos de recopilación de datos.

En la metodología se especifica la muestra seleccionada para cada una de los métodos de recopilación de datos.

La metodología de evaluación establece explícita y claramente las limitaciones de los métodos de evaluación elegidos.

• Plan de trabajo: el informe incluye un plan de trabajo El plan de trabajo describe las etapas clave del proceso de evaluación y el cronograma.


18

El plan de trabajo establece roles y responsabilidades claros.

4.8. Diseño y aplicación de las técnicas de recopilación de información

Antes de diseñar los guiones de las entrevistas con los distintos actores, diseñar el cuestionario o elaborar la metodología de los grupos de discusión, es importante que el evaluador se asegure de qué datos ya están disponibles a través de fuentes secundarias, para centrarse en la información que falta. Aun así, es relevante triangular distintas fuentes para contrastar la información.

Una vez diseñadas las herramientas se tienen que poner en práctica. Este es el periodo en el que se realizan las entrevistas, las visitas, grupos de discusión, se lanza el cuestionario…etc. Es la fase de trabajo de campo dentro del Plan de trabajo.

4.9. Análisis e interpretación de los datos

Para analizar y sintetizar los datos recogidos en el paso anterior y buscar patrones, el evaluador, idealmente, utilizará métodos cualitativos y cuantitativos. A continuación, se presentan unas técnicas básicas de la organización y análisis de datos10.

El análisis cualitativo consiste en el análisis de datos provenientes de los documentos, observación y de las respuestas a entrevistas individuales, cuestionarios de respuesta abierta, grupos focales. Algunas opciones son:

- Análisis de contenido: Reducir grandes cantidades de contenido textual no estructurado a datos manejables relevantes para las preguntas de la evaluación. La interpretación de los datos se basará principalmente en la frecuencia y secuencia de sucesos (por ejemplo, en diferentes muestras, o en momentos diferentes) y en patrones de coocurrencia (con el fin de identificar conceptos fuertemente relacionados dentro del conjunto de documentos o registros).

- Codificación temática: Registrar o identificar pasajes de texto o imágenes relacionados por un tema o idea común, permitiendo la indexación del texto en categorías. Es esencial ver el texto de una manera teórica o analítica en lugar de simplemente enfocarlo con un enfoque descriptivo. La lectura intensiva debe llevarse a cabo durante este proceso para garantizar que pueda identificar todas las ideas relevantes en el texto, incluso las más simples.

- Matrices de marcos: Un método para resumir y analizar datos cualitativos en una tabla de matriz de dos por dos. Permite ordenar los datos por tipo y por tema.

10 Adaptado de “UNICEF, Greet Peersman. Sinopsis de la evaluación de impacto nº 10: Métodos de Recolección y Análisis de Datos en la Evaluación de Impacto” y de www.betterevaluation.org

http://www.betterevaluation.org/


19

- Narraciones: Construcción de narraciones coherentes con los cambios ocurridos respecto a una

persona, una comunidad, un lugar o un programa o política.

- Cronogramas: Una lista de acontecimientos importantes ordenados por orden cronológico. El análisis cuantitativo dependerá de la cantidad y calidad de datos numéricos a los que se tenga acceso en el proceso evaluativo. Entre otros, el evaluador puede realizar los siguientes tipos de análisis cuantitativo:

- Correlación: Técnica estadística para determinar el grado en que se relacionan dos o más variables.

- Tabulaciones cruzadas: Para obtener una indicación de la frecuencia de dos variables (por ejemplo, género y frecuencia de la asistencia escolar) que ocurren al mismo tiempo.

- Tablas de frecuencia: Colocar valores de datos recopilados por orden ascendente de magnitud, junto con sus correspondientes frecuencias, para asegurar una imagen más clara del conjunto de datos.

- Descriptivo multivariable: Proporciona resúmenes simples de (grandes cantidades de) información (o datos) con dos o más variables relacionadas.

- Resumen estadístico: Proporciona un resumen rápido de los datos, que resulta especialmente útil para comparar un proyecto con otro, antes y después.

4.10. Construcción de la cadena de evidencia

Construcción de la cadena de evidencias- hallazgos- conclusiones- recomendaciones- lecciones aprendidas

Las evidencias, recogidas mediante las técnicas descritas anteriormente, deberán ser sintetizadas y valoradas de forma sistemática para obtener hallazgos. Tras reflexionar acerca del significado de los hallazgos, se extraen deducciones de orden superior que se formulan en conclusiones. Las sugerencias de acción para abordar las lagunas emergentes en las conclusiones y para mejorar el desempeño se transcriben en recomendaciones. Las generalizaciones (positivas y negativas) que trasciendan la intervención inmediata que está siendo evaluada, poniendo énfasis en la relevancia más amplia que los aprendizajes generados en ese proceso podrían tener, se traducen en lecciones aprendidas.


20

A continuación, se ilustra la manera en que una recomendación se debería basar en las evidencias, idealmente en múltiples partes de evidencias recogidas por diferentes métodos de evaluación:

Ilustración 2: Construcción cadena de evidencias

Aunque el proceso de construcción de la cadena de evidencias es responsabilidad del evaluador, se propone valorar las evidencias con los siguientes criterios para garantizar su calidad:

i. Precisión: si la evidencia es un buen reflejo de la situación real ii. Representatividad: el grado en que la evidencia representa con precisión la condición del principal

grupo de interés. iii. Relevancia: el grado en que la información se relaciona con la proposición a probar o refutar. iv. Generalización: el grado en que la evidencia de una situación específica puede ser generalizada

más allá de esa respuesta a otras situaciones. v. Atribución del análisis: si el análisis demuestra un vínculo causal claro y no ambiguo entre dos

condiciones o acontecimientos. vi. Claridad entorno al contexto y los métodos: el grado en que está claro por qué, cómo y para quién

se ha recopilado la evidencia.

A su vez, cada conclusión debe venir acompañada de una valoración realizada por el evaluador en función de su validez, según la siguiente clasificación: a) Sólida: cuando la disponibilidad de la información, la muestra analizada y la triangulación de las técnicas permita un análisis profundo para llegar a la conclusión; b) Aceptable: cuando el nivel de análisis sea razonable y c) Débil: cuando el análisis esté condicionado por más limitaciones de las razonables.

Las recomendaciones deben ser específicas, priorizadas, constructivas, pertinentes, factibles e identificaran quién es responsable de la acción y cuándo debería llevarla a cabo idealmente. Si se estima conveniente, se podría plantear formular las recomendaciones mediante un proceso colaborativo entre el evaluador y los principales usuarios de la evaluación. Así, tras haber generado las conclusiones, el evaluador podría facilitar un taller para traducir éstas en recomendaciones o acciones. Así se asegura que las


21

recomendaciones sean realistas y que las personas que las tienen que llevar a cabo se apropien de ellas en mayor medida.

Por último, el evaluador debe plantear las lecciones aprendidas del estudio.

4.11. Redacción del informe final

El evaluador debe recoger en un informe final de evaluación los hallazgos, conclusiones, recomendaciones y lecciones aprendidas de todo el estudio. El informe de evaluación debe contener las siguientes secciones:

0. Resumen ejecutivo: En 4-5 páginas como máximo, se deben resaltar los objetivos de la evaluación, el enfoque, principales hallazgos, conclusiones y recomendaciones. Este capítulo se debe elaborar después que el resto del informe se haya revisado y aprobado.

1. Introducción: a) Antecedentes, objetivos y alcance de la evaluación b) Criterios y preguntas de la evaluación

2. Descripción de la intervención evaluada: Resumen de los antecedentes, objetivos, actores implicados y contexto en el que se desarrolla la intervención

3. Metodología empleada en la evaluación a) Técnicas aplicadas b) Condicionantes y límites del estudio realizado

4. Análisis de información e interpretación: Interpretación de las evidencias y hallazgos en relación a los criterios y preguntas de evaluación: Relevancia, Claridad de objetivos, Claridad población meta, Coherencia interna, Identificación de supuestos y riesgos, Gestión Basada en Resultados, Enfoque de género y derechos humanos, Coherencia institucional y Coherencia externa

5. Conclusiones de la evaluación 6. Recomendaciones: Derivadas de las conclusiones y clasificadas por actor. 7. Lecciones aprendidas 8. Anexos: Debe contemplar al menos los siguientes documentos: TdR, Actividades de la evaluación,

Informe preliminar, Presentación conclusiones preliminares (Power Point)…etc.

4.12. Valorar y aprobar el Informe Final Los criterios para valorar el informe de evaluación se basan en la “Lista del control de Calidad de los Informes de Evaluación” del Grupo de Evaluación de las Naciones Unidas11:

11 UNEG Quality Checklist for Evaluation Reports


22

- La estructura del informe o El informe está estructurado lógicamente con claridad y coherencia (por ejemplo,

antecedentes y objetivos se presentan antes de los hallazgos, y los hallazgos se presentan antes de las conclusiones y recomendaciones)

o El informe es de lectura fácil

- Metodología o El informe presenta una descripción transparente de la metodología aplicada a la evaluación

que explica claramente cómo la evaluación fue diseñada específicamente para abordar los criterios de evaluación, dar respuestas a las preguntas de evaluación y lograr los propósitos de la evaluación.

o El informe describe los métodos y análisis de recopilación de datos, la justificación para seleccionarlos y sus limitaciones. Los indicadores de referencia y los puntos de referencia se incluyen cuando sea relevante.

o El informe incluye una discusión sobre cómo se utilizó la combinación de fuentes de datos para obtener una diversidad de perspectivas, garantizar la precisión de los datos y superar los límites de los datos.

o El informe describe el marco de muestreo: área y población que se representará, razones para la selección, mecanismos de selección, números seleccionados de sujetos potenciales y limitaciones de la muestra.

- Credibilidad de los Hallazgos o Los hallazgos responden directamente a los criterios y preguntas de evaluación detallados en

la sección de alcance y objetivos del informe y se basan en la evidencia derivada de los métodos de recopilación y análisis de datos descritos en la sección de metodología del informe.

o Los hallazgos reportados reflejan un análisis e interpretación sistemática y apropiada de los datos.

o Los hallazgos informan objetivamente en base a la evidencia. o Las brechas y limitaciones en los datos y / o hallazgos no previstos se informan y discuten. o Las causas de los logros y los fallos, especialmente debidas a limitaciones continuas, se

identificaron tanto como fue posible o Los hallazgos generales se presentan con claridad, lógica y coherencia.

- Validez de las Conclusiones

o Las conclusiones presentan juicios razonables basados en los hallazgos y se corroboran con evidencia, y proporcionan ideas pertinentes al objeto y el propósito de la evaluación.

o Las conclusiones reflejan juicios de evaluación razonables relacionados con preguntas clave de evaluación.

o Las conclusiones están bien fundamentadas por la evidencia presentada y están lógicamente conectadas a los hallazgos de la evaluación.

o Las conclusiones presentadas proporcionan información sobre la identificación y / o soluciones de problemas importantes o cuestiones pertinentes a las posibles decisiones y acciones de los usuarios de la evaluación.


23

o Las conclusiones presentan las fortalezas y debilidades del objeto (políticas, programas, proyectos u otras intervenciones) que se evalúan, sobre la base de la evidencia presentada y teniendo debidamente en cuenta las opiniones de una gran diversidad de partes interesadas.

- Utilidad de las Recomendaciones o Las recomendaciones son relevantes para el objeto y los propósitos de la evaluación, y se

desarrollaron con la participación de las partes interesadas relevantes. o Las recomendaciones se basan firmemente en la evidencia y las conclusiones. o Las recomendaciones son relevantes para el objeto y los propósitos de la evaluación. o Las recomendaciones identifican claramente el grupo objetivo para cada recomendación. o Las recomendaciones se establecen claramente y se aclaran las prioridades para la acción o Las recomendaciones son procesables y reflejan una comprensión de la organización

encargada y las limitaciones potenciales para el seguimiento.

5. Utilidad de los Resultados Una vez realizada la evaluación de resultados del programa se espera:

Comparar los resultados obtenidos con los esperados para identificar los puntos de mejora del proyecto

Obtener información que permita optimizar otros proyectos en marcha o futuros

A partir de estos resultados se pueden obtener elementos útiles que permitan que los programas generen productos o servicios que contribuyan a mejorar la calidad de vida de la población. Los hallazgos y recomendaciones obtenidos como resultado de la evaluación deben ser socializados, sin embargo es de vital importancia dar seguimiento a la implementación de las recomendaciones para la validez de las mismas, así como para el desarrollo de conocimiento, a través de la mejora de las Políticas, Programas y Proyectos.

Guía Metodológica para Evaluación de Resultados · Guía Metodológica para Evaluación de...

Documents

Transcript of Guía Metodológica para Evaluación de Resultados · Guía Metodológica para Evaluación de...