Evaluacion Externa

Evaluacin externa

SER IE DE INSTRUMENTOS DE TRABAJO PARA PLANIF ICACIN,

EVALUACIN, MONITOREO Y APL ICACIN (PEMA)

JUNIO 2000

Hacemos lo correcto?Lo hacemos correctamente?

AGENC IA SU IZA

PARA E L DESARROL LO

Y LA COOPERAC IN

COSUDE

1

2

34

5

Parte I

Parte II

Agencia Suiza para el Desarrollo y la Cooperacin (COSUDE)Controlling

Este instrumento de trabajo fue concebido por Max Honegger y Denis Bugnard, y seguido por Reto Wieser, Peter Meier, Richard Kohli y Anne Zwahlen.

Maya Krell, ConText, Bro fr Medien und Kommunikation, Zurich

PUNKTUM, Silvia Brllhardt, Berna

Typopress Bern AG, Berna

2500 ejemplares

Esta publicacin existe tambin en alemn, francs e ingls

COSUDE, Controlling Estratgico, 3003 Berna

www.cosude.admin.ch

3-905398-66-4

COSUDE 2000, 3003 Berna

Editor

Elaboracin y redaccin

Grficos e ilustracin

Composicin

Tirada

Nota

Distribucin

Homepage

ISBN

Impressum

Lista de instrumentos de trabajo PEMA

PEMA Entrada en materia (1996/30 pgs.)

Monitoreo Mantener el Contacto con la Realidad (1997/77 pgs.)

Indicadores y Preguntas Clave (1999/19 pgs.)

Planificar la Cooperacin (1992/65 pgs.)

Espejito, Espejito que me ves (Autoevaluacin 1990/70 pgs.)

Gua de la autoevaluacin (1995/100 pgs.)

Sostenibilidad de los proyectos de desarrollo (1990/30 pgs.)

Photography in Project Work* (1990/30 pgs.)

SEPO (KEK/CDC) prospecto, 4 pgs.

Planning Pre-Phases* (en colaboracin con Intercooperacin) (1995/36 pgs.)

Reconocimiento Participativo Rural** (1997/7 pgs.)

El Medio Ambiente en la Planificacin, la Evaluacin y el Monitoreo Un instrumento de trabajo para la integracin de cuestiones ambientales en las acciones de la cooperacin internacional (en colaboracin con el Centro de Desarrollo y Medio Ambiente del Instituto de Geografa de la Universidad de Berna) (2000/60 pgs.)

Practicioners Guide to Field Studies* A. Tarnutzer (en colaboracin con Intercooperacin) (2000/21 pgs.)

Manual sobre Pobreza (2000)

* slo en ingls ** slo en ingls y espaol

Evaluar, para qu?Bases y principios de las evaluaciones

PARTE I

Moni toreo

Plan i f i cac in

Eva luac in

Apl i cac in

3nd i ce

Introduccin 4

1. Qu significa evaluar? 6

2. Evaluar o no evaluar? Razones a favor o en contra de una evaluacin 14

3. Las formas de evaluacin 17

3.1 La evaluacin externa 18

3.2 La autoevaluacin 19

3.3 La autoevaluacin y la evaluacin externa combinadas 20

4. Annexos 21

4.1 Glosario 21

4.2 Principios para la evaluacin de la ayuda al desarrollo en la cooperacin internacional (CAD/OCDE) 24

4.3 Matriz para el sumario de evaluacin del CAD/OCDE 29

Evaluar, para qu? Bases y principiosde las evaluaciones

In t roducc in

Un instrumento de trabajo no es una novela policaca, y sin embargo sloalcanzaremos nuestro objetivo cuando Vd., una vez concluida la lectura deeste cuaderno, lo haya guardado y lo vuelva a coger en la mano al tener queefectuar una evaluacin. Si bien es cierto que a veces el contexto concreto delas evaluaciones externas contiene elementos de suspense, no podramosrenunciar, aqu, a presentar un mnimo de explicaciones, informacin debase y aspectos metodolgicos de la cuestin.

En todo caso, nuestro objetivo es ofrecer a toda persona responsable de programas o proyectos en la cooperacin internacional un manual prctico,de aplicacin inmediata y de fcil comprensin. As, pues, Evaluacinexterna Hacemos lo correcto? Lo hacemos correctamente? se incorporaa la serie Instrumentos de Trabajo para Planificacin, Evaluacin, Monitoreoy Aplicacin (PEMA) de la Agencia Suiza para el Desarrollo y la Coopera-cin (COSUDE) y reemplaza al antiguo cuaderno La Evaluacin Externa enla Cooperacin al Desarrollo de 1992.

Diversos cambios en la concepcin y en el desarrollo de las evaluacionesexternas, sobre todo la creciente importancia que adquiere el aprendizajecomn en el proceso de evaluacin, han hecho necesaria una nueva edicin.Aunque el examen del pasado informes y otros documentos sobre los resul-tados obtenidos con respecto a los objetivos an constituye una tareaimportante de la evaluacin, hoy da se ha impuesto la idea de que para justificar una evaluacin, se debe alcanzar un efecto del aprendizaje conmiras al futuro. Asimismo, esta evolucin tiende a difuminar la lnea dedemarcacin entre la autoevaluacin y la evaluacin externa, dos instrumen-tos sinrgicos.

Este instrumento de trabajo se divide en dos partes; la parte I aclara losconceptos, expone las bases y los principios de las evaluaciones. La parte IImuestra, paso por paso, las cinco etapas de una evaluacin externa. Cadacaptulo de la parte II contiene 1. una presentacin del tema, 2. una lista deconsejos e indicaciones dados por especialistas veteranos/as de la coopera-cin internacional, y 3. un ejemplo concreto, extrado de las actividades dela COSUDE. Este instrumento de trabajo est destinado en primer lugar a quienes mandan efectuar una evaluacin, siguen su realizacin o son res-ponsables de la aplicacin de las conclusiones. La parte II describe cmo se desarrolla concretamente una evaluacin, pero sin dar detalles sobre losmtodos, competencias y conocimientos que deben poseer los/las exper-tos/as encargados/as de realizarla.

En un mundo caracterizado por cambios rpidos y profundos que afectan a todos los sectores de la sociedad y del mundo laboral, las evaluacionesofrecen la ocasin de verificar la pertinencia de los objetivos definidos ycrean transparencia. Ofrecen a los/las colaboradores/as y responsables de

Introduccin

4

In t roducc in

los programas la posibilidad de detectar los ajustes necesarios, aprender delas experiencias y, si es necesario, reorientar el proyecto.

Pero aprender tambin significa transformar. Los resultados de una evalua-cin pueden tener graves consecuencias para los individuos, modificar demanera decisiva sus condiciones laborales e incluso poner en peligro puestosde trabajo. Por esa razn, la calidad y la aplicabilidad de una evaluacindependen no slo de las competencias profesionales del equipo de evalua-cin, sino tambin de su sensibilidad, su competencia social y su apertura aotras perspectivas. En el contexto de la cooperacin internacional, es desuma importancia la apertura a otras culturas y a otras tradiciones. Dehecho, existen evaluaciones en todo el mundo, pero la manera de concebir ode llevar a cabo dicho trabajo puede diferir de una cultura a otra. Toda per-sona que manda efectuar una evaluacin, la ejecuta o sigue su realizacindebera ser consciente de que nuestro tipo de evaluacin y nuestros mtodosson producto de la mentalidad suiza y centro-europea y que corresponden anuestro propio sistema de valores.

5

ismael

1. Qu s ign i f i ca eva luar?

6

1. Qu significa evaluar?

Hemos alcanzado nuestro objetivo?

El 14 de abril de 1912, poco antes de medianoche, el R.M.S. Titnic el trans-atlntico ms grande de todos los tiempos y Queen of the Seas, conside-rado insumergible por la prensa britnica choca contra un iceberg en suviaje inaugural de Southampton a Nueva York. La masa de hielo abre unabrecha de seis centmetros de ancho y de ms de treinta metros de largo enla parte delantera del buque. El agua salada penetra en el casco de 269metros de largo a razn de cinco toneladas por segundo. El buque, supues-tamente insumergible, se hunde en pocas horas llevndose a miles de perso-nas al abismo.

Cmo pudo ocurrir este accidente? Por qu la compaa naviera, elcapitn, los medios de comunicacin y gran parte del pblico estaban tanseguros de que esta maravilla de la tcnica jams podra hundirse? Porqu, a pesar de ello, se hundi el Titnic y miles de personas perecieron en el naufragio? Esta catstrofe ha planteado innumerables preguntas, algunasde las cuales an no han recibido respuesta hasta hoy.

Lo que es claro es que el Titnic no haba alcanzado el objetivo planeado(Nueva York) ni el resultado deseado (transportar un mayor nmero de pasa-jeros en condiciones lujosas para algunos y obtener, as, un beneficio).Los/Las expertos/as procedieron, entonces, a diferentes tipos de investiga-ciones, examinando estas preguntas desde todos los ngulos. El resultado desus investigaciones fue que, a partir de ese momento, ningn buque podaabandonar el puerto sin suficientes botes salvavidas a bordo. Adems, secre la International Ice Patrol, un servicio destinado a prevenir a los barcosy se introdujeron otras mejoras tcnicas para garantizar la seguridad mar-tima. Retrospectivamente, constatamos que el naufragio del Titnic y lasinvestigaciones sobre sus causas han contribuido enormemente al desarrollode la navegacin martima. Sin embargo, el precio pagado por este progresofue muy elevado.

Hacemos lo correcto? Lo hacemos correctamente? Qu lecciones podemossacar de las experiencias? Qu podemos deducir para proyectos anlogos?En los programas y proyectos de la cooperacin internacional, estas pregun-tas pertenecen a las labores de gestin y de pilotaje y se pueden plantear yresponder parcialmente en el marco de una evaluacin.

La historia del Titnic es un ejemplo extremo. Por supuesto que no necesita-mos esperar el naufragio para hacer una pausa y reflexionar, plantear pre-guntas, sacar lecciones de la experiencia y proceder, llegado el caso, aajustes. Este ejemplo revela que la estructura jerrquica no constituye elmejor mecanismo de pilotaje, ya que no admite la discusin crtica. La histo-ria muestra asimismo que el ciclo planificacin, evaluacin, monitoreo yaplicacin (PEMA) no funcion. La ruta elegida era arriesgada y el buque niredujo la velocidad ni cambi de rumbo, a pesar de las advertencias recibi-

ismael

ismael


das sobre la presencia de icebergs. Nuestro instrumento de trabajo Monito-reo, Mantener el Contacto con la Realidad vuelve a recurrir al ejemplo delTitnic para mostrar cmo el monitoreo nos permite seguir un proceso dedesarrollo de manera crtica y as pilotarlo mejor, a fin de mantener elrumbo.

Mientras que la planificacin y el monitoreo intentan aprehender las modali-dades de un programa o proyecto antes de su ejecucin y durante sta, laevaluacin interviene nicamente tras una etapa intermedia o una etapafinal de un proyecto dado. Una buena planificacin eleva la probabilidad dexito y un monitoreo sistemtico puede evitarnos experiencias dolorosas. Laevaluacin, como complemento del monitoreo intenta saber si se ha alcanza-do el objetivo y cul ha sido el efecto de nuestra accin. Mediante pregun-tas seleccionadas, la evaluacin analiza y compara lo planificado con lo ejecutado, es decir, con los resultados y los efectos producidos. En base aesta comparacin, sacamos conclusiones para la continuacin de laslabores, el pilotaje y la organizacin de un proyecto, conclusiones que ser-virn asimismo para nuevas actividades similares. Mientras que el monitoreoes por definicin una tarea que se repite a intervalos regulares, la evaluacinsiempre representa un acontecimiento especial.

Evaluar es apreciar, analizar, valorar y juzgar. Toda discusin, p.ej., sobreuna pelcula, es una evaluacin en el sentido ms amplio de la palabra. Sinembargo, en las evaluaciones de la cooperacin internacional, el principalobjetivo de las evaluaciones es observar los efectos obtenidos con el fin deasegurar y de mejorar la calidad del trabajo efectuado.

Intercalar una pausa de reflexin en el proyecto en curso y remontarse a laplanificacin original, representa una posibilidad de aprendizaje. Todo pro-ceso de evaluacin que, desde su inicio, integre a los/las principales partici-pantes del proyecto y a sus beneficiarios/as, aumentar las probabilidadesde xito de una tarea y de la aplicacin prctica de los resultados de la eva-luacin.

Se puede proceder a una evaluacin con el fin de:

Examinar el principio mismo de una cooperacin Verificar efectos, objetivos o la eficiencia y con ello dar cuenta sobre

los resultados de una accin Responder a cuestiones especficas relacionadas con el contexto Sacar lecciones para una fase ulterior del proyecto Preparar informaciones

Las evaluaciones se pueden realizar de distintas maneras y pueden ser sobreun proyecto concreto (evaluacin de proyecto), sobre una serie de proyectos

Evaluaciones en el marcode programas y proyectos

7

ismael

ismael

ismael

ismael

ismael

ismael

ismael

ismael

ismael


con un tema similar (anlisis transversal), sobre un programa general porpas (todos los programas y proyectos de un pas) o sobre una poltica (sectorial).

No existe una distincin fundamental entre la evaluacin de un programapor pas y la de un proyecto particular, excepto en lo que se refiere a losmtodos empleados y al alcance de las cuestiones abordadas. Una evalua-cin de programa considera la orientacin general, el grado de integracinde los diversos proyectos que lo componen y la manera de tratar los distintostemas transversales. Analiza, sobre todo, el impacto y la pertinencia necesa-rios para alcanzar la meta fijada, y se interroga sobre las sinergias y lascomplementariedades. Las evaluaciones de proyectos suministran al respectoconclusiones importantes, pero la suma de dichos resultados no permiteresponder a las preguntas que se plantean a nivel del programa. Mientrasque la evaluacin de un proyecto es ms bien responsabilidad de las contra-partes locales, en la evaluacin de programas (especialmente en los pro-gramas por pas) esta responsabilidad incumbe ms bien a las institucionesdonantes, ya que dichos programas emanan de sus decisiones estratgicasque deben estar acordes con el contexto del pas considerado.

Que se trate de evaluar proyectos o programas por pas, podemos, en prin-cipio, recurrir a la autoevaluacin o a la evaluacin externa. (Este instrumen-to de trabajo se ocupa esencialmente de la evaluacin externa. Para laautoevaluacin, consultar Manual de la Autoevaluacin y Espejito, espe-jito que mes ves..., 1995 y 1990).

8

Evaluacin

de programa

Evaluacin sectorial

Evaluacinde projecto


Los resultados de una evaluacin externa proporcionan informaciones ybases para:

La evaluacin externa es una mirada desde el exterior sobre una fase deprograma o proyecto en curso o final. Sirve de base para decisiones, valorae indica opciones para el futuro.

Cuando las opiniones divergen, se impone una clarificacin. La evaluacinexterna muestra los puntos fuertes y los puntos dbiles del programa oproyecto, hace propuestas con miras a un entendimiento mutuo y a la bs-queda de un consenso. La evaluacin prepara este dilogo.

La evaluacin externa puede servir para legitimar un programa o proyectoante rganos de decisin o ante una entidad gubernamental.

La evaluacin externa se concentra en el anlisis y valoracin de experien-cias hechas. Constituye, pues, un instrumento para la formacin continua y el anlisis de informaciones, y aprovecha las experiencias para la continua-cin del trabajo en el programa/proyecto evaluado o actividad similar.

La evaluacin externa examina si los instrumentos y mtodos utilizados se ajustan a la realidad del programa o proyecto y si son tiles. Adems,ofrece la ocasin para entablar o mejorar el dilogo entre las contrapartes ylos donantes.

En lo esencial, una evaluacin consiste en examinar muy de cerca los cincograndes criterios de un proyecto o programa, es decir, la sostenibilidad, lapertinencia, la eficiencia, la eficacia y el impacto.

Sentido y finalidad de las evaluaciones

Decisiones

Clarificacin

Explicacin/Legitimacin

Utilidad de las experiencias y aprendizaje

Desarrollo de la calidad

9

ismael

ismael

ismael

ismael

ismael

ismael


Una evaluacin ocasiona cambios que pueden repercutir de diversas mane-ras en todos/as los/las participantes colaboradores/as del programa o proyecto, organizaciones ejecutoras y donantes. Mientras que unos/asconsideran este examen como un enriquecimiento para su propio trabajo y para el proyecto, otros se sienten amenazados cuando expertos/as exter-nos/as analizan el trabajo realizado. Pese a que la mentalidad ha evolucio-nado, a menudo an se sigue asociando la nocin de evaluacin concontroles e intervenciones externos. Para abordar eficazmente lo que sucedeen su propio programa o proyecto se requiere de los/las participantes(auto)crtica y capacidad para manejar conflictos, apertura, transparencia y distancia frente a su propio trabajo (ver Instrumento de Trabajo PEMA Entrada en Materia, 1996).

En todo caso, una evaluacin implica cuestiones de poder. Ms all deconsideraciones puramente racionales, efectuar una evaluacin externaconstituye un proceso dinmico en el que los/las participantes asumen diver-

La evaluacin punto de encuentro entre control

externo y aprendizajecomn

10

Sostenibilidad

Impacto

Pertinencia

Eficacia

Eficiencia

Med

ios

Conte

xto

Contexto

Conte

xto

Obje

tivo

s

Met

a

Res

ultados

Act

ivid

ades

y pro

ceso

s


sos roles. En l se superponen tareas objetivas e intereses personales de losactores. Los intereses personales de los/las evaluadores/as pueden ser, p.e.,fortalecimiento de poder y de influencia, propio perfeccionamiento, interesescientficos, futuros mandatos o ventajas financieras. Ahora bien, la evalua-cin puede hacer vacilar esferas de poder y de influencia en el seno de unproyecto, y las personas afectadas debern, si las circunstancias lo requie-ren, cuestionar su propio sistema de valores.

Se ha de tomar en serio la inquietud que suscita el anuncio de una evalua-cin externa. En su trabajo, el equipo de evaluacin debe tener presente queuna accin o una situacin se puede juzgar desde distintas perspectivas.Adems, quien trabaje en proyectos y con gente de otras culturas deberaconocer su medio sociocultural. Se deben respetar costumbres, tradiciones,creencias y ritos. Ello presupone, no obstante, que el mandante y los/las eva-luadores/as deben ser conscientes de sus propios valores culturales.

Los/Las responsables de programa de la institucin mandante en la Central osu representante sobre el terreno, deciden, de comn acuerdo con las orga-nizaciones contrapartes del Sur o del Este, si una evaluacin es necesaria y la forma que sta debe adoptar. Juntos, preparan el proceso y lo acom-paan. En cambio, compete a expertos/as (equipo de evaluacin) realizar la evaluacin externa y elaborar un informe al respecto. En cuanto a laautoevaluacin, sta proviene, en el caso ideal, de la propia iniciativa de lasorganizaciones contrapartes.

Mientras que una autoevaluacin la efectan los/las colaboradores/as delprograma o del proyecto, en una evaluacin externa participan muchos ser-vicios y personas:

El grupo meta del programa o proyecto Las instituciones contrapartes del Sur o del Este El equipo de proyecto ONGs y otras instituciones participantes La institucin donante y su representante sobre el terreno El equipo de evaluacin

Quin participa en unaevaluacin? Quin asume

la responsabilidad?

11

ismael

ismael

ismael


Todos los actores de este proceso tienen su funcin y roles especficos, lo queimplica cierta heterogeneidad de requisitos, ideas e intereses. Los resultadosde una evaluacin tambin pueden repercutir de modo diferente en los dis-tintos actores. Por ejemplo, en el seno del grupo meta, las repercusiones pue-den ser en funcin del sexo, del status econmico y social o de la edad. As,pues, sera conveniente integrar, lo ms pronto posible, a los/las parti-cipantes en las reflexiones sobre la evaluacin y brindarles la ocasin departicipar en la concepcin de proceso.

Los trminos de referencia constituyen la base de toda evaluacin. Se trataaqu de un acuerdo marco que regula de manera clara tareas y responsabi-lidades, define las preguntas clave y corresponde al pliego de condiciones delos/las evaluadores/as. La clave de la calidad de una evaluacin externaest en:

Trminos de referencia claros, resultado de un proceso de negociacinque incluye a los/las principales participantes

La independencia del equipo de evaluacin La composicin adecuada del equipo de evaluacin La concentracin en las cuestiones esenciales Procedimientos realistas

12

ismael


Cuanto ms importantes sean los resultados de una evaluacin para el pro-grama o continuacin del proyecto y cuanto ms importantes sean los proce-sos de aprendizaje que de ella resulten, menos se debe entender y presentaruna evaluacin como si fuera la verdad absoluta o total. Una evaluacin nopuede ser ni la apreciacin neutra u objetiva de una instancia externa, yaque los diferentes actores influyen de distinto modo su curso y resultados. Laevaluacin depende tambin de los/las consultores/as externos/as que sehayan escogido.

Adems, una evaluacin externa no es ms ni menos que la mirada lanzada,desde el exterior y en un momento determinado, por un equipo de evalua-cin sobre una situacin o accin determinada. Las decisiones adoptadastras la evaluacin no tienen una vigencia eterna y pueden verse superadasrpidamente si la situacin o contexto cambia. Una evaluacin externa slorevela lo que se puede hacer visible. De ah, la importancia de asociar laevaluacin externa con otros instrumentos del ciclo PEMA y con la autoeva-luacin.

En el marco de la Organizacin de Cooperacin y Desarrollo Econmico(OCDE), particularmente en el seno del grupo de trabajo sobre la evaluacinde la ayuda del Comit de Ayuda al Desarrollo (CAD), las agencias dedesarrollo del Norte han elaborado directrices generales para las evalua-ciones y fijado los principios ms importantes: imparcialidad y coopera-cin. El objetivo de dichas directrices es mejorar la comunicacin y la coor-dinacin entre los actores (sobre todo entre donantes y gobiernoscontrapartes, as como entre los donantes mismos) y crear transparencia.As, por ejemplo se pueden consultar en Internet (DAC/CAD EvaluationInventory: http://minweb.idrc.ca/daclog.htm) los resmenes de las evalua-ciones externas (evaluation abstracts) que las agencias de desarrollo hanmandado realizar. La matriz para el sumario de evaluacin del CAD seencuentra en el anexo 4.3.

Lmites de la evaluacin

Las evaluaciones de la COSUDE en el

contexto internacional

13

2. Eva luar o no eva luar? Razones a favor o en contra de una eva luac in

Un representante de la organizacin contraparte se presenta ante la colabo-radora competente de la oficina de coordinacin para hablarle sobre unasunto delicado: ltimamente, han ocurrido cosas extraas en uno de susproyectos. Tres miembros de la direccin del proyecto en cuestin lo hanabandonado casi al mismo tiempo; de ah la prdida de know-how y decontinuidad. Como consecuencia, han surgido dificultades en los ltimosmeses, que ponen en peligro la existencia del proyecto y no se sabe a cien-cia cierta si ste sigue fiel a sus objetivos. La colaboradora de la oficina decoordinacin reflexiona si en esta situacin pudiera resultar til una evalua-cin. Conjuntamente con su jefe y la encargada de programa en la Central,ella sopesa los pro y los contra.

La mayor parte de los programas o proyectos ya prevn en la planificacinuna evaluacin que se fija en el acuerdo concluido con las contrapartes. Te-ricamente, a la colaboradora le bastara con echar una mirada a dichoacuerdo para poder responder a la pregunta, pero la realidad sobre el terreno es compleja. En vista de que una evaluacin siempre viene a alterarel desarrollo del trabajo cotidiano, que significa grandes esfuerzos paratodos/as los/las participantes y que adems de probabilidades tambincomporta riesgos, es conveniente examinar en cada caso su necesidad y pertinencia. Para decidir si hay que proceder o no a una evaluacin, secomienza por aclarar la situacin del momento (ver catlogo de preguntas,pgina 16), y sopesar los argumentos pro y contra. De hecho es una decisinnegociada, el resultado de un consenso entre los/las participantes.

Incluso si una evaluacin est prevista en el acuerdo entre la institucindonante y las contrapartes de un programa o proyecto, se podran tenerbuenas razones para renunciar a ella, p.ej., si la situacin del proyecto hacambiado mucho entretanto, si ya se han adoptado las decisiones relativasal futuro del proyecto y si el nico objetivo de la evaluacin deseada es justi-ficarlas (evaluacin alib). Se debe examinar, pues, la legitimidad de todadecisin si el futuro de la regin o del pas es demasiado incierto en elmomento en que se pretende realizar una evaluacin o si las circunstanciaspolticas la hacen imposible.

2. Evaluar o no evaluar? Razones a favoro en contra de una evaluacin

14


Ante la inminencia de cambios de orden poltico o institucional El programa o proyecto va a entrar en una nueva fase o debe ser in-

terrumpido Ha habido cambios en el contexto, en el personal o en las responsabili-

dades La fase de orientacin (primera fase) est concluida; se debe reexaminar

el concepto Se exige presentacin de informes operacionales y financieros Se debe presentar un caso tipo (good practice); dar forma y difundir la

experiencia y el conocimiento adquiridos en una accin determinada Existen graves conflictos entre las contrapartes Problemas dificultan o impiden la ejecucin; no se alcanzan resultados

intermedios importantes

Como en una evaluacin pueden estar en juego muchas cosas que afectan alos/las participantes y no se pueden prever los resultados y consecuencias,pero tambin porque toda evaluacin implica tensiones y relaciones depoder, siempre se debe echar una mirada entre bastidores, es decir ms allde las cuestiones tcnicas y racionales. Las respuestas a las siguientes pre-guntas completarn el cuadro, a partir del cual se decidir si se procede auna evaluacin o se renuncia a ella.

Posibles situaciones en las que se debe examinar

la necesidad de una evaluacin:

Bases para una decisin

15

Est prevista una evaluacin conforme al documento de proyecto

o a la planificacin del proyecto

Inicialmente, no est prevista ninguna evaluacin

EXAMINARNegociaciones entre las contrapartes

DECIDIR

S

Evaluar s o no?

No


Se dispone de las bases de decisin suficientes para continuar el pro-grama o proyecto?

Se deben analizar las experiencias realizadas?

Hay decisiones a adoptar que se puedan imponer o agilizar medianteuna evaluacin?

Qu se trata de descubrir? Qu preguntas y temas exigen respuestas?

En caso de programas o proyectos que ya hayan sido sometidos a unaevaluacin, sta ha planteado interrogantes que merezcan una nuevaevaluacin?

Quin pide la evaluacin y cules son los intereses o las expectativasde los actores?

Llegado el caso, quin ser integrado en el proceso de evaluacin?

Quin ser responsable de la aplicacin prctica de las conclusionesde una evaluacin efectuada?

Cmo est integrada la evaluacin en el ciclo PEMA?

Cul debe ser el alcance y la profundidad de una evaluacin? Se dispone de los recursos financieros suficientes? Han sido previstos?

Qu forma de evaluacin sera la ms adecuada?

Cmo integrar la evaluacin en el calendario existente?

Cul es el momento apropiado para las contrapartes? Los/Las par-ticipantes estn disponibles para la fecha prevista?

Se podr consagrar suficiente tiempo a la preparacin y a la aplica-cin?

Por qu y para qu?

Qu?

Quin?

Cmo?

Cundo?

16

3. Las Formas de eva luac in

Tipo de evaluacin

Evaluacin externa

Autoevaluacin

3. Las Formas de evaluacin

17

I II III

Ciclo del proyecto/programa

ex ante final ex post

Para evaluaciones disponemos sobre todo de dos posibilidades: La autoeva-luacin y la evaluacin externa. Otros criterios para distinguir ambas evaluaciones son el momento en el que se efecta la evaluacin en el ciclo deun proyecto y la distribucin de responsabilidades.

Responsable

Experto/a independiente

Equipo de evaluacin compuesto de representantes del mandante y de las contrapartes

Los mismos responsables del proyecto

Responsables del proyecto con el apoyo de una persona externa

MomentoAntes del inicio del programa/proyectoDurante la ejecucinAl final del programa/proyectoTras el final del programa/proyecto

Tipo de evaluacinIdentificacin (evaluacin ex anteEvaluacin interim (intermedia)Evaluacin finalEvaluacin ex post

interimincorporada

ismael

ismael


3.1 La evaluacin externa

La forma clsica de evaluacin es la evaluacin externa de proyectos. En estecontexto, externa significa que los/las evaluadores/as no colaboran en elproyecto. Se trata de expertos/as del Norte, del Sur o del Este que, en basea su perfil de competencias especficas y a su pliego de condiciones, ahon-dan durante una a tres semanas en las preguntas que les son planteadas. Laevaluacin externa se presta ms bien para examinar aspectos concretos,hechos ms complejos y para emitir juicios globales. Los/Las evaluado-res/as externos/as emplean mtodos adecuados para reunir informacinsobre el proyecto y su contexto, a fin de estar en condiciones de juzgar yresponder a las preguntas planteadas. El resultado de su trabajo se consignapor escrito en un informe que se enva al mandante.

La definicin de evaluaciones externas conjuntas (joint evaluations) difierede una institucin a otra. Para el Comit de Ayuda al Desarrollo (CAD) de laOCDE, se trata de una evaluacin efectuada conjuntamente por dos o msinstancias donantes. Para la COSUDE, en cambio, las evaluaciones conjun-tas se llevan a cabo con representantes de las instituciones contrapartes delSur o del Este. Estas evaluaciones resultan muy eficaces especialmente cuan-do se trata de proyectos en los que existe una autntica cooperacin entre lascontrapartes. Esta manera de proceder ofrece, adems, una buena ocasinpara fortalecer la cooperacin y la confianza recproca de las contrapartes.

Las ventajas de la evaluacin externa residen en la distancia de los/las eva-luadores/as con respecto a lo evaluado y su independencia. La experienciaque poseen los/las evaluadores/as les permite trazar comparaciones y vercosas que las personas directamente implicadas en el proyecto/programa(ya) no ven. Con una evaluacin externa se puede abordar la sostenibilidad,el impacto y la eficacia de una accin.

La evaluacin externa es el nico medio para realizar un anlisis transversal.

Los puntos flacos de la evaluacin externa son los enormes esfuerzos quehay que invertir en su preparacin y ejecucin, as como su limitacin tem-poral. El poco tiempo del que se dispone slo nos permite obtener un seg-mento de las distintas realidades, lo que excluye todo anlisis profundo.Adems, la evaluacin externa siempre representa una instantnea en la quelos acontecimientos actuales pueden ocultar completamente la apreciacinde un espacio de tiempo ms largo. Pero como esta evaluacin se basa enlos resultados del monitoreo, puede, de todos modos, percibir parcialmentela dinmica de una accin determinada.

Coste de una evaluacin externa: El coste de una evaluacin externa depen-der de las tareas y del objetivo de la evaluacin. Una autoevaluacin pre-

18

ismael

ismael

ismael


via permite quizs prever un mandato de evaluacin externa ms breve,reducindose, as, los costes externos. Una evaluacin con expertos/aslocales que se limiten a temas precisos o a un estudio especfico podr costarunos miles de francos. Segn las tarifas europeas, para cubrir los honorariosde un/a evaluador/a que efecte trabajos de evaluacin sobre el terrenodurante dos a tres semanas, hay que contar entre 15 000 y 30 000 francos.

3.2 La autoevaluacin

En la autoevaluacin, los actores de un programa o proyecto analizan supropio trabajo desde el interior. Se pueden plantear las siguientes pregun-tas: Los resultados corresponden a las expectativas o a la planificacin?Cmo se pueden explotar mejor los aspectos ambientales o mejorar sus pro-pias prestaciones? Cmo funciona la colaboracin a nivel interno y con lasotras contrapartes? Est clara la reparticin de las tareas y el papel de cadauno/a? Qu se puede mejorar? En caso de necesidad, se puede recurrir auna persona externa para coordinar el proceso.

Los puntos fuertes de la autoevaluacin son, por una parte, el conocimientoprofundo y especfico que poseen los/las evaluadores/as sobre el proyecto y sobre las instituciones participantes del pas contraparte y, por otra parte,la flexibilidad del proceso, el cual se puede repetir peridicamente conmenos gastos y permite corregir rpidamente el rumbo. Es eficaz si los/lasparticipantes son suficientemente autocrticos/as y por lo general contribuyea fortalecer el espritu de equipo y la cooperacin.

Los puntos flacos aparecen cuando de tantos rboles ya no se ve el bos-que y no se mantiene la debida distancia frente a las actividades cotidia-nas. Adems, la autoevaluacin no permite analizar cuestiones de pertinen-cia en un contexto global.

19

ismael

ismael

ismael


3.3 La autoevaluacin y la evaluacin externa combinadas

La autoevaluacin se puede combinar con la evaluacin externa, ya queambas formas de evaluacin se complementan. Efectuar una autoevaluacinpara preparar una evaluacin externa puede contribuir a disminuir las resis-tencias y temores, as como conferir mayor seguridad a las personas quehayan participado en este primer proceso. Adems, este trabajo prepara-torio simplificar la evaluacin externa. Asimismo, se puede llevar a cabouna autoevaluacin durante una evaluacin externa (por ejemplo en formade un retiro en caso de dificultades durante el proceso), o despus de ella.

Ambas evaluaciones contribuyen al proceso de aprendizaje y a la compren-sin de la realidad del proyecto. Los resultados de una autoevaluacin pue-den impulsar una evaluacin externa o viceversa. Las preguntas clave, losmtodos y procesos de aprendizaje son los mismos; lo que difieren son losroles y las responsabilidades de los actores.

Las autoevaluaciones pueden, asimismo, desempear un papel importantecuando se trata de examinar (review) un programa por pas. En ellas seplantean preguntas sobre la orientacin estratgica y el impacto del pro-grama y las reflexiones adquieren, en la mayora de los casos, una dimen-sin poltica. Para abordar el examen del programa por pas, se analizancuestiones concretas y se aprovechan, si existen, los resultados de la auto-evaluacin. Este proceso puede abarcar varias etapas y durar algunos mesesy se recurre a personas-recurso externas.

Caractersticas de la autoevaluacin y de la evaluacin externa

(desde el ngulo del pro-grama/proyecto)

20

AutoevaluacinMirada desde el interior

El objeto evaluado se sita en lapropia esfera de responsabilidad

Mirada ms profunda desde el interior del programa o proyecto

Proceso peridico que se puederepetir a intervalos regulares mscortos

Proximidad de las personas concernidas y del propio proyecto

Menos costosa

Evaluacin externaMirada desde el exterior

El objeto evaluado se sitaen la esfera de responsabili-dad de otras personas

Aporte de conocimientosprovenientes de proyectos o de temas similares

Proceso limitado en el tiempo; instantneo, a menudo nico

Distancia frente al tema/proyecto

Ms costosa

ismael

ismael

ismael

4. Anexos

Se analizan proyectos/programas de diferentes sectores/pases desde laperspectiva de un tema transversal (medio ambiente, gnero, pobreza...).

La auditoria es una actividad de supervisin que tiene lugar tras la ejecucinde proyectos y controles. Es ms que una simple revisin contable, ya queverifica si las polticas e instrumentos existentes se aplican y utilizan correcta-mente.

La auditora externa es efectuada por el Control Federal de Finanzas quedepende en primer lugar del Parlamento.

La auditora interna es efectuada por un rgano independiente que se llamaInspectorado. Sin embargo, depende directamente del Director a quien lesirve de instrumento de gestin.

En una autoevaluacin, las personas sometidas a la evaluacin y las queevalan son las mismas. Pueden ser personas individuales, grupos o institu-ciones. Una autoevaluacin lanza una mirada al propio campo de responsa-bilidad. Una persona externa puede acompaarla pero nicamente en cali-dad de moderadora.

Es un sistema que abarca los diversos elementos de un desarrollo de progra-ma/proyecto (identificacin, planificacin, monitoreo, evaluacin, aplica-cin prctica). stos forman un todo, son interdependientes en cuanto a sucontenido y siguen un orden cronolgico.

La eficacia se pregunta en qu medida un programa o proyecto ha alcanza-do los objetivos que se ha fijado.

La eficiencia compara la utilizacin de los medios (personal, finanzas y tiempo) con los resultados obtenidos (Input-Output).

Grupo de personas responsables de la realizacin de una evaluacin. Lacomposicin del equipo debe ser equilibrada. Debe estar formado porexpertos/as independientes y representantes de las contrapartes y/o de lapoblacin beneficiaria, expertos/as locales y expertos/as externos/as. Elequipo debera poseer tanto competencias sociales como tcnicas. Se conce-der importancia a la capacidad de tratar igualmente los temas transversalesprioritarios (p.ej., pobreza, gnero, medio ambiente...).

La evaluacin plantea las preguntas: Hacemos lo correcto? Lo hacemoscorrectamente?

Anlisis transversal

Auditora

Auditora externa

Auditora interna

Autoevaluacin

Ciclo del proyecto

Eficacia

Eficiencia

Equipo de evaluacin

Evaluacin

4. Anexos

21

4.1 Glosario

ismael

4. Anexos

Evaluacin llevada a cabo por uno/a o varias personas externas al proyectoo a la estructura del programa.

El equipo de evaluacin est compuesto de expertos/as independientes, decontrapartes locales y/o representantes de la poblacin que participa en larealizacin del proyecto. Aqu, revisten suma importancia la presentacin delos resultados de la evaluacin y su discusin con las personas concernidaspor el proyecto.

Evaluacin de diferentes proyectos/programas que pertenecen al mismo sec-tor y que se ejecutan en uno o diferentes pases. Se plantean siempre las mis-mas preguntas clave.

El impacto comprende el conjunto de efectos a largo plazo deseados o no de un proyecto o programa (socioeconmicos, ecolgicos, etc.) que tras-cienden su campo de responsabilidad.

El indicador es una variable que ayuda a determinar indirectamente diferen-cias en cuanto a la calidad y cantidad en un perodo de tiempo determinado.Con este fin, se simplifican adecuadamente realidades complejas y se redu-cen a dimensiones observables.

Los recursos (know-how, medios financieros, personal, etc.) que son necesa-rios para los resultados output del proyecto.

Es el proceso que conduce a una plataforma de planificacin. Los diferentesprotagonistas de un programa definen sus visiones, analizan juntos qu problemas hay que resolver y cules son las fuerzas y los potenciales exis-tentes. Sobre esta base, determinan la meta de un programa/proyecto, fijanlos objetivos especficos y convienen en las actividades a llevar acabo y enlos resultados a alcanzar (output y outcomes).

Objetivo de desarrollo a largo plazo al que contribuye un proyecto/progra-ma con sus resultados (outcomes). El logro de esta meta se halla fuera delcampo de responsabilidad del proyecto/programa y depende siempre deotros factores.

Un anlisis transversal analiza evaluaciones existentes sobre un tema o sec-tor determinado para rendir cuentas a un nivel superior y sacar lecciones de las experiencias adquiridas, que luego alimentarn nuevas polticas oinfluirn en las estrategias de aplicacin prctica.

Eleccin consciente de campos de observacin, as como recopilacin y pro-duccin consciente y selectiva de informacin durante la ejecucin de unproyecto/programa. El monitoreo se define en la planificacin y constituye

Evaluacin externa

Evaluacin participativa

Evaluacin sectorial

Impacto

Indicador

Input

Marco lgico(Logical framework)

Meta

Meta evaluacin

Monitoreo

22

4. Anexos

un elemento esencial para el pilotaje. Distinguimos entre monitoreo a nivel de losoutputs, outcomes, procesos, impacto y del contexto.

Los resultados que se desprenden directamente de las actividades del proyecto.

La pertinencia se refiere a la relacin entre los objetivos de desarrollo de unproyecto o programa y las condiciones, posibilidades y riesgos existentes enla zona o en el pas afectado. Se plantea la pregunta de cul es la contribu-cin del proyecto ante las necesidades y prioridades del grupo meta/bene-ficiarios/as (hacemos lo correcto?)

Un programa abarca varios proyectos que, en principio, persiguen una metacomn o similar. Pero un programa es ms que la suma de sus partes.

El programa por pas constituye el marco obligatorio para la planificacin yla aplicacin a medio plazo (57 aos) de la contribucin de la COSUDEdestinada al desarrollo de un pas contraparte. Contiene los puntos temticosesenciales, la asignacin prevista de los recursos y establece los principiospara la ejecucin operacional.

Es un conjunto de actividades planificadas con miras al logro de un objetivodeterminado en un tiempo y un lugar delimitados y con un marco financieropreciso. En l, se definen la organizacin del trabajo, el mandato y quin esresponsable de la ejecucin. Un proyecto requiere una colaboracin interdis-ciplinar entre personas e instituciones.

Los resultados abarcan no slo los productos (productos directos y presta-ciones de un proyecto/programa), sino tambin los efectos directos e indi-rectos.

Es un objetivo prioritario del desarrollo con una proyeccin que transciendea la duracin de la accin. sta es sostenible si los cambios puestos en mar-cha (efectos, procesos, etc.) continan de manera duradera y se siguendesarrollando.

Personas, grupos o instituciones que participan activamente en un proyec-to/programa o estn afectados por ste.

Descripcin de los objetivos, preguntas clave, plan de accin, resultadosesperados y procedimientos metodolgicos para tareas especficas a cortoplazo. Normalmente, utilizados para definir el mandato de un/a consultor/a,p.ej., para la ejecucin de una evaluacin externa de un proyecto o programa.

Output

Pertinencia

Programa

Programa por pas

Proyecto

Resultado

Sostenibilidad

Stakeholders

Trminos de referencia

23

4. Anexos

4.2. Principios para la evaluacin de la ayuda al desarrollo en la cooperacin internacional CAD/OCDE

Extracto del informe Principios para la Evaluacin de la Ayuda al Desarro-llo del Comit de Ayuda al Desarrollo (CAD) de la OCDE, Prais 1991

(...)La ayuda al desarrollo es una empresa de participacin dirigida por losdonantes y los pases receptores. Los pases del tercer mundo son respon-sables de su propio desarrollo y, por lo tanto, la ayuda no puede ser ms queun elemento subsidiario y complementario de sus propios esfuerzos. Con laayuda se apoyan actividades cuya responsabilidad principal y ownershipasumen los pases en desarrollo. Tanto los donantes como los pases recep-tores tienen inters en que los escasos fondos pblicos disponibles se utilicenlo mejor posible y es su responsabilidad velar a que ello se cumpla. Es poresa razn que ambos deben interesarse por una evaluacin no slo pararacionalizar el empleo de los recursos existentes consagrados al desarrollo ysacar lecciones de la experiencia, sino tambin para justificar las actividadesante las autoridades polticas y ante el pblico en general.(...)

Los principios enunciados a continuacin dan indicaciones generales sobreel papel de la evaluacin en la cooperacin internacional, haciendo resaltarlos siguientes puntos esenciales:

Las organizaciones de ayuda deberan poseer una poltica de evaluacincon lneas y mtodos claramente enunciados. Deberan, tambin, precisarel papel y las labores de la evaluacin, as como el lugar que sta ocupaen las estructuras institucionales.

El proceso de la evaluacin debera ser imparcial e independiente delproceso de elaboracin de polticas de desarrollo y de la realizacin de laayuda al desarrollo.

El proceso de evaluacin debe ser lo ms abierto posible y sus resultadosse deben difundir lo ms ampliamente posible.

La utilidad de las evaluaciones depende de si son explotadas o no. Por lotanto, son imprescindibles los feedbacks a los responsables de la tomade decisin y a los agentes operacionales.

La integracin de los pases receptores y la cooperacin entre losdonantes revisten gran importancia para la evaluacin: Son aspectosimportantes de la creacin de estructuras institucionales de los pasesreceptores (institution building) y de la coordinacin de la ayuda al de-sarrollo, que pueden reducir las tareas administrativas de los pases recep-tores.

La evaluacin de la ayuda al desarrollo y sus requerimientos ya se tienenque incluir en la fase de planificacin. Un requisito indispensable para

1. IntroduccinColaboracin entre los donantes

y los pases receptores

24

4. Anexos

una evaluacin objetiva es la definicin clara de los objetivos que sedeben alcanzar mediante las actividades de ayuda.

Una evaluacin es un juicio que se emite lo ms sistemtica y objetivamenteposible sobre un proyecto en curso o acabado, un programa o poltica, suconcepcin, su realizacin y sus resultados. Se trata de determinar el alcancede los objetivos y su grado de realizacin, la eficiencia respecto al desarrollo,la eficacia, el impacto y la sostenibilidad.

Los principales objetivos de una evaluacin son:

Mejorar las polticas, programas y proyectos futuros mediante la conside-racin de las experiencias adquiridas y las lecciones del pasado.

Crear una base para la justificacin de las actividades ejecutadas y parala preparacin de informaciones destinadas al pblico.(...)

En el marco de la evaluacin, la justificacin de las acciones ejecutadas seconsidera con respecto a los resultados del desarrollo y a las repercusionesde la ayuda al desarrollo. La justificacin de la utilizacin de los recursospblicos no se emplea aqu en sentido contable o jurdico. En general, estatarea es competencia de un servicio de revisin.

La imparcialidad contribuye a la credibilidad de una evaluacin ya quegarantiza la objetividad de los resultados, de los anlisis y de las conclu-siones. La independencia confiere su legitimidad a la evaluacin y reduce losriesgos de conflictos de intereses que pudieran surgir si los responsables dela toma de decisiones y los agentes ejecutores fueran los nicos competentespara evaluar sus propias actividades.

La eficacia de la evaluacin depende en gran medida del marco institucionalen el que se efecta la evaluacin. sta debe permitir responder a las tresexigencias siguientes: Elaborar una poltica y una serie de lneas directricesen materia de evaluacin, garantizar la imparcialidad e integrar los resulta-dos de la evaluacin en las futuras actividades. (...)

La mejor manera de lograr la imparcialidad e independencia del proceso deevaluacin es separar la funcin de evaluacin de los servicios responsablesde planificar y de llevar a cabo la ayuda al desarrollo. (...) Las estructuras y procedimientos organizacionales deberan facilitar un lazo entre los resul-tados de la evaluacin y la programacin y orientacin de las polticas dedesarrollo. (...)

La credibilidad de la evaluacin depende de las competencias profesionalesy de la independencia de los/las evaluadores/as, as como de la transpa-

Definicin

II. Finalidad de una evaluacin

III. Imparcialidad e independencia

Estructura institucional para larealizacin de la evaluacin

Credibilidad

25

4. Anexos

rencia del proceso de evaluacin. Para ser creble, la evaluacin debe mos-trar tanto los xitos como los fracasos. Por regla general, los pases recep-tores deberan participar plenamente en la evaluacin; as aumenta la credi-bilidad y se suscita un mayor compromiso.(...)

La transparencia del proceso de evaluacin es determinante para su credibi-lidad y legitimidad. Para que exista transparencia, se requiere:

Que el proceso de evaluacin en su conjunto sea lo ms abierto posible yque sus resultados se comuniquen lo ms ampliamente posible;

Que los informes de evaluacin distingan entre los resultados y las reco-mendaciones. Los elementos de informacin importantes que respaldan losresultados se deberan citar de manera que no comprometieran las fuentesde dicha informacin.

Para que los resultados de la evaluacin influyan realmente en la toma dedecisiones, deben ser percibidos como pertinentes y tiles y ser presentadosde manera clara y concisa. Deberan reflejar los diferentes intereses y nece-sidades de los numerosos actores que participan en la cooperacin al de-sarrollo. El acceso fcil es, asimismo, decisivo para la utilidad. El proceso deevaluacin en s contribuye a aclarar los objetivos, mejora la comunicacin,enriquece el proceso de aprendizaje y prepara el terreno para acciones futu-ras.

Los estudios de evaluacin se deben efectuar a tiempo, es decir, que debenestar disponibles en el momento de adoptar las decisiones. Esto indica que laevaluacin desempea un papel importante durante las distintas etapas de laejecucin de un programa/proyecto y que no se debe efectuar nicamentecomo un ejercicio retrospectivo. Para el monitoreo de las actividades encurso son competentes las unidades operacionales. Las disposiciones adopta-das para incorporar a evaluadores/as independientes permite completarprovechosamente el monitoreo regular a nivel operacional.

Conforme al principio de cooperacin ya mencionado, se deberan integraren el proceso de evaluacin a los donantes y a los/las receptores/as siempreque fuera posible. (...)

La integracin de todos/as los/las participantes ofrece la posibilidad deaprender haciendo y fortalece, as, las capacidades en los pases receptores,objetivo importante que se debe perseguir tambin mediante medidas en elcampo de la formacin y otras formas de apoyo en el marco del desarrolloinstitucional (institution building) y de la gestin.

V. Utilidad

VI. Participacin de losdonantes y de los pases

receptores

26

4. Anexos

Es importante la colaboracin entre los pases donantes para poder inter-cambiar conocimientos y evitar duplicacin de esfuerzos. Es conveniente,animar, pues, a los pases donantes para que colaboren juntos y elaboren encomn mtodos de evaluacin, intercambien informes e informacin sobreevaluaciones y mejoren el acceso a los resultados de la evaluacin. (...)

Las organizaciones de ayuda al desarrollo deben elaborar un plan generalpara la evaluacin de sus actividades de ayuda al desarrollo. Con este fin,deberan agrupar las distintas actividades a evaluar en las respectivas cate-goras. Luego, se debera establecer un orden de prioridad para la evalua-cin de las diferentes categoras y el correspondiente calendario. (...)

Los mtodos de evaluacin empleados deben permitir la realizacin de unaamplia gama de evaluaciones, p.ej., de polticas, actividades de progra-mas/proyectos, sectores, temas y cuestiones transversales. Adems, se de-beran someter tambin a evaluaciones los procedimientos y aspectos depilotaje del organismo de ayuda. (...)

Se debe planificar cada evaluacin y elaborar los respectivos trminos dereferencia con el fin de:

Definir el objetivo y el alcance de la evaluacin y mencionar sobre todo a las personas a quienes estn destinados los resultados;

Describir los mtodos que se emplearn durante la evaluacin; Registrar las normas respecto a las cuales se evaluarn las prestaciones

del proyecto/programa; Determinar los medios y el tiempo requeridos para efectuar la evaluacin.

Se debe aclarar el objetivo de la evaluacin, es decir, se debe precisar si setrata de mejorar las polticas, procedimientos y tcnicas o de decidir sobre lacontinuacin o interrupcin de las actividades en curso.

Una evaluacin debe definir el objeto a evaluar, p.ej., proyectos, institu-ciones, sectores o programas y contener informacin sobre los objetivos, lasactividades, las labores y el impacto esperado.Es muy importante fijar exactamente las preguntas que se tratarn en la eva-luacin a menudo designadas temas de evaluacin. Estos temas propo-nen un marco prctico para la realizacin de la evaluacin y constituyen labase para un enunciado claro de las conclusiones y recomendaciones.Dichos temas se pueden agrupar bajo las siguientes rbricas:

Finalidad/Motivacin (...) Logro de objetivos (...) Efectos (...)

VII. Coordinacin entre losdonantes

VIII. Programacin de lasevaluaciones

IX. Concepcin y aplicacinde las evaluaciones

27

4. Anexos

El hecho de plantear estas preguntas es asegurar que el/la evaluador/apueda emitir un juicio sobre la informacin y formular conclusiones y reco-mendaciones sobre los siguientes puntos:

Resultados globales (...) Sostenibilidad (...) Soluciones alternativas (...) Lecciones sacadas (...)

Durante esta fase, hay que definir los mtodos y tcnicas que se aplicarnpara tratar los temas retenidos. Dada la naturaleza de la ayuda al desarro-llo, se puede pensar que, en la mayora de los casos, ser necesario combi-nar tcnicas cuantitativas y cualitativas. Por regla general, los mtodosempleados para el examen previo de una actividad, se deberan aplicar tam-bin para la evaluacin ex post.

Los informes de evaluacin se deben redactar en un estilo claro. Se debenevitar, en lo posible, palabras muy tcnicas. Los informes deben contener lossiguientes elementos: Un resumen analtico, un perfil de la actividad evalua-da, una descripcin de los mtodos de evaluacin utilizados, las principalesconstataciones, las lecciones sacadas, las conclusiones y recomendaciones(...)

Los resultados se deben comunicar de forma sistemtica, requisito indispen-sable para mejorar la planificacin y la realizacin de las actividades deayuda al desarrollo. Se pueden presentar no slo en el informe de evalua-cin propiamente dicho, sino tambin en otros: Informes anuales con una sn-tesis de las constataciones o sumarios con una sinopsis de los resultados msimportantes.

El feedback es un elemento esencial del proceso de evaluacin, ya quecrea un lazo entre las actividades pasadas y las futuras. Para procurar explo-tar los resultados de la evaluacin a los fines de la elaboracin de polticas y de programas futuros, se deben poner en marcha mecanismos de feed-back que hagan intervenir a todas las partes concernidas.

X. Elaboracin de informes,comunicacin de los resul-

tados y feedback

28

4. Anexos

29

4.3. Matriz para el sumario de evaluacin del CAD/OCDE

Donante en forma abreviada; en el caso de COSUDE siempre utilizar el trmino ingls: SDC

Titulo del informe en el idioma original, evitar abreviaciones

Numero de referencia Dejar vaco, nmero interno de Cosude

Regin geogrfica pas, regin (si se trata de diferentes pases) o continente

Sector Es posible mencionar varios.

Lengua Indicar el idioma en el cual fue escrito el informe p. ej., ES (Espaol); EN(Ingls); FR (Francs)

Fecha Indicar la fecha de la evaluacin de las siguientes maneras: AAAA-MM-DD (p. ej., 19980201) o simplemente el ao y el mes (p. ej., 198811) o solamente el ao (p. ej., 1998)

Colacin Ejemplo: 20 p. (nmero de pginas); 4 anexos (nmero de anexos)

Tipo de evaluacin Fecha (mid-term, terminado, ex-post)Objeto de la evaluacin (proyecto, programa, sector, pas/regin, sntesis, tema, multilateral, ONG)

Estatus P para planificado, C para terminado

Autores/as indicar todos/as los/as autores/as o instituciones (no usar abreviaciones)

Temas transversales solamente mencionarlos si realmente son importantes para el proyecto, p. ej. pobreza, gnero, medio ambiente, empowerment, autonoma, goodgovernance

Tipo de proyecto bilateral, multilateral o mixto

Agencia ejecutora Estado/ONG/otros:del proyecto

Tipo de cooperacon cooperacin tcnica, cooperacin financiera, ayuda humanitaria

L

Descripcin de la temtica

Metodologa de la evaluacn

Hallazgos principales

Lecciones aprendidas

4. Anexos

30

La descripcin de la temtica debera tratar de cernir la razn de la inter-vencin (p. ej. Qu restriccin de desarrollo se toma en cuenta?) y mostrarcual es el resultado esperado de estas actividades.Separar los prrafos por una lnea si hay ms de un prrafo.

Describir la metodologa o el enfoque metodolgico aplicado para ejecutarla evaluacin y las consideraciones metodolgicas que fueron tomadas encuenta. Puede incluir los objetivos, la dimensin y el enfoque respecto a lascuestiones de la evaluacin, as como la metodologa y las fuentes de infor-macin consultadas.Separar los prrafos por una lnea si hay ms de un prrafo.

Indicar los principales hallazgos de la evaluacin. Estos deberan mostrar elxito respecto a la accin de ayuda en la realizacin de los objetivos fijadoso de los resultados esperados.Separar los prrafos por una lnea si hay ms de un prrafo.

Mencionar todas las lecciones aprendidas en el marco de esta evaluacin. Separar los prrafos por una lnea si hay ms de un prrafo.

Formato del sumario de evaluacin

Los resmenes deben ser redactados en espaol, ingls o francs de acuer-do a las siguientes reglas:Volumen: Los resmenes no deben contener ms de dos pginas (pginanormativa A4: con letra Arial 12, 30 lneas a 60 caracteres).Estructura: Contiene dos partes. La primera parte contiene las informacionesbibliogrficas, la segunda contiene cuatro subcaptulos en forma de texto.Evitar, si posible, abreviaciones.

Inventario de los sumarios de evaluacin

Los/Las evaluadores/as han de escribir un sumario de evaluacin para elInventario de los sumarios de evaluacin del Comit de ayuda al desarro-llo/CAD de la OCDE como parte integrante del informe de evaluacin queredactan (figura en los TdR del mandato). Ellos/as adjuntan el sumario alinforme y lo envan por disquete o por correo electrnico a la persona res-ponsable de la Central.

Los sumarios de evaluacin son accesibles a travs del Internet: http://minweb.idrc.ca/daclog.htm.

Evaluacion Externa

Documents

Transcript of Evaluacion Externa