La evaluación de los Fondos Estructurales de la …la práctica y en la cultura de la evalua-ción...

La evaluación de los Fondos Estructuralesde la Unión Europea: revisión y balance

El artículo examina el avance de la evaluación en las políticas estructurales desde su incorporaciónen 1988. El interés de la Comisión Europea por institucionalizar la evaluación en el contexto euro-peo y establecer prácticas evaluadoras homogéneas, establece el punto de partida de este análi-sis, canalizado mediante dos direcciones complementarias. En primer lugar, se observa la crecien-te presencia de la evaluación en las sucesivas programaciones de los Fondos Estructurales, y ensegundo lugar, se analiza el trabajo que se viene realizando dirigido hacia la elaboración de un ex-tenso marco metodológico evaluativo. Tras valorar los resultados y avances obtenidos, la últimaparte del artículo se centra en los retos futuros de la práctica evaluadora, tomando como referenciael próximo periodo de programación 2007-2013.

Artikulu honetan aztertzen da egiturazko politiken ebaluazioan izan den aurrerapena 1988. urteansartu zirenetik. Europako Batzordeak interesa izan du ebaluazioa Europako testuinguruan kokatze-ko eta ebaluazioko praktika homogeneoak ezartzeko; eta, era berean, analisiaren abiaburua finkatudu, bi norabide osagarrietatik bideratuta. Lehenik eta behin, gero eta gehiago ugaldu da ebaluazioaEgiturazko Funtsen ondoz ondoko programazioetan, eta, bigarrenik, ebaluazioko esparru metodo-logiko zabala prestatzeko egiten ari den lana aztertu da. Lortutako aurrerapenak eta emaitzak ba-lioetsi ondoren, artikuluaren azken zatian, ebaluatzeko praktikaren etorkizuneko erronkak aztertudira, hurrengo 2007-2013 programazio-aldia aintzat hartuta.

The article examines the development of evaluation through the Structural Fund policies since itsintroduction in 1988. The interest of the European Commission in the institutionalisation ofevaluation in the European context and the establishment of homogenous evaluation practices inthe starting point of the analysis, canalised through two complementary directions. Firstly, it isobserved and increased relevance of evaluation in the Structural Funds programming while, insecond place, it is analysed the intense job made towards the elaboration of a commonmethodological framework for the evaluation practice. After assessing the results and advancesobtained, the paper ends up focusing on the future challenges of the evaluation practice, takingthe next programming period 2007-2013 as the main reference.

178

Ekonomiaz N.o 60, Vol. II 3er Cuatrimestre, 2005.

Maria Ángeles Díez LópezUniversidad del País Vasco

Beatriz Izquierdo RamírezUniversidad de Burgos

ÍNDICE

1. Introducción2. La evaluación en los Reglamentos de los Fondos Estructurales3. Un marco metodológico para la evaluación de las políticas estructurales4. Los avances realizados: un balance5. Retos y tensiones a resolver en el futuroReferencias bibliográficas

Palabras clave: evaluación, Fondos Estructurales, programa operativo, eficacia, indicadores de impacto

N.º de clasificación JEL: H22, H43

179

Ekonomiaz N.o 60, Vol. II 3er Cuatrimestre, 2005.

1. INTRODUCCIÓN

El nivel de desarrollo alcanzado por laevaluación de las políticas estructuralesen Europa se debe al interés mostradopor la Comisión Europea y a la presiónejercida sobre los Estados miembrospara introducir la evaluación en sus políti-cas y programas de desarrollo regional fi-nanciadas por los Fondos Estructurales.La creciente importancia de la política decohesión dentro de las prioridades estra-tégicas de la Unión Europea y el incre-mento del presupuesto dedicado a cofi-nanciar acciones estructurales en lasregiones con problemas de desarrolloeconómico han impulsado la necesidadde conseguir una mayor transparencia enel uso de los recursos públicos comunita-rios y de garantizar la eficiencia y la efica-cia del gasto público asignado a través

de los Fondos Estructurales. La formamás adecuada de conseguir estos objeti-vos ha sido la incorporación de la evalua-ción como un requisito a la hora de acce-der y gestionar estos Fondos.

Este interés de la Comisión Europeapor institucionalizar la evaluación en lasadministraciones responsables de losFondos Estructurales e implantar prácti-cas evaluadoras sistemáticas se ha ca-nalizado a través del esfuerzo y el traba-jo simultáneo en dos direccionescomplementarias, tal y como se va apresentar en las primeras secciones deeste artículo. En primer lugar, una cre-ciente presencia de la evaluación en losReglamentos de los Fondos Estructura-les, hasta conseguir incorporar, de ma-nera sistemática, la evaluación dentro desus mecanismos reguladores. En segun-do lugar, un esfuerzo metodológico cen-

trado en la armonización de conceptos yla extensión de herramientas y técnicasde evaluación, tarea para la que se hacontado desde 1994 con un Programaespecífico, el Programa MEANS (Méto-dos para Evaluar las Actuaciones de Na-turaleza Estructural). Tras presentar lostrabajos realizados en ambos campos,en la tercera sección, se hará referenciaa los resultados y avances obtenidos enla práctica y en la cultura de la evalua-ción de las políticas estructurales en laUnión Europea. Para terminar, se inten-tará mostrar, de manera sintética, los re-tos a los que la evaluación de los Fon-dos Estructurales se va a enfrentar en elpróximo periodo 2007-2013, unos añosdecisivos para consolidar de forma defi-nitiva la cultura de la evaluación en lapolítica de cohesión comunitaria.

2. LA EVALUACIÓN EN LOSREGLAMENTOS DE LOS FONDOSESTRUCTURALES

La aprobación del Acta Única en 1986se convirtió en la apuesta definitiva haciala introducción de procedimientos admi-nistrativos y disposiciones dirigidas a in-crementar la eficacia de los fondos públi-cos europeos. En su artículo 130D sehacía referencia explícita a la necesidadde reformar los Fondos Estructurales a finde mejorar su eficacia con el objetivo últi-mo de lograr la cohesión económica y so-cial entre los países miembros. El Regla-mento Marco de la Reforma de losFondos Estructurales de 1988, así comoel Reglamento de Coordinación, recogie-ron esta idea y reconocieron abiertamen-te la necesidad de evaluar los Fondoscon el objetivo de conocer la eficacia yeficiencia de los mismos.

Con anterioridad a la Reforma de 1988,la evaluación de las políticas estructura-les en Europa era una actividad poco de-sarrollada y de escasa repercusión(Lang, 2001:10). Se trataba de una prácti-ca poco extendida, que no constituía unaprioridad para la Comisión y mucho me-nos para los Estados miembros (Bachtlery Michie, 1995:745). La falta de interéspor la evaluación de las intervencionesestructurales tenía su origen en la conjun-ción de varios factores, entre los que ca-bría destacar: un sistema de control y se-guimiento de los gastos comunitarios enlas regiones muy inadecuado; la falta decoordinación interna en materia de eva-luación dentro de la propia Comisión,donde cada Dirección General (DG) fun-cionaba de manera separada determi-nando prioridades y metodologías; y laexistencia de diferentes expectativas so-bre la necesidad de la evaluación, sobresus aportaciones y posibles usos. Estasdiferencias eran aún más acusadas entrelos propios Estados miembros, ya queexistían grandes divergencias con rela-ción al papel que la evaluación debía de-sempeñar y, más concretamente, sobresus prioridades, objetivos y metodologías(Bachtler y Michie, 1995:745).

Dados estos problemas, el interés dela Comisión por valorar la eficacia de lapolítica de cohesión hacía necesario unesfuerzo de coordinación interno, dentrode la propia Comisión, y externo, entre laComisión y los Estados miembros, enca-minado a lograr una serie de acuerdos enmateria de evaluación. La reforma debíacontemplar aspectos como la introduc-ción de nuevos mecanismos de control,seguimiento y evaluación de las accionescofinanciadas. Pero, al mismo tiempo, erapreciso alcanzar un consenso sobre la

Maria Ángeles Díez López - Beatriz Izquierdo Ramírez

necesidad de evaluar, así como definirprioridades y asignar responsabilidades yrecursos en relación con las tareas de se-guimiento y evaluación.

El reforzamiento de los mecanismos decontrol y seguimiento se materializó, enprimer lugar, en la creación del Comitéde Seguimiento para cada Marco deApoyo Comunitario (MAC) y para cadaPrograma Operativo (PO), un Comité for-mado por representantes de las autorida-des nacionales, regionales y de la propiaComisión Europea. Este Comité debíarealizar un seguimiento anual de los pro-gramas sobre la base de indicadores físi-cos y financieros relacionados con las ca-racterísticas específicas de cada accióncofinanciada, con sus objetivos y con lasayudas contempladas.

Esta incorporación vino acompañadade la introducción de nuevas regulacio-nes que establecían la necesidad de quelas acciones estructurales fueran someti-das a dos tipos de evaluación: evaluacio-nes previas y evaluaciones posteriores.Estas evaluaciones debían abarcar medi-ciones de la eficacia de las intervencio-nes estructurales a tres niveles:

—En relación al impacto global de lasacciones cofinanciadas, especial-mente en materia de fortalecimientode la cohesión económica y social.

—En relación con el impacto de losprogramas cofinanciados dentro decada Marco de Apoyo Comunitarios.

—En relación con el impacto de losprogramas individuales.

Sin embargo, no se llegó a realizar pu-blicidad sobre estas nuevas regulacio-nes, ni se desarrolló una guía orientativapara comenzar a implantar este mandato

de forma sistemática (McEldowney, 1991:261 y Batchler y Michie, 1995: 746). Losesfuerzos de la Comisión se centraron,especialmente, en la realización de lasevaluaciones previas de todos los MACde los objetivos 1, 3 y 4 y de una muestrade los MAC de los objetivos 2 y 5b.

Hacia finales de este primer periodo deprogramación (1993), la Comisión dispo-nía de 300 evaluaciones individuales deacciones cofinanciadas por los Fondos(Bachtler y Michie, 1995:746). Se tratababásicamente de evaluaciones previas yvaloraciones del seguimiento de los MACy de los PO, a los que se sumaban estu-dios temáticos sobre diferentes áreas (te-lecomunicaciones, formación,etc) asícomo evaluaciones de las Iniciativas Co-munitarias1. Mientras, los estudios deevaluación posterior estaban a punto deiniciarse.

Más allá de su relevancia cuantitativa,hay que señalar que las evaluacionesrealizadas en este periodo fueron de es-casa calidad. Además, algunas de lasdisposiciones adoptadas por la Comisiónrecibieron una limitada acogida entre losEstados miembros, quienes consideraronlos procedimientos adoptados para el se-guimiento excesivamente detallados yburocráticos y poco flexibles a la hora dereaccionar a las condiciones locales y deadaptarse a los requerimientos financie-

La evaluación de los Fondos Estructurales de la Unión Europea: revisión y balance

1 Hay que señalar que muchas de las evaluacio-nes previas se realizaron de manera retrospectivaEn efecto, por motivo de calendario, las evaluacio-nes previas se iniciaron tras la adopción de losMAC, lo que transformó estas evaluaciones en unexamen de la legitimidad de las decisiones adopta-das más que en un sistema de control destinado amejorar la definición estratégica y operativa de lasacciones (Wulf-Mathies, 1995:2)

181

ros de las intervenciones estructurales(Bachtler y Michie, 1995:746).

A pesar de las reticencias de los Esta-dos miembros, el marco reglamentario delos Fondos Estructurales para la segundaprogramación (1994-1999) aumentó lasexigencias en materia de evaluación, conel propósito, así declarado, de alcanzar lamáxima eficacia posible. La Comisiónrespondía de este modo a la crecientenecesidad de información y de valoraciónde los resultados expresada por los dife-rentes servicios de la Comisión, y al mis-mo tiempo, se hacía eco de la presiónejercida por otras instituciones Comunita-rias (Consejo, el Parlamento y Corte deAuditores), en su deseo por conocer losefectos de los Fondos Estructurales enlas diferentes regiones asistidas (Bachtlery Michie, 1994:794).

Estas nuevas exigencias se plasmaronen varios artículos de los nuevos Regla-mentos que reformaban las antiguas re-gulaciones2. La evaluación de las inter-venciones cofinanciadas se convertía enuna obligación estatutaria para los Esta-dos miembros, en un requisito de obliga-do cumplimiento para poder recibir ygestionar fondos comunitarios. Para valo-rar la eficacia de las intervenciones es-tructurales, la acción comunitaria debíaser objeto de una evaluación previa, deun seguimiento y de una evaluación pos-terior. Con estas nuevas regulaciones, laComisión Europea pretendía reforzar elseguimiento y la evaluación de las accio-nes estructurales, e ir más allá del purocontrol financiero que era, hasta esas fe-

chas, la práctica más generalizada y, encierta forma, el control más habitual den-tro de los Programas Operativos y los Co-mités de Seguimiento.

Las nuevas disposiciones delimitabanclaramente la existencia de una respon-sabilidad compartida entre los Estadosmiembros y la Comisión, convirtiéndoseambos en co-responsables de las evalua-ciones, siendo las autoridades competen-tes de cada país las encargadas de ase-gurar que el seguimiento y la evaluaciónse llevaran a cabo de manera rigurosa yefectiva (Bachtler, 1994:4). En relacióncon la evaluación previa, los Estadosmiembros estaban obligados a adjuntar asus solicitudes de ayuda, en el momentode la presentación de sus programas,una apreciación previa de los efectos es-perados, incluyendo el impacto previstoen materia de empleo. La Comisión con-sideraba que la evaluación posterior erauna actividad que los Estados miembrosy la Comisión debían efectuar en coope-ración, aunque se reservaba el derechode realizar estas evaluaciones por propiainiciativa, en el caso de que los Estadosno se comprometieran con esta opción.

Con estas orientaciones, la Comisiónpretendía que las asignaciones presu-puestarias respondieran a una mayor efi-cacia y eficiencia de los programas a lahora de mostrar beneficios económicos ysociales a medio plazo. En este sentido,tanto la evaluación previa como la evalua-ción posterior debían contrastar los obje-tivos planeados con los resultados obte-nidos, tomando como referencia lasprioridades macroeconómicas y sectoria-les y los indicadores basados en estadís-ticas nacionales y regionales. Para ayu-dar a los Estados miembros en estastareas, la Comisión elaboró una relación


2 Artículo 6 del Reglamento Marco nº 2052/88 re-formado por el Reglamento nº 2081/93 y artículos 25y 26 del Reglamento de Coordinación nº 4254/88 re-formado por el Reglamento 2082/93.

sistemática de objetivos potenciales, me-tas cuantificables e indicadores de segui-miento e impacto. La Comisión adoptabaun modelo evaluador que resultaba seruna «variación comunitaria del conceptobritánico del ‘value for money’»3(C3E,1998:7), aunque este modelo no llegabaa imponerse a los Estados miembros.

En consecuencia, a partir de 1994 sedisponía ya de un marco más estructura-do y riguroso para la evaluación previade las nuevas intervenciones con unoscriterios más estrictos en materia de eva-luación. Esta evaluación se basaba en unenfoque sistemático (tenía por objeto to-dos los MAC y sus PO), uniforme (ya quela metodología aplicada era homogénea),e independiente, a través de expertosajenos a las autoridades nacionales y co-munitarias (Wulf- Mathies, 1995:4).

Sin embargo, y a pesar del intento dereforzar las tareas de seguimiento duran-te este periodo, los Comités no contaroncon un papel definido dentro de la eva-luación (Tavistock Institute et al, 2003:13).Las disposiciones reglamentarias no defi-nían las funciones a realizar por los Comi-tés y, su labor se limitaba, en muchos ca-sos, a la designación del equipo deevaluación.

Sin duda, una novedad destacable deeste periodo fue la realización de evalua-ciones intermedias, aunque éstas no es-taban previstas en ninguna disposiciónreglamentaria. En la práctica, por iniciati-va de la Comisión y en cooperación conella, los Estados miembros organizaron

evaluaciones intermedias4. Estas evalua-ciones integraban un primer análisis críti-co de los datos recogidos en las activida-des de seguimiento e incluidos en losinformes anuales y un balance preliminarsobre el grado de alcance de los objeti-vos previstos, explicando los posibles re-trasos y realizando previsiones acerca delos resultados en los próximos años de laintervención. Las evaluaciones interme-dias buscaban ofrecer datos suplementa-rios que contribuyesen a la toma de deci-siones y a la eficacia de la gestión de losprogramas, proponiendo en caso nece-sario medidas de reprogramación (Bach-tler y Michie, 1997).

A pesar de su carácter no obligatorio,durante este periodo se elaboraron 380evaluaciones intermedias en los Estadosmiembros y para los 6 Objetivos Estructu-rales (aunque mayoritariamente referidosal Objetivo 1), que se sumaban a las eva-luaciones previas y posteriores de todoslos MAC y los PO5. La Comisión realizóademás bajo su responsabilidad evalua-ciones temáticas de impacto (en las infra-estructuras de transporte; en las peque-ñas y medianas empresas; en lainvestigación, el desarrollo tecnológico yla innovación), y un informe de evaluaciónsobre el principio de corresponsabilidad(‘partenariado’)6.


4 La propia Comisión elaboró un documento don-de se establecían las principales orientaciones paraguiar las evaluaciones intermedias, con el objetivode servir de ayuda a los responsables de la aplica-ción de los Fondos Estructurales.

5 Las evaluaciones posteriores del Objetivo 1, delObjetivo 2 y del Objetivo 6 están disponibles en lapágina web de la DG Regio, en la sección de eva-luaciones, así como las de las Iniciativas Comunita-rias Urban e Interreg II.

6 De nuevo, todas ellas disponibles en la páginaweb de la DG Regio, en la sección de evaluaciones.

183

3 Una explicación detallada del modelo de eva-luación denominado ‘value for money’ puede encon-trarse en Díez, 2001.

La tercera generación de los FondosEstructurales (2000-2006) supuso la com-pleta consolidación de la evaluación enlos reglamentos de la política regional yde cohesión. En las nuevas disposicio-nes, el seguimiento y la evaluación se in-tegraron como actividades normalizadasdentro de las administraciones comunita-rias y nacionales y se institucionalizó larealización de tres tipos de evaluacionesde las intervenciones cofinanciadas. ElReglamento 1260/1999 de 21 de junio re-cogía las disposiciones generales relati-vas a la evaluación en varios de sus ar-tículos (40, 41, 42 y 43), en los que seestablecían los objetivos de cada una delas evaluaciones de las intervencionescofinanciadas, y se asignaban responsa-bilidades en materia de evaluación. Se-gún la nueva normativa, el establecimien-to de una evaluación previa, de unaintermedia, y de una posterior de la ac-ción comunitaria debía servir como instru-mento para valorar la eficacia de las inter-venciones estructurales, eficacia que seconvertía en el principal objetivo de laevaluación, y que era medida en funciónde los siguientes criterios:

—Su impacto global en los objetivoscontemplados en el artículo 158 delTratado y, en particular, el refuerzode la cohesión económica y socialentre las regiones de Europa.

—El impacto de las prioridades pro-puestas en los planes y de los ejesprioritarios previstos en cada Marcode Apoyo Comunitario.

—El efecto sobre las prioridades se-leccionadas para cada intervención.

A diferencia de la programación ante-rior, la responsabilidad principal de laevaluación previa recaía sobre los Esta-

dos miembros y gobiernos regionales, encaso de que los trabajos preparatoriosestuvieran descentralizados como es elcaso de España. Esta evaluación debíaservir de base para la preparación de losplanes, las intervenciones y el comple-mento del programa, dentro de los cualesse integraba. El artículo 41 del Reglamen-to recogía los objetivos y el contenido dela evaluación previa, indicando varios delos aspectos prioritarios que debían servalorados en esta primera aproximación.Entre ellos destacaba la situación en rela-ción a la competitividad y la innovación,las pequeñas y medianas empresas, elempleo y mercado de trabajo (en conso-nancia con la Estrategia Europea en ma-teria de empleo), el medio ambiente, asícomo la igualdad entre hombre y muje-res. Para cada uno de ellos se incluía unaevaluación previa de la situación de parti-da, así como una estimación del impactoesperado de la estrategia y de las inter-venciones estructurales para cada caso.

La evaluación intermedia (artículo 42)era la encargada de estudiar los primerosresultados de las intervenciones, su perti-nencia y la realización de los objetivos,así como el desarrollo del seguimiento yde la aplicación. Debía ser efectuadabajo la responsabilidad de la autoridadde gestión7, en colaboración con la Comi-sión y Estados miembros, encargada aun equipo de evaluadores independien-tes y remitida a la Comisión a más tardarel 31 de diciembre de 2003. La autoridad


7 Según establece la Comisión en el artículo 9(apartado n) del Reglamento, la autoridad de ges-tión se refiere a «toda autoridad o todo organismopúblico o privado nacional, regional o local designa-do por el Estado Miembro o el Estado Miembrocuando ejerza él mismo dicha función, para gestio-nar una intervención de los Fondos».

de gestión además era la encargada decrear un sistema de recogida de informa-ción estadística y financiera para facilitarla evaluación intermedia y posterior. ElComité de Seguimiento era el responsa-ble de examinar los resultados de la eva-luación intermedia, pudiendo proponercambios en la programación si lo consi-deraba necesario, reforzando su papel enrelación con la programación anterior.Como continuación de la evaluación inter-media, cada Marco Comunitario de Apo-yo y cada intervención podía proceder asu actualización para finales del 2005.

La responsabilidad principal de la eva-luación posterior recaía sobre la Comi-sión, en colaboración con los Estadosmiembros y la autoridad de gestión, esta-bleciéndose objetivos bien definidos parasu consecución. Entre ellos, dar cuentade la eficacia y eficiencia de las interven-ciones y de su impacto, así como de lautilización de los recursos, y extraer con-clusiones para la política en materia decohesión económica y social. Esta eva-luación tiene que ser realizada por eva-luadores independientes y presentarse,como fecha límite, tres años después delfinal del periodo de programación (pre-vista para el año 2009).

Finalmente, una de las innovaciones deeste tercer periodo era la introducción dela asignación de la ‘reserva de eficaciageneral’. Según se recogía en el Regla-mento (artículo 44), el 4% de los recursosde los Fondos Estructurales asignadospara cada Estado miembro al comienzodel periodo, eran reservados para aque-llos Programas Operativos o DocumentosÚnicos de Programación consideradoseficaces. La eficacia general de las inter-venciones era medida a partir de una se-rie limitada de indicadores de seguimien-

to que reflejaban la eficacia, la gestión yla ejecución financiera y medían sus re-sultados intermedios con respecto a losobjetivos específicos iniciales8. El Estadomiembro, en colaboración con la Comi-sión, decidía cuáles debían de ser estosindicadores de seguimiento. Por primeravez, las dotaciones financieras de losFondos Estructurales se vinculaban a laeficacia de los programas (esta reservade eficacia se hizo efectiva el 23 de mar-zo de 2004 por un importe de 8.000 millo-nes de euros).

Y llegamos así al momento actual en elque la Comisión Europea ha desarrolladocinco nuevos reglamentos destinados areformar la política de cohesión en el pe-riodo 2007-20139. El paquete de nuevasnormativas comprende una propuesta de


185

8 Para más detalles ver el Documento de Trabajonº 4: Asignación de la reserva de eficacia (ComisiónEuropea, 2000).

9 Se ha realizado una revisión completa de los ob-jetivos principales de la nueva política de cohesiónpara el periodo 2007-2013 que ha llevado a su re-ducción a tres grandes objetivos:

— El primero es el Objetivo de Convergencia, he-redero del actual Objetivo 1, a cuya financia-ción contribuyen los tres Fondos disponibles(FEDER, FSE y Fondo de Cohesión) y tiene porobjeto impulsar la convergencia de las regio-nes y Estados miembros menos desarrollados.Las intervenciones se efectuarán medianteProgramas Operativos a escala regional o na-cional.

— El segundo Objetivo, Competitividad regional yempleo, presenta la doble finalidad de promo-ver la competitividad de las regiones y favore-cer la adaptabilidad de los trabajadores y em-presas a los cambios socioeconómicos. En elprimer caso, las intervenciones se aplicaránmediante Programas Operativos regionalescofinanciados por el FEDER, mientras que enel segundo caso podrán tratarse de Progra-mas Operativos regionales o nacionales cofi-nanciados por el FSE.

— El tercer Objetivo se refiere a la Cooperaciónterritorial europea, y será financiado únicamen-te a través del FEDER

Reglamento General (8750/06, en esperade su publicación oficial) que estableceun conjunto de normas comunes para to-dos los instrumentos, junto con reglamen-tos específicos para el Fondo Europeo deDesarrollo Regional (FEDER), el FondoSocial Europeo (FSE) y el Fondo de Cohe-sión10. En el artículo 45 del nuevo regla-mento general se recogen las prioridadesy principales actuaciones establecidaspor la Comisión en materia de evaluación.De nuevo, la prioridad central de la Comi-sión vuelve a ser la mejora de la eficaciade las intervenciones estructurales, pero aésta se le añaden otras nuevas priorida-des como la mejora de la calidad y de lacoherencia de las intervenciones cofinan-ciadas.

Los nuevos reglamentos establecenque serán objeto de evaluación el MarcoEstratégico Nacional de Referencia(MENR) y los Programas Operativos11.Las evaluaciones podrán ser estratégi-cas, teniendo por objeto la evolución deun programa en relación con las priorida-des comunitarias y nacionales, o bienoperativas, apoyando el seguimiento deun Programa Operativo. Las intervencio-nes estructurales estarán sujetas a eva-luaciones anteriores, durante, y posterio-res al periodo de programación, que

serán realizadas por evaluadores inde-pendientes, tal y como ya establecía laprogramación anterior. Es necesario re-saltar que las disposiciones reglamenta-rias no mencionan, en ningún momento yde manera explícita, la evaluación inter-media con lo que aparecen ciertas dudassobre el significado del término evalua-ción «durante»12.

La evaluación previa será responsabili-dad de los Estados miembros, que se en-cargarán de evaluar el MENR y su cohe-rencia con las orientaciones estratégicascomunitarias, y con las prioridades nacio-nales y regionales seleccionadas. Así mis-mo, los Estados miembros serán los encar-gados de realizar evaluaciones previas decada uno de los Programas Operativos re-feridos al primero de los objetivos estable-cidos durante esta programación, el Objeti-vo de Convergencia13. En relación alsegundo Objetivo, Competitividad regional


10 Las propuestas, aprobadas en julio de 2004, sepublicarán oficialmente en el Diario Oficial de laUnión Europea el día 20 de julio de 2006. Son las si-guientes: propuesta de Reglamento del ParlamentoEuropeo y del Consejo relativo al Fondo Europeo deDesarrollo Regional (FEDER) 8751/06; propuesta deReglamento del Parlamento Europeo y del Consejorelativo al Fondo Social Europeo (8752/06); y pro-puesta de Reglamento del Parlamento Europeo ydel Consejo relativo al Fondo de Cohesión (FC)8749/06.

11 Figura de planificación que va a sustituir al Mar-co de Apoyo Comunitario.

12 Para aclarar esta cuestión será preciso esperara nuevas orientaciones por parte de la Comisión yaque el término «durante» puede referirse tanto al se-guimiento de los programas como a una evaluaciónde carácter más continuo y formativo. Así, de he-cho, parecen expresarse algunas de las recomen-daciones que aparecían recogidas en las valoracio-nes de la propia Comisión sobre la evaluaciónintermedia: «la evaluación intermedia debería sersustituida en el próximo periodo de programaciónpor un programa de evaluación continua (ongoing)de toda la intervención o de alguna de sus partesdependiendo de sus necesidades. De esta forma,se reforzarían las potencialidades de la evaluaciónintermedia como proceso, al tiempo que se supera-rían las debilidades producidas por la rigidez de suámbito de aplicación» (Gaffey, 2004: 12)

13 Junto a la autoridad de gestión, el Estadomiembro designará para cada Programa Operativouna autoridad de certificación (organismo o autori-dad nacional, regional o local) encargada de certifi-car las declaraciones de gastos y solicitudes depago previo a su comunicación a la Comisión, y unaautoridad de auditoría, que se encargará de verifi-car el funcionamiento de los sistemas de gestión ycontrol.

y empleo, se podrá efectuar una evalua-ción que abarque todos los ProgramasOperativos, o una evaluación en relacióncon cada Fondo o con cada ProgramaOperativo. La finalidad de esta evaluaciónprevia será, en ambos casos, determinar yestimar: las necesidades a medio y largoplazo; los objetivos que se pretenden al-canzar; los resultados esperados; las lec-ciones extraídas de anteriores programa-ciones; y la estimación de la calidad de losprocedimientos de ejecución, seguimiento,evaluación y gestión financiera.

Así mismo, cada Estado miembro de-berá llevar a cabo, con fecha límite el2010, una evaluación de todos los Pro-gramas Operativos correspondientes acada objetivo, o una evaluación en rela-ción con cada Programa Operativo. Estaevaluación tendrá que evaluar los progre-sos realizados en la programación frentea los compromisos adquiridos al inicio delperiodo, la integración de las orientacio-nes estratégicas de la Comunidad y elmarco estratégico nacional de referencia.A pesar de que el reglamento propuestono confiere a este tipo de evaluación unadenominación específica, este análisispodría interpretarse como una evaluaciónintermedia, al realizarse durante el perio-do de programación, y una vez finaliza-dos los tres primeros años de ejecuciónde los programas.

Además, y como novedad durante esteperiodo, la Comisión, a iniciativa propia oen colaboración con el Estado miembro,emprenderá una evaluación ad hoc, vin-culada al seguimiento de los ProgramasOperativos, en caso de que dicho segui-miento revele una desviación significativafrente a los objetivos fijados a priori, ocuando se presenten propuestas para surevisión. Los resultados se remitirán al

Comité de Seguimiento del PO y a la Co-misión, en un intento por fortalecer e in-crementar las responsabilidades de lasautoridades de gestión y de los Comitésde Seguimiento. Estas evaluaciones po-drán ser efectuadas por la Comisión a ini-ciativa propia o en cooperación con elEstado miembro interesado.

En relación con la evaluación posterior,ésta podrá ser emprendida en relación acada objetivo por la Comisión en colabo-ración con el Estado miembro y las autori-dades de gestión, que serán las encarga-das de recopilar los datos necesarios.Esta evaluación abarcará todos los Pro-gramas Operativos de cada objetivo y seanalizará el grado de utilización de los re-cursos, la eficacia y la eficiencia de laprogramación de los fondos, el impactosocioeconómico y el impacto sobre lasprioridades de la Comunidad. La evalua-ción posterior deberá permitir determinarlos factores que contribuyen al éxito o fra-caso en la ejecución de los programasoperativos, y deberá haberse completadopara el 31 de diciembre de 2015.

Finalmente, al igual que en el periodoanterior, la nueva programación mantienela reserva de eficacia general, ahora re-serva de eficacia y calidad14, con la finali-dad de recompensar los progresos reali-zados valorados en función de diferentescriterios. La reserva estará constituida porel 3% de los recursos asignados al FE-DER y FSE en los Objetivos de Conver-gencia y Competitividad regional y deempleo. Los requisitos establecidos para


14 Según la propia Comisión (2004), la vinculaciónde dotaciones financieras a criterios de buena ges-tión ha tenido un impacto positivo en materia de ab-sorción de fondos en la tercera programación. (DGRegio- Inforegio Panorama, nº 16:11).

187

cada uno de los Objetivos quedan reco-gidos en el artículo 48 del Reglamento.

En definitiva, tras casi tres décadaspresente en los reglamentos de los Fon-dos Estructurales, se puede afirmar, quela evaluación se ha convertido en un ele-mento esencial de la política de cohesiónde la UE. La institucionalización de laevaluación en los Fondos Estructuraleses, hoy en día, una realidad. Desde elprimer período de actuación (1988-93)hasta ahora, las disposiciones reglamen-tarias han ido progresivamente incre-mentado sus exigencias en materia deevaluación, contribuyendo a generar unmarco global, coherente y estructurado,otorgando cada vez mayor importancia alas evaluaciones previas y a las posterio-res, reforzando el papel del seguimientode los programas.

Queda por dilucidar, por el momento,el papel que puede llegar a desempeñaruna evaluación de carácter más continuo(más formativa) y cómo se estructura yrelaciona este proceso con los ejerciciosde evaluación que deben realizarse a mi-tad del periodo. La Comisión ha suprimi-do de sus reglamentos toda referencia ala evaluación intermedia, y no clarifica lasprioridades y actuaciones que la evalua-ción «durante» debe asumir y realizar. Loque si queda muy claro en los nuevos re-glamentos es que la Comisión desea quelas responsabilidades en materia de eva-luación sean asumidas, cada vez de unamanera más importante, por los Estadosmiembros y las autoridades de gestión delas acciones cofinanciadas.

La evolución seguida por las disposi-ciones normativas desde 1989 hasta aho-ra muestra los avances realizados haciauna mayor descentralización de las res-

ponsabilidades de evaluación, tendenciaque se consolida en los reglamentos delnuevo periodo (cuadro 1).

3. UN MARCO METODOLÓGICO PARALA EVALUACIÓN DE LASPOLÍTICAS ESTRUCTURALES

3.1. Trabajos metodológicos de la Comisión Europea

Como ya se ha mencionado, en los pri-meros años de introducción de la evalua-ción en los Fondos Estructurales, la prác-tica evaluadora puso en evidencia laexistencia de una serie de deficienciasmuy importantes, tanto en relación a losprocedimientos administrativos de eva-luación, tratados en el apartado anterior,como en cuanto a los modelos y métodosadoptados. Existía un gran vacío en ma-teria de orientaciones metodológicas diri-gidas al diseño y la realización de evalua-ciones de intervenciones estructurales y,como consecuencia de esta carencia, lacalidad de las evaluaciones era baja, suutilidad muy reducida y el nivel técnico al-canzado se encontraba en estrecha rela-ción con la experiencia nacional y la pro-pia cultura y competencia en materia deevaluación.

Consciente de esta problemática, laComisión decidió que una de sus priori-dades, para el periodo 1994-1999, debíaser el desarrollo de un marco de evalua-ción común y un progresivo impulso a laarmonización y homogenización de con-ceptos y prácticas evaluadoras. Con esteobjetivo, la Comisión puso en marchatoda una serie de acciones, complemen-tarias a las normativas reguladoras de los



189

Cua

dro

n.°

1

Res

um

en d

e la

eva

luac

ión

en

los

Reg

lam

ento

s d

e lo

s F

on

do

s E

stru

ctu

rale

s

Pro

gram

acio

nes

delo

s Fo

ndos

Est

ruct

ural

esP

rimer

a P

rogr

amac

ión

1988

-199

3S

egun

da P

rogr

amac

ión

1994

-199

9Te

rcer

a P

rogr

amac

ión

2000

-200

6C

uarta

Pro

gram

ació

n20

07-2

013

Reg

lam

ento

Reg

lam

ento

205

2/88

(Art.

6)

Reg

lam

ento

425

3/88

(Art.

26)

Reg

lam

ento

208

1/93

R

egla

men

to 2

082/

93(A

rt. 2

5, 2

6)

Reg

lam

ento

126

0/19

99(A

rt. 4

0. 4

1. 4

2. y

43)

Reg

lam

ento

CO

M

(200

4) 4

92 fi

nal*

(Art.

45,

46

,47

y 48

)

Tipo

s de

eva

luac

ión

- Pre

via

- Pos

terio

r

- Pre

via

- Int

erm

edia

(opc

iona

l)- P

oste

rior

- Pre

via

- Int

erm

edia

- P

oste

rior

- Pre

via

- Dur

ante

y a

d- h

oc- P

oste

rior

Med

ios

para

la e

valu

ació

n- C

omité

de

segu

imie

nto

- Com

ité d

e se

guim

ient

o - C

omité

de

segu

imie

nto

- Res

erva

de

efic

acia

- Com

ité d

e se

guim

ient

o- R

eser

va d

e ca

lidad

y

de e

ficac

ia

Obj

eto

de e

valu

ació

n

- Mar

cos

de A

poyo

Com

unita

rio(M

AC

) (un

a m

uest

ra)

- Pro

gram

a O

pera

tivos

(PO

)- I

nici

ativ

as C

omun

itaria

s (IC

)

- Mar

cos

de A

poyo

C

omun

itario

(MA

C)

- Pro

gram

a O

pera

tivos

(PO

)- I

nici

ativ

as C

omun

itaria

s (IC

)

- Mar

cos

de A

poyo

C

omun

itario

(MA

C)

- Pro

gram

a O

pera

tivos

(PO

)- I

nter

venc

ione

s co

mun

itaria

s

- Mar

co E

stra

tégi

co

Nac

iona

l de

Ref

eren

cia

(MEN

R)

- Pro

gram

as O

pera

tivos

(PO

)

Res

pons

abili

dad

de la

eva

luac

ión

- Eva

luac

ión

prev

ia:E

stad

os

mie

mbr

os- E

valu

ació

n po

ster

ior:

Com

i-si

ón y

Est

ados

mie

mbr

os.

- Eva

luac

ión

prev

ia: E

stad

osm

iem

bros

- Eva

luac

ión

inte

rmed

ia: C

omi-

sión

y E

stad

os m

iem

bros

.- E

valu

ació

n po

ster

ior:

Com

i-si

ón y

Est

ados

mie

mbr

os.

- Eva

luac

ión

prev

ia: E

stad

osm

iem

bros

.- E

valu

ació

n in

term

edia

: au

torid

ad d

e ge

stió

n, e

n co

labo

raci

ón c

on la

Com

isió

n y

Esta

dos

mie

mbr

os.

- Eva

luac

ión

post

erio

r: C

omi-

sión

, en

cola

bora

ción

co

n la

aut

orid

ad d

e ge

stió

n y

Esta

dos

mie

mbr

os.

- Eva

luac

ión

prev

ia:

Esta

dos

mie

mbr

os.

- Eva

luac

ión

2010

: Est

ados

mem

bros

.- E

valu

ació

n ad

-hoc

: Est

ados

mie

mbr

os y

/o C

omis

ión.

- Eva

luac

ión

post

erio

r: C

omi-

sión

,en

cola

bora

ción

con

la a

u-to

ridad

de

gest

ión

y Es

tado

sm

iem

bros

* R

egla

men

to p

endi

ente

de

publ

icac

ión

en e

l Bol

etín

Ofic

ial d

e la

s C

omun

idad

es E

urop

eas.

Fue

nte:

Ela

bora

ción

pro

pia

Fondos Estructurales, para que la obliga-ción de evaluar las intervenciones se de-sempeñara con la suficiente calidad téc-nica y profesional.

Una de las primeras iniciativas adopta-das fue la creación de una unidad espe-cializada en evaluación15. Esta unidad hadesempeñado un importante papel en lainvestigación y difusión de modelos, mé-todos y técnicas de evaluación. Tras unaprimera acción piloto sobre metodologíasevaluadoras entre 1993 y 1994, se pusoen marcha un Programa denominado Mé-todos para Evaluar las Actuaciones deNaturaleza Estructural, más conocido porMEANS (‘Methods for Evaluating Actionsof a Structural Nature’) en el que colabo-raron cinco Direcciones Generales de laComisión (política regional; empleo y de-sarrollo social; desarrollo rural; pesca; yeconomía, presupuesto y finanzas).

El objetivo del programa MEANS eramejorar las metodologías utilizadas en laevaluación de los Fondos Estructurales ydesarrollar una cultura evaluadora en Eu-ropa. De ahí, la atención prestada por elprograma a la difusión de nuevos mode-los y métodos de evaluación de maneraque las diferentes opciones disponiblespara diseñar y realizar una evaluaciónfueran ampliamente reconocidas. Entresus cometidos, se encontraba la mejorade la calidad de las evaluaciones encar-gadas desde la Comisión, el aumento de

su utilidad y el reforzamiento de la credi-bilidad de los estudios de evaluación dela Comisión frente al Consejo, el Parla-mento, el Comité Económico y Social y elComité de las Regiones (Bachtler y Mi-chie, 1995: 747).

El Programa MEANS, además de reali-zar estudios específicos y evaluacionesbasadas en diseños y métodos innovado-res por encargo de la propia Comisión,inició la publicación de una serie de cua-dernos metodológicos, conocida como‘MEANS Handbooks’, al tiempo que pusoen marcha una completa programaciónde cursos de formación. Bajo su respon-sabilidad, se organizaron tres Conferen-cias Europeas sobre Evaluación: en Bru-selas en 1995 sobre la Evaluación de laPolítica Regional en Europa; en Berlín en1996 con el tema monográfico de méto-dos de evaluación para las políticas es-tructurales y, en Sevilla, en 1998 sobrelas prácticas de evaluación en materia depolíticas estructurales. Como colofón, enel año 2000 en Edimburgo se celebrabauna cuarta Conferencia Europea con lacalidad de las evaluaciones como preo-cupación central del debate. La desapari-ción del Programa no ha impedido que laComisión siga realizando nuevas Confe-rencias, la V Conferencia tuvo lugar enBudapest, en 2003, bajo el titulo Retospara la evaluación en una Europa amplia-da16.

Sin duda, una de las contribucionesmás importantes del Programa fue la edi-ción en 1999 de la Colección MEANS,bajo el título genérico de ¿Cómo evaluar


15 Esta unidad ha pasado por diferentes ubicacio-nes y etapas: inicialmente se creó dentro de la DGXXII, para ser más tarde trasladada a la DG XVI dePolítica Regional, ahora DG Regio. Aquí, ha tenidodistintas denominaciones, en la actualidad ha pasa-do a ser la Dirección de Evaluación y Adicionalidad,tras denominarse en el periodo de programaciónanterior Dirección de Coordinación y Evaluación deOperaciones.

16 En la página web de la DG Regio en su aparta-do dedicado a conferencias de evaluación puedeencontrase información detallada sobre estos even-tos: programas y ponencias.

los programas socioeconómicos?. El ob-jetivo de esta publicación era presentar,de manera coherente y en un marco glo-bal, el resultado de todos estos años deinvestigación, desarrollo y formación diri-gidos a mejorar la calidad y la utilidad delas evaluaciones de las intervencionesestructurales17. Esta colección se convir-tió en un texto de referencia para los eva-luadores europeos y alcanzó, en pocotiempo, una elevada reputación por su al-cance, ambición y cobertura de todos losaspectos que configuran la evaluación deun programa de desarrollo regional.

De manera simultánea a este procesode investigación y difusión metodológica,la propia Unidad de Evaluación iba ge-nerando una serie de documentos de tra-bajo metodológicos donde se ofrecíanorientaciones dirigidas a las autoridadesnacionales, regionales y locales respon-sables de la gestión de las intervencio-nes estructurales comunitarias y de suevaluación. Estos documentos indicabanla forma de organizar las evaluacionessegún su tipo y finalidad (previa e inter-media), establecían cuáles eran sus prin-cipales elementos y componentes, ayu-daban a determinar y definir indicadoresde seguimiento y evaluación y delimita-ban criterios comunes de evaluación enforma de cuestiones e indicadores clave.Estas guías iban dirigidas tanto a los quesolicitan las evaluaciones como a los res-ponsables de llevarlas a cabo y su usose planteaba de forma flexible, siempre

que la evaluación cubriese todos los as-pectos clave18.

Por último, la Comisión Europea tam-bién ha ido adoptando a lo largo de estosaños otra serie de iniciativas complemen-tarias dirigidas a mejorar la informacióndisponible para las evaluaciones. Las re-comendaciones a los Estados miembrospara que desarrollen información básicade la situación económica y social departida de las regiones, así como la mejo-ra de la cobertura estadística regional dela Oficina Estadística de la Unión Euro-pea, EUROSTAT, son algunos de losavances efectuados en esta dirección.Asimismo, la Comisión ha favorecido eimpulsado el intercambio de metodologí-as y experiencias evaluadoras entre lasregiones y Estados miembros de la UE,mediante diferentes foros y sesiones detrabajo donde los equipos evaluadores ylas administraciones usuarios de las eva-luaciones han podido intercambiar infor-mación y opiniones, incluyendo diferentesgrupos de trabajo en evaluación forma-dos por representantes de todos los paí-ses miembros.

Con el objetivo de presentar las líneasgenerales del marco metodológico quese desprende de todo este conjunto deactividades vamos a detenernos a anali-zar dos de las acciones presentadas. Enprimer lugar, las aportaciones derivadasdel Programa MEANS y, en segundo lu-gar, las contribuciones realizadas en los


17 La colección consistía en seis volúmenes dise-ñados para complementarse entre ellos y que, enconjunto, ofrecían una completa guía que daba co-bertura a todos los aspectos más importantes de laevaluación de las políticas estructurales. La Colec-ción se publicó únicamente en inglés y francés (Eu-ropean Commission, 1999).

18 Para el periodo de programación 2000-2006 seelaboraron un total de 10 documentos de trabajo.Para el periodo 2007-2013 existen ya dos documen-tos de trabajo disponibles, aunque se trata todavíade borradores sujetos a ajustes en función de loscambios que puedan producirse en las regulacio-nes. Todos ellos están disponibles en la página webde la DG Regio.

191

documentos metodológicos de trabajo dela propia Comisión.

3.2. La evaluación del desarrollo socio-económico: La GUÍA

La importancia alcanzada por la Colec-ción MEANS impulsó a la Comisión Euro-pea a actualizar y revisar su contenido.Estos trabajos han dado como fruto unanueva publicación que veía la luz en Di-ciembre del 2003: The evaluation of socioeconomic development: The GUIDE (Ta-vistock Institute et al, 2003)19 y que estádisponible en formato electrónico en la di-rección: http://www.evalsed.info20. LaGUIA se declara sucesora de la colec-ción MEANS y reconoce estar diseñadapara la evaluación de los Fondos Estruc-turales de la Unión Europea, pero no sóloconfinada a esta área de intervención. Ensu introducción, se explicitan las razonesque recomendaban la revisión de la Co-lección inicial. La actualización ha venidoimpulsada por tres importantes cambiosacaecidos en los últimos años en la pro-pia práctica de la evaluación y en la polí-tica de cohesión europea (Tavistock Insti-tute et al, 2003: 2):

1. La práctica de la evaluación ha ex-perimentado transformaciones fun-damentales ligadas a la aparición denuevas herramientas, a un reforzadopapel de la evaluación basada en lateoría y a nuevos enfoques participa-

tivos y cualitativos especialmente re-levantes para la evaluación del de-sarrollo socioeconómico. Todo elloacompañado, por una creciente ten-dencia hacia la institucionalizaciónde la evaluación en los países miem-bros de la Unión Europea.

2. La política europea también se hatransformado siguiendo la Agendade Lisboa. En materia de desarrolloeconómico y social, la Agenda deLisboa ha puesto de manifiesto lanecesidad de prestar una mayoratención a nuevos factores de desa-rrollo ligados al capital humano y alcapital social de las regiones y losestados, así como a la sociedad dela información y del conocimientocomo medios para conseguir unamayor competitividad. De maneracomplementaria, prioridades trans-versales como el desarrollo sosteni-ble y la igualdad de oportunidadeshan pasado a ocupar un lugar pree-minente dentro de la estrategia defuturo de la propia Comisión.

3. La adhesión de 10 nuevos Estadosmiembros en 2004 plantea nuevosretos a la evaluación, los Fondos Es-tructurales son introducidos en ad-ministraciones jóvenes con poca ex-periencia de evaluación y unaescasa cultura evaluadora.

En cuanto a su formato, y con el objeti-vo de estar preparada para continuoscambios y transformaciones que, contoda seguridad, van a seguir producién-dose en la evaluación de las políticas so-cioeconómicas, la GUIA consta de unúnico volumen disponible en formatoelectrónico, que se complementa con unaserie de SourceBooks que facilitan mate-


19 La actualización de la GUIA ha sido el procesode un trabajo conjunto entre la Comisión Europea ydiversas organizaciones y expertos en política re-gional y evaluación de los Estados miembros bajo ladirección del Tavistock Institute en asociación conGHK e IRS.

20 Solo está disponible en inglés.

rial más especializado y centrado en elanálisis de diferentes temas21 y un Glosa-rio terminológico, todos ellos disponiblesen la red. De esta forma, se espera que,en el futuro, cada persona usuaria podráestructurar y configurar su guía personalde acuerdo con sus necesidades y la na-turaleza de las políticas que evalúa ogestiona y la Comisión estará en disposi-ción de facilitar la actualización de aque-llos materiales sometidos a transformacio-nes significativas.

No vamos a entrar en este artículo adetallar el contenido de la GUIA, pero sínos parece necesario resaltar algunascuestiones metodológicas por la impor-tancia que tiene este documento comomarco de evaluación de las políticas es-tructurales de la Comisión Europea.

En primer lugar, es importante señalarque la GUIA establece una serie de «re-glas de oro» que pretenden enfatizarciertas buenas prácticas y reglas empíri-cas que pueden ser recomendadas tantoa las personas que gestionan, como a lasque demandan, realizan y usan las eva-luaciones. Sin embargo, en general, evitaser demasiado prescriptiva. Este enfoqueestá en parte condicionado por la idea deque no hay un único modo correcto deproceder en evaluación y que cada enfo-que metodológico tiene sus fortalezas ydebilidades, cuando se trata de respon-der a la naturaleza de diferentes contex-tos y situaciones particulares. Desde unpunto de vista más operativo, la GUIA

también reconoce que las condicionesprevias ideales para desarrollar una eva-luación no suelen producirse, con unamayor frecuencia de la que sería desea-ble, bien porque los datos necesarios noestán disponibles o porque aparecenproblemas relacionados con la falta detiempo o de experiencia.

En segundo lugar, a la hora de definirlos principales propósitos de la evalua-ción la GUIA distingue entre cinco finali-dades que pueden impulsar el diseño ydesarrollo de una evaluación. La GUIA re-conoce que la existencia de diferentespropósitos implica, a su vez, el uso demarcos metodológicos diferenciados,siempre desde una perspectiva abiertaya que todas estas metodologías son úti-les aunque, en la práctica, permitan lacobertura de diferentes finalidades (vercuadro 2). La interrelación entre los pro-pósitos y las metodologías que puedenser aplicadas en cada caso particularpermite a la GUIA clasificar las prácticasde evaluación en cinco categorías que sepresentan en el gráfico 1:

Tipo I: asignación-económica.

Tipo II: gestión-eficacia

Tipo III: formativa.

Tipo IV: causal-experimental.

Tipo V: participativa.

Por último, la GUIA señala que, a pesarde la diversidad en cuanto a propósitos,métodos y tipos, existe una importante di-ferencia entre dos grandes categorías deevaluación: las que buscan valorar, mediry demostrar la eficacia de políticas y pro-gramas y las que persiguen asesorar, de-sarrollar y mejorar las políticas y progra-mas. La GUIA reconoce que la gran


21 El Sourcebook 1 está dedicado a enfoques deevaluación en áreas de política y temas particulares,el Sourcebook 2 está dedicado a métodos y técni-cas de evaluación y el Sourcebook 3 a recursos ymateriales relativos a la creación y el fortalecimientode la capacidad de evaluación.

193

mayoría de las evaluaciones requeridaspor las regulaciones de los Fondos Es-tructurales responden a la primera de es-tas categorías (donde se incluyen los ti-

pos I y II), aunque en las disposicionesnormativas del periodo 2000-2006 tam-bién se establecía que las evaluacionesprevias e intermedias debían contribuir a


Cuadro n.° 2

Finalidades y métodos de evaluación

Principales propósitos de la evaluación Marcos metodológicos

Planificación y eficiencia:• Asegurar que hay una justificación para la políti-

ca/programa evaluado y que los recursos son efi-cientemente asignados y utilizados.

• Responde a las necesidades informativas de pla-nificadores y decisores políticos.

Enfoque basado en el análisis de la asignación de re-cursos:Análisis de la eficiencia en la aplicación de los recur-sos, en términos de su planificación y su uso.

Rendición de cuentas (accountability):• Demostrar hasta que punto el programa ha conse-

guido sus objetivos y cómo se han usado los re-cursos de una manera eficaz.

• Responde a las necesidades informativas de deci-sores políticos, organismos financiadores del pro-grama y Parlamentos.

Enfoque basado en la verificación de unos estánda-res o metas:Juzgar el éxito y la eficacia mediante la verificaciónde criterios.

Aplicación:• Mejorar la aplicación y ejecución del programa y

la eficacia de sus mecanismos de actuación (me-didas y acciones).

• Responde a las necesidades de los gestores delprograma y a sus socios.

Enfoque formativo orientado hacia la mejora y el cam-bio:Generar conclusiones que sean de utilidad para me-jorar el programa durante su aplicación y funciona-miento.

Producción de conocimiento:• Aumentar nuestra comprensión sobre qué progra-

mas funcionan, cómo operan en la realidad y enqué circunstancias (contexto) para poder llegar aconclusiones sobre la efectividad de diferentesformas de actuación.

• Responde a las necesidades de los planificado-res.

Enfoque basado en la comprensión /explicación:Investigar los impactos del programa y su éxito eidentificar mecanismos causales sobre qué funciona,cuándo y cómo.

Fortalecimiento institucional:• Mejorar y desarrollar la capacidad de los partici-

pantes en el programa (agencias, organismos, ad-ministraciones) de actuar sobre su entorno y desus redes e instituciones.

• Responde a las necesidades de los socios delprograma y otros implicados (stakeholder).

Enfoque participativo:Desarrollar redes, comunidades y territorios desdeuna perspectiva constructivista (de abajo-arriba) ycon métodos participativos.

Fuente: Elaboración propia en base a Tavistock Institute et al, 2003.

la mejora de los programas (TavistockInstitute et al, 2003:23). Esta caracteriza-ción de las prácticas de evaluación im-pulsadas y promovidas desde los Fondos

Estructurales queda mejor definida cuan-do analizamos los cuadernos de trabajode la Comisión.


195Gráfico n.° 1

Los dos ejes de la evaluación: propósitos y metodologías. Tipos de evaluación.

Fuente: Tavistock Institute et al, 2003: 22

Planificación/Eficiencia

Rendición decuentas

(accountability)Aplicación Producción de

conocimientoFortalecimiento

institucional

Asignaciónde

recursos

Estándaresy

Metas

Mejoray

cambio

Explicación

Participativa

METODOLOGÍAS

PROPÓSITOS

TIPO IEconómica

TIPO IIGestión/eficacia

TIPO VParticipativa

TIPO IVCausal/

Experimental

TIPO IIIFormativa

3.3. Los Cuadernos de Trabajo de la DG Regio

Junto a estos trabajos de investigación,la Unidad de Coordinación y Evaluaciónde Operaciones (recientemente rebauti-zada Evaluación y Adicionalidad) de laDG Regio ha producido y difundido, a lolargo de todos estos años, abundantematerial y documentación donde se esta-blecen las principales orientaciones paraabordar la evaluación de los Fondos Es-tructurales en forma de cuadernos de tra-bajo metodológicos22. El modelo de eva-luación impulsado desde la ComisiónEuropea es un modelo comprensivo yglobal que se estructura sobre el ciclocompleto de la política: evaluación pre-via, intermedia y posterior de cada pro-grama. La producción de orientacionesmetodológicas, por consiguiente, ha sidomuy amplia intentando abarcar los dife-rentes tipos de evaluaciones y la ampliacobertura temática de los Fondos.

Por su importancia merece la pena des-tacar las orientaciones dirigidas al desa-rrollo de un marco conceptual y a la defini-ción y construcción de los indicadores

para el seguimiento y la evaluación, docu-mento de trabajo nº 3 en el periodo 2000-2006 (Comisión Europea, 1999) y ya revi-sado en forma de borrador para el periodo2007-2013 (European Commission, 2006).La Unidad responsable de su elaboraciónestablece que los métodos y enfoquespresentados en estos documentos son denaturaleza indicativa y necesitan ser apli-cados de manera creativa por cada pro-grama específico. Por consiguiente, lasorientaciones metodológicas deben utili-zarse de forma pragmática y flexible.

Una primera orientación importantepara el periodo 2007-2013 es la necesi-dad de ir desplazando la gestión de losFondos Estructurales, tanto en la Comi-sión como en los propios Estados miem-bros, hacia una gestión publica por resul-tados y, de esta manera, facil itar latransición desde un sistema centrado enlos recursos (inputs) a un sistema centra-do en los resultados (outputs), cambioque se espera alcanzar en el nuevo perio-do de programación. El uso de los indica-dores de seguimiento y evaluación seconsidera esencial para apoyar esta tran-sición. Así, las diferentes categorías de in-dicadores introducidas en la evaluación(realizaciones, resultados e impactos) de-ben convertirse en un instrumento paraeste propósito. De esta manera, vemosque, desde la Comisión, existe un claro in-terés por promover evaluaciones que laGUIA considera del tipo II (gestión-efica-cia) y que quedarían incluidas dentro delas evaluaciones destinadas a valorar,medir y demostrar la eficacia de los pro-gramas, siguiendo las prioridades de eva-luación establecidas en los reglamentos ymencionadas en el apartado anterior.

Una segunda orientación de la Comisiónpara el nuevo periodo es que los indicado-


22 En el periodo 1994-1999 se elaboraron dos do-cumentos: uno dedicado al seguimiento de los pro-yectos de infraestructura y otro dirigido a facilitaruna metodología para la medición de la creación deempleo. Para el periodo 2000-2006 se produjeronun total de 9 documentos de trabajo metodológicossobre evaluación ex ante e intermedia, indicadorespara el seguimiento y la evaluación, la reserva deeficacia, la adicionalidad, la actualización de la eva-luación intermedia y otros específicos para iniciati-vas como INTERREG y URBAN. Para el periodo2007-2013, en el momento de escribir este artículo,se encontraban disponibles dos documentos de tra-bajo todavía en calidad de borradores: el primerosobre evaluación ex ante y el segundo sobre indica-dores para el seguimiento y la evaluación. Estos do-cumentos están disponibles en la web de la DG Re-gio en el apartado de documentos de trabajo.

res de seguimiento y evaluación prestenuna mayor atención a los diferentes usosposibles y potenciales de la información.Los diferentes usos y necesidades informa-tivas de la evaluación se derivan de la es-tructura multinivel de los Fondos. La aplica-ción de estos programas implica e integraa diferentes niveles administrativos y aotros socios nacionales y regionales. Estosactores (institucionales o no) desempeñandiversas funciones y, en consecuencia, susnecesidades de información también sondiferentes y específicas.

Los cambios realizados en el periodo2000-2006 contribuyeron a introducir unenfoque de programación y de gestiónde los programas más descentralizados,así como una definición más precisa delas tareas de seguimiento y evaluación aescala comunitaria, nacional y regional.En la práctica, la descentralización hacristalizado en un dispositivo de evalua-ción que adopta la forma de un sistemajerárquico vertical de múltiples nivelesadministrativos. En el nivel europeo, lasevaluaciones posteriores son encargadasa evaluadores independientes que debencentrar su atención en evaluar los cam-bios que se han producido en los indica-dores de impacto que se correspondencon los fines globales y últimos de losprogramas. En el nivel estatal, las evalua-ciones deben valorar los objetivos inter-medios mediante sus indicadores de re-sultados. Por último, en el nivel local elsistema de seguimiento y evaluacióndebe responder, sobre todo, de las reali-zaciones obtenidas por las diferentes me-didas y acciones.

La Comisión considera que, durante elperiodo 2000-2006, se ha avanzado deforma considerable en la cobertura y lacalidad de los sistemas de indicadores,

pero también reconoce que han existidodeficiencias relacionadas, por un lado,con el diseño de sistemas extremada-mente complejos pero, al mismo tiempo,insuficientes para cubrir y satisfacer lasnecesidades de información de los Esta-dos miembros y de las regiones. Para su-plir esta deficiencia, y de cara al nuevoperiodo, se recomienda establecer siste-mas de indicadores donde se reflejen losdiferentes usos, eliminando los indicado-res no utilizados y mejorando los indica-dores restantes.

Para facilitar el cumplimiento de ambasorientaciones (la gestión por resultados yla cobertura de las necesidades informa-tivas de la Comisión, los Estados miem-bros y las regiones), los documentos detrabajo proponen utilizar la lógica de la in-tervención de un programa como estruc-tura que permita establecer un sistemade indicadores de seguimiento y evalua-ción comprensivo. La existencia de unarelación lógica entre las decisiones deasignación y los objetivos, que puede re-presentarse como una concatenacióndesde el nivel superior al inferior o desdeel nivel inferior al superior, se utiliza comobase para definir los indicadores que secorresponden con cada nivel, aunque, enla práctica, ambas perspectivas se vayana alternar.

—Desde el nivel superior al inferior: to-das las intervenciones se programanen un contexto específico relaciona-do a un objetivo global establecido.Dicho objetivo constituye la base dela estrategia de la intervención y ori-gina un cierto número de objetivosespecíficos que, de forma general,se corresponden con las áreas prio-ritarias. A su vez, cada objetivo es-pecífico se lleva a cabo por medio


197

de medidas que permiten la conse-cución de objetivos operativos.

—Desde el nivel inferior al superior: lasmedidas son llevadas a cabo poradministraciones, organismos oagentes económicos del nivel local yregional que utilizan diversos medioso recursos (financieros, humanos,técnicos y organizativos). El gastoreal origina las realizaciones físicas

que reflejan los progresos de ejecu-ción de cada medida. Los resulta-dos son los efectos inmediatos so-bre los beneficiarios directos de lasacciones financiadas. Estos resulta-dos pueden expresarse en términosde impacto en la consecución de losobjetivos específicos y globales. Es-tos últimos hacen referencia al obje-tivo último de la intervención.

Mediante la utilización de los indicado-

res establecidos en base a la lógica de

intervención del programa pueden medir-

se conceptos relevantes para una gestión

por resultados tales como la eficacia y la

eficiencia a tres niveles diferentes de in-

tervención: en las medidas/acciones, en

las prioridades y en el programa. Pero

además, según la Comisión, estos indica-

dores pueden satisfacer las necesidades


Gráfico n.° 2

Lógica de intervención de un programa

Fuente: Comisión Europea, 1999: 6.

Recursos Actividades del programa(medidas, etc.)

Realizaciones(bienes y serviciosproducidos por el

programa)

Resultados(efectos directos e

inmediatos)

Impactos(efectos a largo plazo)

Objetivosglobales

Objetivosespecíficos

Objetivosoperativos

Objetivosdel programa

informativas de los tres niveles implica-dos en su gestión: las regiones, los Esta-dos miembros y la Comisión.

En el nivel territorial inferior, las regio-nes (administraciones, organismos yagentes económicos y sociales) tienen unmayor interés por conseguir la mayor in-formación posible de las medidas porellas gestionadas. Estos agentes regiona-les deben garantizar la ejecución físicade las acciones y de las medidas en suconjunto y, para ello, utilizan los indicado-res de realización (ejecución física y fi-nanciera). Asimismo, estos agentes regio-nales podrían estar interesados encompletar esta información con otras va-loraciones basadas en el uso de indica-dores de resultados e impactos.

En un segundo nivel, las autoridadesde gestión de los programas (en muchoscasos los Estados miembros) necesitaninformación menos detallada sobre las

medidas y muy poca información sobrelas acciones individuales. Los indicado-res más apropiados a este nivel son losindicadores de impacto y de resultados.En este sentido, el documento para el pe-riodo 2007-1013 afirma que: «la cuestiónde la información más relevante para lasautoridades de gestión debería resolver-se utilizando una aproximación de arribahacia abajo (top-down) y definida enbase al objetivo de cada prioridad» (Eu-ropean Commission, 2006: 8). La autori-dad de gestión puede también estar inte-resada en conocer ciertos indicadores derealización para, por ejemplo, medir laeficiencia (en términos de coste) de dife-rentes administraciones y agencias eje-cutoras regionales.

En un tercer nivel, el principal interésinformativo de la Comisión recae sobre elnivel de las prioridades y los programas,según sus respectivos indicadores de re-


199

Cuadro n.° 3

Indicadores de eficacia y eficiencia

Fuente: Comisión Europea, 1999: 12.

Objetivos Indicadores Eficacia Eficiencia

Medida/acción Realizaciones físicas y financieras

Realizacionesreales/previstas

Realizaciones en comparación con los costes

Prioridad Resultados Resultados reales/previstos

Resultados en comparación con los costes

Programa Impacto Impacto real/previsto Impacto en comparacióncon los costes

sultados y de impacto. Según la propiaComisión, a modo de complemento, esta-ría bien disponer de algunos indicadoresde realización fáciles de agregar a partirde diferentes programas.

Para establecer este sistema de indica-dores adaptado a las necesidades infor-mativas de una estructura multi-agentes,el gran reto es seleccionar y recopilar losdatos que son necesarios para cada nivelinstitucional o, en otras palabras, «notoda la información disponible será reco-pilada y transmitida a todos y cada unode los niveles» (European Commission,2006: 8).

El documento 2007-2013, además, norestringe la utilidad de la evaluación a lasadministraciones directamente implicadasen las intervenciones estructurales, sinoque considera al conjunto de los participan-tes del programa (‘stakeholder’) como futu-ros y potenciales usuarios de la informa-ción. En este conjunto se incluyen: lasagencias ejecutoras, los promotores deproyectos, las autoridades de gestión, loscomités de seguimiento, la Comisión Euro-pea, el Parlamento europeo y los naciona-les, los equipos externos de evaluación y lasociedad en general. Y recomienda quepara establecer el sistema de indicadores,«es necesario contar con la participacióndel mayor número posible de futuros y po-tenciales usuarios de la información» (Euro-pean Commission, 2006: 20). Éstos deberí-an cooperar con la autoridad responsablede manera regular en el diseño de los indi-cadores, por ejemplo, en forma de un gru-po de trabajo temporal. Este grupo, si resul-ta efectivo durante la fase de laplanificación y la programación, podríatransformarse en el curso de la aplicacióndel programa en una plataforma de segui-miento, más formalizada, en especial en los

grandes programas del Objetivo Conver-gencia. La participación de expertos exter-nos puede ser también beneficiosa.

Dada la elevada complejidad de los pro-gramas, en especial de los del Objetivo deConvergencia, no se espera conseguir unacobertura igualitaria de todos los objetivos,sino que los indicadores de resultados e im-pactos deberían cubrir aquellas prioridadesy medidas que representan la parte masimportante del gasto público o aquellos queson de mayor importancia estratégica tantodesde la perspectiva de los objetivos comoen relación con las necesidades informati-vas de los potenciales usuarios (EuropeanCommission, 2006: 21).

Por último, para que este cambio haciaun sistema donde se compaginan unagestión basada en resultados y una mayoratención a las necesidades informativasde los usuarios pueda llegar a ser posible,y según la experiencia del periodo 2000-2006, la Comisión recomienda incremen-tar la calidad de la medición y la cuantifi-cación de los indicadores de resultadosen particular como, «una condición sinequa non para este propósito» (EuropeanCommission, 2006: 4).

Para la Comisión, en la evaluación, elinstrumento más importante es el indica-dor de impacto: «sólo los impactos de unprograma identificados ex post permitenrealizar un juicio final sobre el éxito o elfracaso de un programa» (EuropeanCommission, 2006: 9). Pero, los indicado-res de impacto son difíciles de obtener yaque, por su naturaleza, frecuentementesolo están disponibles tras un considera-ble periodo de tiempo y necesitan de unabase metodológica potente para ser váli-dos. Por otro lado, los indicadores de rea-lización únicamente ofrecen información


sobre los efectos físicos y no socioeconó-micos de una medida o acción. En térmi-nos prácticos, esto sitúa a los indicadoresde resultados en una posición estratégicadentro del sistema de seguimiento y eva-luación. Por esta razón: «la Comisión de-sea animar a los Estados miembros aconcentrar sus esfuerzos en la mejora delos indicadores de resultados, en particu-lar, de aquellos que serán utilizados paradefinir los objetivos de cada prioridad»(European Commission, 2006: 10). Estosesfuerzos deberían cubrir todos los ele-mentos que contribuyen a la calidad deun indicador: un análisis adecuado delcontexto, la comprensión de la cadenacausa-efecto implícita, una definición cla-ra, una situación de partida, una defini-ción del método de medida y una metacuantificada.

Especial importancia se le da en am-bos documentos (2000-2006 y 2007-2013) al hecho de disponer de una metacuantificada: los indicadores necesitancuantificar sus metas, de lo contrario, nopodrán medir en qué grado se han alcan-zado los objetivos originales. Debencuantificarse los objetivos y los indicado-res correspondientes a los programas,prioridades y medidas, y «la calidad con-seguida en la cuantificación de las metasde las prioridades y de los programas de-penderá de la calidad de la cuantifica-ción en el nivel de las medidas» (Europe-an Commission, 2006: 14). La Comisióndesea animar al uso de indicadores co-munes clave: indicadores físicos y finan-cieros que pueden ser utilizados pararealizar comparaciones y agregacionesde datos entre programas similares, prio-ridades o medidas. La utilización de unconjunto de indicadores comunes clavepuede ser de utilidad en diferentes con-

textos pero, especialmente, son de graninterés e importancia para dar una cober-tura adecuada a las necesidades infor-mativas y de rendición de cuentas de laComisión.

Con estas orientaciones metodológi-cas, la Comisión espera que en el perio-do 2007-2013, las evaluaciones alcancencada vez una mayor calidad técnica ycontribuyan, de una manera más efectivaque en periodos anteriores, a conseguiruna mayor eficacia y eficiencia de las in-tervenciones comunitarias y a incremen-tar el uso de los resultados por la Comi-sión, los Estados miembros y lasregiones.

4. LOS AVANCES REALIZADOS.UN BALANCE

Como se ha presentado en las dossecciones anteriores, los Fondos Estruc-turales han contribuido de manera decisi-va al desarrollo de la cultura de evalua-ción y a la difusión de la prácticaevaluadora en las políticas de desarrolloregional, tanto por medio sus disposicio-nes reguladores como mediante susorientaciones y aportaciones metodológi-cas. La atención prestada por los FondosEstructurales al seguimiento y a la evalua-ción de sus programas de desarrollo eco-nómico y social puede considerarsecomo una innovación fundamental, unaportación central de los Fondos a la polí-tica de cohesión europea, a su diseño y asu ejecución (Bachtler y Taylor, 2003).

La extensión de una mayor y mejor in-formación sobre el contenido y el diseñode la evaluación, sobre sus modelos ysus técnicas, se ha plasmado en una ma-yor habilidad para conducir la práctica de


201

la evaluación y explotar los resultados ob-tenidos, mejorando, en última instancia,las propias políticas y programas evalua-dos (Bachtler y Michie, 1997: 856). Laevaluación se ha convertido en un ele-mento integral de las políticas, lo que hapermitido acumular experiencias e incre-mentar la capacidad de evaluación y,todo ello, se materializa, hoy en día, en laconsolidación de una comunidad evalua-dora al amparo y al servicio de los Fon-dos Estructurales.

La situación desde 1988 hasta ahora hacambiado de forma radical. En ese año,cuando las regulaciones de los FondosEstructurales comenzaban a introducir laevaluación en sus regulaciones, la culturade evaluación en las políticas regionalesde desarrollo no existía en la gran mayoríade los Estados miembros y en la propiaComisión Europea, o era en todo casouna actividad muy limitada. Desde enton-ces hasta ahora, se ha ido produciendo,de manera paulatina y constante, una im-portante mejora cuantitativa y cualitativaen materia de evaluación.

Las obligaciones incluidas en las regu-laciones de los Fondos Estructurales haninstitucionalizado la evaluación de mane-ra sistemática a lo largo del ciclo de vidade la política, impulsando la realizaciónde tres tipos de evaluaciones (ex ante, in-termedia y ex post). En la práctica, estoha significado un aumento muy conside-rable del número de evaluaciones que serealizan en la Unión Europea. Ya, en elperiodo 1989-1993, se cuantificaban has-ta 380 evaluaciones, un número que,para el periodo 2000-2006 donde la eva-luación intermedia era obligatoria, podríallegar a multiplicarse por 5 ó 6 (Monnier,2000). Sólo en relación con la evaluaciónintermedia de los Programas Operativos

del Objetivo 1 y 2 se han realizado másde 200 evaluaciones, a las que habríaque sumar las del Objetivo 3, las de lasIniciativas Comunitarias, las de desarrollorural y las evaluaciones temáticas impul-sadas desde la Comisión.

Esta creciente actividad evaluadora hasido la base para el desarrollo de un mer-cado de servicios dirigidos hacia la eva-luación y un aumento del número de em-presas consultoras y de profesionalesque se han especializado en esta activi-dad para dar cobertura a esta nueva de-manda. Ligado a la aparición de estemercado, otro indicador del aumento ex-perimentado por la práctica evaluadoraes, sin duda, la aparición de nuevas so-ciedades nacionales de evaluación quese crean en un número creciente de Esta-dos miembros, incluido España, y la con-solidación de las actividades desarrolla-das por la Sociedad Europea deEvaluación23. Se observa, por lo tanto, unproceso de profesionalización: equiposvinculados a Universidades, unidades es-pecializadas de grandes consultoras,nuevas pequeñas empresas consultorasetc. que diseñan y realizan evaluacionesde manera, cada vez, más profesional, yesta práctica propicia el inicio de los tra-bajos dirigidos a la elaboración de están-dares profesionales.

La falta de una oferta de formación es-pecializada y de alto nivel para dar res-puesta a las nuevas demandas en mate-


23 Las personas interesadas en conocer en profun-didad las actividades de estas sociedades puedenconsultar sus webs: www.sociedadespañola.org ywww.europeanevaluation.org. En la web de la So-ciedad Europea de Evaluación podrán encontrar losenlaces a otras sociedades de Estados miembrosde la UE.

ria de evaluación ha sido cubierta, a lolargo de estos años, desde la propia Co-misión Europea. Ya se ha comentado, elimportante trabajo realizado, tanto desdeel Programa MEANS como desde la DGRegio, con el objetivo de contribuir a de-sarrollar marcos metodológicos globales,herramientas y técnicas adaptadas a laevaluación de programas estructurales eindicadores de seguimiento y evaluación.Esta necesidad ha sido el origen también,en muchos Estados miembros, de la apa-rición de cursos para formar especialistasen evaluación24, así como de la organiza-ción de talleres formativos dentro de lasactividades propias de la Sociedad Euro-pea de Evaluación y otras sociedades na-cionales, a lo que habría que sumar lasconferencias organizadas desde la pro-pia Comisión o desde las sociedades deevaluación, como lugares de encuentro ydiscusión donde demandantes de las ad-ministraciones y profesionales evaluado-res intercambian conocimientos y expe-riencias.

Todas estas actividades y estos esfuer-zos combinados han contribuido, sinduda, a una práctica de evaluación decreciente calidad. Se ha producido unamejora de las metodologías utilizadas, sehan introducido técnicas más específicasy sofisticadas y se han realizado impor-tantes aportaciones a la construcción deindicadores sensibles y adecuados (Mon-nier, 2000). Algunas evaluaciones mues-tran significativos avances en la clarifica-ción y cuantificación de los objetivos, enla determinación de la estructura interna

de los componentes del programa y en elestablecimiento de prioridades (C3E,1998:8). Se han realizado progresos muyconsiderables en la homogenización deconceptos, en el desarrollo de un marcoglobal y coherente y en la elaboración deun discurso común. En este sentido, laGUIA es un manual de referencia de granvalor por su capacidad para integrar ypresentar diferentes perspectivas y enfo-ques de evaluación, sin prescribir recetaspero mostrando alternativas y dejando li-bertad para adoptar elecciones metodo-lógicas adecuadas a cada situación eva-luativa particular.

Recientemente, un estudio realizadopor la DG Regio en relación con las po-tencialidades y debilidades de las eva-luaciones intermedias Objetivo 1 y 2 fina-l izadas en Diciembre del 2003 (DGRegio, 2004), resaltaba precisamente elimportante aumento experimentado en lacalidad de los informes. Para la DG Re-gio, esta mejora es indicativa de una cre-ciente capacidad evaluadora de los pro-fesionales, pero también del desarrollo dela capacidad evaluadora de la propia ad-ministración.

El desarrollo de estructuras para unacooperación efectiva en materia de eva-luación entre la Comisión, los Estadosmiembros y las regiones, ha sido otro ele-mento que, cuando funciona bien, contri-buye a incrementar la calidad de las eva-luaciones. El análisis de las evaluacionesintermedias realizadas demuestra que unbuena interrelación institucional promue-ve modelos de evaluación más centradosen las necesidades informativas de los di-ferentes niveles administrativos, así comofacilita una mayor apropiación de los re-sultados, apropiación que, en definitiva,es un requisito imprescindible para incre-


24 En España, existe un único Master en Evalua-ción de Políticas Públicas en la Universidad Com-plutense de Madrid que lleva funcionando desdehace tres años.

203

mentar el uso de la evaluación, una cues-tión que ya había sido puesta de mani-fiesto en estudios anteriores: «Donde estaapropiación es regional/local, los estudiosde evaluación parecen convertirse enejercicios más intensamente explotados.A medida que las regiones participanmás activamente en la evaluación, (...) lautilidad de las evaluaciones para los ad-ministradores de los programas se incre-menta» (Bachtler y Michie, 1997: 856)

Como resultado de todo este proceso,hoy nos encontramos con que la culturade la evaluación comienza a extenderse,y lo que es más importante, a instalarseen los Estados miembros de la Unión Eu-ropea, dentro de sus instituciones y susestructuras administrativas dando lugar,incluso en algunos países como Italia, ala creación de unidades de evaluaciónnacionales y regionales (Casavola y Ta-gle, 2003). A ello han contribuido la obli-gación impuesta en las regulaciones y lasiniciativas de la Comisión Europea, perotambién una creciente visión del papelque la evaluación puede y debe desem-peñar como instrumento generador de in-formación que ayude a mejorar los pro-gramas. En este sentido, visiones queconsideraban el ejercicio de la evalua-ción como una obligación burocrática yuna carga administrativa adicional estánen retroceso (Lang, 2001: 12)25.

Y lo que es también significativo esque, según diversos trabajos, cada vez

hay más evaluaciones que superan lo es-tablecido en las propias regulaciones ybuscan diseños evaluadores a medida enfunción de sus propias cuestiones y ne-cesidades informativas. Esta práctica vaunida a un creciente debate metodológi-co e incluso a la expresión de desacuer-dos con las orientaciones de la Comisión,desacuerdos que demandan un mayorreconocimiento de los efectos cualitativosde los programas y una mayor atención ala evaluación formativa (Bachtler y Mi-chie, 1997: 37; C3E, 1998:9).

Y esto es así porque las orientacionesmetodológicas de la Comisión han pro-movido, de forma bastante generalizada,diseños de evaluación y metodologíasque responden a un modelo de evalua-ción clásica por objetivos (value for mo-ney) y de aplicación del análisis coste-efectividad desde una doble perspectivade investigación de los efectos de la in-tervención estructural a nivel macro y mi-croeconómico (Bachtler y Michie, 1995:747). Las dificultades de llevar a buentérmino estos diseños conducen a prácti-cas de evaluaciones centradas sobre elseguimiento administrativo, que buscanla rendición de cuentas fundamentalmen-te en términos físicos y financieros, quecomprueban si el programa se ha ejecu-tado tal y como fue diseñado, y que utili-zan como principal método de evaluaciónun sistema de indicadores cuantitativosdirigido a medir el cumplimiento de losobjetivos y las intenciones previas26.

Por consiguiente, los aspectos positi-vos resaltados hasta ahora no pueden yno deben ocultar que, a pesar de los lo-


25 La propia Comisión ha percibido este cambio:«Las reservas e, incluso, la hostilidad vis-a-vis queexistían, a principios de los noventa, han ido desa-pareciendo gradualmente en la mayoría de los Esta-dos miembros. Naturalmente, esto ha facilitado laaplicación de la evaluación» (European Commis-sion, 1999, vol. 1: 41).

26 Para un análisis crítico del uso y la aplicaciónde los modelos value for money en las políticas re-gionales ver Díez, 2001.

gros alcanzados, existen aún importantestareas pendientes. La propia Comisión re-conoce las carencias que presenta lapráctica evaluadora de los Fondos Es-tructurales. En el estudio sobre las eva-luaciones intermedias realizadas para fi-nales del 2003 mencionado conanterioridad, encontramos un buen resu-men de las debilidades más frecuentesque atenazan las evaluaciones de losprogramas de desarrollo (Gaffey, 2004)27:

—Un trabajo de campo muy limitadodonde las observaciones sobre el te-rreno y las informaciones provenien-tes de los colectivos de beneficiariosson escasas.

—Siguen faltando datos completos so-bre las realizaciones y los datos deseguimiento, y en ocasiones, siguensiendo insuficientes y de poca cali-dad.

—Las evaluaciones tienden a ser muydescriptivas y no son frecuentes losanálisis en profundidad y las inter-pretaciones detalladas.

—Existe un énfasis excesivo sobre elseguimiento financiero y el criteriode eficiencia se confunde con lamera absorción de fondos.

—No se producen suficientes reco-mendaciones y conclusiones opera-tivas y, con frecuencia, no hay unadiferenciación clara entre estos dosaspectos de la evaluación.

—Los informes tienden a ser excesiva-mente largos, al igual que la presen-tación de resultados. Ambos hechos

dificultan la difusión posterior de lasconclusiones alcanzadas.

—Los informes al estar obligados a tra-tar un número muy elevado de cues-tiones evaluativas (desde la estrate-gias hasta la eficacia, pasando porla aplicación) y enfrentarse a la eva-luación de programas largos y com-plejos (donde conviven un gran nú-mero de medidas) tienden a adoptarun enfoque en exceso superficial.

—Los términos de referencia que sederivan de las normativas comunita-rias no responden y no se adaptan,de manera suficiente, a las necesida-des de las regiones y de los sectores.

—El uso operativo de la evaluación noes habitual, esto es, los resultadosde las evaluaciones no son utiliza-dos para mejorar y reformular losprogramas.

—Se produce un escaso uso políticode las evaluaciones y su aportacióna los debates democráticos localesy nacionales es muy baja.

Estas debilidades están estrechamenterelacionadas con dos cuestiones intrínse-cas a los propios Fondos Estructurales ya su carácter de instrumento de la políticade cohesión de la Unión Europea: unacobertura muy amplia de objetivos y áre-as de intervención y la participación dediferentes niveles institucionales, Comi-sión, Estados miembros y regiones, todosellos compartiendo responsabilidades enel diseño, la gestión y la evaluación delos Fondos. Estos elementos introducenimportantes retos metodológicos en suevaluación y generan tensiones que has-ta el momento no han podido ser resuel-tas de manera satisfactoria.


27 Estas conclusiones confirman diagnósticos rea-lizados por trabajos anteriores. Ver a este respecto:Bachtler y Michie, 1997 y C3E, 1998.

205

5. RETOS Y TENSIONES A RESOLVEREN EL FUTURO

Las tensiones más importantes que so-portan los diseños y las prácticas de eva-luación de los Fondos Estructurales sederivan de su incapacidad para dar res-puesta a dos tipos de problemas: una es-timación y medición adecuada del impac-to de las intervenciones cofinanciadas yun mayor uso y utilidad de sus resultadosy conclusiones para los diferentes nivelesadministrativos y otros stakeholders queparticipan en su aplicación y desarrollo(Lang, 2001: 8). En la sección 2 y 3 deeste artículo, hemos visto que la Comisiónes consciente de ambos retos y se plan-tea, para el periodo 2007-2013, abordarsu resolución para lo que ofrece a los Es-tados miembros y a las regiones una se-rie de recomendaciones metodológicasque giran alrededor de diseños basadosen la lógica de intervención del programay en el uso de los indicadores de resulta-dos como pieza informativa básica de unsistema que busca cuantificar las realiza-ciones, medir los efectos sobre las priori-dades y contribuir a introducir un mínimocomún de indicadores clave de impacto.

En relación con el primer problema se-ñalado, la estimación y medición del im-pacto socioeconómico de los Fondos Es-tructurales es una de las tareas másimportantes de la evaluación, al mismotiempo que un problema metodológicoaún sin resolver de forma satisfactoria(Lang, 2001; Díez, 2002; Stame, 2004).La gestión basada en resultados comometa hacia la que avanzar en el nuevoperiodo de programación exige nuevosinstrumentos para la retroalimentación.Las autoridades de gestión de las inter-venciones necesitan herramientas capa-

ces de determinar el cumplimiento de losobjetivos en base a evidencias empíricassustentables. Y, sin embargo, la mayorparte de las evaluaciones tienen proble-mas para identificar los resultados e im-pactos a largo plazo y verificar el cumpli-miento de las metas.

Las dificultades para apreciar el impac-to de los programas sobre sus fines estánestrechamente ligadas con el amplio con-junto de prioridades perseguidas por lapolítica de cohesión comunitaria (competi-tividad, empleo y bienestar social más lastransversales de medioambiente e igual-dad de oportunidades). Los objetivosplanteados en las intervenciones de losFondos superan en número, amplitud desu cobertura y complejidad a los de otraspolíticas socioeconómicas. Por consi-guiente, a una mayor complejidad de losobjetivos, mayores dificultades para abor-dar la estimación del impacto. Y a estacomplejidad hay que sumarle la enormediversidad existente en relación con losmedios utilizados para conseguirlos (lasmedidas y las acciones).

Superar estas dificultades es esencialpara la propia Comisión Europea ya queexiste una imperiosa necesidad de de-mostrar ante los Parlamentos y la Cortede Auditores los impactos de las accio-nes de la política de cohesión territorial yel buen uso de los recursos asignados aesta política. De ahí, el énfasis que elnuevo documento sobre indicadores yseguimiento pone sobre la necesidad dedisponer de información sobre los efectosa medio y largo plazo de las intervencio-nes comunitarias. Pero, además, existeuna tensión añadida en este ámbito detrabajo: a la necesidad de demostrar losimpactos reales de los programas en elcrecimiento económico, en la creación de


empleo y en el bienestar social se lesuma la necesidad de demostrar que esamedición del impacto es consecuenciadirecta de las acciones y medidas sopor-tadas por los Fondos, y no el resultado deotros factores externos o de otras políti-cas que simultáneamente están actuandosobre la misma área o región (la estima-ción del impacto neto).

La Comisión sugiere que la estimaciónde impacto y la verificación del cumpli-miento de los objetivos es una tarea quepuede ser abordada haciendo uso de lalógica de intervención del programa, unmarco metodológico simple pero que, enla práctica, se revela difícil de llevar a lapráctica. De ahí, que comiencen a oírsevoces discrepantes con el uso de estemodelo, que muestran su desacuerdo so-bre su capacidad para integrar y compa-ginar, por un lado, la complejidad en ob-jetivos y la diversidad de instrumentos delas intervenciones estructurales de losFondos y, por otro, la estimación del im-pacto bruto y neto de una intervención,dando respuesta al problema de la atri-bución. Para Stame, por ejemplo, estemarco metodológico conduce, en el me-jor de los casos, a diseños evaluadorescentrados sobre los objetivos como varia-bles objeto de medición, que miden laevolución de la situación a lo largo deltiempo y asumen que los cambios identi-ficados (las mejoras cuantificadas) sonatribuibles al impacto global de los recur-sos asignados, sin que pueda llegar adiscernirse su atribución a una u otra me-dida o acción específica. Por consiguien-te, no hay ninguna práctica que puedaser considerada responsable del impac-to, ni ninguna lección que se puedaaprender de esta experiencia (Stame,2004: 66).

La solución propuesta por esta evalua-dora es introducir en la evaluación de losFondos Estructurales modelos basadosen la teoría. «Por tanto, a menos que laevaluación genere una teoría de por quéunas acciones funcionan mejor o peor enun contexto determinado y no en otros, laagregación de los datos globales de em-pleo y la valoración del éxito o el fracasode un programa debido a que sus impac-tos se acercan a las expectativas inicialesno tiene ningún sentido» (Stame 2004:67)28. Esta nueva propuesta se acerca ala «evaluación realista» (Pawson y Tilley,1997) y a los modelos basados en la teo-ría de cambio del programa (Weiss, 1995;Rogers et al., 2000), todos ellos enfoquesde evaluación que han alcanzado en losúltimos años un importante nivel de difu-sión en la evaluación de políticas y pro-gramas, tal y como reconocía la propiaGUIA al identificar las transformacionesmás recientes experimentadas por la eva-luación, abriendo nuevos caminos paraexplorar la estimación del impacto y com-prender su relación con los mecanismosy los contextos.

En relación con el segundo problema,la existencia de un elevado número declientes y usuarios potenciales a los quela evaluación debe satisfacer, crea ten-siones que afectan, de manera directa, aluso de la evaluación en cuanto a las posi-bilidades de que sus conclusiones se in-tegran en el ciclo de la reprogramación yel diseño de nuevas políticas.

La planificación de la política regionalcomunitaria se ha venido estructurandodesde su inicio sobre un sistema multini-


28 Esta es la opción propuesta también por otrosevaluadores: Casavola y Tagle, 2003, Valovirta,2003 y Díez, 2001.

207

vel donde las responsabilidades de dise-ño, planificación y ejecución responden auna estructura jerárquica vertical. Al nivelmás alto, tanto la Comisión Europea,como en un segundo nivel, los Estadosmiembros establecen los fines últimos ylas prioridades, los objetivos son articula-dos (y los indicadores comunes defini-dos) y los recursos públicos son asigna-dos; pero los instrumentos, las formas omaneras de obtener resultados, perma-necen en las manos de las autoridadesde gestión (gobiernos regionales y loca-les, organismos públicos y privados, etc).Son éstas las que deciden la parte opera-tiva de sus programas, distribuyen los re-cursos por medidas de intervención y de-terminan las acciones que deben serejecutadas. Esta división entre responsa-bilidades relativas a fines y objetivos, porun lado, y medios o instrumentos por otrotiene su origen en el principio de subsi-diariedad. Este principio ha inspirado losreglamentos de los Fondos Estructuralesdesde su inicio ya que éste es un ámbitode actuación donde las competenciasson compartidas entre la Comisión, losEstados miembros y las regiones.

Este sistema de distribución de res-ponsabilidades descentralizado pero, ins-titucionalizado de forma jerárquica y verti-cal, se extiende también a la evaluación,y se traduce en un reparto de responsa-bilidades de las tareas evaluativas, tal ycomo se ha mencionado en el apartado2, y en unas necesidades informativasvinculadas a usos potenciales y posiblesde la evaluación claramente diferencia-das por niveles, tal y como se señalabaen el apartado 3. En cierta manera, cadanivel es independiente, y esto introduceel riesgo de que las conclusiones alcan-zadas a nivel regional, estatal, o europeo,

no sean comunicadas y adecuadamentetransmitidas a lo largo de la jerarquía ver-tical hacia arriba y hacia abajo. El sistemaacaba generando tensiones que se mani-fiestan en una infrautilización tanto de losresultados como de las conclusionesofrecidas por los distintos tipos de eva-luaciones. Las evaluaciones no producenconocimiento útil, en especial, para losdecisores y planificadores regionales (Va-lovirta: 2003: 7; Stame, 2004: 71).

Sin embargo, de forma lenta pero pau-latina, la práctica de la programación yde la evaluación de los Fondos Estructu-rales ha ido generando ciertas formas dedesarrollo de un sistema de gobernanzaque, de manera incipiente y, de momen-to, sólo en la práctica, comienza a emer-ger y a convivir con la estructura tradicio-nal y que surge del buen funcionamientode la relación inter-institucional. La eleva-da fragmentación institucional y la necesi-dad permanente de buscar consensosentre diferentes niveles administrativos yotros actores, ha generado una gober-nanza compleja que tiende a operar me-diante redes integradas por políticos, fun-cionarios y expertos29.

En consecuencia, la evaluación de losFondos Estructurales se desenvuelve enun contexto donde existen múltiples nive-les de responsabilidades institucionales yadministrativas, interrelaciones entre dife-rentes administraciones públicas e, inclu-so, en las regiones, una ausencia clara dejerarquía entre las diferentes autoridades


29 Esta práctica comienza a ser apoyada por dife-rentes propuestas y documentos: cambios en la re-gulación de subsidiariedad a favor de los parlamen-tos nacionales y subnacionales, búsqueda de unmayor pluralismo institucional, recomendacionespara una mayor transparencia de decisiones y res-ponsabilidad ante la ciudadanía.

de gestión de las medidas y acciones.Una consolidación progresiva de este con-texto va a permitir, sin duda, el desarrollode prácticas de evaluación de los Fondosmuy diferentes a las habituales, comoStern señalaba en la Conferencia de Eva-luación de Edimburgo, «la evaluación seestá convirtiendo seguramente en una delas pocas herramientas disponibles paradirigir y facilitar este tipo de gobernanza»(Stern, 2000). Según este evaluador, laevaluación pasaría de ser una herramientapara mejorar la gestión pública basada enresultados en una acción mucho más am-biciosa: «un conductor de las nuevas for-mas de gobernanza que comienzan aemerger en Europa» (Stern, 2000).

Este nuevo punto de vista sobre el pro-pósito y la función de la evaluación tieneimplicaciones metodológicas importantesy conduce casi directamente a resaltar elpapel que, en el futuro de la evaluaciónde los Fondos Estructurales, deberían de-sempeñar las evaluaciones formativas30.

Unas evaluaciones centradas en suminis-trar información que sea susceptible deser utilizada para introducir cambios enlos programas, reformar sus acciones ymedidas mientras se aplican y de estaforma ayudar a la planificación de nuevasestrategias de desarrollo para las regio-nes. Una evaluación concebida como uninstrumento de aprendizaje y mejora delos programas que pueda suministrar in-formación de utilidad para los gobiernosregionales, los Estados miembros y la Co-misión interesados en conocer cómo sepueden diseñar y aplicar mejores políti-cas de cohesión territorial. Para dar cabi-da en el modelo y en la metodología deevaluación a las necesidades informati-vas de sus potenciales usuarios resultaráfundamental favorecer la interacción en-tre los diferentes actores de ese sistemade gobernanza, alrededor y en relacióncon la propia actividad de evaluación, y,en consecuencia, a promover su partici-pación activa en el proceso de evalua-ción.


30 La práctica de la evaluación de los Fondos sedesplazaría del tipo de evaluación II al III en nuestrográfico 1 donde se entrecruzan propósitos, metodo-logías y tipos de evaluaciones.

209

BACHTLER, J. Y MICHIE, R. (1994): «StregtheningEconomic and Social Cohesion? The revisionof the Structural Funds», Regional Studies28(8): 789-796.

BACHTLER, J (1994): «The Evaluation of the Struc-tural Funds: Methodological Issues». Comuni-cación presentada en el Seminario Methodis-che Probleme und Erfahrungen bei derEvaluierung von EU- Programmen für Ziel- 1und Ziel 2- Gebeite, Viena.

BACHTLER, J. Y R. MICHIE (1995): «A new era in EURegional Policy evaluation? The appraisal ofthe Structural Funds», Regional Studies 29(8):745-751.

BACHTLER, J. Y R. MICHIE, R. (1997): «The interimevaluation of EU regional development pro-grammes: Experience form Objective 2 Re-gions», Regional Studies 31(9): 849-858.

BACHTLER, J Y S. TAYLOR (2003): «The added valueof the Structural Funds: a regional perspecti-ve» IQ-Net Report. European Policies Rese-arch Centre. University of Strathclyde. Glas-gow.

CASAVOLA P. Y L. TAGLE (2003): «Building capacityfor evaluation: lessons from Italy», V Conferen-cia Europea sobre Evaluación de los FondosEstructurales, Budapest, 26-27 de Junio.

COMISIÓN EUROPEA (2000): Documento de trabajo3. Indicadores de seguimiento y evaluación:orientaciones metodológicas. Unidad de Coor-dinación y Evaluación de Operaciones. Dispo-nible en la página web de la DG Regio en lasección documentos de trabajo.

COMISIÓN EUROPEA (2000): Documento de Trabajonº 4: Asignación de la reserva de eficacia. Uni-dad de Coordinación y Evaluación de Opera-ciones. Disponible en la página web de la DGRegio en la sección documentos de trabajo.

DG REGIO (2004): The mid term evaluation in Ob-jetive 1 and 2 regions. Growing evaluation ca-pacity. Evaluation Unit-Regio C.2. Noviembre.

DG REGIO (200): Inforegio Panorama, nº 16. Co-misión Europea.

DÍEZ, M. A. (2001): La evaluación de la política re-gional: Propuestas para evaluar las nuevas po-líticas regionales. Serie Tesis Doctorales, Uni-versidad del País Vasco.

DÍEZ, M. A. (2002): «Evaluating new regional poli-cies: reviewing the theory and practice». Eva-luation 8(3): 285-305.

EUROPEAN COMMISSION (1999): Evaluating Socio-Economic Programes. Volúmenes 1-6. Oficinade Publicaciones Oficiales de la Comisión Eu-ropea. Luxemburgo.

EUROPEAN COMMISSION (2006): Indicators for moni-toring and evaluation: a practical guide (borra-dor del 23 de Enero del 2006). Disponible en lapágina web de la DG Regio en la sección do-cumentos de trabajo.

GAFFEY, V. (2004): «The mid term evaluation ofthe Structural Funds in 2003: A critical apprai-sal from the perspective of the European Com-mission», Sexta Conferencia de la SociedadEuropea de Evaluación, Berlin, 30/9-1/10.

LANG, J. (2001): «Improving Structural Policy un-der conditions of Hibrid Governance: Multi-ac-tor constellations, integrated feedback instru-ments and the use of evaluation results»,Evaluation 7(1): 7-23.

MCELDOWNEY, J. J. (1991): «Evaluation and Euro-pean regional policy», Regional Studies, 25:261-265.

MONNIER, E. (2000): «De Seville á Edimbourg:qualité en hausse, accountability sans grandchangement», IV Conferencia Europea sobreevaluación de los Fondos Estructurales. Edim-burgo, 18-19 Septiembre.

PAWSON R. Y N. TILLEY, (1997). Realistic evaluation.SAGE Publications.

ROGERS, P. ET AL. (Eds). (2000): «Program Theoryin Evaluation: Challenges and Opportunities».New Directions for Program Evaluation 87. SanFrancisco, Jossey-Bass.

STAME, N. (2004). «Theory-based evaluation andtypes of complexity» Evaluation 10(1): 58-76.

STERN, E. (2000): Conferencia impartida en la«Round Table: Evaluation and governance, thedemands of quality, ethics and coherence». IVConferencia Europea sobre evaluación de losFondos Estructurales. Edimburgo, 18-19 Sep-tiembre.

TAVISTOCK INSTITUTE, GHK Y IRS (2003): The eva-luation of socio-economic development: TheGUIDE. http://www.evalsed.info

VALOVIRTA; V Y R. KARINEN (2003): «Providing ge-nuine strategy knowledge for the regions», VConferencia Europea sobre Evaluación de losFondos Estructurales, Budapest, 26-27 de Ju-nio.


REFERENCIAS BIBLIOGRÁFICAS

WEISS, C. H. (1995). «Nothing as practical asgood theory: Exploring Theory-Based evalua-tion for Comprenhensive Community Initiativesfor children and families» en J. P. Connell et al.New approaches to evaluating Community Ini-

tiatives: concepts, methods and contexts. Was-hington, D. C., The Aspen Institute: 65-92

WULF- MATHIES (1995): La evaluación intermediade las intervenciones regionales comunitariasde 1994-1999. Comisión Europea, Bruselas.


211

La evaluación de los Fondos Estructurales de la …la práctica y en la cultura de la evalua-ción...

Documents

Transcript of La evaluación de los Fondos Estructurales de la …la práctica y en la cultura de la evalua-ción...