Análisis de evaluación del Programa Operativo de...

32
Análisis de evaluación del Programa Operativo de Andalucía Pág. 1 Análisis de evaluación del Programa Operativo de Andalucía Autores: Ana Cirera, Mª José Guerrero y Carmen Vélez * Institución : Instituto de Desarrollo Regional, Fundación Universitaria Dirección Postal: Edificio Nobel. Avda. Ramón y Cajal nº 35, planta 1, 41005-Sevilla-España Teléfono : 95-4654911 Fax: 95-4658157 Correo Electrónico: [email protected] 1. Introducción El Instituto de Desarrollo Regional (I.D.R.) es una Fundación Universitaria especializada en la investigación y la formación de expertos en Ciencia Regional. Aunque El Instituto dedica una particular atención a los problemas de desarrollo económico en su entorno territorial más próximo, esto es, la Comunidad Autónoma Andaluza, también lleva a cabo trabajos relativos a otros ámbitos espaciales, así como investigaciones de carácter teórico. Se trata de una entidad sin ánimo de lucro, que cuenta con el apoyo económico de instituciones públicas y privadas, y que, desde su creación en 1.972, ha promovido y financiado más de doscientos trabajos de investigación y publicado casi un centenar de títulos. El Patronato aprueba las líneas de investigación y docencia del Instituto que son definidas por el Consejo Científico, órgano asesor formado por expertos que ejerce, además, el control de calidad de la producción del I.D.R. Las áreas de trabajo a las que se ha decidido conceder una atención prioritaria son: “Evaluación de Políticas Públicas”, “Economía y Ecología” y “Cambio Tecnológico y Desarrollo Regional”. El I.D.R. tiene en su sede la dotación infraestructural necesaria para el cumplimiento de sus funciones: investigación, formación de expertos, conexión con otras instituciones y difusión de la producción científica, así como para dar acogida a los investigadores nacionales o extranjeros que soliciten el uso de las instalaciones (biblioteca, servicio de documentación, redes informáticas, etc.) para la realización de sus trabajos científicos. * Las autoras de la comunicación están adscritas al Equipo de Evaluación de Políticas Públicas del I.D.R. que dirige el Prof. Dr. D. José Luis Osuna. Para la elaboración de los informes que se exponen en esta comunicación han colaborado en el: “Informe preparatorio del Programa Operativo de Andalucía 1.994-99: análisis de evaluabilidad”: Daniel Coq, Carolina Márquez, Eva Jiménez y Marta Román y en el “Informe de Evaluación Intermedia del P.O.A. 1.994-99”: Carlos Bueno, Gustavo Contreras, Purificación López, Elena Gañan y Rubén Osuna.

Transcript of Análisis de evaluación del Programa Operativo de...

Análisis de evaluación del Programa Operativo de Andalucía Pág. 1

Análisis de evaluación del Programa Operativo de Andalucía

Autores: Ana Cirera, Mª José Guerrero y Carmen Vélez*

Institución: Instituto de Desarrollo Regional, Fundación Universitaria

Dirección Postal: Edificio Nobel. Avda. Ramón y Cajal nº 35, planta 1, 41005-Sevilla-España

Teléfono: 95-4654911

Fax: 95-4658157

Correo Electrónico: [email protected]

1. Introducción

El Instituto de Desarrollo Regional (I.D.R.) es una Fundación Universitaria especializada en la

investigación y la formación de expertos en Ciencia Regional. Aunque El Instituto dedica una

particular atención a los problemas de desarrollo económico en su entorno territorial más

próximo, esto es, la Comunidad Autónoma Andaluza, también lleva a cabo trabajos relativos a

otros ámbitos espaciales, así como investigaciones de carácter teórico. Se trata de una entidad

sin ánimo de lucro, que cuenta con el apoyo económico de instituciones públicas y privadas, y

que, desde su creación en 1.972, ha promovido y financiado más de doscientos trabajos de

investigación y publicado casi un centenar de títulos.

El Patronato aprueba las líneas de investigación y docencia del Instituto que son definidas por el

Consejo Científico, órgano asesor formado por expertos que ejerce, además, el control de calidad

de la producción del I.D.R. Las áreas de trabajo a las que se ha decidido conceder una atención

prioritaria son: “Evaluación de Políticas Públicas”, “Economía y Ecología” y “Cambio

Tecnológico y Desarrollo Regional”.

El I.D.R. tiene en su sede la dotación infraestructural necesaria para el cumplimiento de sus

funciones: investigación, formación de expertos, conexión con otras instituciones y difusión de la

producción científica, así como para dar acogida a los investigadores nacionales o extranjeros

que soliciten el uso de las instalaciones (biblioteca, servicio de documentación, redes

informáticas, etc.) para la realización de sus trabajos científicos.

*Las autoras de la comunicación están adscritas al Equipo de Evaluación de Políticas Públicas del I.D.R. que dirige el Prof. Dr. D. José Luis Osuna. Para la elaboración de los informes que se exponen en esta comunicación han colaborado en el: “Informe preparatorio del Programa Operativo de Andalucía 1.994-99: análisis de evaluabilidad”: Daniel Coq, Carolina Márquez, Eva Jiménez y Marta Román y en el “Informe de Evaluación Intermedia del P.O.A. 1.994-99”: Carlos Bueno, Gustavo Contreras, Purificación López, Elena Gañan y Rubén Osuna.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 2

El I.D.R. cuenta desde 1.994 con el área de Evaluación de Políticas Públicas y desde esta fecha

ha centrado sus esfuerzos en la formación de investigadores y en el estudio, con la utilización de

esta técnica de análisis, de las Políticas Regionales y de los efectos socioeconómicos de su

aplicación.

En este ámbito, el I.D.R. ha elaborado dictámenes y desarrollos metodológicos de evaluación

entre los que se encuentran tanto el Primer Informe (Informe Preparatorio) como el Segundo

Informe (Informe Intermedio) del Programa Operativo de Andalucía (P.O.A.) 1.994/99, figura

de planificación incluida en el Marco Comunitario de Apoyo 1.994-99 de España para las

regiones objetivo 1.

La comunicación tiene por objeto demostrar la utilidad del análisis de evaluabilidad con carácter

previo a la evaluación intermedia. Esta metodología de análisis se aplicó al Programa Operativo

de Andalucía dando como resultados los dos informes nombrados: “Informe preparatorio del

P.O.A. 1.994-99: análisis de evaluabilidad” e “Informe de evaluación intermedia del P.O.A.

1.994-99”. Aquí se presenta la metodología general de trabajo y las principales conclusiones y

recomendaciones que se desprenden de estos dos trabajos.

El primero de los informes incorpora desarrollos metodológicos para el análisis de los tres

elementos principales que determinan hasta qué punto un programa es evaluable: calidad de la

planificación, sistema de formación y capacidad de gestión. Las conclusiones generales del

mismo pusieron de manifiesto un conjunto de debilidades en el diseño del Programa y en el

sistema de información, con especial incidencia en la definición de los indicadores de seguimiento

y evaluación.

Además, una encuesta a gestores y responsables de las acciones confirmó las hipótesis sobre el

bajo grado de implantación de las tareas de seguimiento y evaluación, la falta de formación

especializada de gestores y ejecutores y la existencia de elementos que obstaculizaban la

internalización de estos procesos. Estas afirmaciones demostraban la insuficiente capacidad de

gestión para realizar las tareas de seguimiento y evaluación por parte de los cuadros técnicos de

la Administración.

La reprogramación del P.O. de Andalucía permitió constatar, en el informe de evaluación

intermedia, la introducción de cambios cualitativos, que dotaron de racionalidad y coherencia al

programa y que mejoraban el sistema de seguimiento y gestión acordes con las recomendaciones

y pautas a seguir que se marcaron en el informe de evaluabilidad. Aún así, la recomendación

central, del informe intermedio, abundaba en esta línea a la par que avalaba la utilidad del análisis

de evaluabilidad.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 3

2. Análisis de evaluabilidad del P.O.A.1.994-99

El “Informe preparatorio del Programa Operativo de Andalucía 1.994/99: análisis de

evaluabilidad” es el resultado de un doble proceso de estudio cuyo producto final fue la

valoración de la viabilidad o posibilidad que tenía el P.O.A. de ser evaluado. Este doble proceso

abarcaba dos dimensiones diferentes:

• La utilidad y utilización de la evaluación por los destinatarios de la misma.

• El contenido específico del informe de evaluación, esto es; calidad de la planificación,

sistema de información y capacidad de gestión.

El análisis de evaluabilidad intenta de un modo sistémico examinar la idoneidad de la lógica y de

las relaciones de causalidad entre las actividades programadas, objetivos y fines y la adecuación

de los sistemas de gestión y seguimiento articulados para la ejecución del Programa. Por otro

lado, también trata de analizar el grado de aceptación y capacidad de los decisores políticos,

gestores y técnicos para la puesta en funcionamiento del seguimiento y evaluación.

Es precisamente a la luz de las conclusiones que se derivan del estudio de cada uno de estos

elementos donde cobra relevancia y utilidad la realización de un análisis de evaluabilidad con

carácter previo a las evaluaciones intermedias o ex-post. Por tanto, es una tipología de estudio

que refuerza y complementa las evaluaciones de carácter temporal (ex-ante, intermedia y ex-

post) ya que pone a disposición de los responsables del diseño y ejecución del Programa un

conjunto de orientaciones que les permite introducir cambios que mejoran, cualitativa y

cuantitativamente, el diseño del Programa y los mecanismos de gestión y ejecución, en cualquier

momento o etapa del ciclo de vida de un proyecto/programa.

Como se ha apuntado existen, al menos, tres elementos que determinan hasta qué punto un

programa puede evaluarse sin trabas; i) calidad en la planificación, ii)sistema de información y iii)

capacidad de gestión.

La metodología empleada para valorar estos elementos se basó, fundamentalmente, en:

ì Análisis documental: estudio minucioso del P.O.A. y de otras políticas y programas cuya

influencia, espacial y temporal, coincidían con la del P.O.A.

ì Entrevista personal con los gestores del Programa. Se realizaron diez entrevistas para

obtener información adicional para el análisis de racionalidad y coherencia y, otras diez como

tarea preparatoria al diseño del cuestionario que sirvió para la administración de la técnica

siguiente.

ì Encuestación directa a cuarenta gestores y técnicos del Programa.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 4

Con toda la información recogida se procedió al análisis de los datos y a la evaluación de los tres

elementos condicionantes de la evaluabilidad de un Programa.

a) Calidad de la planificación y programación

La metodología de trabajo seguida para su evaluación se centró en el análisis de racionalidad y

coherencia a través de la representación de las relaciones causa-efecto de los problemas,

objetivos y medidas en “árboles o diagramas de flujos”1 que permitían estudiar la adecuación de

dichas relaciones en tres sentidos:

• Verificar la bondad del diagnóstico socioeconómico realizado (relevancia).

• Constatar la existencia de objetivos claramente definidos y medibles y analizar su

correspondencia con los problemas (pertinencia).

• Reconstruir la lógica del modelo de intervención diseñado que justifica esperar unos

efectos determinados de la actuación, tanto de forma interna al Programa como en

relación con otras políticas y programas (coherencia interna y externa).

El esquema metodológico empleado en este análisis responde a la siguiente estructura:

Cuadro 1. Esquema metodológico del análisis de evaluabilidad

La aplicación de esta metodología de evaluación, de forma individual a cada uno de los

elementos2 permitió establecer una serie de conclusiones que se resumen a continuación:

ì Debilidades en lo relativo al diagnóstico provocadas, fundamentalmente, por su escasa

estructuración interna. De esta forma, los problemas aparecían de manera dispersa y, en

1 Representaciones descriptivas de relaciones causa-efecto que adopta visualmente la forma de árbol debido a las

ramificaciones en cascadas de dichas relaciones. Referencia: Comisión Europea: “Manual proyect cicle management integrated approach and logical frame work” y Managua: “Enfoque del marco lógico. Manual para la planificación de proyectos con una orientación hacia objetivos”.

2 Los elementos tal y como indica el gráfico 1 son: racionalidad (relevancia y pertinencia), coherencia (interna y externa) y sistema de información (gestión y seguimiento).

Análisis de evaluación del Programa Operativo de Andalucía Pág. 5

algunos casos, o no se hacían explícitos o no se establecía una escala jerárquica entre

ellos lo que provocaba vacíos importantes que impedían obtener una imagen

suficientemente rigurosa de la problemática regional.

Por otro lado, se reconstruyeron los árboles de problemas correspondientes a los tres

identificados en el diagnóstico como focales: recursos humanos, estructura productiva y

aquellos de índole infraestructural. Sin embargo, persistieron dos carencias graves:

ð Ausencia de estudios de necesidades concretos que justificaran las relaciones entre los

problemas, sus causas y efectos.

ð Heterogeneidad en el grado de desarrollo de los distintos elementos que integran los

niveles medios e inferiores de las cadenas de problemas.

Además, el análisis de la población objetivo pecaba de generalista, es decir, de falta de

concreción. Si bien es cierto que el problema por su extensión y complejidad podría invitar

al simplismo globalizador, en ningún caso era justificativo no profundizar con mayor rigor

en la cuestión.

ì Problemas en la definición de objetivos derivados de la ambigüedad con la que se

formularon algunos de ellos. Para evaluar la calidad en la definición de objetivos, se

aplicaron un conjunto de reglas básicas3 tales como: si se habían formulado en términos de

verbos orientados a una acción medible u observable, si eran objetivos claros y concretos

y si se había establecido un horizonte temporal para la consecución de los mismos.

Adicionalmente, se demostró que la falta de una clasificación jerárquica no permitía

establecer claramente cuáles eran los objetivos en cada nivel de planificación. Se

detectaron, por tanto, importantes “saltos” en las cadenas de objetivos. Para ayudar a

resolver esta carencia, se reprodujeron los árboles de objetivos de cada uno de los ejes de

desarrollo del P.O. y se identificaron los “vacíos” existentes con interrogantes y líneas

discontinuas. Como ejemplo podemos representar el diagrama relativo al Eje 3: “Turismo”,

donde se representan las lagunas.

Cuadro 2. Árbol de objetivos del eje 3: Turismo. (Imagen en positivo)

3 Se tomó como fuente: Stephen M. Shorrel y William C. Richardson. Health Program Evaluation, The C.V. Mosby

Co., Saint Louis. Mo. 1.978, página 26-27, citado en Rossi & Freeman (1.989): “Evaluation a systematic approach”. Sage Publications. London.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 6

La dificultad de establecer las relaciones de causalidad entre problemas-objetivos se trató

de resolver representando conjuntamente la “imagen en negativo” e “imagen en positivo”4

que en el Programa se identificaba haciendo corresponder, en los mismos niveles

jerárquicos, problemas con objetivos. De esta forma, se facilitaba a los gestores la toma

de las medidas oportunas para mejorar la calidad en la planificación.

ì

4 La “imagen en negativo” es la representación de la situación inicial sobre la que se desea influir con el Programa. Se

muestra en forma de árbol de problemas. La “imagen en positivo” es la traslación de esa “imagen en negativo” a la ideal que se espera alcanzar con la intervención. Serían los árboles de objetivos. Cuanto más semejante sea el reflejo de ambas imágenes, más correcta es la planificación teórica del Programa. Referencia: Managua: “Enfoque del marco lógico. Manual para la planificación de proyectos con una orientación hacia objetivos”.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 7

La exposición de la estrategia también adolecía de algunas características básicas que

aseguran la coherencia interna de un Programa. Al igual que ocurría para los objetivos, se

puso en evidencia una “ruptura” en el nivel de los ejes o subprogramas de actuación que

hacía que la estrategia quedara incompleta y que no alcanzara un grado de articulación

óptimo. Este problema ponía de manifiesto el diseño inadecuado de los instrumentos y

medidas de intervención puesto que no existía una correspondencia unívoca entre

acciones y objetivos perseguidos.

Así, con el estudio pormenorizado de cada subeje de actuación y de las acciones

contenidas en ellos, se demostraba la ausencia de medidas para alcanzar determinados

objetivos o la articulación de actuaciones que no tenían vinculación alguna con los distintos

objetivos del Programa.

A continuación se reproduce el gráfico correspondiente al Eje 2: “Desarrollo del tejido

económico” que se puede tomar como botón de muestra.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 8

Cuadro 3. Árbol de objetivos y estrategias del eje 2: Desarrollo del tejido económico5

b)

5 La numeración que aparece en los recuadros de la derecha corresponde a la clasificación de las medidas de

intervención en: ejes (primer dígito), subeje (segundo dígito) y acción (tercer dígito) realizada en el P.O.A. 94-99 en coherencia con la estructura que establece el Marco Comunitario de Apoyo, Comisión Europea.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 9

Sistema de información del Programa

El segundo condicionante de la evaluabilidad del P.O.A. presentaba las siguientes

características:

ì El sistema de información, centrado casi exclusivamente en la formulación de indicadores

de realización6, era manifiestamente insuficiente. Además, no se especificaron el resto de

elementos que debe contener, como mínimo, un sistema “óptimo” de información;

elementos como son: responsabilidad, periodicidad, desvíos y retrasos. en lo relativo al

seguimiento, y los mecanismos de publicidad, solicitud de ayudas y criterios de selección

de proyectos necesarios para evaluar la gestión del Programa, en general, y de las

acciones en particular.

ì Respecto al sistema de seguimiento articulado a través de indicadores se pueden resaltar

las siguientes notas:

ð No se habían definido indicadores en cada uno de los niveles de programación y el

esfuerzo realizado para el establecimiento de los existentes era muy desigual en

función de las distintas acciones.

ð No se diferenciaban los indicadores de resultado de los de impactos y además, en

muchos casos, los indicadores definidos como de resultado, realmente medían

realizaciones.

ð Los indicadores de eficacia no estaban formulados y al no estar cuantificadas las

previsiones sobre los valores de los indicadores de realización y resultado resultaba

de toda manera imposible establecer los indicadores complementarios necesarios

para medirla.

Este conjunto de conclusiones, relativas a la calidad de la planificación y al sistema de

información, avalaron y justificaron la necesidad de introducir, por parte de los destinatarios de la

evaluación, cambios significativos en el Programa de cara a mejorar las deficiencias

encontradas, deficiencias que suponían un claro obstáculo a la ejecución satisfactoria, en

términos de obtención de los objetivos perseguidos, del Programa. Por ello, se puede afirmar que

las expectativas y finalmente la utilidad y satisfacción de los usuarios o “clientes” del trabajo de

evaluación realizado sí se vieron cumplidas óptimamente.

c)

6 Esta categoría corresponde a la clasificación de indicadores recogida por la Comisión Europea (1.995) en

“Orientaciones metodológicas para el seguimiento y la evaluación intermedia de los MAC, DOCUP, y otras formas de intervención”. Bruselas.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 10

Capacidad de gestión de la Administración para el seguimiento y la evaluación

Los resultados del análisis del tercer elemento determinante de la evaluabilidad de un Programa:

“capacidad de gestión de la Administración en relación con el seguimiento y evaluación”, por el

carácter de la técnica de encuestación utilizada para su evaluación, que requería un período de

tratamiento más extenso, se presentó de forma separada al dictamen expuesto.

La finalidad de dicho estudio era conocer el grado de implantación del seguimiento y la

evaluación en la Administración Regional Andaluza, la familiarización y formación de los

gestores y decisores políticos respecto a estas tareas y, por último, los elementos que dificultaban

o en su caso potenciaban la internalización de los procesos de seguimiento y evaluación en las

prácticas cotidianas de gestión. Se trató, por tanto, de un estudio de opinión y actitudes para

detectar los motivos que explicaban los efectos de las situaciones nuevas y las transformaciones

funcionales que habían tenido lugar en la Administración debido, principalmente, a la recepción

de ayudas comunitarias.

Para la elaboración de los cuestionarios se acudió a la utilización de herramientas

complementarias como el análisis documental y a la entrevista en profundidad a diez gestores

que, fueron identificados como “figuras clave” en la gestión del P.O.A., con el objeto de obtener

una visión real del funcionamiento del Programa y una descripción detallada de las tareas

emprendidas respecto a la gestión interna con el fin de preparar el cuestionario. La metodología

general de la encuesta llevada a cabo se representa en el siguiente cuadro:

Análisis de evaluación del Programa Operativo de Andalucía Pág. 11

Cuadro 4. Metodología general de la encuesta de gestión

Los datos técnicos de la encuesta se encuentran resumidos en la siguiente tabla:

ð Objetivos del cuestionario

• Conocer el grado de implantación

de la evaluación y el seguimiento

• Ofrecer una aproximación al

concepto de evaluación y

seguimiento

• Determinar los elementos que

intervienen en el seguimiento y

evaluación

ð Delimitación población de

estudio

• Directores Generales (7)

• Jefes de Servicio (18)

• Técnicos (15)

ð Diseño del cuestionario

• 141 preguntas (80 cerradas y 61

abiertas)

• Las preguntas se agruparon en 4

bloques que se correspondían a los

tres objetivos y una cuarto para

observaciones

ð Otras tareas

• Trabajo de campo (4 meses)

• Codificación de las preguntas

• Grabación de datos

• Análisis estadístico de la

información con el Paquete

Estadístico para las Ciencias

Sociales (SPSS/PC+)

• Interpretación de los resultados

La población a la que se dirigió la encuesta coincidió con el “universo real” que se tenía que

investigar. No se tuvo, por tanto, que realizar una muestra debido a que era de reducidas

dimensiones y estaba bien estructurada y jerarquizado, lo que, por otra parte, facilitó el contacto

con los encuestados. La población objetivo se compuso de varias subpoblaciones7:

n Gestores de planificación: Directos Generales, Jefes de Servicio y Técnicos responsables de

la coordinación de las acciones del Programa Operativo.

7 Las categorías se corresponden con la clasificación administrativa de la Junta de Andalucía, según la Relación de

Puestos de Trabajo (R.P.T.).

Análisis de evaluación del Programa Operativo de Andalucía Pág. 12

n Directores Generales, Jefes de Servicio y Técnicos de las distintas Consejerías relacionados

con el diseño, gestión, ejecución, seguimiento y evaluación de las acciones del P.O.

n Otros técnicos (Jefes de Servicio) que no gestionaban acciones en el P.O. pero cuya

información resultaba relevante puesto que ocupaban puestos de trabajo estratégicos

relacionados con las tareas de seguimiento y evaluación. Incluir a estos técnicos fue de gran

utilidad porque se obtuvo información directa sobre cómo se llevaba a cabo el seguimiento y

sobre los problemas con los que se encontraban para la realización de estas tareas de forma

óptima.

No obstante, no fue posible encuestar a la población prevista inicialmente debido a las reticencias

que mostraron algunos de los interlocutores. La mayor parte de las reacciones negativas

procedieron de los Directores Generales. De esta forma, el número total de encuestas realizadas

ascendió a cuarenta.

Las principales conclusiones alcanzadas con el análisis de los datos obtenidos con la encuesta

apuntaban en las siguientes direcciones:

ì En general se comprobó que la existencia de un alto nivel de familiarización con los

conceptos de seguimiento y evaluación era, fundamentalmente, teórico ya que la mayoría

de los encuestados no habían participado ni colaborado en la realización de las tareas de

seguimiento y evaluación que se habían llevado a cabo en la Administración. Esto, por otro

lado, no se correspondía tampoco con una formación ni cualificación específica para

realizar estas tareas, sino que por el contrario, se comprobó la existencia de

ambigüedades, contradicciones e inexactitudes conceptuales al definir los términos de

seguimiento y evaluación. (Gráficos 1 y 2)

95%

5% 0%

0%

50%

100%

Gráfico 1. Familiarización con las tareas de seguimiento y evaluación

Sí No No sabe/no contesta

Fuente: Encuesta. Elaboración propia.

35%

65%

0%

0%

20%

40%

60%

80%

Gráfico 2. Participación en las tareas de seguimiento y evaluación

Sí No No sabe/no contesta

Fuente: Encuesta. Elaboración propia.

ì La confusión a la hora de delimitar los conceptos de seguimiento y evaluación procedía,

por una parte, de la identificación que hacía la población encuestada de los términos de:

“seguimiento y evaluación intermedia” y “evaluación sólo como evaluación de eficacia en

el logro de resultados”. Por otra parte, de la vinculación directa del concepto de

Análisis de evaluación del Programa Operativo de Andalucía Pág. 13

seguimiento o bien al seguimiento financiero exclusivamente o bien al control de

“legalidad”. Por ello, aunque el total de encuestados afirmaba la gran diferencia existente

entre el seguimiento y la evaluación (gráfico 3), no poseían el conocimiento sobre cuáles

elementos y qué ámbitos abarca cada uno de ellos. (Gráfico 4)

100%

0% 0%

0%

20%

40%

60%

80%

100%

Gráfico 3. Diferencia conceptual entre seguimiento y evaluación

Sí No No sabe/no contesta

Fuente: Encuesta. Elaboración propia.

26%

74%

0%

20%

40%

60%

80%

Gráfico 4. Formación específica para el seguimiento y la evaluación

Sí No

Fuente: Encuesta. Elaboración propia.

ì Con relación al seguimiento, éste se entendía como un proceso extraordinario que se

practicaba en determinadas ocasiones y ante requerimientos específicos más que como un

mecanismo interno y normalizado que, necesariamente, debía ser paralelo a la gestión para

garantizar la disponibilidad de los flujos de información demandada (gráfico 5). Sin

embargo, la población encuestada, al conocer por explicación de los evaluadores las

funciones y ventajas que un adecuado sistema de seguimiento puede reportar, mostró un

gran interés y concedió una gran importancia a la puesta en funcionamiento de este

sistema, que además en la mayoría de los Centros Directivos estaba escasamente

implantado. (Gráfico 6).

Para paliar este problema, que resulta de la escasa internalización de las tareas de

seguimiento y evaluación en los Centros, la Administración ha emprendido una serie de

actuaciones encaminadas a fomentar una “cultura de evaluación” y un cambio en las

técnicas de gestión. Entre estas acciones concretas se podrían destacar la creación de

departamentos específicos y figuras administrativas que facilitan la operativización de

estos procesos y la constitución de “Grupos de Seguimiento de Fondos Comunitarios”

donde están representadas todas las Consejerías que se benefician de estos Fondos.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 14

32%

18%

41%

9%

0%

10%

20%

30%

40%

50%

Gráfico 5. Origen de la iniciativa para el seguimiento y evaluación

Comisión Europea Dirección General

Consejería Técnicos

F

uente: Encuesta. Elaboración propia.

31% 26%

43%

0%

10%

20%

30%

40%

50%

Gráfico 6. Grado de implantación del seguimiento y evaluación

Alto Medio Bajo

Fuente: Encuesta. Elaboración propia.

ì El último aspecto analizado en la encuesta fue el estudio de los factores que potenciaban u

obstaculizaban la consecución de un elevado grado de implantación de las tareas de

seguimiento y evaluación en la Administración y, con ello, el fomento de una nueva visión

sobre determinados aspectos de la gestión diaria de técnicos, gestores y decisores

políticos. De todos los “ítems” señalados por los encuestados se procedió a una

sistematización de los mismos de forma que fue posible identificar una escala de siete

categorías de elementos que determinaban la capacidad para llevar a cabo el seguimiento

y evaluación del Programa (gráfico 7), a partir de la media de las puntuaciones otorgadas

por los encuestado a cada categoría.

1,63 3,6

5,1 5,46,5 7,3

0

2

4

6

8

Gráfico 7. Elementos que determinan la capacidad para el seguimiento y evaluación

OrganizaciónPlanificaciónRecursos humanosConocimientos en evaluaciónVoluntad políticaRecursos económicos, materiales y temporalesInterés por el proceso

Fue

nte: Encuesta. Elaboración propia.

ð Organización. Los aspectos que resaltaron como obstáculos fueron la inadecuada

definición de competencias y responsabilidades, el establecimiento ambiguo de objetivos, la

escasa coordinación, y la discontinuidad y ausencia de transparencia en el flujo de

información sobre recursos y resultados.

ð Planificación. El estudio de la metodología y de los sistemas más habituales de

planificación utilizados en la Administración reveló la conveniencia de que se llevaran a

cabo más estudios de necesidades previos a los procesos de programación de

Análisis de evaluación del Programa Operativo de Andalucía Pág. 15

intervenciones. Este tipo de estudios podría ayudar a la resolución de determinados

problemas que condicionan la planificación tales como las presiones políticas o la

disponibilidad financiera.

ð Recursos humanos. El principal obstáculo detectado fue la insuficiencia del número de

personas para llevar a cabo las tareas de seguimiento y evaluación de los proyectos. Este

aspecto, directamente relacionado con la organización interna, se podría paliar, según

argumentaban los encuestados, con una mejor distribución orgánica de los puestos de

trabajo.

ð Conocimientos específicos en evaluación. La inadecuada formación en esta materia de los

gestores, técnicos y decisores ya se abordó anteriormente, sin embargo es importante

resaltar que los encuestados aportaban un conjunto de soluciones que pasaban desde: los

cursos de formación, la creación de gabinetes especializados, elaboración de manuales de

evaluación, etc., que se comprometían seguir.

ð Voluntad política. Los resultados obtenidos con el análisis de este factor demostraron la

existencia de una clara voluntad política para la implantación del seguimiento y la

evaluación, aunque no tan nítidamente los objetivos perseguidos con ella. Así, muchos

afirmaban la existencia de un claro efecto “publicitario o propagandístico”.

ð Recursos económicos, materiales y temporales. La dotación de estos tres elementos clave

para el funcionamiento de un sistema de seguimiento y evaluación fue valorada como

insuficiente. Paralelamente, eran clasificados como elementos determinantes de la

viabilidad de la implantación de estos procesos, y como los obstáculos de más fácil

solución para conseguir el óptimo buscado.

ð Interés por el proceso. Al igual que en el caso de la voluntad política, la encuesta arrojó la

existencia de un elevado interés por parte de todos los involucrados en el proceso de

seguimiento y evaluación, aunque el problema detectado fue que en muchos casos se

trataba más de un interés a nivel personal que un propósito general del Centro.

La conclusión general que se puede extraer del análisis de los resultados de la encuesta es la

importancia que los esfuerzos en desarrollos metodológicos en materia de seguimiento y

evaluación y su operatividad tienen en el contexto actual de las Administraciones. La evaluación,

más que una técnica de control de las actividades, es toda una filosofía para entender la gestión

de recursos escasos. En consecuencia, su incorporación no puede ser inmediata sino a través de

un proceso de aprendizaje que tome como punto de partida la experiencia de la Administración.

3. Evaluación intermedia del P.O.A. 1.994-99

Análisis de evaluación del Programa Operativo de Andalucía Pág. 16

Por último, en esta comunicación se presentan las principales conclusiones del Informe de

Evaluación Intermedia del Programa Operativo de Andalucía.

Desde el punto de vista conceptual, la finalidad de la evaluación intermedia es determinar “a

medio camino” en la ejecución, la marcha del Programa en relación con los objetivos previstos,

la pertinencia de la estrategia seguida y la adecuación de los mecanismos de seguimiento y

gestión establecidos, en aras a presentar una primera valoración de la eficacia y eficiencia

alcanzada que permita orientar, en su caso, futuras modificaciones en el diseño y/o ejecución.

Sin embargo, es necesario realizar, previamente, una puntualización sobre la particularidad del

objeto de evaluación. El P.O.A. evaluado es fruto de sucesivas revisiones y reprogramaciones

de aquél presentado en 1.994. Estas modificaciones, que han afectado a la presentación y diseño

de la estrategia y al sistema de seguimiento y gestión propuesto, son absolutamente congruentes

con las recomendaciones y pautas a seguir que se marcaron en el Informe de Evaluabilidad. Son

así valoradas como completamente pertinentes por el equipo evaluador. Sin embargo, la tardía

presentación de la “última” versión del P.O.A. en abril de 1.997 provocó la coincidencia de los

trabajos de evaluación intermedia con la redacción final del Programa.

La estructura del informe de evaluación intermedia responde al siguiente esquema (cuadro 5):

Análisis de evaluación del Programa Operativo de Andalucía Pág. 17

Cuadro 5. Estructura del informe de evaluación intermedia del P.O.A.

La metodología utilizada en la elaboración de este dictamen responde en los dos primeros

aspectos: racionalidad y coherencia y análisis del sistema de gestión y seguimiento8, a la descrita

en la primera parte de esta comunicación.

Como fuentes de información se utilizaron las mismas que ya se tuvieron en cuenta en el análisis

de evaluabilidad, estas son, los documentos programáticos de los Planes y Programas que

inciden en el mismo ámbito temporal y espacial que el P.O.A, el estudio en profundidad del

P.O.A. y las entrevistas con los gestores y responsables de su ejecución y seguimiento.

8 Se indagó en las cuestiones relativas al diseño, conceptualización y gestión del Programa con el objetivo de explicar

las posibles causas de las discrepancias en los niveles previstos de eficacia y eficiencia, más que como un fin en sí mismo.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 18

El análisis de eficacia y eficiencia se abordó cuantitativa y cualitativamente desde una doble

óptica: horizontal, a través del análisis individualizado de todas las acciones, y vertical, mediante

el estudio diferenciado de las estrategias de intervención de cada eje.

De una parte, mediante la cumplimentación y el contraste de la información recopilada en forma

de indicadores de base y complementarios se analizó cuantitativamente la eficacia alcanzada. De

otra, a través de la formulación de indicadores adicionales, se sistematizó toda aquella

información cualitativa necesaria para la evaluación que, siendo accesible, no se había

contemplado explícitamente su recogida.

A continuación se muestran dos cuadros resumen con los principales indicadores financieros y

físicos utilizados respectivamente.

Indicadores financieros

Denominación indicador

Formulación Significado Objetivo

Significancia financiera Gasto elegible del ejei

∑ Gasto elegible P.O.A.

Gasto elegible subejei

∑ Gasto elegible ejei

Muestra la ponderación cuantitativa relativa de cada eje de intervención respecto al total del P.O.A. y de cada subeje respecto al eje en que se inserta.

Análisis de la estrategia presupuestaria

Grado de compromiso financiero

Gasto comprometido accióni

∑ Gasto elegible acción 1.994-99

Indica la marcha presente y/o futura en cuanto a la realización teórica o prevista de la acción.

Evolución financiera

Grado de obligaciones reconocidas*

Gasto obligado accióni

∑ Gasto elegible acción 1.994-96

Presenta la realización física de la acción, puesto que es la fase en la que se recepcionan las obras.

Eficacia financiera

Nivel de pagos certificados

Gasto certificado accióni

∑ Gasto elegible acción 1.994-96

Indicio de la eficacia en la gestión de los pagos de la Administración como contrapartida de la ejecución de las acciones. Parámetro de referencia para estimar los retardos en los pagos y efectos derivados de los mismos.

Eficacia en la gestión

* Este indicador sólo se ha cumplimentado para las acciones que se ejecutan dentro del Submarco Regional, por ser la fase de “obligaciones” específica del sistema de Presupuesto de la Junta de Andalucía.

Indicadores Físicos de Base y Complementarios*

Indicadores de Realización

Denominación 1.994/96 Total 1994/99

Ejecutado Previsión Eficacia (%)

Previsión Ejecución %

Indicadores de Resultado

Denominación Valor 1.994 Valor 1.996 Previsión 1.999 Eficacia (%)

Indicadores de Empleo (1.994 sobre 1.999)

Empleo directo Empleo indirecto

Fase de Construcción Fase de Explotación Fase de Construcción Fase de Explotación

Análisis de evaluación del Programa Operativo de Andalucía Pág. 19

* Estos indicadores se mostraron para cada acción en un anexo.

La información necesaria se tomó de diversas fuentes: los expedientes de ejecución y gasto de

los proyectos que integran cada acción, la entrevista con los ejecutores y aquélla recogida

mediante el cuestionario, diseñado en forma de ficha biográfica de seguimiento para cada acción,

que se pasó a los gestores y ejecutores.

Para ello se diseñó un Plan de Trabajo según el cual cuatro investigadores del I.D.R. recogieron

directamente la información de los centros gestores durante tres meses, comprobando la

veracidad de la misma en el momento de su recopilación. Este plan supuso la participación de 64

gestores (50 de la Administración Regional y 14 de la Administración Nacional).

La ficha de evaluación diseñada se incluyeron aspectos relativos a: la definición y encuadre de la

acción, responsables de ejecución y mecanismos de coordinación, ejecución financiera, ejecución

física (a través de indicadores de base y complementarios de realización, resultado y empleo) y

una batería de “ítems” relacionados con la adecuación y respeto de las normas y políticas

comunitarias que posibilitó contar con los datos necesarios para la evaluación de este último

aspecto abordado en el informe de evaluación intermedio.

El análisis de cada uno de los bloques arrojó una serie de conclusiones y recomendaciones que

tenían la finalidad de dotar a los gestores y responsables del Programa de un instrumento útil

para la toma de decisiones. En este sentido, de las principales conclusiones de los dos primeros

bloques destacan:

ì La oportunidad y utilidad de las modificaciones a las que se sometió el Programa

Operativo de Andalucía. Se observa la introducción de cambios cualitativos que han

dotado de racionalidad y coherencia al Programa (ver cuadro 6 vs. cuadro 2) y que han

supuesto una mejora en el sistema de seguimiento y gestión. El resultado de ambos

avances ha sido el logro de un “alto” nivel de ejecución, tanto física como financiera, de la

mayoría de las actuaciones incluidas en el Programa.

De aquí que la primera recomendación apuntada fuera la de continuar con la estrategia global

que, con una filosofía de intervención integral y con elementos, tanto sectoriales como

horizontales, típicos de una política de oferta, se definió en el P.O.A. Estrategia que, de un

lado, presenta un elevado nivel de complementariedad y congruencia con las prioridades

establecidas en el MAC 1.994/99 y directrices de las principales políticas comunitarias,

tanto en materia de infraestructuras, inversión productiva, investigación y desarrollo

tecnológico, medioambiente, etc. De otro lado, ha buscado su coherencia en el marco de

Análisis de evaluación del Programa Operativo de Andalucía Pág. 20

la planificación consensuada de los agentes económicos y sociales regionales, y ha

posibilitado la participación e identificación de la sociedad en la ejecución del Programa

Cuadro 6. Relación problemas-objetivos. Eje 3. Turismo

ì Se constató la necesidad de reforzar algunas de las sublíneas estratégicas definidas,

concentradas o dispersas, según el caso, en distintos ejes de intervención. De esta

manera, por ejemplo, se proponía insistir en aquellas actuaciones que articulan Andalucía

con el espacio supraregional a nivel europeo, sin olvidar la necesidad de completar las

intervenciones orientadas a aumentar la conexión interna, incorporando los avances en

Análisis de evaluación del Programa Operativo de Andalucía Pág. 21

modernas infraestructuras de transporte, integrados en un sistema modal y distribuidos

equilibradamente en el territorio.

ì La necesidad de persistir en la mejora del sistema de seguimiento y gestión del Programa.

A pesar de la constatación fehaciente de un significativo avance en el diseño del sistema

de indicadores para todas las acciones, debería optimizarse el sistema de información

interno de la Administración. El seguimiento, tarea eminentemente administrativa de

recogida de información, debe ser una tarea interna del Centro evaluado dado que son los

gestores y ejecutores los que cuentan con un conocimiento actualizado y detallado de la

evolución de las acciones.

Y esto aún más, si se quiere dotar de funcionalidad la recogida de información precisa para la

realización de la evaluación ex-post, solventando una de las principales dificultades en la

realización de la evaluación. En el caso de la Administración Regional este hecho resulta

paradójico debido a que los indicadores fueron diseñados de forma consensuada entre

evaluados y evaluadores en una fase previa a la evaluación intermedia.

ì Los factores que obstaculizaban, en el momento de realizar la Encuesta de Gestión

(comentada anteriormente), la implantación de un sistema de seguimiento y evaluación en

el interior de la Administración siguen revelándose como tales, aunque en menor grado.

En orden a convertir estos elementos en potenciadores de la internalización de estos

procesos se propusieron, entre otras:

ð Una división de tareas y competencias concretas para la realización del seguimiento y

evaluación. Entre los administradores y los organismos competentes se debe establecer

un esquema organizativo y de gestión en el cual los implicados tengan una visión clara

de los objetivos y una responsabilidad definida que optimice el empleo de los recursos y

la ejecución de las acciones.

ð Aumentar la dotación y formación específica de los recursos humanos adscritos a

estas tareas. Por otro lado, ante la escasez de recursos materiales relacionados con el

seguimiento físico y financiero de los expedientes de las actuaciones,

fundamentalmente informáticos, habría que incrementar cuantitativa y cualitativamente

los medios actuales para suprimir la disociación existente en la actualidad entre ambos

tipos de seguimiento.

ð Aunque la creación de organismos con funciones de coordinación y seguimiento (como

la Dirección General de Fondos Europeos) ha supuesto un importante paso hacia

adelante, sería pertinente fortalecer los flujos de comunicación entre ésta, los Centros

Directivos y la Dirección General de Análisis y Programación Presupuestaria

Análisis de evaluación del Programa Operativo de Andalucía Pág. 22

(organismo encargado de la coordinación global). Esto sería crucial de cara a eliminar

el “divorcio” existente en el P.O.A. respecto a aquellas acciones gestionadas por la

Administración Regional y las de la Administración Central.

ì Consolidar las funciones y asunción de competencias de los Comités de Seguimiento en

materia de control, gestión y toma de decisiones. Se trata pues de superar el posible sesgo

hacia la vertiente política dotándolos de mayor operatividad mediante el ejercicio de sus

responsabilidades técnicas.

En lo relativo a la evaluación de la eficacia y eficiencia se ofrece una valoración de las

realizaciones y de los resultados realmente obtenidos como consecuencia de la intervención

llevada a cabo en relación con las previsiones efectuadas. El objetivo era establecer un juicio

crítico sobre la marcha general del Programa y, con ello, ofrecer indicios sobre la bondad y

magnitud de los cambios que, en la población objetivo, se están produciendo como consecuencia

de la intervención pública.

Mediante la aplicación de la metodología descrita se analizó la eficacia en la ejecución del

P.O.A. Sin embargo, uno de los principales requisitos que justifican la aplicación del análisis de

eficiencia sobre la base del análisis coste-beneficio no se cumplía. No existían acciones

completamente finalizadas sino proyectos parciales de actuaciones globales que pertenecen a la

planificación regional. Esto condicionó que este apartado se ciñera exclusivamente a la

evaluación de la eficacia.

Los principales resultados obtenidos en este sentido se resumen a continuación:

ì El indicador de “significación financiera” evidenciaba la importancia relativa, en términos

monetarios, de los ejes que concentran las obras de infraestructuras: 1 “integración y

articulación territorial” y 6 “infraestructuras de apoyo a la actividad económica”. Entre

ambos suman el 83% del total de las previsiones de gasto elegible para el total del período

programado (gráfico 8).

Análisis de evaluación del Programa Operativo de Andalucía Pág. 23

Gráfico 8. Distribución financiera por ejes

30,54%

0%

55,37%

6,35%

4,62%

2,69%0,10%

Eje 1. Integración y articulación territorial

Eje 2. Desarrollo del tejido económico

Eje 3. Turismo

Eje 5. Sector pesquero

Eje 6. Infraestructuras de apoyo a la actividad económica

Eje 7. Valorización de los recursos humanos

Eje 8. Asistencia técnica, seguimiento e información

ì El P.O.A., con un volumen de gasto elegible para el período 94-99 de 739.522, 58 millones

de pesetas (42,84% para el primer trienio), alcanzó un grado de compromiso del 63,84%

superando las previsiones iniciales. Por otra parte, el grado de ejecución financiera,

medido por los pagos certificados, fue del 87,41% respecto a los tres primeros años.

Del total del Programa, los ejes 1 y 7 son los que presentan un mayor nivel de compromiso

respecto al total programado, siendo el indicador que mide la ejecución financiera más

elevado para los ejes 5 y 7 (por encima del 160% y 105%), que junto con el alto nivel de

pagos certificados del segundo de éstos hace que la valoración global del grado de

eficacia en la ejecución financiera “a medio camino” del P.O.A. se valorara como “alta”.

ì A partir de los valores de estos indicadores financieros y de los obtenidos con los

indicadores físicos se construyó una matriz de ponderación de los niveles de ejecución

financiera y física que atiende a los siguientes criterios:

Valor (%) Ejecución financiera Valor* Ejecución física

0-20 Muy baja 0-20 Nulo

20-40 Baja 20-40 Muy mejorable

40-60 Media 40-60 Mejorable

60-80 Alta 60-80 Positivo

80-100 Muy alta 80-100 Muy positivo

* El valor para calificar la ejecución física es una media ponderada de los indicadores complementarios de eficacia de

cada acción.

ì En términos globales, y exceptuando aquellas acciones cuya ejecución no había

comenzado, la evaluación calificó la ejecución física del Programa de “positiva”, en tanto

que la mayoría de los ejes de intervención presentan valores que superan el 50% de

ejecución del total programado, destacando los eje 3 y 7.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 24

Tras la revisión de todos los ámbitos, se constata la utilidad de la evaluación intermedia. Esta se

reveló como la herramienta de referencia del gestor para conocer y tomar decisiones sobre los

aspectos que condicionan la marcha del Programa.

Paralelamente, debe concebirse como un ejercicio preparatorio de cara a la evaluación ex-post,

en tanto que:

i) Implica la toma de conciencia de la importancia de este tipo de estudios como instrumentos

de mejora de los procesos de planificación. En este sentido, debe entenderse como un

procedimiento de máximización de información que facilitar la racionalización de las

decisiones.

ii) Supone un paso más para la adopción y difusión de una “cultura evaluadora” en el seno de

las Administraciones, satisfaciendo las exigencias de información y transparencia de cuantas

instituciones participan en el proceso socioeconómico: administradores y administrados.

iii) Ha permitido la puesta a punto del sistema de seguimiento que servirá de base para la

medición a posteriori de impactos. Éste permite, a su vez, mejorar el conocimiento de los

implicados en su propio Programa. Los responsables aprenden a administrarlo y adaptarlo a

las necesidades del momento y del contexto, que se modifica constantemente.

La legitimación de la acción pública en la sociedad pasa, necesariamente, por la eficacia y

eficiencia de la asignación y ejecución del gasto público entre usos alternativos. Es, en esta

forma de concebir la administración de los recursos públicos, donde las aproximaciones teóricas

a la realidad socioeconómica se encuentran contrapesadas con otras de carácter empírico, que a

través de la evaluación, permiten aprehender el efecto experiencia que la ejecución de una

política pública tiene sobre sucesivos ejercicios de intervención estatal.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 25

Fuentes metodológicas Básicas:

• Alvira Martín (1.991): “Metodología para la evaluación de programas”. Cuadernos

Metodológicos. Centro de Investigaciones Sociales (CIS).

• Comisión Europea (1.995): “Orientaciones metodológicas para el seguimiento y evaluación

intermedia de los MAC, DOCUP y otras formas de intervención”. Bruselas.

• Comisión Europea: “Manual proyect cicle management integrated approach and lógica frase

York”.

• Instituto de Desarrollo Regional (1.995): “Orientaciones metodológicas para la evaluación del

P.D.A. 1.994-98”. Mímeo.

• Instituto de Desarrollo Regional (1.996): “Metodologías para la evaluación intermedia y ex-

post de los Programas Operativos 1.994-99”. Mímeo.

• “Enfoque del marco lógico. Manual para la planificación de proyectos con una orientación

hacia objetivos”. Managua.

• Métodos para la evaluación de las políticas estructurales (MEANS) “¿Cómo se deberían

evaluar los efectos estructurales?”. CEOPS, Evaluations Organnisations Politiques Publiques.

• Monier, E. (1.995): “Evaluación de la acción de los poderes públicos”. Instituto de Estudios

Fiscales. Madrid.

• Pulido San Román, A. (1.992): “Estadística y técnicas de investigación social”. Ed. Pirámides

Madrid.

• Rossi & Freeman (1.989) “Evaluation: a systematic approach”. Sage publications. London.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 26

Fuentes de información básicas:

• Bases de Datos del Instituto de Fomento de Andalucía y de los Centros Directivos (varios

años).

• Marco Comunitario de Apoyo 1.994-99 para el desarrollo y ajuste estructural de las regiones

menos desarrolladas (objetivo 1). España. Comisión de las Comunidades Europeas.

• Datos de las entrevistas y encuestas a gestores. Instituto de Desarrollo Regional.

• Estadísticas regionales, nacionales y europeas. Instituto Estadístico de Andalucía, Instituto

Nacional de Estadística y EUROSTAT.

• Expedientes de gasto de los proyectos de cada acción. Centros Directivos de la Junta de

Andalucía.

• Fichas de seguimiento de las acciones (según modelo establecido por la Comisión Europea).

• Informes de técnicos sobre el estado de ejecución de los proyectos. Centros Directivos de la

Junta de Andalucía.

• Informes del Comité Regional de Seguimiento en la Comunidad Autónoma de Andalucía

(MAC 1.994-1.999). FEDER. (Varios años)

• “Plan de Desarrollo Integral del Turismo en Andalucía. (Plan DIA)”, Consejería de

Economía y Hacienda, Junta de Andalucía, Sevilla 1.993.

• “Plan Energético de Andalucía”. Consejería de Economía y Hacienda, Junta de Andalucía,

Sevilla, 1.994.

• “Programa Industrial para Andalucía 1.994-97”. Consejería de Economía y Hacienda, Junta

de Andalucía, Sevilla, 1.994.

• “Plan de Medio Ambiente de Andalucía 1.995-2.000”. Consejería de Medio Ambiente de la

Junta de Andalucía, 1.995.

• “Programa Operativo de Andalucía 1.994-99”. Consejería de Economía y Hacienda, Junta de

Andalucía, Sevilla, 1.997.

• Memorias de los proyectos de cada acción. Centros Directivos de la Junta de Andalucía.

• Normativa Comunitaria sobre:

• Medio ambiente:

∗ V Programa Comunitario sobre medio ambiente (1.993).

Análisis de evaluación del Programa Operativo de Andalucía Pág. 27

∗ Directiva 85/337 de la Comunidad Europea de Evaluación de Impacto Ambiental.

∗ Ley 7/1.994, de 18 de mayo, de Protección Ambiental.

∗ Real Decreto Legislativo 1302/1.986, de 28 de junio.

∗ Real Decreto 1131/1.988, de 30 de septiembre.

• Redes Transeuropeas

∗ Libro Blanco de la Comisión Europea sobre el desarrollo de una política común de

transportes.

∗ Dictamen 95/C 210/02 del Comité de las Regiones.

∗ Decisión 1692/96/CE, de 23 de julio de 1.996, sobre las orientaciones comunitarias para

el desarrollo de la red transeuropea de transportes.

• Competencia

∗ Informe anual sobre Política de la Competencia. Dirección General de Asuntos

Europeos y Cooperación Exterior de la Consejería de la Presidencia de la Junta de

Andalucía.

∗ Informe anual sobre Política de la Competencia de la Comisión Europea.

∗ Libro Blanco sobre crecimiento, competitividad y empleo. Comisión Europea (BCE

Supl. 6/93).

• Contratos públicos

∗ Comunicación C(88) 2510 de la Comisión Europea, de 4 de mayo de 1.988, sobre el

control del cumplimiento de las normas sobre contratos públicos en los programas y

proyectos financiados por los Fondos Estructurales e instrumentos financieros.

∗ DO nº L 358/12/1.987 “Vademécum sobre contratos públicos en la Comunidad”.

∗ Ley 13/1.995, de Contratos de las Administraciones Públicas.

∗ Directiva 92/50/CEE sobre contratos de servicios.

∗ Directiva 93/36/CEE sobre suministros.

∗ Directiva 93/37/CEE sobre contratos de obras.

• PYMEs:

Análisis de evaluación del Programa Operativo de Andalucía Pág. 28

∗ Decisión 93/379/CEE del Consejo, de 14 de junio de 1.993, sobre programación de

acciones con carácter plurianual de refuerzo a la política de apoyo a PYMEs.

∗ Comunicación de la Comisión, de 3 de junio de 1.994: Programa Integrado en favor de

las PYMEs y del Artesanado”.

∗ Resolución del Consejo, de 10 de octubre de 1.994, sobre dinámica e innovación de

PYMEs.

∗ Comunicación de la Comisión, de 14 de septiembre de 1.994: “Una política de

competitividad industrial para la Unión Europea”.

∗ Recomendaciones de la Comisión en cuanto a definición de PYMEs.

∗ Resolución del Consejo, de 22 de abril de 1.996, de coordinación de las actividades

comunitarias en favor de las PYMEs y del artesanado”.

Análisis de evaluación del Programa Operativo de Andalucía Pág. 29

Centros Directivos Contactados Submarco Regional:

Centro Directivo Acciones del P.O.A.

Consejería de la Junta de

Andalucía o

Objetivo del contacto

Dirección General de Fondos Europeos Coordinación de todas las acciones y la 8.1.14

Economía y Hacienda

∗ Coordinación de los trabajos de seguimiento y evaluación

∗ Informes del Comité de Seguimiento

∗ Entrevistas con gestores

Dirección General de Tesorería y Política Financiera

2.2.2. Economía y Hacienda

∗ Entrevistas con gestores

∗ Fuente de información

Secretaría General de Economía

CEA (Confederación de Empresarios de Andalucía)

2.2.10

Economía y Hacienda

∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Universidades e Investigación

6.4A.2; 6.4A.3. Educación y Ciencia

∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Construcción y Equipamiento Escolar

7.1.32.; 7.1.33.; 7.1.34.

Educación y Ciencia

∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Comercio, Consumo y Cooperación

2.1B.9; 2.2.11. Industria y Trabajo

∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Industria, Energía y Minas:

Sodean (Sociedad para el Desarrollo Energético de Andalucía)

Sevillana

Enagas

6.2.1.; 8.11.7.

6.2.4.

6.2.3.

Industria y Trabajo

∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Planificación:

Protección Ambiental

Participación y Servicios Ambientales

Gestión del Medio Natural

8.1.1.6

6.3.13.; 6.3.4.; 6.3.5.; 6.4A.4.

6.3.14

6.3.14

Medio Ambiente

∗ Entrevistas con gestores

∗ Fuente de información

Secretaría General de Planificación

Dirección General de Carreteras

Dirección General de Transporte

EPPA (Empresa Pública de Puertos de Andalucía)

Dirección General de Obras Hidráulicas

Dirección General de Arquitectura y Vivienda

1.1.4 a 1.1.13

1.1.4.; 1.2.2.; 1.7.2.; 2.2.12; 8.1.5.

1.3.1.; 1.3.2.

6.1.2.; 6.1.3.; 6.3.1.; 6.3.12

3.2.5.

Obras Públicas y Transporte

∗ Entrevistas con gestores

∗ Fuente de información

Instituto de Fomento de Andalucía 2.3.3.; 2.3.4.; 2.3.13 Organismo Autónomo

∗ Entrevistas con gestores

∗ Fuente de información

Servicio Andaluz de Salud 6.5.11.; 6.5.12.; 6.5.13

Salud ∗ Entrevistas con gestores

∗ Fuente de información

Análisis de evaluación del Programa Operativo de Andalucía Pág. 30

Dirección General de Planificación Turística

EPTA (Empresa Pública de Turismo de Andalucía)

3.1A.1.; 3.1A.2.; 3.1A.3; 3.2.2.

3.1A.1

Turismo y Deporte

∗ Entrevistas con gestores

∗ Fuente de información

Análisis de evaluación del Programa Operativo de Andalucía Pág. 31

Centros Directivos Contactados Submarco Pluriregionl:

Centro Directivo Acciones del P.O.A.

Ministerio del Estado

Objetivo del contacto

Ayuntamiento de la Línea 2.2.8. Autoridad Local ∗ Fuente de información

Ayuntamiento de Cádiz 2.2.7. Autoridad Local ∗ Entrevistas con gestores

∗ Fuente de información

Dirección General de Análisis y Programación Presupuestaria

Coordinación de las acciones

Economía y Hacienda

∗ Informes del Comité de Seguimiento

∗ Entrevistas con gestores

SEPI (Sociedad Estatal para la promoción Industrial):

Empresa Nacional de Celulosa

Minas de Almagrera S.A.

CASA (Construcciones Aeronáuticas S.A)

Telefónica

AENA (Aeropuertos Nacionales)

6.3.9.

2.1B.6

6.4A.5

1.7.5.; 1.7.6.

1.4.1.

Empresas públicas

∗ Entrevistas con gestores

∗ Fuente de información

Retevisión 1.7.4. Empresa Pública ∗ Fuente de información

RENFE(Red Nacional de Ferrocarriles) 1.2.3.; 1.2.4.; 1.2.5. Empresa Pública ∗ Fuente de información

EPPE (Empresa Pública de Puertos del Estado)

1.3.3. Empresa Pública ∗ Entrevistas con gestores

∗ Fuente de información

SIEP (Sociedad Infraestructuras y Equipamientos Penitenciarios)

6.5.10.; 7.5.1. Empresa Pública ∗ Entrevistas con gestores

∗ Fuente de información

SEPES (Sociedad de Promoción y Equipamiento de Suelo)

2.3.2. Empresa Pública ∗ Fuente de información

CLH (Compañía Logística de Hidrocarburos)

6.3.10. Empresa Pública ∗ Fuente de información

INH/REPSOL 6.3.1.1. Empresa Pública ∗ Fuente de información

Ministerio de Fomento 1.1.1.; 1.1.2.; 1.1.3.; 1.2.1.

Fomento ∗ Entrevistas con gestores

∗ Fuente de información

Ministerio de Medio Ambiente 6.1.1. Medio Ambiente ∗ Entrevistas con gestores

∗ Fuente de información

Instituto Español Oceanográfico 5.1.1. Órgano Autónomo

∗ Entrevistas con gestores

∗ Fuente de información

Correos y telégrafos 7.3.2.; 7.3.3. Órgano Autónomo

∗ Fuente de información

Consorcio de la Zona Franca de Cádiz 2.2.9. Órgano Autónomo

∗ Entrevistas con gestores

∗ Fuente de información

Agencia Industrial del Estado 2.1B.7. Órgano Autónomo

∗ Fuente de información

EOI (Escuela de Organización Industrial) 7.3.1. Órgano Autónomo

∗ Fuente de información

Dirección General de Turismo 3.2.1. Turismo y Deporte

∗ Entrevistas con gestores

∗ Fuente de información

Análisis de evaluación del Programa Operativo de Andalucía Pág. 32