MECANISMOS DE EVALUACIÓN Y 

SEGUIMIENTO DE LOS PO DE FONDOS 

ESTRUCTURALES 2007‐2013. 

Perspectiva práctica.

Nuria Fernández Conejero

REGIO PLUS Consulting

Mérida, 18 de marzo de 2010

El contenido de la presente comunicación es propiedad de Regio Plus Consulting. Quedan reservados todos los derechos. No se permite la cesión, uso, reproducción total o parcial, tratamiento informático ni comunicación del contenido de este documento sin autorización escrita de Regio Plus Consulting.

ORGANIZACIÓN DE LA PONENCIA:

1. DESCRIPCIÓN DE CONCEPTOS Y FUNCIONES

2. LAS HERRAMIENTAS BÁSICAS PARA EL SEGUIMIENTO

3. EL SISTEMA DE SEGUIMIENTO

4. LA INFORMACIÓN A APORTAR POR PARTE DE LOS BENEFICIARIOS

5. EL PROCEDIMIENTO DE EVALUACIÓN

6. LA IMPORTANCIA DEL PAPEL DE LOS ÓRGANOS GESTORESPARA AUMENTAR LA UTILIDAD DE LA EVALUACIÓN

1. DESCRIPCIÓN DE CONCEPTOS Y FUNCIONES: Seguimiento y evaluación continua.

1.1. ¿QUÉ ES EL SEGUIMIENTO?

Es tarea desarrollada en la etapa del ciclo de gestión relativa a la ejecución de los proyectos, cuya finalidad es informar a todos los agentes implicados sobre el estado en que se encuentra la ejecución y verificar en qué grado se están realizando las actividades y alcanzado los resultados y objetivos previstos:

Seguimiento de la ejecución financiera.

Seguimiento de la ejecución física.

Seguimiento de la estrategia y de los objetivos del PO.

Otros aspectos a tener en cuenta por el Seguimiento: PH, otras políticas o prioridades (comunitarias, nacionales y regionales)

SEGUIMIENTO OPERATIVO

SEGUIMIENTO ESTRATÉGICO

Evaluar es emitir un juicio crítico sobre una situación determinada

Análisis de los efectos a corto y largo plazo de las políticas, tanto sobre los grupos sociales o situaciones para los cuales se diseñó la política, como sobre la sociedad en general, y el análisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados” (Dye, 1995).

Sirve para medir la ejecución y resultado de programas para ser utilizados en la toma de decisiones” (Ruthman, 1991).

Recopilación sistemática de información sobre actividades, características y resultados de un programa para su utilización por un grupo específico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en función de qué se está haciendo con el programa y a quién está afectando” (Patton, 1987).

Proceso por el cual se analiza la eficacia y eficiencia de un programa. Esto implica la recogida, análisis e interpretación de la información sobre el logro de los objetivos del programa en relación con las previsiones” (Epstein y Tripodi, 1977)

1.2. ¿QUÉ ES LA EVALUACIÓN?

1.3.  COMPLEMENTARIEDAD DE LAS FUNCIONES DE SEGUIMIENTO Y EVALUACIÓN

El carácter continuo de la Evaluación

Mayor flexibilidad para elevar la utilidad de la evaluación.

Mayor vínculo de los procesos de seguimiento y evaluación.

Nuevas oportunidades de evaluación (Eval. Temáticas):

Las evaluaciones temáticas previstas para el FEDER.

Las evaluaciones temáticas previstas para el FSE.

La evaluación del Plan de Comunicación de los PO

1.4. EL SEGUIMIENTO Y EVALUACIÓN CONTINUA EN EL PERÍODO 2007‐2013

2. LAS HERRAMIENTAS BÁSICAS PARA EL SEGUIMIENTO

La autoridad de gestión y el Comité llevarán a cabo su labor de seguimiento basándose en indicadores financieros y en los  indicadores mencionados en el artículo 37, apartado 1, letra c), especificados en el programa operativo.

Artículo 66 del Reglamento (CE) Nº1083/2006

Indicadores de producción y resultados,atendiendo al principio de proporcionalidad

Otra información de carácter cualitativo

2.1. Tipos de indicadores

Descripción de los indicadores

Manual descriptivo de indicadores, 2007‐2013 (FEDER y Fondo de Cohesión).Guía metodológica actualizada para la elaboración de los Programas Operativosdel Fondo Social Europeo para el periodo 2007‐2013 y para la selección deindicadores.

Informes de ejecución anual de los POs.Detectar desviaciones en la ejecución de los POs. (evaluación operativa)Cualquier informe o ejercicio de evaluación continua

Identificar desviaciones significativas en la gestión de los POs.Realizar evaluaciones operativasAdopción de medidas de corrección o mitigación de la desviación

Indicadores operativos

Indicadores de Alerta

BENEFICIARIOS/ÓRGANOS EJECUTORES

BENEFICIARIOS/ÓRGANOS EJECUTORES

Procedimientos de evaluación.

Indicadores de evaluaciónSubd. Gral. de Programación Territorial y Eval. de Programas Comunitarios (SGPTEPC) y la Unidad de Eval. y Seg.Estrat. de la UAFSE

Contribución de la política de cohesión al PNRInformación de contexto para informes de ejecución anual de los POsAvances nacionales y regionales en relación a las principales políticas (informes estratégicos preceptivos en 2009 y 2012).Revisar los valores previstos a alcanzar en 2010 y 2013.Cualquier informe o llevar a cabo el ejercicio de evaluación continua

Indicadores estratégicos y de contextoSubd. Gral. de Programación Territorial y Eval. de Programas Comunitarios (SGPTEPC) y la Unidad de Eval. y Seg.Estrat. de la UAFSE

2.2. Los indicadores operativos

¿Qué miden los indicadores operativos? 

Aportan información directa de la ejecución de las actuaciones previstas en los programas .De forma particular los indicadores de alerta son los instrumentos a través de los cuales se tratarán de identificar los problemas de implementación del Programa, dotando a la Autoridad de Gestión /Organismo Intermedio de capacidad de reacción cuando sea necesario.

¿Cuándo han de realizarse las mediciones? 

Los indicadores operativos se cuantificarán al menos una vez al año, a petición del Organismo Intermedio. Dicha petición suele realizarse en el primer trimestre del año.

3. EL SISTEMA DE SEGUIMIENTO

¿Cómo los indicadores operativos “alertan” sobre problemas en la ejecución de los PO?

INDICADORES DE ALERTA

DESVIACIONESSIGNIFICATIVAS

EVALUACIÓN PORDESVIACIÓN

• FEDER• FSE

• Umbrales mínimos de ejecución

•Seguimiento de las medidas correctoras•Propuesta justificada de recomendaciones y medidas correctoras 

•Apreciación del alcance de las desviaciones •Análisis de la desviación 

3.1. Indicadores de alerta: PO FEDER de Extremadura, 2007‐2013

EJECUCIÓN ACUMULADA MÍNIMA PARA NO REALIZAR  EVALUACIÓN OPERATIVA

2009 2010 2011 2012 2013

EJE 1Número de proyectos de I+D+I 131,8 248,7 374,0 493,8 608,3Número de proyectos (Temas prioritarios 10‐15) 48,1 90,8 136,6 180,6 223,5

EJE 2Número de proyectos (tema prioritario 08) 470,8 888,6 1.336,3 1.776,3 2.244,4Número de empresas beneficiadas 3.205,6 6.049,9 9.098,7 12.094,0 15.281,8

EJE 3

Actuaciones desarrolladas en zonas Red Natural 2000 13,4 25,3 38,1 53,7 82,2Redes de abastecimiento creadas  28,1 53,0 79,7 126,6 258,4Número de proyectos  ( temas prioritarios 16, 17, 20‐23, 25 ) 

10,1 19,0 28,6 37,4 44,3

EJE 4

Kilómetros de nuevas carreteras (Temas prioritarios 20‐23,25)

39,0 73,5 110,6 147,3 187,5

Número de proyectos objetivo de sostenibilidad y susceptible de mejorar atractivo de casos urbanos (Tema prioritario 61)

13,1 24,8 37,3 49,7 63,1

Número de proyectos (Tema prioritario 58) 1,4 2,6 4,0 5,3 7,0Número de proyectos (tema  prioritario 75) 59,9 113,0 169,9 235,0 340,3

EJE 5 Número de estudiantes beneficiados (tema prioritario 75) 8.979,8 16.947,6 25.488,1 35.246,6 51.042,8

3.2. Indicadores de alerta: PO FSE de Extremadura, 2007‐2013

EJECUCIÓN FÍSICA ACUMULADA MÍNIMA PARA NO REALIZAR EVALUACIÓN OPERATIVA

2009 2010 2011 2012 2013

Eje 1 28% 48%  65%  79%  90% 

Eje 2 28% 48%  65%  79%  90% 

Eje 3 28% 48%  65%  79%  90% 

4. LA INFORMACIÓN A APORTAR POR PARTE DE LOS BENEFICIARIOS

Datos identificativos

Aspectos relacionados con los procedimientos generales de gestión de las operaciones

Seguimiento del avance de las actuaciones

Contribución a las Políticas Comunitarias y Nacionales

Contribución a las Prioridades Horizontales

Identificación de Buenas Prácticas

4.1. Datos Identificativos

Identificación de la Categoría de Gasto y el Órgano Gestor de las Actuaciones.

Ubicación de la medida en el PO

Identificación de las Operaciones realizadas

Descripción del Proyecto (objetivos, características, complementariedad con otras actuaciones, …)

4.2. Aspectos relacionados con los Procedimientos Generales de Gestión de las Operaciones

• Bases reguladoras• Orden/convocatoria• Solicitudes presentadas / aceptadas• Gasto programado / aprobado

AYUDA / SUBVENCIÓN

• Publicación en DOUE• Denominación y código de contrato.• Tipo de contrato• Procedimiento de adjudicación• Presupuesto de licitación / adjudicación

PROCEDIMIENTOS DE CONTRATACIÓN

• Objeto del convenio• Normas de desarrollo• Entidad colaboradora• Duración total• Presupuesto

CONVENIOS

DE

SC

RIP

CIÓ

N

DE

TALL

E Y

VA

LOR

AC

IÓN Normas de

gestión del gasto

MANUALES DE PROCEDIMIENTO

CRITERIOS DE SELECCIÓN

GRANDES PROYECTOS

Dificultades en la gestión

IDENTIFICACIÓN DE PROBLEMAS

PROPUESTAS PARA MEJORA

NOVEDADES E INNOVACIONES

APORTACIÓN DE REDES SECTORIALES

Información y publicidad

PLAN DE COMUNICACIÓN

MEDIDAS DE PUBLICIDAD

PRUEBADOCUMENTAL

4.3. Seguimiento del avance de las actuaciones

SEGUIMIENTO FINANCIERO DE LAS OPERACIONES

Gasto elegible anual/acumulado Tasa de cofinanciación

Volumen gasto FEDER/FSE anual /acumulado

SEGUIMIENTO FÍSICO DE LAS OPERACIONES

INDICADORES OPERATIVOS Ejecución anual Ejecución acumulada

4.4. Contribución a las Políticas Comunitarias y Nacionales

ESTRATEGIA EUROPEA POR EL EMPLEO

ESTRATEGIA DE LISBOA Y PLAN NACIONAL DE

REFORMAS

Contribución al cumplimiento de los objetivos de la EEE.Atención a las directrices de la EEE.Otros: objetivos de inclusión social, formación o educación.

Contribución a los objetivos de la Agenda Reformada de Lisboa (Economía del conocimiento, competitividad, capital humano y exclusión social, medio ambiente).

Contribución a los objetivos del PNR.

4.5. Contribución a las Prioridades Horizontales

A) Cuidado y protección del Medio Ambiente.

¿Existe incidencia de las operaciones sobre el medio ambiente?

Positiva Negativa

Medidas correctoras

Seguimiento

Localización sobre espacios de la Red Natura

B) Igualdad de Oportunidades entre Hombres y Mujeres.

¿Existe incidencia de las operaciones sobre la igualdad de género?

Análisis previos e indicadores desagregados por sexos.Objetivos explícitos sobre reducción de desigualdades.Medidas de discriminación positiva.Consideración de políticas regionalesCriterios de selección.Unidad de género

Igualdad en la vida económica.Igualdad de participación representación.Igualdad de acceso y disfruto de derechos sociales.Igualdad en la vida civilCambio en los roles y estereotipos preestablecidos

Buena práctica

Generación de impacto positivo

Carácter innovador y uso de las NTICs

Amplitud del colectivo de beneficiarios

Colaboración social

Complementa‐riedad, 

sostenibilidad y efecto 

multiplicador

4.6.  Identificación de Buenas Prácticas

Datos Identificativos

Procedimientos de Gestión

Seguimiento del avance de las actuaciones

Contribución a pol. nacionales y comunitarias

Contribución a las prioridades horizontales

Identificación de buenas prácticas

Logros y avances Información y publicidad

Ejec. por prioridades /Grandes Proyectos

Ejecución por prioridades

Ejecución por prioridades

Ejecución por prioridades

Ejecución por prioridades

Ejecución por prioridades

Inf. sobre conform. con legisl.comunitar.

Complementariedad con otras pol.

Complementariedad con otras pol.

Disposiciones en materia de seguim.

4.7.  El Informe Anual de Ejecución

5. EL PROCEDIMIENTO DE EVALUACIÓN

Análisis útil de los resultados y el impacto de los Programas Operativos

Mejora de la calidad, eficacia y coherencia de la ayuda prestada por los Fondos y de la estrategia y la aplicación de los PO por lo que respecta a los problemas

estructurales específicos de los Estados Miembros y regiones afectados, teniendoen cuenta, asimismo, el objetivo de desarrollo sostenible y la legislación comunitaria pertinente en materia de impacto ambiental y evaluación

ambiental estratégica.(Artículo 47.1 del Reglamento (CE) Nº1083/2006)

Obtención y análisis de la

información

Adaptación de laestrategia a las necesidadesregionales

Racionalización dela ejecución de las actuaciones

Aplicación de laslecciones de laexperiencia

Objetivo gene

ral

Objetivos interm

edios

DIFERENTES NIVELES DE EVALUACIÓN (ART. 47.2 R. 1083): 

Evaluaciones Estratégicas

Carácter marcroeconómico

Indicadores de contexto.

Indicadores estratégicos

Evaluaciones Operativas

Carácter microeconómico

Indicadores operativos.

Indicadores de alerta

5.1. Evaluación ex–ante (Art. 48.2 del Reglamento (CE) Nº 1083/2006)

Objetivo Elementos claveMomento de realización

Organismos responsables

Optimizar la asignación de los recursos presupuestarios e incrementar la calidad de la programación.

A partir de este análisis se identifican las debilidades y el potencial de desarrollo, se definen los objetivos a alcanzar y su cuantificación, los resultados esperados, la coherencia, así como la estrategia propuesta para la región, el valor añadido comunitario, las lecciones extraídas de anteriores programaciones y la calidad de los procesos de ejecución, seguimiento, evaluación y gestión financiera.

La evaluación ex – ante, ha abordado una serie de elementos de interés:

La medida en la que los Programas contribuyen a la superación de las debilidades de la región. La estructura interna del Programa, de modo que se concluya si la programación de la ayuda es la idónea para lograr los objetivos previstos. La coherencia externa del Programa, es decir, su capacidad para contribuir a cumplir con los objetivos definidos en las diferentes políticas regionales, nacionales y comunitarias relacionadas, con especial atención a las Orientaciones Estratégicas Comunitarias y la Estrategia de Lisboa.

Arranque del diseño de los Programas Operativos.

Autoridad de Gestión 

/Evaluador independient

e de las Autoridades del Programa.

5.2. Evaluación continua u on‐going:  Evaluación Operativa (Art. 47.1 del Reglamento (CE) Nº 1083/2006)

Objetivo Elementos claveMomento de realización

Organismos 

responsables

El Objetivo de la evaluación operativa es valorar de forma constante la ejecución de las medidas previstas y la consecución de los objetivos iniciales e introducir a tiempo los ajustes necesarios que ayuden a alcanzar los mismos. 

FASE I. Seguimiento de los indicadores de alertaFASE II. Evaluación por desviaciónFASE III. Evaluación por reprogramación

Se realiza un seguimiento continuo del desarrollo del PO, de modo que cuando se observe una desviación 

significativa se inicia el 

proceso de evaluación

Autoridad de gestión /Evaluador independiente de las Autoridade

s del Programa.

5.3. Evaluación continua u on‐going: Evaluación estratégica (Art. 47.1 y art. 33 del Reglamento (CE) Nº 1083/2006)

Objetivo Elementos claveMomento de realización

Organismos responsables

Valora la necesidad modificar la estrategia diseñada en los PO como consecuencia de los cambios en el entorno y en las necesidades de la región. Asimismo, valorará la necesidad de adaptación del PO ante cambios en las líneas estratégicas de la Comisión Europea, la Política Nacional o la Política regional que los requiera.Pueden revestir un carácter temático

Inicio de la realización de las políticas recogidas en el Programa (Procedimientos de aplicación y puesta en marcha).Recursos financieros empleados.Indicadores de resultados (miden los efectos inmediatos y directos del Programa Operativo) y de impacto específico sobre beneficiarios últimos (son un subconjunto indicadores de resultados, que ha sido seleccionados porque generan un mayor impacto en los beneficiarios).Efectos de los programas sobre beneficiarios últimos.Valor añadido comunitarioBuenas prácticas.

Se llevarán a cabo cuando lo requieran las necesidades propias del Programa 

Operativo, en los términos 

establecidos en los Planes de Evaluación. En el caso de las Evaluaciones Temáticas en los momentos determinados por la AG

Autoridad de Gestión 

/Evaluador independiente 

de las Autoridades del Programa.

EVALUACIONES ESTRATÉGICAS TEMÁTICAS: 

Economía del Conocimiento (I+D+i y Sociedad de la Información). Medio AmbienteIgualdad de Oportunidades entre Hombres y Mujeres.Actuaciones dirigidas al colectivo de Inmigrantes por las peculiaridades y dimensión del colectivo

5.4. Evaluación del Plan de Comunicación (Art. 4 del Reglamento (CE) Nº 1828/2006)

Objetivo Elementos claveMomento 

de realización

Organismos responsables

Determinar en qué medida se están alcanzando los objetivos programados en el Plan de Comunicación (Art.2 del Reglamento (CE) Nº 1828/2006), los problemas generados en la realización de las líneas de actuación previstas, el impacto generado por dichas actuaciones, etc. en materia de información y publicidad. Asimismo, trata de analizar el alcance que dichas actuaciones tienen sobre el conocimiento que el conjunto de la población posee acerca de los Fondos Estructurales.

Líneas de actuaciónIndicadores de    información y    publicidad Grupos  de destinatarios

Se realizarán 

dos evaluaciones, una en 2010 y otra en 2013.

Autoridad de Gestión /Evaluador independient

e de las Autoridades 

del Programa.

5.4. Evaluación ex – post

Objetivo Elementos calveMomento de realización

Organismos responsables

Determinar los factores que han contribuido al éxito o al fracaso en la ejecución de los programas operativos e identificar aquellos proyectos que han destacado como buenas prácticas. Con ello se pretende la obtención de conclusiones extrapolables a la Política de Cohesión Económica y Social, desde una perspectiva más amplia.

Elaboración de una evaluación ex – post por cada uno de los objetivos de la Política Regional en el período 2007‐2013: Convergencia, Competitividad Regional y empleo y Cooperación Territorial.

El contenido mínimo de la evaluación ex –post, de acuerdo con la normativa comunitaria, abarca:

Análisis del grado de utilización de los recursos.

Eficacia en la programación de los Fondos

Eficiencia de la programación de los Fondos 

Impacto socioeconómico. 

La fecha límite para su realización será el 31 de diciembre de 

2015

Comisión Europea, con la colabora‐ción de los Estados 

Miembros.

Avance de la ejecución financiera          Plan Financiero

Avance de la ejecución física  Objetivos cuantificados

FUNCIÓN: Proveedores de información para las tareas de seguimiento y evaluación y usuarios de los resultados de dichas tareas.

En el seguimiento

En la evaluaciónCausas de las desviaciones         Recomendaciones

Colaboración con el Org. Intermedio 

Órg. ejecutores proporcionan informac.

Usuarios de la informac.: Com. Seguim., órg. ejecut, Aut. Gest., CE, eval. ext… 

Aut. de Gestión: Carga del sistema de indicadores 

6. LA IMPORTANCIA DEL PAPEL DE LOS ÓRGANOS GESTORES PARA AUMENTAR LA UTILIDAD DE LA EVALUACIÓN

RESPONSABILIDAD EN MATERIA DE SEGUIMIENTO:

RESULTADOS ESPERADOS:

Establecimiento de procedimientos claros 

Contribución a la elaboración de los Informes Anuales, entre otros.

Contribución al desempeño de las funciones del Com. Seguim.

Contribución a elevar la eficacia y la eficiencia de los PO: identificación puntual de problemas de ejecución.

Recogida de datos de las actividades realizadas: herramientas para el seguimiento (indicadores) y procedimientos eficaces

Análisis inicial de la información recopilada: control  continuo de la entrada de información y de su calidad.

Transmisión de los datos al Org. Intermedio: medios electrónicos

MUCHAS GRACIAS

POR SU ATENCIÓN