DESARROLLO DE UNA METODOLOGÍA MULTICRITERIO PARA LA EVALUACIÓN … · 2018. 2. 11. · Desarrollo...

Desarrollo de una metodología multicriterio para la evaluación de la investigación del

transporte

Lissy La Paix & Mª Eugenia López-Lambas

XVI PANAM, July 15-18, 2010 – Lisbon, Portugal

DESARROLLO DE UNA METODOLOGÍA MULTICRITERIO PARA LA

EVALUACIÓN DE LA INVESTIGACIÓN DEL TRANSPORTE

Lissy La Paix, email: [email protected]

María Eugenia López-Lambas, email: [email protected]

Universidad Politécnica de Madrid. Centro de Investigación del Transporte,

TRANSyT. Prof. Aranguren s/n, 28040 Madrid, España

ABSTRACT

La evaluación de proyectos es un campo en crecimiento continuo. En efecto, la Unión

Europea financia desde 1984 los Programas Marco para el desarrollo e investigación

de la tecnología y, de manera análoga, muchos países de la Comunidad Europea

están impulsando la evaluación de la investigación, para cuantificar el „Value for

Money’ (VfM) en este campo.

Tradicionalmente, la evaluación de proyectos de transporte ha sido de tipo económico,

si bien recientes estudios han venido a enmarcar esta evaluación dentro de los tres

aspectos del desarrollo sostenible, cuantificando los resultados desde un punto de

vista social. Un conjunto de documentos internacionales constituye el marco de

referencia que propone, entre otras cosas, evaluar tres aspectos: (1) la efectividad de

la investigación en los resultados; (2) su contribución a la comunidad científica; y (3)

su utilidad a la sociedad en general.

Así, sobre la base de las necesidades actuales de la investigación y la evaluación, en

el presente trabajo se propone el desarrollo de una metodología de evaluación de

proyectos de investigación del transporte. Comoquiera que los proyectos a evaluar

deben ser recientes, se han seleccionado de entre los llevados a cabo a lo largo del

Quinto y Sexto Programa Marco. Se medirán los resultados científicos y el desarrollo

de la investigación a través de cuatro tipos de indicadores: científicos, sociales, de

utilidad y económicos.

Con un objetivo similar, en el Proyecto Europeo METRONOME, a lo largo del mes de

noviembre del año 2008, se llevó a cabo una encuesta dirigida a investigadores y


transporte



coordinadores de proyectos europeos, cuyos resultados se han empleado aquí para

aplicar la metodología planteada.

Los resultados indican una mayor aceptabilidad de los proyectos del V Programa

Marco respecto de los del VI. Además, se aprecia cierta correlación entre los

resultados científicos y de utilidad. Por último, aunque no menos importante se

recomienda establecer un sistema de seguimiento de los proyectos una vez

finalizados, así como emplear más recursos para fomentar la publicación y

diseminación de resultados, indicando que la evaluación debe formar parte del

proyecto y no ser considerada un fin en sí misma.

Keywords: evaluación, multicriterio, investigación, transporte, Value for Money(VfM).

INTRODUCCIÓN Y OBJETIVOS Año tras año la Comisión Europea invierte grandes cantidades de dinero en la

financiación de Proyectos de Desarrollo Sostenible. En efecto, desde 1984, a través de

sucesivos Programas Marco de Investigación y Desarrollo, la Unión Europea

promueve la investigación y los avances tecnológicos. Sin embargo, ha sido tal el

crecimiento del número de proyectos de investigación en los últimos años, que su

evaluación deviene absolutamente necesaria, siquiera como mecanismo de control y

verificación de los objetivos perseguidos1. De otro modo, el enorme esfuerzo inversor

desplegado, corre el riesgo de verse abocado al fracaso.

Haciendo un poco de historia, vemos que un presupuesto inicial de 13.700 millones de

euros fue el acordado para la implementación del V Programa Marco de I+D, lo que

representó, en términos absolutos, un incremento del 4,61% con respecto al IV

Programa. Por lo que se refiere al VI, el presupuesto aprobado fue de 14.682 millones

de euros, lo que supone, a su vez, un aumento del 7% en relación con el anterior. En

definitiva, se puede decir que cada cuatro años más de 10.000 millones de euros se

destinan a proyectos de investigación; y, por cuanto se refiere al transporte, el

programa actual dedica el 13% a proyectos de este sector, incluido el aeronáutico.

Ante esta situación, es normal que los países europeos hayan empezado a desarrollar

proyectos de evaluación de la investigación desde hace, aproximadamente, 10 años.

Sin embargo, a pesar de los esfuerzos realizados en esta dirección, puede decirse que

quedan aún ciertos aspectos que no han sido enfocados globalmente con el riesgo de

ver fracasada cualquier iniciativa desplegada en este sentido.

En efecto, la evaluación de los proyectos de investigación se enfoca, normalmente,

desde el punto de vista económico. Sin embargo, para obtener una perspectiva

adecuada, preciso es tener en cuenta varios aspectos, algunos de los ellos ya

recomendados por la OECD. Acudiendo a una fácil paráfrasis, es cada más evidente

que no sólo de evaluación de resultados en términos cuantitativos vive el hombre, sino

1 Sólo entre 1984 y 2006 el presupuesto invertido en proyectos de investigación ascendió a 43

billones de euros.


transporte



que es necesario proceder a evaluar también las aportaciones a la comunidad

científica y a la sociedad en general.

Por ello, en este trabajo se expone el camino recorrido hasta diseñar una metodología

de evaluación de proyectos de investigación del transporte que pueda servir como

herramienta de ayuda a la toma de decisiones globales. Se evalúan, pues, tanto la

calidad como la eficiencia y efectividad de la inversión en i+D (Value for Money-VfM),

junto con el grado de cumplimiento de los proyectos respecto a los objetivos

inicialmente fijados („fitness for purpose’, por usar la terminología europeísta) con

relación al desarrollo sostenible.

Justo es reconocer que el estudio que sometemos a consideración utiliza fuentes y

datos recogidos en una encuesta desarrollada dentro de uno de los proyectos

europeos del VI Programa Marco, METRONOME (METhodology foR evaluatiON of

research project iMpacts in the fiEld of transport), en el que trabajaron las autoras.

Dicho proyecto tenía un objetivo similar al aquí perseguido, si bien su enfoque incluía

de la competitividad y la mejora de las políticas públicas en el marco del desarrollo

sostenible de proyectos del V y VI Programa Marco.

MARCO DE REFERENCIA PARA LA EVALUACIÓN

Como marco global de referencia del trabajo desarrollado, hay que citar, en primer

lugar, la Agenda Local 21 –programa desarrollado por las Naciones Unidos-, sistema ,

muy utilizado en la práctica política (United Nations, 2005). En ella, cuestiones como

efectos, impactos y eficiencia cobran la mayor importancia, convirtiéndose así en un

plan de acción comprehensivo que fija los requisitos para actuar en el plano local,

regional, nacional y global dentro de todos los campos que, de una u otra forma,

provocan un impacto en el medioambiente.

La Agenda, basada en el concepto ya clásico de desarrollo sostenible, fue adoptada

por más de 178 gobiernos en la Conferencia de Medio Ambiente y Desarrollo de

Naciones Unidas (UNCED) celebrada en el año 1992. Se compone de 4 secciones, la

última de las cuales especifica indicadores de desarrollo sostenible con los que

evaluar la efectividad de los procedimientos empleados para alcanzar objetivos de

desarrollo sostenible. Se trata de 21 indicadores basados en un análisis de alcance

local, si bien incluyen también requisitos clave de desarrollo sostenible a un nivel más

extenso.

De conformidad con el esquema así planteado, cuando se trata de evaluar la

contribución de los proyectos de investigación europeos al desarrollo sostenible, se

deben incorporar los siguientes criterios:

Protección del paisaje y recursos naturales

Igualdad social

Pautas de desarrollo sostenible

Movilidad sostenible


transporte



Medidas estratégicas para reducir las emisiones de los gases de efecto

invernadero

Prevención de las emisiones tóxicas perjudiciales para el medio ambiente

Autonomía local

Participación pública

A partir de ahí, cualquier conjunto de criterios de evaluación debería, como mínimo,

incorporar los cuatro objetivos clave enfatizados en la Estrategia europea de Medio

Ambiente (2006), a saber:

- Protección del Medio Ambiente

- Igualdad y cohesión social

- Desarrollo económico

- Cumplimiento de las responsabilidades internacionalmente adquiridas

La citada Estrategia señala, además, que todo conjunto de criterios diseñado para

medir un proceso, debe centrarse en 10 principios destinados a dirigir los objetivos

marcados, concretamente (Langer & Schön, 2002):

- Desarrollo y protección de los derechos fundamentales

- Equidad intergeneracional

- Una sociedad abierta y democrática

- Participación ciudadana

- Participación de asociaciones empresariales

- Gobernanza y cohesion política

- Integración de las distintas políticas

- Uso de todo el conocimiento disponible

- Principio de precaución (actuar ahora para evitar daños potenciales mayores

en el futuro)

- Quien contamina debe pagar

En términos generales, y bajo estos principios, la evaluación de un proyecto de

investigación debería tomar en consideración la participación social y proporcionar una

visión global de los objetivos “planificados y conseguidos”, tanto interna como

externamente.

Otro importante grupo de indicadores, el SDI de la Unión Europea, se adoptó en 2005

(European Commission (EC), 2005), renovándose en 2007 al objeto de reflejar la

nueva Estrategia Europea de Desarrollo Sostenible (European Commission (EC),

2006). Desarrollado por el Grupo de Trabajo de Indicadores de Desarrollo Sostenible,

contiene la mayor fuente de conocimientos científicos sobre esta materia, junto con las

cuestiones estratégicas prioritarias de la Unión Europea en cuestión de desarrollo

sostenible, e incorpora algunas otras iniciativas sobre indicadores clave de manera

que se puedan completar y armonizar los distintos enfoques. El conjunto de

indicadores resultante forma el marco que permite determinar los avances obtenidos

en la consecución de los objetivos marcados, reconociendo el hecho de que los

objetivos de cualquier proyecto pueden variar pero la lista de criterios es lo

suficientemente amplia para permitir su adaptación.


transporte



El SDI plantea diez temas, cada uno de los cuales contiene una serie de aspectos

socio económicos y medioambientales, que relaciona con cada uno de los siete

desafíos recogidos en detalle por la Estrategia Europea de Desarrollo Sostenible

(European Commission (EC), 2006). Dichos temas son, pues, los que deberían quedar

reflejados en cualquier metodología destinada a evaluar la contribución de los

proyectos de investigación al desarrollo sostenible, a saber:

- Consumo y producción sostenibles

- Desarrollo socio económico

- Inclusión social

- Cambios demográficos

- Salud pública

- Cambio climático y energía

- Transporte sostenible

- Recursos naturales

- Sociedad globalizada

- Gobernanza

Por su parte, en el año 2002 la OCDE (Organización para la Cooperación y el

Desarrollo Económico), comparó los indicadores de desarrollo sostenibles empleados

por un grupo de paíse,s al objeto de revisar los progresos obtenidos a nivel nacional,

en relación con el desarrollo sostenible. El análisis se basó en los temas y categorías

del UNCSD (ver párrafo más arriba), considerados clave para proceder a dicha

evaluación; temas que proporcionan otra perspectiva para evaluar los proyectos de

investigación de transporte del 5 y 6 Programa Marco de la Unión Europea, y que se

detallan a continuación:

Tabla 1 – Lista de Indicadores OCDE, 2002

Social Medioambiental Económico

Equidad Atmósfera Estructura económica

Salud Suelo Tendencias de consumo y

producción (i.e. consumo

energético)

Educación Océanos, mares y costas

Vivienda Agua potable Institucional

Securidad Biodiversidad Marco institucional (i.e.

implementación de estrategias de

desarrollo sostenible)

Población Capacidad institucional (i.e.

acceso a la información)


transporte



Por otro lado, la metodologia propuesta en el presente documento tiene muy en cuenta

lo que a teoría económica ha definido como “Value for Money” (VfM), es decir, la

utilidad derivada de una compra o de cualquier suma de dinero invertida. El concepto,

pues, no se basa tan sólo en el precio mínimo (económico) de una compra sino

también en la eficiencia y efectividad de la misma. En síntesis, el VfM es el término

utilizado para evaluar si una organización ha obtenido el máximo beneficio o no de los

bienes y servicios adquiridos, en el marco de los recursos disponibles para ello,

tomando, además, en cuenta la calidad, coste, recursos utilizados, el fitness for

purpose al que antes hemos hecho referencia y los plazos; todo lo cual, en conjunto

constituye un valor, por lo que el VfM se trata de alcanzar el equilibrio entre:

Economía, eficiencia y efectividad.

En este caso, se evalúa el VfM de proyectos de Investigación del transporte la, pues

entendemos que no serviría de mucho al objetivo de nuestra metodología –que no es

otro que, en suma, justificar las inversiones en dichos proyectos-, analizar tan sólo el

coste de la inversión, dejando de lado la calidad de los resultados, la efectividad, y la

eficiencia de la gestión.

En conclusión, la metodología de evaluación de impactos de proyectos de

investigación que aquí presentamos, se basa en las directrices para evaluar el

desarrollo sostenible a las que venimos haciendo referencia, tomando en

consideración tanto los impactos científicos como los factores sociales y económicos.

MARCO ANALÍTICO DE LA EVALUACIÓN MULTICRITERIO

Como ya hemos dicho, el principal objetivo del presente trabajo es evaluar el VfM, y el

cumplimiento de los objetivos de un conjunto de proyectos de investigación del V y VI

Programa Marco. Ahora bien, ya que la toma de decisiones final en la evaluación de

estos proyectos supone aspectos multidimensionales, que bien pueden ser

cualitativos o cuantitativos, deviene necesario emplear una evaluación multicriterio

desde el punto de vista económico, social y científico. Para ello se hace uso de las

técnicas de análisis multicriterio iniciadas con los trabajos de Koopmans (1951), los

cuales presentan un enfoque de la teoría de vectores eficientes que podemos

considerar como el nacimiento de la teoría de decisiones multicriterio, si bien es cierto

que las herramientas de análisis multicriterio son variadas y numerosas, como la

programación multiobjetivo, programación por metas, programación compromiso, entre

otras (Romero, 1993).

En las últimas décadas se han diseñado metodologías de evaluación y de ayuda a la

toma de decisiones para complementar el conocido Cost-Benefit Analysis (CBA), que

se plantea, junto a otros métodos económicos relacionados, dada su extendida

aplicación como el Cost-effectiveness analysis y los métodos de análisis multicriterio.

Como es bien sabido, el CBA consiste en la enumeración y evaluación de los aspectos

relevantes (directos e indirectos, sociales y económicos) del coste y los ingresos


transporte



generados por las alternativas propuestas, lo que involucra dos partes importantes:

análisis de impacto y evaluación monetaria (Vreeker et al., 2002).

Por otro lado, el Regime Analysis y Flag Model se utilizan en la evaluación multicriterio

de este estudio de manera combinada. El primero de ellos -Regime Analysis- es un

método discreto cualitativo de análisis multicriterio basado en dos tipos de datos de

entrada: una matriz de evaluación y un conjunto de pesos. La matriz de evaluación

está compuesta por los elementos que miden el efecto de cada alternativa

considerada respecto a los criterios establecidos, es decir, los indicadores. A su vez,

los pesos proporcionan información acerca de la importancia respecto al criterio

evaluado.

Por nuestra parte, aprovecharemos principalmente el conjunto de pesos, para

determinar la importancia de cada criterio en la decisión final. En el Regime Analysis-

como en el Concordance Analysis- se calcula un índice que será la suma de los pesos

y se comparan las alternativas en relación a un criterio global. Este método se interesa

por el signo del índice suponiendo que la información es de naturaleza ordinal, por lo

cual el modelo no se adapta totalmente a un análisis con datos cualitativos. Ahora

bien, para realizar una evaluación ponderada hay que calcular los pesos

correspondientes a las tres categorías para cada uno de los indicadores.

El método Regime permite analizar la matriz de indicadores que contienen datos

mezclados en diferentes unidades de medida. Utiliza, además, un vector de

jerarquización (pesos) para calcular los valores ordinales de los indicadores en las

alternativas. Se emplea una variante de este método y se calculan los pesos para los

grupos de indicadores a través de un análisis de sensibilidad. Finalmente, se evalúan

diferentes escenarios escogiendo aquel que mejor refleje los objetivos de la

evaluación. Por ejemplo, si se desea evaluar la relación entre los indicadores

científicos y de gestión, se empleará un grupo de pesos en los que estos indicadores

cambien sustancialmente al cambiar los pesos, evaluando los extremos positivo,

negativo e intermedio.

La tabla siguiente muestra los grupos de pesos calculados para tres tipos de

escenarios: balanceados, extremos e intermedios. En total se calcularon 10

escenarios, en los cuales cada grupo de indicadores asume un peso distribuido entre

los sub-criterios correspondientes al grupo (preguntas).

Tabla 2 – Pesos de los indicadores

Escenarios Grupos de

Indicadores

Peso del

grupo

# sub-

criterios

Peso/sub-

indicador

Balanceado

Escenario 1 - 1 19 0,05

Escenario 2

Científico 25% 5 0,05

Utilidad 25% 7 0,04

Social 25% 3 0,08


transporte



Escenarios Grupos de

Indicadores

Peso del

grupo

# sub-

criterios

Peso/sub-

indicador

Económico 25% 4 0,06

Extr

em

os

Escenario 3


Utilidad 0% 0 -

Social 0% 0 -

Económico 0% 0 -

Escenario 4

Científico 0% 0 -

Utilidad 100% 7 0,14

Social 0% 0 -

Económico 0% 0 -

Escenario 5

Científico 0% 0 -

Utilidad 0% 0 -

Social 100% 3 0,33

Económico 0% 0 -

Escenario 6

Científico 0% 0 -

Utilidad 0% 0 -

Social 0% 0 -


Inte

rmed

ios

Escenario 7


Utilidad 25% 7 0,04

Social 11% 3 0,04


Escenario 8


Utilidad 50% 7 0,07

Social 13% 3 0,04


Escenario 9


Utilidad 22% 7 0,03

Social 50% 3 0,17


Escenario 10


Utilidad 23% 7 0,03

Social 10% 3 0,03



transporte



Finalmente se utilizan los dos escenarios balanceados dado que no se observan

diferencias significativas con el resto. Asimismo, el empleo de este conjunto de pesos

evita penalizar uno de los grupos de indicadores, toda vez que el objetivo de la

investigación es evaluar el proyecto de manera global.

El segundo método utilizado es el Flag Model, el cual se basa en la comparación de

las puntuaciones con unos valores de referencia. Una vez calculadas las puntuaciones

se asigna un color según la escala (ver Figura 1). El lugar en la escala se determina

con la comparación de los valores de los impactos con otros de referencia llamados

Critical Threshold Values (CTV), de manera que para cada grupo de indicadores se

debe disponer de unos CTVs. Ello nos permitirá la evaluación de los proyectos de

manera individual, así como la comparación de las puntuaciones alcanzadas por cada

grupo (científico, utilidad, gestión y económico). Se emplean 4 bandas con distintos

colores según el nivel de prevención que se debe mostrar ante el indicador medido

(Nijkamp and Ouwersloot, 1997):

1. Sin razón de prevención (Verde)

2. Permanecer alerta (Amarillo ↑)

3. Tendencias negativas (Amarillo ↓)

4. Detener el crecimiento (Rojo)

En suma, los datos de entrada consisten, básicamente, en una matriz de puntuaciones

por proyectos, procedente de la encuesta. Los valores umbrales críticos (CTV) mínimo

y máximo delimitan el rango de referencia para la medición del estado actual del

proyecto, y la puntuación final se establece según los pesos del Regime Analysis. Se

calcula la media de los sub-criterios por grupo de indicadores y se asigna un nivel de

prevención a los valores obtenidos, el cual viene dado por los umbrales fijados según

los cuartiles de la muestra. La Tabla 3 y la Figura 1 muestran la escala de

puntuaciones y sus umbrales.

Tabla 3 Escala de puntuaciones

Ordinal Escala Mayor que Menor que Resultado

1 Alto 75% 100% Verde

2 Medio 50% 75% Amarillo (↑)

3 Bajo 25% 50% Amarillo (↓)

4 Muy bajo 0 % 25% Rojo


transporte



Figura 1 – Escala del Flag model

Todas las mediciones deben ser de signo positivo, mientras que en el caso de

preguntas en sentido negativo se invierte la escala. Por ejemplo, si un indicador tiene

un valor económico (cuanto menor sea es mejor), el umbral significa que los valores

superiores son potencialmente peligrosos o amenazantes. Cuanto mayor sea el valor

del indicador resulta más inaceptable (Nijkamp and Ouwersloot, 1997). Para cada

indicador se asume (S) un mínimo (S min ) valor cero y un valor máximo S máx.) = CTV =

100; con ello se indica que, desde el mínimo hasta el máximo, el indicador puede

adoptar un rango de valores que determinará un lugar en la escala (ver Figura 1).

Comoquiera que el principal propósito del Flag Model es aumentar la factibilidad del

manejo de múltiples alternativas y criterios a la vez, cabe decir, por último, que resulta

en un método mucho más útil cuando se utiliza un elevado número de indicadores,

toda vez que ello posibilita la mejor apreciación de la matriz de impactos (Nijkamp and

Ouwersloot, 1997).

DATOS Y CARACTERÍSTICAS DE LA MUESTRA

ENCUESTA

La toma de datos se hizo mediante una encuesta enviada por correo electrónico a los

coordinadores e investigadores de los distintos proyectos. Una encuesta de este tipo

es una herramienta valiosa para recoger datos de una población geográficamente

dispersa, puesto que una entrevista cara a cara resultaría demasiado costosa en

términos económicos y de tiempo (Hikmet & Chen, 2003). Por otro lado, existen

opiniones enfrentadas respecto al nivel de respuestas aceptable. Las investigaciones

llevadas a cabo por Goyder –aún siendo no muy recientes Goyder & Leiper, 1985) –

muestran que, entre la comunidad académica, hay diversas posturas sobre este

particular, de manera que el ratio aceptable varía entre el 30 y el 70%.

El cuestionario empleado utilizar una escala Likert cualitativa, de 1 a 5 puntos. Este

tipo de escala es la más empleada en la investigación basada en encuestas; se trata

de una técnica de tipo respuesta psicométrica usada a menudo en cuestionarios

donde los entrevistados especifican su nivel de acuerdo con la pregunta o afirmación

(Likert, 1932). El formato de una escala Likert típica de cinco niveles sería el siguiente:


transporte



1. Muy en desacuerdo

2. En desacuerdo

3. Ni de acuerdo ni en desacuerdo

4. De acuerdo

5. Muy de acuerdo

Por otro lado, la escala Likert es un método de escala bipolar, que mide tanto las

respuestas positivas como las negativas. Algunas veces se emplea una escala de

cuatro puntos, pero se trata de un método que fuerza la opinión, toda vez que la

opción “ni de acuerdo ni en desacuerdo” no es posible. En nuestro caso, empleamos

una escala de seis puntos, donde se permitía la opción “no sabe”. Ciertamente,

también en este caso se trata de un método arriesgado, puesto que el entrevistado

puede optar por los extremos “no sabe” o “ni de acuerdo ni en desacuerdo”, lo cual

implica cierta parcialidad aceptada.

Figura 2 – Modelo de Cuestionario


transporte



Se seleccionaron 29 proyectos basándose en la matriz de objetivos y en las

características de los proyectos, esto con el objetivo de incluir proyectos de las

diferentes áreas del transporte. Se envió la encuesta a los investigadores y

coordinadores de proyectos y se obtuvieron 28 respuestas de 13 proyectos. La tasa de

respuesta fue del 51%. Adicionalmente, se hicieron entrevistas en detalle para

complementar la información de los cuestionarios. El tamaño de la muestra podría ser

mayor si se desean obtener resultados representativos. Sin embargo para la aplicación

de la metodología, se consideran casos de estudio y, por tanto, son suficientes. La

Tabla siguiente muestra los proyectos seleccionados.

Tabla 4 – Lista de proyectos de la muestra

Programa Marco Acrónimo Programa Marco Acrónimo

V-PM

CITYMOBIL

VI-PM

ARTS_Rural

CLEANENGINE D2D

FLAGSHIP ECOCITY

HERCULES ECOPAINT

HISMAR EFTCoR

INMARE FURORE_BTL

MARSTRUCT IMPRINT_EUROPE

PISa INTEGRATION

SAFEINTERIORS PROGRESS

SAFET PROMPT

SHIPMATES ROLLOVER

SILENCE ROSEBUD

SIMTAG SMOKERMEN

SUMMA

TOSCA

VOYAGER

En la encuesta se consideraron 5 características para describir los proyectos:

Programa Marco, País coordinador, Instrumento de Financiación, Modo de Transporte

y Escala. Adicionalmente, se preguntó al encuestado el Área de Actividad para obtener

respuestas de los diferentes grupos. De las 5 características precedentes, se utilizaron

4 para el análisis estadístico-descriptivo, presentado más adelante, dichas

características se definen como:

1. Programa Marco: los proyectos escogidos pertenecen al V y VI Programa

Marco. El objetivo de esta separación es evaluar posibles diferencias de

puntuaciones entre Programas.


transporte



2. Modo de Transporte: los modos de transporte de los proyectos elegidos son

Carretera (Road), Marítimo (Marine) y Multimodal. Aunque se contemplaron en

los inicios de la selección, finalmente no se eligió ningún proyecto ferroviario

toda vez que no superaron la selección por objetivos. Cabe destacar, con todo,

el escaso número de estos proyectos que se consideraron en la muestra inicial.

3. Escala: se refiere al espacio geográfico que abarca el proyecto. Se consideran

dos tipos: urbana e interurbana.

4. Instrumento de Financiación: se refiere al tipo de contrato bajo el cual se

desarrolla el proyecto. Los tipos de contratos varían de un Programa Marco a

otro. Por ejemplo, en el V Programa Marco hubo Accompanying measures,

Cost-sharing contracts, Research and technology development projects, Study

contracts, assessment contracts, Thematic Networks, Concerted Action.

La Tabla 5 muestra las características de los proyectos.

Tabla 5 – Características de la muestra

Características N Porcentaje

Programa Marco

V Programa 14 50%

VI Programa 14 50%

Total 28 100%

Área de Actividad

Consultoría 4 14%

Universidad 10 36%

Industria del Transporte 2 7%

Investigación 10 36%

Otros 2 7%

Total 21 100%

Coordinador de Proyecto

Alemania 3 11%

Austria 2 7%

Bélgica 2 7%

España 7 25%

Finlandia 1 4%

Grecia 1 4%

Italia 1 4%

Noruega 1 4%

Países Bajos 3 11%

Reino Unido 6 22%

Total 28 100%

Instrumento de Financiación

V Programa Marco


transporte



Características N Porcentaje

No contract type 2 7%

Study contracts, assessment

contracts 1 4%

Cost-sharing contracts 5 18%

Research and technology

development projects 3 11%

Thematic Networks, Concerted Action 1 4%

Accompanying measures 2 7%

Total V-PM 14 50%

VI Programa Marco

Coordination action 8 29%

Specific Targeted Innovation Project 1 4%

Integrated project 4 14%

Networks of Excellence 1 4%

Total VI-PM 14 50%

Modo de Transporte

Carretera 16 62%

Ferrocarril 0 0%

Marino 1 4%

Multimodal 8 38%

Total general 28 100%

Escala del Proyecto

Interurbano 16 58%

Urbano 11 38%

No Especifica 1 4%

Total general 28 100%

ANÁLISIS EMPÍRICO

ESPECIFICACIONES SOBRE LOS INDICADORES

Siguiendo la metodología, en el marco de evaluación se utilizan dos tipos de análisis

multicriterio: Regime Analysis y Flag model. El Regime Analysis nos indicará los pesos

de los grupos de indicadores; y el Flag Model nos indicará el nivel de prevención que

se debe mostrar ante el proyecto. La revisión de la literatura ayuda a determinar los

grupos de indicadores a evaluar por medio de la encuesta y del análisis de los

documentos online e informes finales de los proyectos (Metronome Consortium,

2008). Se utilizan cuatro grupos:

1. Indicadores de Impacto Científico: Evalúan los objetivos planteados y

alcanzados en el proyecto en el campo científico, por ejemplo:


transporte



a. Número de publicaciones

b. Número de patentes

c. Eficiencia en el uso de los recursos

d. Efectividad de la investigación (metodología y objetivos)

e. Capacidad de resolver los problemas planteados.

2. Indicadores de Utilidad (al usuario-cliente): Se refieren a los resultados de la

investigación a corto plazo para la industria, el gobierno, ministerios y grupos

de investigación, por ejemplo:

a. Iniciativas en políticas de transporte

b. Desarrollo a largo plazo de servicios y productos

c. Estabilidad y ventajas para la investigación.

3. Indicadores de Impacto social: Reflejan el impacto a largo plazo de los

resultados de la investigación para la sociedad en su conjunto; esto incluye el

usuario o cliente final, las empresas operadoras, el sector industria, etc.

Ejemplos de estos indicadores son:

a. La implementación de los resultados de la investigación en el campo de

las políticas de transporte y de la industria.

b. La contribución al establecimiento de prioridades y objetivos, normas,

estándares regulaciones.

c. La contribución a estrategias de instituciones públicas y privadas.

4. Indicadores Económicos (Gestión y Coordinación): Se refieren a la creación de

herramientas para complementar los impactos medidos en los tres grupos

anteriores, como por ejemplo:

a. Nuevas redes de investigación

b. Creación de contactos entre empresas públicas y/o privadas,

c. Grupos de trabajo, grupos de consultas y expertos

d. Involucrar al ciudadano en la planificación del transporte.


transporte



RESULTADOS EXPLORATORIOS

Para poder llevar a cabo un análisis exploratorio de los datos, para cada proyecto se

calcula una puntuación total a partir de los pesos obtenidos en el Regime Analysis

para cada sub-criterio. El empleo de medidas estadísticas permite analiza las

puntuaciones finales. La siguiente Tabla muestra la media de puntuaciones según las

características de la muestra.

Tabla 6 – Puntuaciones Medias agrupadas según las características del proyecto

Característica N Media

PM

V 14 3,34

VI 14 3,52

Total 3,44

Modo de Transporte

Carretera 17 3,36

Marino 1 3,99

Multimodal 10 3,56

Escala

Urbano 11 3,37

Interurbano 16 3,48

No Especifica 1 4,05

Instrumento de Financiación

V-PM

Accompanying measures 2 3,22

Cost-sharing contracts 5 3,18

No contract type 2 3,69

Research and technology development

projects

3 3,42

Study contracts, assessment contracts 1 3,36

Thematic Networks, Concerted Action 1 3,88

VI-PM

Coordination action 8 3,33

Integrated project 4 3,83

Networks of Excellence 1 3,50

Specific Targeted Innovation Project 1 3,77

Del análisis exploratorio se deduce que, a nivel general, los proyectos del FP-6

obtienen mejores puntuaciones que los del FP-5. La mayoría de los proyectos

evaluados son de transporte terrestre y estos, a su vez, puntuaron menos que los de

transporte multimodal. El análisis comparativo por tipo de instrumentos de financiación

apoya la hipótesis de un mejor comportamiento de los proyectos del FP-6 respecto de


transporte



los del FP-5, dado que las puntuaciones obtenidas por los Instrumentos empleados en

el FP-5 muestran una clara tendencia al descenso (3,18 la menor) en comparación

con las del FP-6 (3,33 la menor).

PUNTUACIONES POR GRUPOS DE INDICADORES

A un nivel más específico, analizando los proyectos por grupos de indicadores, todos

los indicadores del VI Programa Marco puntuaron más que los del V, principalmente

los de impacto científico y social: 3,71 y 3,60, frente al 3,43 y 3,17 del FP-5.

Tabla 7 - Estadísticos descriptivos por Grupos de Indicadores

Programa Estadísticos Científico Utilidad Social Económico

V-PM

Media 3.43 3.22 3.17 3.22

Mediana 3.78 3.5 3.33 3.25

Variaza 0.69 1.12 0.74 0.45

Desviación Estándar 0.83 1.06 0.86 0.67

Mínimo 1.75 1.71 1 2.33

Máximo 4.8 4.43 4 4.5

Asimetría -0.63 -0.5 -1.55 0.37

Curtosis 0.29 -1.43 2.95 -0.48

VI-PM

Media 3.71 3.54 3.60 3.38

Mediana 3.5 3.43 3.67 3.5

Varianza 0.32 0.62 0.42 0.18

Desviación Estándar 0.56 0.79 0.64 0.42

Mínimo 3 2.29 2 2.75

Máximo 4.5 4.86 4.67 4.5

Asimetría 0.19 0.21 -0.7 1.07

Curtosis -1.72 -0.94 1.72 2.59

RESULTADOS MULTICRITERIO

Finalmente, la Tabla 8 muestra los resultados del análisis multicriterio por observación.

Una observación es equivalente a una encuesta, con lo cual un proyecto podría tener

varias observaciones. La dirección y el color de las flechas indican la situación del

proyecto en cuanto a los grupos de indicadores y la puntuación total (últimas 2

columnas a la derecha).

Entre los cuatro grupos de indicadores, el indicador de impactos Económico (Gestión y

Coordinación) requiere más atención: en la Tabla se muestran 4 observaciones en

rojo, mientras que en el resto se observan sólo 3. Esto significa que los indicadores

Económicos fueron bastante penalizados por los encuestados, que mostraron su

desacuerdo con la organización de los talleres, el número de socios del proyecto y la

cantidad de informes a presentar, entre otras situaciones.


transporte



Por otro lado, los indicadores de producción científica (publicaciones, patentes y

aspectos metodológicos) mostraron ser considerablemente bajos en la mayoría de las

encuestas, lo cual podría estar vinculado a la falta de seguimiento una vez finalizado el

proyecto, y se ha olvidado ya la diseminación de los resultados y las publicaciones

científicas de impacto.

Tabla 8.- Resultados por Observaciones de la Encuesta

Por otro lado, al resumir las puntuaciones de los proyectos por grupos de indicadores y

situación (Tabla 9), los indicadores Científico (Scientific) y Social (Societal) muestran

mejor desempeño que los Económicos (Management) y de Utilidad al usuario-cliente

(Utility).

La eficiencia y efectividad de estos proyectos de investigación se expresa en la

puntuación final (Balanced Score 1 y 2), en las dos últimas columnas de la derecha.

Se evalúan los proyectos de acuerdo a los dos escenarios de pesos balanceados. Los

resultados indican que se debe permanecer alerta en 10 proyectos, 6 proyectos

presentan tendencias negativas y 1 proyecto requiere intervención inmediata. Con el

escenario Balanced 2, 10 proyectos requieren permanecer alerta y 7 presentan

tendencias negativas. Claramente, el escenario Balanced 2, muestra mejor las


transporte



deficiencias existentes por grupos de indicadores. El análisis por grupos de

indicadores es preferible cunado se realiza una evaluación en detalle.

Por cuanto se refiere a la evaluación del VfM, hay que tener en cuenta que

corresponde a proyectos actualmente terminados, por lo que las conclusiones de la

evaluación servirán para aplicaciones posteriores, pero no pueden ser aplicadas al

proyecto en cuestión. Tabla 9 Resultados por Proyectos de Investigación del Transporte

Tabla 10.- Resumen de Proyectos por Grupos de Indicadores y Situación

Proyectos -

Situación Management Utility Societal Scientific

Balanced

Score (1)

Verde 13 14 15 15 7

Amarillo-up ↑ 4 2 2 2 9

Amarillo-down 1 0 0 1

Rojo

Total general 17 17 17 17 17

Las Tablas 8 y 9 muestran que los resultados varían cuando se analiza por

observación (encuesta) y por proyecto. La Tabla 8 (Puntuaciones por Observación)

presenta una mayor tendencia a puntuaciones negativas respecto a la 6 (Puntuaciones

por Proyecto), lo cual está relacionado con las diferencias entre las percepciones de

los encuestados acerca del mismo proyecto. Comoquiera que cuando un proyecto

tiene más de una encuesta (observación) se calcula la media de las puntuaciones

finales, es evidente que, en estos casos, para el mismo proyecto, una encuesta otorgó

mejores puntuaciones que otra, lo que aumentó la puntuación media.

En definitiva, la evaluación parece indicar que nos encontramos ante un “derroche” de

investigación en el campo del transporte, con numerosas deficiencias. Aunque los


transporte



resultados no son alarmantes, se requiere intervención; y es que, de las puntuaciones

globales de los 17 proyectos evaluados, ninguna quedó dentro del rango verde del flag

model, de manera que, si hemos de entender por Value for Money (VfM) la utilidad

derivada de una compra o de cualquier suma de dinero gastada, en este caso la

organización no está obteniendo una mejor relación calidad precio; es decir, se está

invirtiendo en proyectos que no están retribuyendo la utilidad y calidad máxima. Cabe

destacar, además, que los umbrales del flag model han sido establecidos de acuerdo a

los cuartiles de la muestra, lo cual permite ajustar las exigencias del modelo a los

valores reales, y aún así, los resultados han sido “deficientes” para muchos proyectos.

Los resultados apuntan, pues, a la necesidad de optimizar los procedimientos tanto

científicos como de gestión económica, al objeto de alcanzar una mayor utilidad del

esfuerzo investigador desplegado, y ampliar el alcance social de los proyectos, tanto

en sus objetivos como en sus resultados.

CONCLUSIONES

El objetivo del presente trabajo es desarrollar un conjunto de herramientas que sirvan

para evaluar los proyectos de investigación del transporte, se han seleccionado

proyectos del V y VI Programa Marco. Este método es útil cuando se dispone de

información cualitativa y/o mixta, y aplica dos análisis complementarios: el Regime

Analysis y el Flag Model.

Ciertamente, esta metodología podría desarrollarse tanto desde el propio proyecto

como por un organismo externo al mismo; pero, en cualquier caso, supondría una

importante contribución a los numerosos esfuerzos realizados para impulsar las

actividades de evaluación y la obtención del mayor VfM de la inversión efectuada en

I+D. Como ya hemos indicado, si el VfM es la utilidad derivada de una compra o de

cualquier suma de dinero invertida, en el caso que nos ocupa, se puede decir que la

organización no está obteniendo esa mejor relación calidad precio, lo cual equivale a

reconocer que se está invirtiendo en proyectos que no retribuyen la utilidad máxima.

Por otro lado, de la evaluación desarrollada, cabría extraer algunas otras conclusiones

más específicas, a saber:

1. El principal problema de los proyectos europeos es la falta de seguimiento una

vez terminados. Los indicadores científicos se ven mayormente afectados de

forma negativa por la ausencia de publicaciones importantes, lo cual junto a la

falta de eventos de publicación y grupos de trabajo, desemboca en una falta de

conocimiento de los resultados por parte de la comunidad científica.

2. Se observa, por otro lado, una posible relación causa-efecto entre los

indicadores científicos y los de utilidad, de manera que si, por ejemplo, existen

problemas en la definición del proyecto, los resultados obtenidos podrían estar

lejos de los esperados.


transporte



Finalmente, conviene reiterar que el planteamiento que aquí exponemos, no implica

considerar la evaluación de la investigación como un fin en sí misma; lejos de ello,

entendemos que debería desarrollarse y emplearse como una herramienta más para

la toma de decisiones y la determinación de cuestiones estratégicas importantes. En el

futuro, sería interesante ensayar esta metodología con una muestra mayor de

proyectos europeos de desarrollo sostenible en el campo del transporte, con el fin de

extraer recomendaciones representativas y de utilidad para nuevos proyectos en el

marco del transporte sostenible, con lo que se constituiría en una herramienta

altamente eficaz para los decisores políticos.

AGRADECIMIENTOS

Este trabajo no habría sido posible sin la colaboración de las instituciones involucradas

en el proyecto METRONOME (A Methodologoy For Evaluating of Projects Impacts in

the Field of Transport) y las aportaciones de los Grupos de Trabajo. Las autoras

extienden un cordial agradecimiento a la Dra. Elena López, por la colaboración en el

desarrollo metodológico durante la realización de METRONOME.

REFERENCIAS

Bussmann, W. (1995). Evaluationen staatlicher massnahmen erfolgreich beleiten und

nutzen:Ein leitfaden (in spanish: Las evaluaciones de las medidas estatales

para apoyar con éxito y uso: Una guía) Rüegger.

Capron, H. (1997). Public support to R&D programmes: An integrated evaluation

scheme. in OECD (1997a) policy evaluation in innovation and technology:

Towards best practices.

European Commission (EC). (2005). Communication from mr. almunia to the members

of the commission. sustainable development ndicators to monitor the

implementation of the EU sustainable development strategy

European Commission (EC). (2006). The renewed european sustainable development

strategy 2006.http://ec.europa.eu/sustainable/sds2006/index_en.htm

Eurostat. (2007). Measuring progress towards a more sustainable europe. Eurostat

Statistical Books

Goyder, J., & Leiper, J. M. K. (1985). The decline in survey response: A social values

interpretation. Sociology, 19(1), 55.

Grant-Muller, S., MacKie, P., Nellthorp, J., & Pearman, A. (2001). Economic appraisal

of european transport projects: The state-of-the-art revisited. Transport

Reviews, 21(2), 237-261.

Hikmet, N., & Chen, S. K. (2003). An investigation into low mail survey response rates

of information technology users in health care organizations. International

Journal of Medical Informatics, 72(1-3), 29-34.

http://ec.europa.eu/sustainable/sds2006/index_en.htm


transporte



Koopmans, T.C., (1951) Analysis of Production as an Efficient Combination of

Activities, en Activity Analysis of Production and Allocation. Koopman, T. C.,

editor. Jhon Wiley and Sons, Nueva York, 33-97.

Langer, M. E., & Schön, A. (2002). An integrated referential framework for sustainable

development. Presentado en EASY-ECO EvAluation of SustainabilitY–

European COnference. Mayo 23-25 2002. Viena, Austria.

La Paix, L. & López-Lambas, M. (2008). Propuesta Metodología Recomendada para la

Evaluación de los Planes de Movilidad Sostenible. Paper presented in: VII

Congreso Ingeniería del Transporte CIT-2008. 2-4 Julio. Madrid, España.

I.S.B.N. 978-84-380-0394-7

López-Lambas, M. & La Paix, L. (2008). PMUS: European Perspective. Presentado en

2º Congreso Internacional: Los Ciudadanos y la Gestión de la Movilidad. 29

sept.- 1º oct. Madrid, España.

Likert, R. (1932). A technique for the measurement of attitudes. In: Summers GF (ed).

Attitude measurement. Chicago, IL: Rand McNally & Company, 1970.

Luukkonen, T. (1997). The increasing professionalisation of the evaluation of mission-

oriented research in finland: Implications for the evaluation process. in OECD

(1997a) policy evaluation in innovation and technology: Towards best practices.

Medda, F., & Nijkamp, P. (2003). A combinatorial assessment methodology for

complex transport policy analysis. Integrated Assessment, 4(3), 214-222.

Metronome Consortium, 2008. A Methodologoy For Evaluating of Projects Impacts in

the Field of Transport, Final Report. http://www.vtt.fi/sites/metronome/?lang=en.

Consultado en marzo 2010

Nijkamp, P., & Ouwersloot, H. (1997). A decision support system for regional

sustainable development: The flag model.

Nijkamp, P., Ouwersloot, H., & Rienstra, S. A. (1997). Sustainable urban transport

systems: An expert-based strategic scenario approach. Urban Studies, 34(4),

693-712.

Organisation for Economic Co-operation and Development (OECD). (2002). Overview

of sustainable development indicators used by national and international

agencies. OECD statistics working paper 2002/2.

Organisation for Economic Co-operation and Development (OECD). (2007). The

evaluation of scientific research

Rao, P. (2000). Sustainable development: Economics and policy Blackwell Publishers.

Romero, C., Programación por metas (Aspectos Generales), en Teoría de la decisión

multicriterio: Conceptos técnicas y aplicaciones. Alianza editorial, Madrid. 1993.

Tukey, J. W. (1977). Exploratory data analysis. Reading, Mass.: Addison-Wesley.

United Nations. (2005). Local agenda 21

Vreeker, R., Nijkamp, P., & Ter Welle, C. (2002). A multicriteria decision support

methodology for evaluating airport expansion plans. Transportation Research

Part D, 7(1), 27-47.

Widmer, Thomas. 2002. "Evaluation Standards in the Context of Sustainability.",

Presentado en EASY-ECO EvAluation of SustainabilitY–European COnference.

Mayo 23-25 2002. Viena, Austria.

http://www.vtt.fi/sites/metronome/?lang=en


transporte



DESARROLLO DE UNA METODOLOGÍA MULTICRITERIO PARA LA EVALUACIÓN … · 2018. 2. 11. · Desarrollo...

Documents

Transcript of DESARROLLO DE UNA METODOLOGÍA MULTICRITERIO PARA LA EVALUACIÓN … · 2018. 2. 11. · Desarrollo...