manual de avaliação

EVALUACIN DEPOLTICAS PBLICAS

GUA PARA LA

Direccin y edicin JOS LUIS OSUNA CAROLINA MRQUEZ Redaccin ANA CIRERA CARMEN VLEZ

INSTITUTO DE DESARROLLO REGIONALFUNDACIN UNIVERSITARIA

DIRECCIN-COORDINACIN:

Prof. Dr. Jos Lus Osuna Llaneza Profa. Dra. Carolina Mrquez Guerrero

REDACCIN:

Ana Cirera Len Carmen Vlez Mndez

EDICIN:

Isabel Barrera Almanza

El equipo de Direccin y Redaccin desea dejar constancia de su agradecimiento a todo el equipo de Evaluacin de Polticas Pblicas (Carlos Bueno, Daniel Coq, M Jos Guerrero, Gustavo Contreras, Elena Gan, Eva Jimnez, Purificacin Lpez y Marta Romn) que con sus trabajos y comentarios enriquecieron el contenido de este proyecto. Adems, los profesores Francisco Alburquerque Llorens y Oneida Alvarez Figueroa contribuyeron, tras la lectura de los primeros borradores, a orientar el producto final. Agradecemos la colaboracin de todos ellos y asumimos nuestros propios errores.

Nota de presentacin Desde la Direccin del Instituto de Desarrollo Regional siempre se ha defendido la idea de que los trabajos contratados "en la calle" deban servir no slo para el funcionamiento de la Institucin a efectos de financiacin sino, sobre todo, para fortalecer la presencia investigadora y docente de la Universidad en la sociedad. Es decir, nos consideramos responsables de devolver a la sociedad andaluza, en particular, y a la espaola, en general, otros resultados adems del informe final del trabajo. As, formar a tcnicos especficamente cualificados, difundir mediante publicaciones los resultados, impartir docencia sobre los conocimientos adquiridos, etc., son tareas ineludibles del I.D.R. La Gua para la Evaluacin de Polticas Pblicas es buena muestra de ello. Un equipo de trabajo que, adems, en cinco aos ha permitido poner en marcha dos tesis doctorales, impartir cinco cursos sobre la cuestin, presentar ponencias en conferencias europeas, nacionales y regionales y ver cmo sus componentes son reclamados por otras instituciones y/o empresas, cumple sus objetivos. Por todo ello, recibimos con satisfaccin la prueba escrita de tal prctica y, convencidos de su demanda, podemos afirmar la consolidacin y continuidad de la lnea de investigacin en el campo de la Evaluacin de Polticas Pblicas, de cuya proyeccin futura no nos caben dudas.

El DIRECTOR DEL I.D.R. Carlos Romn del Ro

Prlogo Hace cinco aos, con el apoyo de la Consejera de Economa de la Junta de Andaluca, al Instituto de Desarrollo Regional se le present la oportunidad de abrir una nueva lnea de trabajo en materia de Evaluacin de Polticas Pblicas. Las pginas que siguen son fruto del esfuerzo colectivo de un grupo de trabajo en el que han participado ms de quince jvenes investigadores andaluces. Algunos de ellos orientaron su especializacin en este nuevo campo, al que han elegido como centro de atencin de sus tesis doctorales o de trabajos de investigacin diversos; otros completan su formacin en centros europeos y, entre todos, componen un equipo que cuenta ya con buena reputacin. He de confesar que, en un primer momento, ramos bastante escpticos en cuanto a la potencialidad investigadora y analtica de la nueva lnea. En efecto, pensamos que podra tratarse de una mera cuestin de modas, y dudbamos a la hora de encajar las tcnicas de evaluacin en el contexto de la investigacin cientfica. Pese a todo, aceptamos el reto de constituir un equipo que se formase en el manejo de las tcnicas y que --a partir de la revisin de las mismas y de la ya muy amplia bibliografa europea y americana-- fuese capaz de elaborar una metodologa, propia en alguna medida, para evaluar ex-ante programas de actuacin pblica. Es decir, apostamos por considerar, de manera ciertamente pretenciosa (qu investigador no debe serlo a priori?), que la evaluacin, aadida a la planificacin, uniendo racionalidad y tica, nos permitira dar un paso desde la lgica tcnico-econmica a la moral equidistributiva y contribuir tambin a la recuperacin de la economa como ciencia social, dentro del orden democrtico basado en el control presupuestario del gasto pblico. Adems, poco a poco se iba consolidando, en el que entendemos como Nuevo Marco Institucional de Desarrollo de las Economas, el proceso de descentralizacin del poder "hacia arriba" y "hacia abajo". En nuestro caso, hacia Bruselas (sede del poder supranacional, de la Unin Europea) y hacia Sevilla (sede del poder regional, de la Junta de Andaluca), lo que evidenciaba la necesidad de la evaluacin como instrumento de control financiero y de legalidad. Pero tambin, y sobre todo, como herramienta para racionalizar la toma de decisiones pblicas, generadora de informacin y, por qu no, como elemento determinante en la que, a nuestro entender, es una autntica e inaplazable reforma/revolucin de las administraciones pblicas. Porque los administrados tienen derecho a que se haga el mejor uso posible de los recursos que previamente les han sido detrados, as como a participar en los procesos de toma de decisiones sobre el empleo de los mismos. La nueva intervencin pblica slo se legitima con eficacia y con transparencia. Ello, a su vez, requiere un cambio de actitud general para promover la creacin de una "cultura evaluadora" tendente a conseguir que los agentes polticos, econmicos y sociales entiendan la evaluacin como un instrumento de mejora en la planificacin econmica y, consecuentemente, de transparencia democrtica, introduciendo las mayores dosis posibles de racionalidad en la toma de decisiones y evitando la posibilidad de ser utilizada como "arma arrojadiza" y/o "argumento triunfalista" en funcin de la posicin del agente que haga uso de los informes evaluatorios.

Con ello se cerrara el crculo que sita a la evaluacin como un elemento til para el desarrollo y aplicacin de las polticas pblicas, y tambin como mbito de investigacin que contribuya a reorientar el papel social de la ciencia econmica desdibujado tras los excesos de las ltimas dcadas. Todas estas cuestiones nos ponen en la pista del verdadero y ltimo sentido de la evaluacin, justificando la intervencin pblica dentro del inevitable nuevo papel del Estado en la Sociedad y, a tal fin, aquella resulta una magnfica herramienta. De hecho, en el Instituto de Desarrollo Regional entendemos que en el siglo XXI la intervencin pblica slo se legitima sobre la base de su eficacia y de su eficiencia, y que para la estimacin de ambas la evaluacin constituye un instrumento imprescindible. El texto que ahora presentamos no es el resultado de un trabajo aislado; es parte de un proyecto global de formacin e investigacin aplicada que, acorde con las consideraciones sealadas, ha detectado entre otras necesidades la de disponer de una "gua" que ayude, en la prctica, a llevar a cabo evaluaciones y que, de otra parte, contribuya a la formacin de evaluadores. No estamos, pues, ante un manual, sino ante una gua prctica que compendia buena parte de la bibliografa existente y que est dirigida a todos quienes quieran adentrarse en el campo de la evaluacin de polticas pblicas, sea por inters personal o profesional. Hemos pretendido que el evaluador, el universitario, el poltico, el gestor, el tcnico de la administracin --y, en definitiva, el ciudadano-- puedan encontrar aqu un instrumento de trabajo til para satisfacer sus necesidades de informacin. Para ello, se han sistematizado las aportaciones e investigaciones de otros autores, desde la ptica propia del equipo de evaluacin del Instituto de Desarrollo Regional, aadindoles la experiencia acumulada en estos aos de trabajo e investigacin, tanto en la evaluacin directa de programas pblicos como en la docencia a gestores y responsables de los mismos, y a universitarios interesados en las tcnicas. Toda vez que, insistimos, no se trata de un manual, no pretendemos abordar todos los aspectos de la evaluacin, sino recopilar los elementos y tcnicas ms destacadas de esta, relativamente nueva, herramienta con la idea de servir a su divulgacin.

EL SUBDIRECTOR DEL I.D.R. Jos Luis Osuna Llaneza

Prefacio La Gua para la Evaluacin de Polticas Pblicas pretende ser una recopilacin sistematizada de diversos modelos de evaluacin, centrada en recoger los conceptos clave y las herramientas de anlisis que permitan disponer de un esquema metodolgico, amplio y flexible, para ser adaptado a la evaluacin de planes y programas de intervencin pblica. Para ello se estructura en CINCO CAPTULOS: En el captulo 1: "Introduccin al concepto de evaluacin", se delimita el objeto de anlisis y se resumen las principales aportaciones tericas. Tambin se abordan las funciones y utilidad de la evaluacin, haciendo especial hincapi en las posibilidades previas que tiene un programa de ser evaluado (evaluabilidad) y en los distintos tipos de evaluacin que pueden acometerse. Partiendo de los supuestos de la existencia de un estudio de necesidades, de la definicin de objetivos y del establecimiento de una estrategia de intervencin en el programa a evaluar, en los captulos 2 a 4 se definen distintos tipos de evaluacin. Su desarrollo atiende a la clasificacin de la evaluacin segn su contenido; es decir, segn los elementos del programa que se est evaluando. Esta opcin ha sido tomada sobre la base de considerar que tal perspectiva ampla la interpretacin temporal de la evaluacin, entendindola como una "filosofa" o "cultura" de la planificacin que debe imbuir todas y cada una de las fases de elaboracin y ejecucin de programas. En el captulo 2: "Evaluacin conceptual o de diseo", se destacan los aspectos relacionados con aquellos elementos que justifican la necesidad de la intervencin y el diseo de su estrategia: problemas, medios y objetivos. El captulo 3: "Evaluacin del sistema de gestin", est dedicado a la evaluacin de los procedimientos puestos en marcha por los centros gestores para ejecutar y gestionar las actuaciones de programas pblicos, como va para mejorar su aplicacin, su eficacia y eficiencia. En el captulo 4: "Evaluacin del sistema de seguimiento de programas", se examinan los mecanismos y procedimientos necesarios para la recogida de informacin, que antes, durante y una vez finalizado el programa, ser necesaria para evaluar la intervencin. Por ltimo, en el captulo 5: "Tcnicas de evaluacin de la eficacia y eficiencia", se realiza una revisin de las principales tcnicas usadas para la evaluacin de resultados e impactos, identificando sus ventajas e inconvenientes y sealando algunas de las aplicaciones consideradas ms relevantes.

Adems de a los contenidos, se ha prestado una especial atencin a la expresin formal. Por ello, la gua contiene un breve glosario de trminos para la comprensin de la terminologa especfica de la evaluacin, junto a referencias bibliogrficas que pueden servir de apoyo a quienes deseen profundizar en la materia. Pero la gua tambin ha sido maquetada con la pretensin de ser una herramienta de trabajo como tal, de ah las numerosas referencias a casos prcticos, los grficos explicativos, as como la posibilidad de hacer anotaciones en los mrgenes establecidos a tal fin. Est pues el lector ante una gua que, a modo de cuaderno personal, deseamos le sirva en sus tareas de evaluacin.

Carolina Mrquez Guerrero

ndice Captulo 1. La evaluacin de polticas pblicas . . . . .Algunas definiciones de evaluacin de polticas pblicas. . . . . . . . . . . . . . . . Evolucin histrica del desarrollo de la evaluacin . . . . . . . . . . . . . . . . . . . . Aproximaciones metodolgicas a la evaluacin de programas pblicos . . . . . Funciones y utilidad de la evaluacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Tipos de evaluacin. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evaluabilidad. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Utilidad del anlisis de evaluabilidad . . . . . . . . . . . . . . . . . . . . . . . . .

14 5 8 13 17 22 25

Captulo 2. Evaluacin conceptual o de diseo . . . . .Evaluacin de racionalidad y coherencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . Relevancia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Pertinencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Coherencia interna . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Coherencia externa en el diseo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin al Programa Operativo de Andaluca . . . . . . . . . . . . . . . .

2730 31 37 40 46 49

Captulo 3. Evaluacin del sistema de gestin . . . . .Evaluacin del sistema de gestin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Enfoques metodolgicos para la evaluacin del sistema de gestin . . . . . . . Metodologa de evaluacin del sistema de gestin de un programa . . . . . . . Anexo: Aplicacin al Programa Operativo de Andaluca . . . . . . . . . . . . . . . .

5356 59 63 73

Captulo 4. Evaluacin del sistema de seguimiento de programas. . . . . . . . . . . . . . . . . . . . . . .mbitos y niveles del sistema de seguimiento. . . . . . . . . . . . . . . . . . . . . . . . Responsabilidad y periodicidad del seguimiento . . . . . . . . . . . . . . . . . . . . . . Instrumentos del seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Fichas de seguimiento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin al POA. Sistema de informacin . . . . . . . . . . . . . . . . . . . .

7982 86 89 98 104

Captulo 5. Tcnicas de evaluacin de la eficacia y eficiencia. . . . . . . . . . . . . . . . . . . . . . . .Impactos, efectos estructurales y sinergias. Consideraciones previas . . . . Tcnicas de evaluacin de impactos, efectos estructurales y sinergias . . . . Anlisis shift-share. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Modelos input-output. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Mtodo experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . La encuesta y la entrevista . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . La observacin directa y visitas in situ . . . . . . . . . . . . . . . . . . . . . . . . . El uso de la tcnica Delphi como herramienta para la evaluacin . . . . . . . Tcnicas para la valoracin de la eficiencia. . . . . . . . . . . . . . . . . . . . . . . . . . Anlisis coste-beneficio. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Comparacin entre los precios de licitacin, adjudicacin y ejecucin . . . El Anlisis frontera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo: Aplicacin prctica de la evaluacin intermedia . . . . . . . . . . . . . . . .

105108 112 113 115 118 120 126 128 137 138 145 148 151

Breve glosario de trminos . . . . . . . . . . . . . . . Bibliografa . . . . . . . . . . . . . . . . . . . . . . . .

159 169

Captulo 1 La evaluacin de polticas pblicas

Gua para la evaluacin de polticas pblicas

La Evaluacin de Polticas Pblicas es un

stas seran: deteccin de los problemas y necesidades; elaboracin del diagnstico: conceptualizacin y definicin de los problemas y necesidades, inclusin de los mismos en la agenda de la Administracin, diseo de un plan de accin, lo que supone establecer quin y cmo se hace la poltica o programa. Esto es, formulacin de los objetivos de la intervencin pblica, eleccin de los instrumentos y definicin de las acciones, ejecucin o puesta en prctica; y, por ltimo, la evaluacin de la poltica o programa aplicado que incluye su seguimiento y control.

rea de investigacin aplicada cuya finalidad es valorar la utilidad y bondad de la intervencin pblica mediante la aplicacin de un conjunto de tcnicas que se emplean en otros campos de las ciencias sociales. desarrollo de esta disciplina est

El

motivado por la constante preocupacin por determinar cul debe ser el papel del sector pblico en la sociedad. La generalizacin del Estado del Bienestar, con la consiguiente aparicin de fuertes dficits pblicos por el incremento del gasto, ha intensificado el debate sobre el empleo de los recursos pblicos y sus resultados. Sin embargo, el estudio de esta cuestin no es novedoso. Se ha abordado desde diferentes perspectivas y con la aplicacin de distintas metodologas. Pero es aproximadamente en los aos 30 en Estados Unidos cuando empieza a acuarse el trmino de evaluacin de polticas pblicas en el marco de la Ciencia Poltica, y concretamente en el campo del Anlisis de Polticas Pblicas como marco terico de referencia.

En este proceso planificador la evaluacin se considera la ltima etapa. Su objetivo se centra en valorar los resultados de la poltica y, a su vez, servir de base para la planificacin de la intervencin pblica a lo largo del tiempo, formando parte de un proceso de retroalimentacin, explotando sus conclusiones y recomendaciones. La concepcin del anlisis de polticas pblicas incorpora tanto la pretensin de conocer los efectos de las polticas ejecutadas como el intento de racionalizar la toma de decisiones polticas, aprovechando las lecciones de la experiencia.

El

anlisis de polticas pblicas se ha

centrado en el estudio de las fases de formacin de las polticas y programas, teniendo como objetivo producir informacin til para la toma de decisiones. Entre las posiciones de los analistas de polticas, cabe destacar las de Laswell (1962) y Dye (1995) que consideran que el diseo de polticas se realiza en etapas identificables que pueden examinarse aisladamente.

2

La evaluacin de polticas pblicas

Esta

bsqueda de racionalidad en las

aspectos tales como: la gestin eficaz de los recursos, la difusin de una cultura de responsabilidad entre los gestores de los programas, la consideracin del receptor de la poltica como usuario, la preocupacin por conocer el impacto de la poltica, y la necesidad de incorporar las percepciones de los participantes en los programas.

decisiones y actuaciones pblicas se ha manifestado de diferentes formas: Mediante la elaboracin de planes y programas concretos de actuacin. A travs de la adopcin de sistemas de presupuestacin acordes con la planificacin (PPBS, PEC, RCB, entre otros)1 y fundamentados en una lgica tcnico-econmica de carcter mecanicista.

Estos procedimientos dan por supuesto

que la decisin de intervenir se toma por un actor nico y libre y que los objetivos se definen de forma explcita y concreta. Pero lo cierto es que la realidad es distinta. Los objetivos de la poltica son en la mayora de los casos declaraciones de intenciones y, por otra parte, las polticas estn sujetas a continuas revisiones. Adicionalmente, quienes toman las decisiones no siempre buscan la racionalidad tcnicoeconmica sino soluciones socialmente aceptables o polticamente convenientes a los problemas. En definitiva, los intentos de buscar la racionalidad a un programa o poltica olvidan en algunas ocasiones que las decisiones pblicas son negociaciones polticas y el resultado de la mediacin de diferentes grupos de inters.

As, frente a la concepcin tradicional de

la evaluacin como ltima etapa del proceso de planificacin, optamos por una visin integral donde la evaluacin se realiza en todas las etapas del diseo de programas, analizando la pertinencia y coherencia de los problemas, objetivos e instrumentos planteados, el proceso de aplicacin del programa y sus resultados.

Esta controversia propicia un replanteamiento sobre cul debera ser el eje central de la evaluacin dando prioridad a

3


Algunas definiciones de evaluacin de polticas pblicasEvaluar es emitir un juicio crtico sobre una situacin determinada

En sentido amplio evaluar es emitir un juicio crtico sobre una situacin determinada, pero la amplia utilizacin de este trmino y la dificultad de delimitar su objeto de anlisis, han provocado el disenso sobre la definicin y sobre los elementos que conforman la evaluacin. Algunos de los principales autores dedicados al estudio de esta materia la definen como: Es el anlisis objetivo y cientfico de los efectos a corto y largo plazo de las polticas, tanto sobre los grupos sociales o situaciones para los cuales se dise la poltica como sobre la sociedad en general, y el anlisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados (Dye, 1995). La evaluacin de programas conlleva el empleo de mtodos cientficos para medir la ejecucin y resultado de programas para ser utilizados en la toma de decisiones (Ruthman, en Alvira, 1991). Consiste en la recopilacin sistemtica de informacin sobre actividades, caractersticas y resultados de un programa para su utilizacin por un grupo especfico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en funcin de qu se est haciendo con el programa y a quin est afectando (Patton, 1987). La evaluacin es el proceso por el cual se analiza la eficacia y eficiencia de un programa. Esto implica la recogida, anlisis e interpretacin de la informacin sobre el logro de los objetivos del programa en relacin con las previsiones (Epstein y Tripodi, 1977).

Valoracin a posteriori de los resultados del programa

Todas estas definiciones ponen el nfasis en la valoracin a posteriori de los resultados de la poltica o programa; la evaluacin es despus de la planificacin. Sin embargo, consideramos que la evaluacin debe, adems, ocuparse de analizar el diseo, los sistemas de gestin y seguimiento, y el proceso de ejecucin de las polticas y programas desarrollados puesto que todos estos elementos condicionan sus resultados. En esta concepcin, evaluacin y planificacin son procesos relacionados. Rossi y Freeman (Rossi y Freeman, 1993) formulan una definicin, de lo que denominan evaluacin global (comprehensive evaluation), que agrupa los distintos tipos de actividades a los que debe responder una evaluacin: el anlisis de la conceptualizacin y diseo, ejecucin de un programa y la valoracin de su utilidad:

Evaluacin y planificacin son procesos relacionados

4


Es la aplicacin sistemtica de los procedimientos de la investigacin social para valorar la conceptualizacin y el diseo, la ejecucin y la utilidad de los programas de intervencin social.En este manual seguiremos este enfoque, desarrollando la metodologa para el anlisis de cada uno de los elementos. Para acercar al lector al conocimiento de esta tcnica, y para que se familiarice con su terminologa, se han recopilado, segn diversos autores y modelos de evaluacin, los conceptos clave y herramientas de anlisis que nos permitirn llegar a establecer un esquema metodolgico lo suficientemente amplio y flexible para adaptarlo a la evaluacin de planes y programas de intervencin social.

Programa de intervencin social

Combinacin de objetivos y recursos que se organiza para que tenga un efecto en el bienestar de individuos o grupos sociales concretos. Pueden tratar de educacin, bienestar social, salud, vivienda, seguridad, rehabilitacin social, desarrollo econmico.Ballart, X. (1992). Cmo evaluar programas y servicios pblicos?. M.A.P.

Evolucin histrica del desarrollo de la evaluacinEl desarrollo de este rea de investigacin no ha sido lineal, sino ms bien el producto de aproximaciones realizadas desde distintas pticas con distintos objetivos. Por tanto, para encuadrar correctamente el conjunto de aportaciones tericas, resultara necesario situarlas en el contexto histrico en el que la/s mismas se desarrollaron. Este es el objetivo de este epgrafe. Indagar sobre el origen y desarrollo de la evaluacin de polticas pblicas y situar su evolucin histrica en una correcta dimensin obliga a tomar como punto de referencia los efectos de factores tales como: el cambio ideolgico, poltico y social ocurrido durante este siglo, la expansin de programas de bienestar social, y el perfeccionamiento de las tcnicas de investigacin social y su empleo en el estudio de los problemas sociales. Todos estos factores son los que provocaron e impulsaron la aplicacin de los mtodos de evaluacin para el anlisis de las polticas pblicas (Rossi y Freeman, 1993). Actualmente, las distintas propuestas de reforma de las Administraciones Pblicas, como proceso de cambio institucional, han extendido el uso de laFactores que provocaron e impulsaron la evaluacin

5


evaluacin, favoreciendo el desarrollo de procedimientos, formas organizativas y culturales ms flexibles, para conseguir actuaciones pblicas ms eficaces y eficientes en procesos de mayor transparencia democrtica. No es fcil establecer cul fue la primera aplicacin de la evaluacin como tcnica de anlisis de polticas y programas pblicos. Algunos autores consideran el trabajo de Alfred Binet como pionero en este campo (Monnier, 1995). Binet, para la realizacin de un estudio encargado en 1904 por el Ministro de la Instruccin Pblica Norteamericana, desarroll el mtodo conocido con el nombre de test de inteligencia de Binet y ello marc el comienzo de la sicologa experimental y la introduccin del experimentalismo como enfoque cientfico adaptado para la Administracin Pblica. Otros investigadores sitan los primeros esfuerzos evaluativos en los aos 30. Estos estaban dirigidos al anlisis de programas de educacin y formacin profesional e iniciativas de salud pblica para reducir la mortalidad provocada por enfermedades infecciosas (Rossi y Freeman, 1993). Desde entonces y, sobre todo, tras la II Guerra Mundial, la aplicacin de tcnicas de investigacin social creci a un ritmo acelerado ante la demanda de conocimiento sobre la repercusin de los programas de bienestar social que se haban generalizado a todos los estratos sociales. As, al final de los aos 50, la evaluacin de programas se encontraba consolidada en Estados Unidos y empezaba a emerger, aunque con menor intensidad, en Europa y otros pases industrializados, e incluso en pases menos desarrollados2 de la mano de programas de Naciones Unidas. Durante las dcadas de los 60 y 70 se asienta la evaluacin como rea de investigacin y estudio de diversas disciplinas cientficas y sociales llegando a constituirse como una industria en crecimiento en los Estados Unidos (Rossi y Freeman, 1993), donde: aparece una amplia relacin de bibliografa al respecto en la que se analizan y critican las tcnicas y enfoques metodolgicos utilizados hasta el momento, se recopilan experiencias de prcticas en evaluacin, se elaboran textos y manuales formativos, proliferan los foros de debate acadmicos y polticos, y se publican revistas y boletines especializados. Este proceso evolutivo se vio favorecido por la creacin de instituciones como la General Accounting Office (1921) en Estados Unidos, la Audit Commission o la National Audit Office (1988) en el Reino Unido, y la puesta en marcha de iniciativas encaminadas a modificar los procesos internos y estructuras organizativas de las agencias pblicas en aras a desarrollar en ellas la capacidad necesaria para la evaluacin de polticas. Entre estas iniciativas podemos ilustrar a modo de ejemplo la Efificiency Strategy (1979)

Introduccin de la evaluacin mediante el experimentalismo en la Administracin Pblica como enfoque cientfico para el anlisis de programas

Aos 60-70: consolidacin de la evaluacin como rea de investigacin

Creacin de instituciones y puesta en marcha de iniciativas

6


y la Financial Management Initiative en el Reino Unido; la creacin del Comit Interministerial de la Evaluacin (CIME) y el Fondo Nacional para el Desarrollo de la Evaluacin (FNDE) en Francia. Y es a partir de los aos 80 cuando se produce la aplicacin sistemtica y generalizada de la evaluacin en la mayora de los pases desarrollados.General Accounting Office La General Accounting Office (GAO), se fund en 1921 como agencia independiente por el Bugdegt and Accounting Act, para llevar a cabo estudios de evaluacin. En sus inicios se limit a realizar controles contables y no es hasta despus de la II Guerra Mundial cuando dedica sus esfuerzos a investigar cmo haban sido utilizados los recursos pblicos, el personal y los medios asignados, as como a medir la eficacia global de la poltica. (Monnier, 1995 y Dye, 1995).

En Espaa la implantacin de este campo de investigacin es muy reciente y adems est insuficientemente extendido dentro de las Administraciones Pblicas. A pesar de ello, varias circunstancias han coadyuvado a que la evaluacin se convierta en un elemento imprescindible dentro del proceso planificador: Los intentos de modernizacin de la administracin espaola y en particular en lo relativo a la reorganizacin tendente a la creacin o reforma de centros de gasto3, en la que se ha incluido en numerosas ocasiones la bsqueda de instrumentos de gestin ms flexibles y con mayor capacidad de interaccin con el medio (presupuestacin por programas, creacin de agencias, etc.). La necesidad de controlar el dficit pblico y, por consiguiente, de justificar la eficiencia de las medidas aplicadas puesto que el sector pblico espaol ha experimentado en un corto espacio de tiempo un crecimiento que lo ha llevado a duplicar su participacin en el producto interior bruto. La entrada de Espaa en la Unin Europea y la consecuente posibilidad de beneficiarse de los Fondos Estructurales pero, al mismo tiempo, la necesidad de justificar su utilidad, aplicacin correcta y eficacia. As, la Comisin de la Unin Europea establece reglamentariamente la obligatoriedad de realizar, por los pases miembros beneficiarios, evaluaciones peridicas de los fondos recibidos. El proceso de descentralizacin poltico-administrativa y la multiplicidad de Entidades Territoriales con crecientes competencias, lo que exige un control de la actividad pblica que evite las duplicaciones y el despilfarro de recursos escasos. La toma de conciencia de un nuevo concepto de la ciudadana como7

La evaluacin en Espaa


cliente de servicios pblicos. Los ciudadanos son cada vez ms conscientes de su derecho a conocer los beneficios que recibe del sector pblico ante el incremento de la presin fiscal. Esto supone la concepcin del ciudadano como cliente de los servicios pblicos. En esta evolucin del desarrollo e implantacin de la evaluacin se constata el papel determinante del sector pblico como principal promotor y patrocinador de la mayora de los trabajos de evaluacin realizados.

El sector pblico como promotor de la evaluacin

Aproximaciones metodolgicas a la evaluacin de programas pblicosEn este proceso de introduccin y expansin de la evaluacin, se observa la creacin de aproximaciones metodolgicas que, para evaluar un programa, van desde los que toman como referencia los objetivos explicitados en el mismo, hasta los que tratan de medir los logros alcanzados, estuvieran previstos o no. As, nos encontramos con:

La evaluacin centrada en objetivosEl modelo de Tyler (Tyler, 1950) utiliza como parmetro de referencia los objetivos de la poltica evaluada para efectuar mediciones comparadas, entre lo que pretenda inicialmente y lo realmente conseguido. Los objetivos de referencia permiten concretar y delimitar los cambios buscados, y su conocimiento es lo que orienta la eleccin de las variables dependientes en el anlisis y los criterios a utilizar. Este enfoque, recogido tambin por Weiss (Weiss, 1972 y 1983), se ha extendido y es, en la actualidad, uno de los ms aplicados, al menos en Europa.

Objetivos como parmetro de referencia

La evaluacin no centrada en objetivos o libre de objetivosLos trabajos de Scriven (Scriven, 1967; 1973) rompen con los enfoques anteriores al considerar objeto de evaluacin todos los efectos provocados por el programa y no slo aquellos que estaban previstos inicialmente en su definicin. Toma como referencia para la evaluacin de los efectos realmente producidos las necesidades fundamentales detectadas, lo que hace que el anlisis sea menos sesgado y ms completo que si se consideran como parmetro de valoracin slo los objetivos, puesto que tiene en cuenta la realidad de la que se parte y se quiere modificar. Incluso propone que se obvie deliberadamente, por parte del evaluador, el conocimiento a priori de esos objetivos. Su aplicacin exige deslindar del cambio total en la sociedad el provocado por el programa, esto es, su efecto neto. Se deben analizar por tanto: El impacto sobre la situacin o poblacin objetivo. El impacto sobre situaciones o grupos que no son objetivo. El impacto sobre las condiciones actuales y futuras. Los costes directos, en trminos de los recursos utilizados en el8

Necesidades detectadas como parmetro de referencia


programa. Los costes indirectos o costes de oportunidad.

Entre otras aproximaciones a la metodologa de evaluacin, consideradas en algunos manuales como enfoques o modelos, se van a sealar aquellas de mayor aplicacin:

Modelos descriptivos y aproximacin clnica o analtica (Meny y Thoening, 1992)Los modelos descriptivos sistematizan a modo de inventario la informacin relativa a las actividades y resultados del programa, ofreciendo una descripcin detallada tanto de lo previsto o planificado como de lo que realmente se observa en la realidad. En una fase posterior se procede a valorar la utilidad del programa sobre la base de: comparaciones con descripciones de otros programas alternativos y, normas de calidad o parmetros establecidos por los grupos de implicados ms significativos en cada caso. Por su parte, los modelos clnicos tratan, adems de registrar los resultados, de explicar por qu un objetivo propuesto no ha sido alcanzado y por qu otros objetivos, no buscados en principio, s lo han sido. El analista, en este caso, debe escoger uno o varios parmetros que se correspondan con el objetivo buscado por la poltica pblica. Se intenta descubrir las diferencias entre la meta perseguida y la alcanzada efectivamente, explicndolas a travs de las condiciones en las que se ha ejecutado la poltica, intentado responder a cuestiones de tipo causa-efecto.

Descripcin de actividades y resultados

Anlisis de las causas

Modelo basado en la utilizacin de los resultados de la evaluacinEntre los autores que han desarrollado este enfoque se encuentra Stake (Stake y Gjerde, 1974), que se caracteriza por adaptar el proceso de evaluacin a las necesidades del destinatario que encarga la evaluacin. Es un claro defensor de los mtodos cualitativos y, al igual que Wholey, Weiss y Crombach, pone nfasis en la utilizacin de los resultados de la evaluacin y en la implicacin de distintos grupos de inters en el proceso evaluativo:

Para Wholey la evaluacin debera servir para mejorar la gestin y los resultados de los programas pblicos. Argumenta que la eva-

9


Satisfaccin de las necesidades de informacin de los destinatarios de la evaluacin

luacin est imbricada con la gestin en el modelo de gestin orientado a resultados, de ah la importancia de establecer objetivos claros e hiptesis adecuadas y demostrables sobre los resultados perseguidos, y de poseer la suficiente capacidad y habilidad para gestionar un programa. Por tanto, incluye en su definicin de evaluacin el estudio de los componentes del programa y de la forma en que el programa funciona normalmente. Wholey introduce el trmino de evaluabilidad ya que considera que es necesario, antes de abordar la evaluacin de un programa, determinar hasta qu punto sta puede contribuir a mejorar el programa y sus resultados (Wholey, 1983). Para Weiss la preocupacin principal es la falta de credibilidad de los resultados de la evaluacin y su escasa utilizacin, debido a la existencia de mltiples partes afectadas por un programa y el contexto poltico donde se desenvuelve la intervencin. Recomienda la utilizacin de mtodos cuantitativos y cualitativos (Weiss, 1972 y 1983). Crombach resalta la importancia de afrontar el diseo y desarrollo de las evaluaciones de programas considerando los intereses y demandas de informacin de patrocinadores, decisores y dems grupos directamente relacionados con el programa. As, a pesar de que evaluadores e investigadores cientficos utilicen la misma lgica de anlisis y mtodos de investigacin, es el fin mismo de la evaluacin lo que los diferencia (Crombach, 1982). Otros autores en lnea con esta corriente son Suchman, Guba y Lincoln. Aunque sus enfoques metodolgicos difieren en algunos aspectos, todos consideran la evaluacin como investigacin aplicada que puede proporcionar conclusiones objetivas e imparciales sobre la consecucin de los objetivos del programa y aportaciones tiles para redefinir los medios y recursos necesarios para su logro. (Suchman, 1967; Guba, 1987; Lincoln y Guba, 1981). Este enfoque, tambin conocido como evaluacin pluralista o evaluacin naturalista se apoya en el reconocimiento de la pluralidad de sistemas de valores que coexisten en el seno de la sociedad (Monnier, 1995). El programa se concibe como un conjunto abierto y dinmico que integra a la evaluacin como elemento variable en funcin de la evolucin de los objetivos e intereses de los actores que intervienen en el mismo produciendo informacin til para la negociacin de nuevos programas (Weiss, 1983 y Patton, 1986). Segn Ballart, este modelo rechaza la idea de la evaluacin imparcial y objetiva de los resultados de un programa, para centrarse en la importancia de los valores y de las opiniones de la pluralidad de actores que tienen que ver con un programa. (Ballart, 1992). En definitiva, promueve la participacin activa de los agentes implicados

Evaluacin pluralista: Pluralidad de valores e intereses El programa es un conjunto abierto y dinmico Participacin activa de los agentes implicados en el programa

10


en un programa, otorgando menos importancia a la evaluacin cuantitativa de resultados que a la cualitativa de los procesos de gestin y ejecucin.

El modelo experimentalista4La aplicacin de este mtodo lleva implcita la consideracin de la accin pblica como una ciencia donde es posible realizar experimentos sobre la realidad. Entre los que abogan por la utilizacin de este enfoque, Campbell afirma que la toma de decisiones se ha de fundamentar en la experiencia contrastada de los cambios en las condiciones sociales provocados por la intervencin. Para este autor la Administracin debera evaluar un programa nuevo sometindolo a experimentacin antes de hacerlo extensivo a toda la poblacin. (Campbell y Stanley, 1966). Presenta una Teora de la Causacin sobre la base de la cual se pretende demostrar que las hiptesis de causa-efecto que subyacen en un programa entre sus objetivos y sus medios son ciertas. Campbell, Stanley, Cook y otros autores han orientado sus esfuerzos en mejorar la metodologa del experimentalismo para acoplarla al campo de la investigacin social y han fomentado la generalizacin de este enfoque, muy utilizado en Estados Unidos, aunque sin desplazar el empleo de las tcnicas cualitativas (Cook y Campbell, 1979). Todos los defensores de las aproximaciones anteriores han ido desarrollando esquemas metodolgicos que, entre el extremo de los que toman como referencia exclusiva de la evaluacin los objetivos de los programas a los que tratan de medir los logros alcanzados independientemente de lo planificado, se basan en tcnicas cualitativas y/o cuantitativas de valoracin, buscando la racionalidad de las decisiones y actuaciones pblicas. De los enfoques y modelos recogidos en este epgrafe se pueden extraer algunos aspectos comunes sobre el concepto de evaluacin: Implica la recopilacin sistemtica de informacin sobre un amplio grupo de variables: realizaciones, resultados, impactos, procesos de gestin y ejecucin, etc. Es una tcnica de anlisis que utiliza instrumentos de la investigacin social. Se realiza porque es de utilidad para el grupo que la demanda: gestores, planificadores, investigadores, la sociedad, etc. Suministra informacin que permite satisfacer una amplia gama de objetivos como reducir la incertidumbre sobre la marcha del programa, facilitar la toma de decisiones, aportar informacin, etc. Trata de reconciliar los intereses de todos los afectados por el programa e implicarlos en su ptima ejecucin: agentes sociales, econ-

Experimentaciones sobre la realidad para fundamentar la toma de decisiones

Campbell, Stanley y Cook

11


micos, beneficiarios, gestores, etc. Llegados a este punto, el lector podra preguntarse cul es la funcin de la evaluacin? y para qu y a quin es de utilidad? Estos temas, funciones, mbitos y destinatarios de la evaluacin, se tratan en el siguiente epgrafe.Aspectos comunes sobre el concepto de evaluacin

Sumario

Qu es evaluacin?Aplicacin sistemtica de los procedimientos de investigacin social para valorar: La conceptualizacin y el diseo La gestin La ejecucin Utilidad de los programas de intervencin social

Cundo surge?

Tras la II Guerra Mundial, por la preocupacin por conocer la repercusin de los programas de bienestar social implantados Aos 60-70, consolidacin de la evaluacin como rea de investigacin: Publicaciones Foros de debate Aos 80, aplicacin sistemtica y generalizada

Por qu?Cambio ideolgico, poltico y social Expansin de programas de bienestar social Perfeccionamiento de las tcnicas de anlisis Propuestas de reforma de las administraciones pblicas

En EspaaModernizacin y reforma de la Administracin Necesidad de controlar el dficit pblico Entrada de Espaa en la Unin Europea Proceso de descentralizacin poltico-administrativa Concepcin del ciudadano como "cliente"

Funciones y utilidad de la evaluacin

12


En lneas muy generales, la evaluacin trata de responder a preguntas tales como:Principales interrogantes Cul es la naturaleza y dimensin del problema que se desea resolver? Dnde est localizado y a quin afecta? .............................. Qu posibles intervenciones podran paliar significativamente el problema? Cules son las alternativas? ................................................ Cul es la "poblacin objetivo" adecuada? ............................................. Est llevndose a cabo el programa o la poltica tal como se dise? ......................................................................................................... Cules son las variables del contexto socioeconmico que influyen en la marcha del programa? En qu medida?.......................... Es la actuacin efectiva? Est el programa o la poltica alcanzando a su poblacin objetivo?......................................................... Cules son los impactos de la intervencin en la poblacin objetivo? Cmo los perciben los beneficiarios?.................................... Cunto cuesta? Cul es el coste en relacin a los beneficios y a la utilidad de la misma?.............................................................................. Cumple la normativa legal establecida?..................................................

En definitiva,

cules son las funciones de la evaluacin y cul es su utilidad?La evaluacin se realiza para que sus resultados sean utilizados, por tanto, debe producir informacin til para todos los que participan en el programa y fundamentalmente para sus destinatarios. Entre las funciones, complementarias e interdependientes, que cumple la evaluacin, deben considerarse:Para qu?Control administrativo, de legalidad y financiero Racionalizacin de la toma de decisiones pblicas Formacin de los implicados en el programa

Generadora de informacin

Va de reforma de las prcticas de la Administracin

1. La evaluacin como control administrativo, de legalidad y financiero13


El control administrativo se refiere al funcionamiento interno de los servicios pblicos y no a los aspectos externos o a los efectos de la accin pblica sobre la sociedad (Meny y Thoening, 1992). El control pblico de legalidad y regularidad trata de comprobar si el gasto realizado se ajusta a los mandatos legislativos mientras que el control financiero recae sobre los flujos de gasto considerados como los costes de la actividad pblica. Es un control ms amplio que el de legalidad y se extiende a todos los aspectos de la actuacin econmica financiera del rgano controlado, pero sin tener en cuenta los objetivos perseguidos con la intervencin. En otras palabras, este tipo de controles verifica si los recursos se han utilizado correctamente y conforme a las normas pblicas sin valorar la eficacia ni los efectos de sus acciones. Se realizan interna o externamente, a travs de las Intervenciones Generales y de los Tribunales de Cuentas respectivamente. El control, elemento bsico del ciclo de la gestin econmica-financiera del sector pblico, ha evolucionado, incorporando entre sus funciones, la evaluacin de la eficacia, economa y eficiencia, las tres E. Esto se conoce como como Auditora Operativa5.

Se han utilizado correctamente los recursos y conforme a las normas pblicas?

2. La evaluacin para la racionalizacin de la toma de decisiones pblicasProporciona informacin til para la toma de decisiones

Evaluacin sumativa

La evaluacin se concibe como un procedimiento de creacin y obtencin de informacin que sirve para facilitar la toma de decisiones y juzgar entre distintas alternativas (Stufflebean, 1987). Al mismo tiempo, la evaluacin proporciona la informacin necesaria para decidir si un programa debe continuar, expandirse o por el contrario debe finalizar. Algunos autores denominan este tipo de evaluacin evaluacin sumativa (Scriven, 1967 y 1973). Se pueden deslindar dos aproximaciones subyacentes a la bsqueda de racionalidad: la tcnico-econmica y la poltica. Estas dos perspectivas son necesariamente complementarias. La toma de decisiones basada en la evaluacin de la racionalidad desde la perspectiva tcnico-econmica, centrada en el modelo tecnocrtico, presupone la existencia de objetivos claros y explcitos y la definicin de una estrategia unvoca de intervencin, hiptesis poco frecuentes en la realidad. Sin embargo, la mayora de las polticas no especifican los objetivos de forma clara y precisa e incluso persiguen algunos que pueden ser contradictorios. Adicionalmente, los decisores polticos, normalmente, no revisan las polticas y planes anteriores, sus objetivos sociales, los costes y beneficios que implica el logro de los objetivos de las polticas que estn en marcha y no jerarquizan las preferencias entre alternativas distintas (Lindblom, 1993). Por tanto, las deficiencias del modelo tecnocrtico deben paliarse, siempre que se asegure el rigor de la evaluacin, con los anlisis de racionalidad pol-

Evaluacin tcnico-econmica versus evaluacin poltica

14


tica y social, que encuentran su referente en el anlisis de polticas pblicas y que se caracterizan por usar aproximaciones cualitativas que incorporan el examen del entorno poltico-social en el que se desarrollan los programas.

3. Evaluacin como medio para la formacin de los implicados en el programaEn la administracin de los recursos pblicos, las aproximaciones tericas (a travs de investigaciones, trabajos y estudios) se encuentran contrapesadas por otras de carcter emprico, que a travs de la realizacin de evaluaciones permiten aprender el efecto experiencia que la ejecucin de la poltica tiene sobre sucesivos ejercicios de intervencin estatal. As, la evaluacin debe ser entendida como un proceso de aprendizaje o formacin; un instrumento para mejorar el conocimiento de los implicados en sus propios programas. Los responsables de estos aprenden a administrarlos, gestionarlos y adaptarlos a las necesidades del momento y del contexto, que se modifica constantemente. Este tipo de anlisis es tambin denominado evaluacin formativa (Scriven, 1967 y 1973). A la luz de los resultados de las evaluaciones, si se revela como necesario, los decisores pueden ir introduciendo modificaciones en el programa de cara a conseguir los objetivos propuestos o incluso pueden cambiar los objetivos si las necesidades de la poblacin han ido evolucionando en otra direccin. La evaluacin tiene, pues, una doble naturaleza: de control social y poltico de la actuacin en el desarrollo del proyecto global que supone un programa, que se dirige, por un lado, a garantizar el cumplimiento de los objetivos establecidos y, por otro, a mejorar la eficacia y eficiencia de la gestin funcionando como un proceso continuo de aprendizaje y formacin de los responsables de los programas y polticas pblicos.

Proceso de aprendizaje de los responsables de la gestin y ejecucin de programas

Evaluacin formativa

Mejorar la eficacia y eficiencia

4. Evaluacin como generadora de informacinLa evaluacin es una herramienta til para satisfacer las exigencias de informacin y transparencia de cuantos actores participan en el proceso socioeconmico. Debe dar respuesta a las necesidades informativas: Del poder legislativo y de la Administracin, para que a travs del ejercicio evaluatorio puedan enjuiciar el efecto conjunto y la eficacia relativa de sus actuaciones. De los centros gestores de las actuaciones del programa, para que tengan a su disposicin un poderoso instrumento de ayuda en la gestin, lo que sin duda permitir mejorar la eficacia y eficiencia de sus actuaciones.La evaluacin debe dar respuesta a las necesidades informativas de: - El poder legislativo - Los centros gestores - La poblacin en general

Y de la poblacin en general, sobre el empleo de los recursos pblicos y, en concreto, a los grupos sociales especialmente afectados por una pol-

15


tica o programa, para que conozcan los efectos de la actuacin pblica. Adicionalmente, la informacin que se genera en la etapa de evaluacin prepara el terreno para la concertacin de los agentes socioeconmicos y grupos de inters que intervienen en los procesos de decisin pblica, favoreciendo los intercambios entre los diferentes agentes implicados a fin de introducir las modificaciones que demande la realidad.

Terreno para la concertacin

5. Evaluacin como tcnica de reforma de las prcticas de la AdministracinLa incorporacin de prcticas de evaluacin, de forma interna o externa, en la Administracin constituye una estrategia del Sector Pblico, como agente con capacidad para actuar sobre objetivos econmicos y sociales, que permite aumentar la eficacia y eficiencia, sostenibilidad y estabilidad de las polticas pblicas. En este sentido, se trata de un cambio que afecta no slo a los parmetros o normas de las organizaciones sino al conjunto de actitudes, imgenes y actividades que conforman la gestin pblica. El desarrollo de procedimientos y formas organizativas y culturales ms flexibles son factores clave para generar una informacin de calidad que permita coordinar la toma de decisiones de los gestores y cumplir con los objetivos de las polticas. En este proceso de reforma, cobran un papel esencial los conocimientos y habilidades para la aplicacin y desarrollo de estas tcnicas de evaluacin por parte de las Administraciones implicadas. El objetivo ltimo de la evaluacin es, en este sentido, proporcionar las herramientas necesarias para continuar el proceso de reforma de la Administracin hacia una gestin ms eficaz y eficiente en una sociedad democrtica que exige transparencia en la gestin de los recursos pblicos, sobre todo en un contexto de descentralizacin poltico-administrativo como el actual. La evaluacin es, sobre todo, una cultura, una forma de entender la Administracin y la Gestin Pblica. Es, por tanto, algo ms que una tcnica o un requisito legal. La secuencia que se ha seguido en la presentacin de las funciones de la evaluacin en este epgrafe no es balad. Hasta hace poco tiempo la evaluacin se identificaba con control y auditora; hoy da, sin embargo, est comnmente aceptado que la funcin principal de la evaluacin no es exclusivamente verificar si los recursos previstos han sido bien aplicados o si las normas existentes han sido respetadas, sino valorar la oportunidad y bondad de una poltica o programa. Entendida de esta forma, como un instrumento al servicio de los decisores y gestores pblicos, para mejorar la eficiencia y eficacia de sus medidas, y para la sociedad en general, que quiere saber en qu y cmo se utiliza el dinero de sus impuestos, la evaluacin ha pasado a ser una tarea insoslayable y necesariamente integrada en el proceso de planificacin y programacin pblica.

Va para la reforma de la Administracin

Valorar la oportunidad y bondad de un programa

16


Se trata, en conclusin, de una tendencia evolutiva del marco en el que se desenvuelve la actividad del Estado. Desde esta perspectiva, anticiparse a los hechos, realizando evaluaciones de las polticas llevadas a cabo y de las que se van a iniciar puede constituir un slido punto de apoyo para la legitimacin de la intervencin estatal.

Tipos de evaluacinDe las clasificaciones de evaluacin propuestas en la literatura hemos seleccionado la siguiente tipologa:Sumario Tipos de evaluacin segn:

Quin evala Interna Externa

Su funcin Sumativa Formativa

El contenido de la evaluacin Conceptual o de diseo Del proceso de aplicacin y gestin De resultados e impactos

La perspectiva temporal Ex-ante Intermedia Ex-post

A. Evaluacin interna frente a evaluacin externaLa evaluacin puede realizarse internamente, por personal del programa o por personal encargado de gestionarlo y ejecutarlo, o externamente, por especialistas externos contratados por la Administracin. Frente a la objetividad e independencia de la evaluacin externa, la evaluacin interna presenta como ventajas la mayor familiarizacin con el programa y por tanto un mayor conocimiento de sus mecanismos de gestin y ejecucin. De ah que lo ms recomendable sea la creacin de equipos de evaluacin mixtos, formados por personal ajeno al programa y por algunos responsables de su gestin y ejecucin.

Interna-externa

B. Segn su funcin

17


A Scriven (Scriven, 1967 y 1973) tambin se le conoce por acuar, diferenciando los tipos de evaluacin segn su funcin, los trminos de: Evaluacin formativa, que tiene por objetivo proporcionar informacin para mejorar el objeto evaluado, yFormativa-Sumativa

Evaluacin sumativa, que es la que suministra informacin sobre si se debe de continuar o suspender un programa.

C. Segn el contenido de la evaluacinEs posible distinguir tres tipos de evaluaciones en funcin de los elementos del programa que se estn evaluando: evaluacin conceptual o de diseo, evaluacin de la gestin o del proceso y evaluacin de los resultados e impactos.

Evaluacin conceptual o de diseoSu objetivo es analizar el diseo del programa, esto es, su racionalidad y coherencia. El anlisis trata de verificar la bondad del diagnstico socioeconmico realizado (evaluacin de necesidades), constatar la existencia de objetivos claramente definidos y medibles, analizar su correspondencia con los problemas y examinar la lgica del modelo de intervencin diseado, tanto de forma interna al programa como en relacin con otras polticas y programas.

Racionalidad y coherencia

Evaluacin del proceso de aplicacin y gestin del programaConsiste en examinar la forma en la que se gestiona y ejecuta el programa, esto es, su puesta en prctica. Trata de medir la capacidad de un organismo en relacin con el diseo, ejecucin, seguimiento y evaluacin de los programas y de valorar el grado de implicacin de los gestores con dichas tareas, su actitud, formacin, organizacin y la dotacin de recursos para llevarlas a cabo ptimamente. Por otro lado, la evaluacin de la gestin supone el estudio de la organizacin encargada de gestionar el programa y de sus procedimientos y criterios de funcionamiento interno.Capacidad de gestin

Evaluacin de la puesta en prctica

Por tanto, afecta a todos los aspectos que influyen en la puesta en marcha de las actuaciones que llevarn a la ejecucin fsica y financiera de los programas.

Evaluacin de resultados e impactosTrata de conocer hasta qu punto la poltica o programa aplicado est consiguiendo los objetivos establecidos (cuando es con referencia a objetivos) o est alcanzando los parmetros o criterios de valor definidos (cuando la evaluacin no est centrada en objetivos), y a que coste se consiguen (en trminos de tiempo, recursos humanos, recursos materiales y monetarios). En el primer caso estamos ante una evaluacin de

Eficacia y eficiencia

18


eficacia mientras que cuando se consideran los costes hablamos de evaluacin de la eficiencia. Suelen llevarse a cabo a dos niveles o escalas distintas:

a) Evaluacin de los resultadosEste nivel hace referencia a los objetivos ms inmediatos y directos perseguidos con la actuacin. Su evaluacin se centra en analizar los efectos sobre los usuarios/beneficiarios del programa (empresas, desempleados, grupos de atencin especial, etc.).Objetivos directos e inmediatos

b) Evaluacin de los impactosPor impacto se entiende el efecto o consecuencia ms general del programa. Consiste en analizar el efecto de la poltica en los agregados macroeconmicos o espaciales (crecimiento del PIB, distribucin de la renta, estructura productiva, tasas de paro y actividad, etc.). Algunos autores equiparan el nivel de resultados con los efectos sobre la poblacin objetivo definida en el programa de la intervencin y el nivel de impactos con aquellos efectos sobre la poblacin en general. El evaluador debe deslindar los efectos del programa de otros externos para determinar en qu medida los cambios son debidos a la intervencin.

Objetivos generales

D. Segn la perspectiva temporalEl cuarto criterio hace referencia al momento en que se va a llevar a cabo la evaluacin en relacin con la aplicacin o puesta en marcha del programa. Con arreglo a este criterio es posible distinguir tres tipos de evaluacin: ex-ante, intermedia y ex-post.

La evaluacin ex-anteSe realiza antes de ejecutar el plan, poltica o programa, siendo su objetivo principal analizar su adecuacin a las necesidades que lo motivan y sus posibilidades de xito. Es decir, garantizar a priori que el programa, tal y como ha sido concebido, conseguir los objetivos para los que se ha planificado. Ms all del examen conceptual, la evaluacin ex-ante tambin se pronuncia sobre la funcionalidad de los mecanismos de gestin y seguimiento, sobre la coherencia de cada una de sus lneas de actuacin y sobre el impacto previsible del programa, y acerca de su eficiencia, entendida como la relacin costes-beneficios sociales y econmicos que se pueden obtener mediante su aplicacin.

Antes de la aplicacin del programa

La evaluacin intermedia

19


Se lleva a cabo a medio camino en la ejecucin. Consiste en el anlisis crtico del conjunto de datos recogidos sobre el programa y en la medicin de la forma en la que los objetivos perseguidos estn siendo alcanzados, explicando las diferencias y estimando anticipadamente los resultados finales de la intervencin. Las evaluaciones intermedias se pronuncian sobre la validez de la intervencin en curso, la pertinencia de los objetivos considerados y calidad del sistema de gestin y seguimiento del programa. Su objetivo principal es obtener una informacin relevante y precisa que permita introducir las modificaciones necesarias en el diseo o ejecucin del programa.Durante la aplicacin del programa

Para ello, durante la ejecucin, resulta imprescindible recoger datos que describan el comportamiento del programa. Esta tarea de recopilacin de informacin es la que se denomina seguimiento. As, el seguimiento constituye una tarea que exige un esfuerzo notable de recogida de informacin, tanto fsica como financiera; informacin que es relevante y necesaria, para valorar, una vez finalizado el programa o a medio camino en su ejecucin, el impacto, la eficiencia y la eficacia del mismo y de cada una de sus actuaciones.

La evaluacin ex-postSe realiza una vez finalizado el programa. Permite enjuiciar el xito del programa, el acierto de la estrategia diseada en el mismo, su grado de flexibilidad y capacidad de adaptacin a una realidad siempre cambiante, su eficacia y eficiencia y la adecuacin de los mecanismos de gestin y seguimiento previstos. Ahora bien, estos dos ltimos criterios de clasificacin (segn el contenido y segn la perspectiva temporal) no son excluyentes. Las evaluaciones exante, intermedia y ex-post pueden englobar todos los tipos de evaluacin contemplados en la clasificacin segn su contenido, con la nica diferencia de que ahora se realizan antes, durante o despus de la ejecucin del programa. Por tanto, esta clasificacin de la evaluacin en funcin del momento en que se haga en relacin con la aplicacin del programa no debe confundirse con la clasificacin en funcin de las fases de desarrollo de un programa, que se corresponde con los tipos de evaluacin segn su contenido. Por ejemplo, antes de la aplicacin o ejecucin de un programa (ex-ante) se pueden realizar todos y cada uno de los tipos de evaluacin definidos. De este modo, los objetivos generales de una evaluacin ex-ante podran ser: 1. 2. Asegurar la racionalidad y coherencia de la intervencin. Garantizar que el sistema de gestin diseado (incluido el sistema de seguimiento) y los recursos a l asignados (humanos, materiales, financieros, etc.) son los adecuados para poder ejecutar el programa y obte-

Despus de la aplicacin del programa

20


ner los resultados previstos. 3. 4. Prever y, en la medida de lo posible, cuantificar los impactos del programa. Realizar un anlisis coste-beneficio que permita comparar la estrategia de intervencin escogida con otras alternativas.

Objetivos generales de la evaluacin ex-ante

Cada uno de estos objetivos se correspondera con un tipo de evaluacin distinta:Perspectivas de evaluacin ex-ante Objetivo 1 Objetivo 2 Objetivo 3 Objetivo 4 Evaluacin conceptual o de diseo Evaluacin ex-ante de la gestin Evaluacin ex-ante de impactos (eficacia) Evaluacin ex-ante de eficiencia

Todos estos anlisis evaluativos son relevantes aunque en algunas ocasiones el anlisis ex-ante se reduce a una evaluacin conceptual o de diseo, hasta tal punto que ambos conceptos (ex-ante y conceptual) suelen confundirse y utilizarse indistintamente. A medio camino en la ejecucin son la evaluacin de la gestin, de la eficacia y de la eficiencia, las tareas evaluatorias, en principio, ms tiles y pertinentes. Por ltimo, una vez finalizado el programa, es la evaluacin de impactos el principal objetivo de la evaluacin; indagando en las cuestiones relacionadas con el diseo y conceptualizacin del programa y en la gestin, ms con el objetivo de explicar las causas de las discrepancias encontradas que como un objetivo en s mismo. Por tanto, la perspectiva que clasifica la evaluacin segn su contenido ampla la interpretacin de la evaluacin como una fase independiente del ciclo de vida del programa, para definirla como una filosofa o cultura que debe imbuir todas y cada una de las fases de elaboracin y ejecucin de programas. Este es el motivo del enfoque que sigue la metodologa que se desarrollar en los captulos siguientes: ofrecer un marco comn adaptable a todos los tipos de intervencin pblica.

Enfoque integral de la evaluacin

21


Enfoque integral de la evaluacinNECESIDADES PROBLEMAS SOCIEDAD IMPACTOS

OBJETIVOS ACCIN PBLICA RACIONALIDAD

INSTRUMENTOS

RESULTADOS

EFICIENCIA COHERENCIA EFICACIA EVALUACIN DE IMPACTOS

EVALUACIN

Fuente: Adaptado de Jacques Plante, 1.991, en Plan-ENA, Outils, pratiques et institutions pour valuer les politiques publiques, la Documentation Franaise

Toda accin pblica pretende incidir en la sociedad actuando sobre las necesidades y problemas detectados con el objetivo de provocar un impacto o cambio de esa realidad. Para ello, se define y articula un conjunto de objetivos y se pone en marcha una serie de instrumentos. El propsito de la evaluacin es analizar las distintas etapas, desde que se decide intervenir hasta que se manifiestan los impactos, comprobando la validez, tanto interna como externa, de las hiptesis causales de la intervencin.

EvaluabilidadEn principio y, antes de realizar una evaluacin, hay que considerar quines son sus destinatarios, qu informacin necesitan y cundo, cmo y para qu se utilizarn los resultados y qu fuentes de informacin y con qu recursos se cuenta para llevar a cabo la evaluacin. Las respuestas a estas cuestiones determinarn el tipo de evaluacin ms apropiado. Antes de realizar la evaluacin se debe:

Identificar a los usuarios de la evaluacin Conocer los intereses y motivaciones que hay detrs de la evaluacin Determinar, anticipadamente, la utilidad de la evaluacin Establecer los objetivos de la evaluacin Determinar qu cuestiones se van a analizar Con qu tiempo y recursos se cuenta para realizar la evaluacin

Decidir el tipo de evaluacin que se va a realizar

22


En funcin de estos elementos se debe analizar hasta qu punto el programa es evaluable. Esta cualidad debe contrastarse como paso previo y absolutamente necesario a toda evaluacin puesto que condiciona su calidad y utilidad, al tiempo que permite evitar gastos y esfuerzos innecesarios (Wholey, 1979). Los elementos que condicionan la evaluabilidad de un programa dependen del enfoque de evaluacin que se demande y de las necesidades de informacin de las partes interesadas. El concepto de evaluabilidad hace referencia a la posibilidad de ser evaluado. En sentido genrico, existen tres aspectos principales que determinan la evaluabilidad de un programa: 1. La calidad de la planificacin/programacin. Distinguimos entre:Posibilidad de ser evaluado

Una evaluacin centrada en objetivos. Cuanto ms imperfecta sea la planificacin (objetivos vagamente definidos, saltos en las cadenas de objetivos, etc.) ms dificultosa se convierte la evaluacin. Esto es as, puesto que, como se ver ms adelante, durante la fase de evaluacin la lgica de "arriba abajo" que gua la tarea de planificacin y programacin se invierte, transformndose en una lgica de "abajo a arriba", remontando desde las acciones concretas a los objetivos especficos y generales que se persiguen con el programa. Una evaluacin sin referencia a objetivos. En este caso la calidad de la planificacin/programacin influye en menor medida en su evaluabilidad puesto que este tipo de evaluacin persigue fundamentalmente conocer el impacto del programa, pero no necesariamente el impacto deseado o previsto, sino cualquier tipo de impacto,previsto o no previsto, deseado o no deseado.2. La existencia de la necesaria informacin en cantidad y calidad suficiente. La disponibilidad de esta informacin es una condicin sine qua non para poder evaluar cualquier tipo de intervencin, independientemente del enfoque de evaluacin que se escoja. Capacidad de gestin de la Administracin en relacin con la evaluacin. Son otros factores, todos ellos relacionados con la gestin de los programas, los que determinan de forma importante su evaluabilidad: Nmero de responsables y gestores del programa. Implicacin de los gestores en la tarea evaluatoria y actitud ante la misma (entusiasmo, resistencia). Para evaluar un programa es condicin indispensable que los responsables de su ejecucin y gestin quieran ser evaluados. Nivel de formacin de los cuadros de la Administracin vinculados con las tareas evaluatorias. Conocimientos de evaluacin de ese personal.

Aspectos que determinan la evaluabilidad: - Calidad de la planificacin/programacin - Existencia de informacin - Capacidad de gestin

3.

23


Dotacin de recursos para la evaluacin: presupuesto, medios tcnicos, recursos humanos y tiempo. En ltima instancia, el objetivo perseguido con el anlisis de evaluabilidad es crear un clima favorable de cooperacin e interaccin entre evaluados y evaluadores de forma que se faciliten las tareas que posteriormente habr que emprender para realizar las evaluaciones. Intenta de un modo sistmico examinar la idoneidad de la lgica y de las relaciones de causalidad entre las actividades programadas, objetivos y fines y la adecuacin de los sistemas de gestin y seguimiento articulados para la ejecucin del programa. Tambin trata de analizar el grado de aceptacin y capacidad de los decisores polticos, gestores y tcnicos para la puesta en funcionamiento del seguimiento y evaluacin. Por otro lado, es necesario tener en cuenta, desde un punto de vista metodolgico, algunas cuestiones intrnsecas al programa que se va a evaluar. No se puede acometer de la misma forma, por ejemplo, la evaluacin de un programa nuevo que la de un programa establecido desde hace tiempo. As es necesario distinguir, entre otras, las siguientes caractersticas:

Caractersticas de los programas Programas que se han diseado de acuerdo a un modelo terico de planificacin Programas que no responden a ningn modelo de planificacin Programas con objetivos ambiguos y generales Programas que no cuentan con un plan de ejecucin detallado Programas donde no se define la poblacin objetivo Programas que no han diseado un sistema de gestin e informacin adecuado Programas tradicionales anteriormente experimentados Programas de corte sectorial Programas de mbitos (regional, nacional...) superiores o

Programas con objetivos claros y especficos Programas con un plan de ejecucin detallado Programas donde se especifica la poblacin objetivo a la que va dirigida la intervencin Programas que tienen un sistema de gestin e informacin operativo Programas nuevos o innovadores Programas de corte horizontal Programas de mbito local

Programas especficos a un territorio o colectivo Programas nicos en un territorio o para un colectivo Programa que tiene una nica fuente financiera

Programas que se ejecutan en varios territorios o para varios colectivos Programas que convergen con otros en el mismo territorio o para el mismo colectivo Programas que tienen ms de una fuente financiera

Fuente: Adaptado de Patton, 1987.

24


Toda vez que se ha constatado la posibilidad de realizar la evaluacin y que se conocen las caractersticas del programa a evaluar, el paso siguiente es determinar qu tipo de evaluacin realizar en relacin con los objetivos que persigan con la evaluacin los actores implicados (evaluados y evaluadores).Anexo: Utilidad del anlisis de evaluabilidad Esta metodologa de evaluacin la aplic el IDR al Programa Operativo de Andaluca dando como resultado dos informes: * "Informe preparatorio del P.O.A. 1994-99: anlisis de evaluabilidad". * "Informe de evaluacin intermedia del P.O.A. 1994-99". El primero de los informes incorpora desarrollos metodolgicos para el anlisis de los tres elementos principales que determinan hasta qu punto un programa es evaluable: calidad de la planificacin, sistema de informacin y capacidad de gestin. Se examin la idoneidad de la lgica y de las relaciones de causalidad entre las actividades programadas, objetivos y fines y la adecuacin de los sistemas de gestin y seguimiento articulados para la ejecucin del Programa. Las conclusiones generales del mismo pusieron de manifiesto un conjunto de debilidades en el diseo del Programa y en el sistema de informacin, con especial incidencia en la definicin de los indicadores de seguimiento y evaluacin. Adems, una encuesta a gestores y responsables de las acciones, realizada con el objetivo de analizar el grado de aceptacin y capacidad de los decisores polticos, gestores y tcnicos para la puesta en funcionamiento del seguimiento y evaluacin, confirm las hiptesis sobre el bajo grado de implantacin de las tareas de seguimiento y evaluacin y la existencia de elementos que obstaculizaban la internalizacin de estos procesos. Estas afirmaciones demostraban la insuficiente capacidad de gestin para realizar las tareas de seguimiento y evaluacin por parte de los cuadros tcnicos de la Administracin. La reprogramacin del P.O. de Andaluca permiti constatar, en el informe de evaluacin intermedia, la introduccin de cambios cualitativos que dotaron de racionalidad y coherencia al programa y que mejoraban el sistema de seguimiento y gestin acordes con las recomendaciones y pautas a seguir que se marcaron en el informe de evaluabilidad. An as, la recomendacin central del informe intermedio, abundaba en esta lnea a la par que avalaba la utilidad del anlisis de evaluabilidad con carcter previo a las evaluaciones intermedias y ex-post. La evaluabilidad es una tipologa de estudio que refuerza y complementa las evaluaciones de carcter temporal (ex-ante, intermedia y ex-post) ya que pone a disposicin de los responsables del diseo y ejecucin del programa un conjunto de orientaciones que les permite introducir cambios que mejoran, cualitativa y cuantitativamente, el diseo del Programa y los mecanismos de gestin y ejecucin, en cualquier momento o etapa del ciclo de vida de un proyecto/programa.

25


Notas al pie:1

PPBS: Program Planning Budgeting System o sistema de planificacin presupuestaria por programas. PES: Public Expenditure Survey: Sistema para introducir la evaluacin en el proceso formal de discusin del gasto pblico y RCB: Rationalisation Choix Budgtaire, para la racionalizacin de la eleccin presupuestaria, desarrollado en Francia. En Asia se llevaron a cabo evaluaciones de programas de planificacin familiar; en Latinoamrica de nutricin y salud pblica y en frica de programas agrcolas y desarrollo de comunidades y poblados. (Rossi & Freeman, 1993, pg. 11). Centro de gasto es la unidad o agencia administrativa que con presupuesto propio o no, ejecuta programas o proyectos. El modelo experimental como tcnica de anlisis se ver en el captulo 5. Ver captulo 3.

2

3.

4. 5

26

Captulo 2 Evaluacin conceptual o de diseo


La evaluacin conceptual o de diseo deun programa tiene como objetivo la revisin de los elementos que justifican su necesidad y la forma en que se articula. En este captulo se desarrollarn estos conceptos y la metodologa para su evaluacin. Se sigue un esquema tecnocrtico que parte de los supuestos de existencia de un estudio de necesidades, objetivos y estrategias de intervencin definidos y se analizan las relaciones que vinculan dichos elementos.

En el primer enfoque la identificacin y jerarquizacin de problemas y la articulacin de las relaciones causaefecto la realiza el equipo de planificacin sin contar con las aportaciones de los implicados en el programa. En el segundo se enfatiza la importancia del consenso y la participacin activa de polticos, gestores pblicos, agentes sociales y beneficiarios ltimos en la identificacin de problemas, establecimiento de objetivos y determinacin de las medidas concretas de actuacin.

Para

introducir estos trminos, se

presenta, de forma descriptiva, la perspectiva holstica de la planificacin, que integra la evaluacin desde el primer momento en que se decide intervenir. En los apartados posteriores se plantean sucesivamente los elementos y relaciones a examinar para explicar las distintas fases y tareas de la evaluacin.

Siempre que se desee que el proceso deajuste necesario no sea traumtico y provocador de conflictos sociales de consecuencia difcilmente reparables, es recomendable, adems de una planificacin integrada que atienda a la solucin jerarquizada de los estrangulamientos, un permanente dilogo poltico y social.

Planificacin y evaluacin: una visin integral

Cualquier

tipo de intervencin pblica

parte, o debera partir, de un anlisis riguroso de la realidad: problemas y necesidades, causas y consecuencias de los mismos. Slo a partir de la correcta identificacin de estas variables es posible proponer objetivos y medidas que contribuyan a lograrlos.

Consideramos

que la segunda de las

Las formas de abordar esta fase de laplanificacin (deteccin, conceptualizacin y explicacin de los problemas y elaboracin del diagnstico) oscilan entre las orientaciones ms "autrquicas" hasta aquellas ms acordes con la planificacin estratgica.

formas de abordar la planificacin es la ms correcta; la planificacin de un programa o poltica debe pasar ineludiblemente por el consenso poltico y la concertacin con los agentes sociales afectados. Permite obtener una imagen de la realidad ms pluralista y contrastada y adems garantiza la colaboracin y el apoyo de todos aquellos que participan en el programa, aspecto central para el xito del mismo.

28

Evaluacin conceptual o de diseo

Ahora

bien, cualquiera que sea el

La

evaluacin se integra, en esta

enfoque de planificacin elegido, la imagen formada de la realidad que se quiere modificar se contrapone con la imagen ideal a la que se quiere llegar con el programa. Esto es en s la esencia de la planificacin. Cuanto ms claramente estn identificados los problemas y sus causas, y mejor vinculados estn con los objetivos, ms fcilmente se puede abordar el diseo de la estrategia de intervencin.

concepcin holstica, desde el primer momento de la planificacin y no en una ltima fase, independiente y asociada exclusivamente al anlisis de los resultados e impactos del programa. Planificacin y evaluacin se convierten en procesos relacionados que caminan a la par.

Frente al esquema lineal que sita a laevaluacin en el ltimo peldao de la "escalera" de planificacin, la perspectiva integral la incorpora en todas sus fases, con independencia del momento en que la evaluacin se realice.

Este

paso,

que

se

denomina

transformacin de la "imagen en negativo" a "imagen en positivo", y que convierte las relaciones entre las causas y efectos de los problemas en relaciones entre fines y medios, es la base que utilizaremos en este captulo para la evaluacin conceptual o de diseo de un programa.

Tcnicas Delphi y DAFO El anlisis de los distintos modelos o tcnicas de planificacin sobrepasan los objetivos de este trabajo. A modo de ejemplo, se pueden considerar las posibilidades que ofrecen las tcnicas Delphi y DAFO. Tcnica DELPHI Su ventaja radica en su carcter abierto en lo referido a la participacin de agentes ms o menos implicados en dicho proceso. Consiste en la apertura de vas de comunicacin y debate, entre los diversos agentes interesados a partir de la informacin obtenida mediante otras tcnicas como la entrevista o la encuesta. El debate o discusin centrado en torno a las conclusiones de partida puede repetirse en sucesivas ocasiones segn se considere conveniente para conseguir unos resultados ms elaborados o si la complejidad de la situacin tratada lo requiere. Tcnica DAFO (Debilidades, Amenazas, Fortalezas y Oportunidades) La tcnica Dafo parte de cuatro variables que afectan a un mbito de actuacin concreto, a la hora de establecer un diagnstico de situacin. Dos de estas variables son de carcter intrnseco al estudio: debilidades y fortalezas, que son aquellas propiedades (negativas o positivas) que lo caracterizan. Las dos variables restantes son de tipo externo: conjunto de elementos y factores del entorno que inciden negativa o positivamente en el mbito de anlisis.

29


Evaluacin de racionalidad y coherenciaA la hora de llevar a cabo la evaluacin conceptual o de diseo su responsable debe responder a una serie de preguntas que estn directamente relacionadas con las hiptesis que en el proceso de planificacin se han planteado.Principales interrogantes Estn adecuadamente conceptualizados los problemas? ................................ ...................Cuestiones a resolver

Cul es la naturaleza y dimensin de los mismos? ................................ ............................... Cmo se distribuyen y a quin afectan? ................................ ................................ ................. Estn cuantificados? ................................ ................................ ................................ .................... Existe consenso social sobre los problemas identificados y su jerarquizacin? ................................ ................................ ................................ ................................ . Responden los objetivos del programa a las necesidades yproblemas de la poblacin? ................................ ................................ ................................ ...............

Son los objetivos alcanzables y realistas? Estn cuantificados o son medibles? ................................ ................................ ................................ .... Qu criterios se han utilizado para establecer las jerarquas de objetivos o estrategias? ................................ ................................ ................................ .......... Cul es la base de las hiptesis subyacentes en la estrategia diseada? ................................ ................................ ................................ ................................ ............ Est el programa diseado adecuadamente como para alcanzar los objetivos que persigue? ................................ ................................ ................................ .......

En definitiva,

existe racionalidad y coherencia en el diseo del programa?Metodologa

La metodologa que estimamos ms apropiada a seguir para la evaluacin de estos elementos tiene la estructura que se presenta en el siguiente grfico1.SumarioEvaluacin conceptual

Evaluacin de los elementos que justifican la necesidad y estrategia del programa Racionalidad Relevancia Anlisis del diagnstico Pertinencia Calidad en la definicin de objetivos Interna Anlisis de la estrategia Coherencia Externa Otros planes, programas y normativas

30


Racionalidad. Implica el anlisis de la relevancia y pertinencia del programa. Es el examen de las relaciones entre las necesidades y/o problemas detectados en el mbito espacial donde se ejecuta el programa (y para una poblacin objetivo determinada) con los objetivos establecidos para la mejora o solucin de dichos problemas. a)

Diagnstico y objetivos

Relevancia. Consiste en la evaluacin del diagnstico plasmado en el programa.

b) Pertinencia. Consiste en la evaluacin de la calidad y adecuacin de la definicin de los objetivos. Coherencia. Es la evaluacin de la adecuacin de la jerarqua de objetivos establecidos en el programa y de la estrategia diseada para su consecucin. Debemos diferenciar dos niveles de anlisis diferentes: a)

Coherencia interna. Evaluacin de la articulacin de los objetivos con los instrumentos de la estrategia y su adecuacin con los problemas.

b) Coherencia externa. Anlisis de la compatibilidad tanto de los objetivos como de la estrategia del programa con otras polticas y programas con los que puedan tener sinergias o complementariedad, en el tiempo o en el espacio. Racionalidad y coherencia son dos aspectos relacionados e interdependientes. Un programa coherente en el sentido de una ptima correlacin entre actuaciones, medios y objetivos tendr solamente un impacto parcial y limitado si no es racional; si no existe relacin clara entre problemas, causas y objetivos. Son dos anlisis diferentes pero complementarios. A continuacin se tratan estos elementos de forma individualizada.

Anlisis diferentes pero complementarios

RelevanciaLa evaluacin del diagnstico es el primer paso en la evaluacin de la racionalidad de un programa o intervencin. La accin de verificar, medir la magnitud y localizacin de problemas y de su poblacin objetivo es crucial ya que son los aspectos que justifican y dan origen a la intervencin. El objetivo esencial es, por lo tanto, analizar la calidad y veracidad del diagnstico. Se trata de conocer: hasta qu punto se ha identificado adecuadamente el alcance del problema y las caractersticas bsicas del mismo para hacerle frente, y la metodologa y fuentes usadas para su determinacin.

Evaluacin del diagnstico

31


Modificacin del entorno y presin de los agentes socio-econmicos

No obstante, la continua modificacin del entorno poltico social e institucional, en el que tiene lugar la toma de decisiones sobre la localizacin y asignacin de los recursos pblicos, imposibilita en numerosas ocasiones una aproximacin absolutamente racional al problema de dnde, cundo y cmo intervenir. Ms an, en muchas ocasiones, es la presin de los agentes socio-econmicos, sectores productivos y la opinin pblica, la que contribuye a fomentar la toma de decisiones polticas no sustentadas en anlisis rigurosos de la realidad. Esta imagen de la realidad, sin embargo, raras veces es nica para todos, acentundose esta divergencia en el establecimiento de las interacciones entre causas y efectos. En la prctica, la evaluacin de la calidad del diagnstico depende del nivel de conocimiento que posea el equipo evaluador de la realidad sobre la que se acta. Cuanto mayor sea ste, ms fcil es detectar posibles omisiones, incorrecciones en los datos utilizados, realizar una valoracin crtica del hilo argumental, etc. Por tanto, en el caso de equipos evaluadores sin conocimientos especficos sobre la situacin a evaluar, los resultados finales tendern a ser de orden formalista o, a lo sumo, de carcter meramente lgico, sin que se pueda realizar una valoracin ms profunda de los elementos ausentes o inadecuadamente utilizados. Para evaluar la calidad del diagnstico se deben revisar los siguientes elementos: 1. 2. Definicin y jerarquizacin de las necesidades que afectan a la poblacin objetivo. Anlisis del contexto socioeconmico externo.

La imagen de la realidad no es nica

1. Definicin y jerarquizacin de las necesidades que afectan a la poblacin objetivoLa determinacin del tamao, distribucin y densidad de los problemas que afectan al mbito de actuacin del programa y de las potencialidades susceptibles de explotacin son aspectos fundamentales para el posterior diseo de la estrategia. As mismo, constituye un factor fundamental la delimitacin correcta de la poblacin objetivo a la que va dirigida el programa. El objetivo de la evaluacin del diagnstico en relacin con estos elementos es conocer hasta qu punto se han identificado adecuadamente las caractersticas de los mismos: problemas, potencialidades y poblacin objetivo. A) El apropiado establecimiento de los problemas y fortalezas exige que los mismos sean:Explcitos

Problemas, potencialidades y poblacin objetivo

Explcitos. Deben estar claramente resaltados como tales y no incluirse en una estructura discursiva de donde sea prcticamente imposible extraerlos. Conceptualmente claros, no permitiendo dudas ni ambigedades sobre el modo y la forma en que se exponen ni sobre su contenido.

Claros

32


Rigurosos, esto es, deberan proporcionar una imagen "fiel" de la situacin de la poblacin objetivo sobre la que se pretende intervenir. Completos, de manera que sirvan para caracterizar exhaustivamente la realidad objeto de intervencin. Medibles. Las necesidades que se presentan en el programa deben aparecer, en la medida de lo posible, cuantificadas. En todo caso deben ser mensurables. Deben especificarse las fuentes de informacin y los trabajos de investigacin realizados sobre los que se basa el diagnstico; y si han participado agentes clave, gestores, ejecutores y afectados por el problema. El papel del equipo evaluador es comprobar que la imagen "en negativo" reflejada en el programa cumple todos estos aspectos y se corresponden con la realidad sobre la que se pretende intervenir. Ahora bien, tan importante como la definicin y cuantificacin de los problemas es la determinacin de las causas y consecuencias de los mismos. La presentacin grfica de las relaciones causa-efecto de los problemas y fortalezas facilita su interpretacin y evaluacin. Los "rboles o diagramas de flujos"2 son una de las herramientas ms tiles al efecto. Son representaciones descriptivas de relaciones causa-efecto que adoptan visualmente la forma de rbol debido a las ramificaciones en cascada de dichas relaciones.rbol de problemasEl equipo de trabajo encargado de elaborar el Plan de Modernizacin del Sector Pesquero Andaluz (Instituto de Desarrollo Regional), siguiendo el Enfoque del Marco Lgico, identific como problema focal la ineficiente comercializacin y distribucin de los productos pesqueros andaluces. ste y sus causas se recogen en el siguiente rbol de problemas.El sector extractivo no incrementa la calidad de la oferta Escasa participacin del sector extractivo en el valor aadido del producto Escaso pode

manual de avaliação

Documents

Transcript of manual de avaliação