Barcelona, 21 de novembre de 2008

Jornada: AVALUAR PER MILLORAR: LES POLÍTIQUES PÚBLIQUES A EXAMEN

Institucions membres d’Ivàlua:

/ 3 /

Sumari La jornada en cinc minuts!

SUMARI

8

15 41

22 56EDITA: Ivàlua, Institut Català d'Avaluació de Polítiques Públiques. CAP DE LA UNITAT DE FORMACIÓ I PROMOCIÓ: Mercè Kirchner. REDAC-TORA: Teresa Domingo. COL·LABORADORA: Montse Clèries. FOTOGRAFIA: Marc Guillen Noguer. DISSENY I MAQUETACIÓ: Petit Comité.

INAUGURACIÓ

PRIMERA PARTLa institucionalització de l'avaluació: quines lliçons ofereix l'experiència internacional?

SEGONA PARTL'avaluació de polítiques públiques a Catalunya: necessitats, reptes i compromisos

PONÈNCIA-MARCQuins factors faciliten el desenvolupament i la institucionalització de l'avaluació de polítiques públiques? Dr. Ray C. Rist

TAULA RODONALa pràctica de la institucionalització de l’avaluació: presentació de casos Sra. María Luisa Carcedo, Sr. Eduardo Zapico, Sra. Herma Kuperus, Dra. Véronique Chanut

TAULA RODONAQuè n’esperen els actors socials i econòmics?Sr. Narcís Bosch, Sr. Antoni Abad, Sra. Cristina Faciaben, Sra. Eva Granados, Sr. Carles Barba

TAULA RODONAQuè fan i què poden fer els actors institucionals?Sr. Joan Colom, Sr. Àngel Ros, Sr. Jordi Joly, Sr. Josep Martí, Sra. Dolors Canals

Hble. Sr. Josep Maria Vallès Catedràtic de Ciència Política i de l’Administració de la Universitat Autònoma de Barcelona i president d'Ivàlua

Sr. Andreu Morillas Secretari d’Economia del Departament d’Economia i Finances de la Generalitat de Catalunya

Excm. Sr. Antoni Fogué President de la Diputació de Barcelona

CONTINUAR

CONTINUAR

CONTINUAR

LA JORNADAEn cinc minuts!

/ 5 /

Sumari La jornada en cinc minuts!

PRIMERA PARTLa institucionalització de l'avaluació: quines lliçons ofereix l'experiència internacional?

VINCULAR L’AVALUACIÓ DE LES POLÍTIQUES PÚBLIQUES I LA GOVERNANÇAL’expert internacional en avaluació, Ray C. Rist, analitza com l’avaluació de les polítiques públiques contri-bueix a millorar la governança: és a dir, com una informació sòlida i fonamentada pot millorar la presa de decisions. Rist aprofundeix en el do-ble objectiu d’estructurar un sistema d’avaluació a nivell nacional i com els governs poden ser receptius a les avaluacions.

PONÈNCIA-MARCQUINS FACTORS FACILITEN EL DESENVOLUPAMENT I LA INSTITUCIONALITZACIÓ DE L'AVALUACIÓ DE POLÍTIQUES PÚBLIQUES?

TAULA RODONALA PRÀCTICA DE LA INSTITUCIO-NALITZACIÓ DE L’AVALUACIÓ: PRESENTACIÓ DE CASOS

LA PRÀCTICA DE LA INSTITUCIO-NALITZACIÓ DE L’AVALUACIÓ A ESPANYA

LA INSTITUCIONALITZACIÓ DE L’AVALUACIÓ A LA UNIÓ EUROPEADes de la Direcció General de Pres-supostos de la Comissió Europea, Eduardo Zapico mostra l’origen de l’avaluació a la Unió Europea i els es-forços normatius i d’organització que aquesta institució ha fet per implantar un sistema d’avaluació en la darrera dècada. Zapico conclou que l’avalua-ció està clarament institucionalitzada a la Unió Europea i que ara avança cap a la millora de la qualitat i l’ús que es fa d'aquesta en el procés d’elabo-ració de les polítiques europees.

Sra. Herma KuperusAlta funcionària del Govern dels Països Baixos i professora de l’European Institute of Public

Dra. Véronique ChanutProfessora de Ciències de l’Administració de la Universitat d’Alvèrnia, i exrelatora general del Consell Nacional de l’Avaluació (França)

La presidenta d'AEVAL, María Luisa Carcedo, presenta l’origen, la missió i l’experiència dels dos primers anys de vida d’aquesta agència a l’hora d’avaluar les polítiques de l’Adminis-tració general de l’Estat espanyol, així com a l’hora de millorar la qua-litat en la gestió del sector públic. Carcedo també detalla els plans de treball d'AEVAL dels anys 2007 i 2008, els principis d’actuació, els ob-jectius estratègics, els instruments que els han de fer realitat i els reptes de futur.

Administration EIPA, (Maastricht)

CONTINUAR

CONTINUAR

CONTINUAR

CONTINUAR

CONTINUAR

Dr. Ray C. RistAssessor del Grup d’Avaluació Independent del Banc Mundial i president de l’Associació Inter-nacional d’Avaluació per al Desenvolupament

Sra. María Luisa CarcedoPresidenta de l’Agència Estatal d’Avaluació de les Polítiques Públiques i la Qualitat dels Serveis (AEVAL)

Sr. Eduardo ZapicoDirecció General de Pressupostos de la Comissió Europea

AVALUACIÓ DE POLÍTIQUES PÚBLIQUES: EL CAS D’HOLANDADes de l’experiència al Govern dels Països Baixos i com a professora de l’EIPA, Herma Kuperus explica el model holandès d’institucionalització de l’avaluació, així com el paper que té en el cicle de formulació de les polítiques públiques. La trajectòria holandesa permet a Kuperus extreu-re conclusions i recomanacions, com ara evitar una regulació excessiva de l’avaluació, prioritzar la qualitat sobre la quantitat i ser conscient tant de les oportunitats com de les limita-cions de l’avaluació.

REFLEXIONS I PERSPECTIVES A PARTIR DE L’EXPERIÈNCIA FRANCESA D’AVALUACIÓCom a exrelatora del Consell Nacio-nal de l’Avaluació i des de l'experièn-cia professional en diferents funcions relacionades amb l’avaluació, la professora Véronique Chanut fa un balanç de l’avaluació de les políti-ques públiques a França en els dar-rers vint anys: una implantació llarga i difícil però real, amb signes de dinamisme i de fragilitat a la vegada. Chanut reflexiona sobre la utilitat de l’avaluació, i també sobre els factors d’èxit i les dificultats d’una activitat que ella entén com un art pràctic.

/ 6 /

Sumari La jornada en cinc minuts!

SEGONA PART L'Avaluació de polítiques públiques a Catalunya: necessitats, reptes i compromisos

CONTINUAR

CONTINUAR

UNA VISIÓ DES DEL CONSELL DE CAMBRES DE CATALUNYAEl director gerent del Consell de Cambres de Catalunya, Narcís Bosch, considera imprescindible definir els objectius de les entitats públiques per entendre la seva acció i, sobretot, per avaluar-la, per tal de verificar si s’han satisfet els objec-tius inicials plantejats en les seves polítiques. Bosch també aborda tres aspectes clau en l’avaluació de les polítiques públiques: la capacitat dels equips de treball, la propor-ció entre els recursos invertits i el benefici obtingut, i la necessitat de treballar amb criteris d’eficàcia objectius.

CONTINUAR

UNA VISIÓ DES DE CECOT El president de la CECOT, Antoni Abad, aposta per una avaluació de les polítiques públiques que impliqui aportar canvis i millores i que, per tant, estigui contrastada amb les millors pràctiques mundials, utilitzi indicadors útils i consistents, condu-eixi a resultats transparents i ajudi indirectament a millorar la compe-titivitat del país. En tot cas, segons Abad, qualsevol procés d’avaluació

TAULA RODONAQUÈ N’ESPEREN ELS ACTORS SOCIALS I ECONÒMICS?

CONTINUAR

CONTINUAR

Sra. Cristina FaciabenResponsable de Polítiques d’Integració Social de la Comissió Obrera Nacional de Catalunya (CONC)

UNA VISIÓ DES DE LA UNIÓ GENERAL DE TREBALLADORS DE CATALUNYA (UGT)Des de la UGT de Catalunya, Eva Granados aspira que es faci l'avalu-ació de les polítiques públiques, que funcioni i que es publiqui. Granados desenvolupa aquestes expectatives i assenyala que, com a agents socials,

Sr. Carles BarbaPresident de la Taula d’Entitats del Tercer Sector Social de Catalunya

ha de tenir una dimensió externa re-alitzada per equips multidisciplina-ris, però també una dimensió interna d’autoavaluació.

Sr. Narcís BoschDirector gerent del Consell de Cambres de Catalunya

Sr. Antoni AbadPresident de la Confederació Empresarial Comarcal de Terrassa CECOT

Sra. Eva GranadosResponsable de Política Institucional de la Unió General de Treballadors de Catalunya (UGT)

UNA VISIÓ DES DE LA COMISSIÓ OBRERA NACIONAL DE CATALUNYACom a representant de la CONC, Cristina Faciaben exposa que el sindicat voldria: conèixer els efec-tes i els resultats de les polítiques públiques i a quin cost s’han obtingut; fomentar que l’avaluació tingui més utilitat política i democràtica, sigui més prospectiva i s’institucionalitzi; i destacar quins àmbits i aspectes cal-dria avaluar i com caldria avaluar-los (principis, fases del cicle de formula-ció de polítiques públiques, informa-ció i mesures correctives). Faciaben conclou amb algunes propostes per a la millora del funcionament de l’avaluació a Catalunya.

esperen compartir diagnòstics amb l’Administració, que les avaluacions no s’utilitzin com a propaganda i que contribueixin al desenvolupament de polítiques realistes. Per acabar, ana-litza què pot aportar el sindicat per a l’avaluació a Catalunya i presenta algunes iniciatives esperançadores en aquesta direcció.

UNA VISIÓ DES DE LA TAULA D’ENTITATS DEL TERCER SECTOR SOCIAL DE CATALUNYAEl president de la Taula del Tercer Sector Social de Catalunya, Carles Barba, analitza les percepcions que té aquest tercer sector sobre l’avaluació: l’absència d’avaluació, la falta de connexió entre l’avaluació i la presa de decisions, la necessitat d’observatoris o agents avaluadors externs a l’Administració, el foment d’una avaluació centrada en l’espai públic, les especificitats de les políti-ques socials i, finalment, l’avaluació de les funcions pròpies del tercer sector en el marc més ampli de les polítiques públiques i la seva relació amb l’Administració.

/ 7 /

Sumari La jornada en cinc minuts!

Sr. Joan ColomSíndic major de la Sindicatura de Comptes de Catalunya

Sr. Àngel RosAlcalde de Lleida

TAULA RODONAQUÈ FAN I QUÈ PODEN FER ELS ACTORS INSTITUCIONALS?

CONTINUAR

CONTINUAR

CONTINUAR

CONTINUAR

CONTINUAR

Sr. Jordi JolyTinent d’alcalde d’Economia i Organització de l’Ajuntament de Sant Cugat del Vallès

UNA VISIÓ DES DEL DEPARTAMENT DE LA PRESIDÈNCIA DE LA

Sra. Dolors CanalsDirectora de Qualitat Normativa, Departament de la Presidència de la Generalitat de Catalunya

UNA VISIÓ DES DE LA SINDICATURA DE COMPTES DE CATALUNYAPer al síndic major, Joan Colom, la Sindicatura de Comptes de Catalu-nya hauria d’anar més enllà de les fiscalitzacions de regularitat, cap a auditories de gestió que mesurin el cost i l’eficàcia de les polítiques públiques, tal com fan institucions similars d’altres països. Satis-fer aquest repte implica superar dificultats com la limitació actual de mitjans, la informació no prou completa, així com resoldre qüesti-ons com ara avaluar les empreses públiques, aprofitar millor des del Govern i el Parlament les auditories de la Sindicatura i adaptar-se als reptes socials actuals.

Sr. Josep MartíDirector general de Coordinació Interdepartamen-tal, Departament de la Presidència de la Generalitat de Catalunya

UNA VISIÓ DE L'ALCALDE DE LLEIDAL’alcalde de Lleida, Àngel Ros, reflexiona sobre: les eleccions com a avaluació periòdica dels ajunta-ments; els elements latents en l’ava-luació (la reforma de l’Administració pública, el control de la despesa pública i el ciutadà com a objecte de les polítiques); la contaminació de valors entre els sectors públic i

privat; l’avaluació de l’eficiència però també de l’eficàcia, la transparència necessària en l’avaluació i el canvi de la cultura administrativa actual. Ros també detalla els mecanismes d’avaluació amb els quals treballa avui l’Ajuntament de Lleida.

UNA VISIÓ DES DE L’AJUNTAMENT DE SANT CUGAT: APLICACIÓ DEL MODEL PACTE (PLA D’ALINEACIÓ I COMPETITIVITAT ESTRATÈGICA)Des de l’Ajuntament de Sant Cugat, Jordi Joly analitza el model PACTE (Pla d’Alineació i Competitivitat Es-tratègica), que recull un pacte politicotècnic d’aquesta administra-ció local per introduir una orientació estratègica (i no burocràtica) i per canviar cap a una cultura de la ges-tió. L’Oficina de Gestió Estratègica hi té un paper central amb l’objec-tiu que el nou model aconsegueixi vincular l’estratègia de govern amb el programa electoral i amb els pressupostos, alinear l’organització i, en aquest procés, transformar alguns elements de la nostra cultura política.

GENERALITAT, DIRECCIÓ GENERAL DE COORDINACIÓ INTERDEPARTAMENTALEl director general de Coordinació Interdepartamental de la Gene-ralitat de Catalunya, Josep Martí, examina l’avaluació de les polítiques públiques a partir de l’experiència d’elaborar i seguir el Pla de Govern de l’actual legislatura (a través d’un aplicatiu específic), així com de l’experiència de la introducció del pressupost per programes de la Generalitat. Martí argumenta quins són els factors crítics perquè l’avalu-ació sigui útil i els factors que poden contribuir a l’èxit de l’avaluació a Catalunya en les diferents fases del cicle polític.

UNA VISIÓ DES DE LA DIRECCIÓ DE QUALITAT NORMATIVALa directora de Qualitat Normati-va de la Generalitat de Catalunya, Dolors Canals, detalla l’aposta de la Generalitat per millorar la qualitat de la regulació a través d’una unitat directiva i d’una política pública prò-pies. A més d’exposar els principis de la qualitat normativa, Canals considera l’avaluació de la qualitat i l’eficàcia de les normes com a exer-cici de bon govern, i defensa la cen-tralitat d’avaluar l’impacte normatiu per poder millorar la qualitat de la regulació. En aquest marc se situa justament el decret de la Generalitat que simplifica i redueix les càrregues administratives per a les activitats econòmiques.

INAUGURACIÓ

/ 9 /

Sumari La jornada en cinc minuts!

Aquesta jornada constitueix l’acte de presentació del consorci públic Ivàlua (Institut Català d’Avaluació de Polítiques Públiques). Ivàlua va començar a treballar ara fa mig any, però aquesta és la seva primera ma-nifestació pública després d’haver-se constituït el seu equip executiu i d’haver-se dissenyat el seu pla de treball. El seu objectiu és integrar perspectives i esforços, plurals i diversos, que facilitin a les adminis-tracions públiques l’avaluació de les seves polítiques i l’exercici de retre comptes que els correspon en una societat democràtica.

Amb Ivàlua no es pretén sumar cap tipus de fiscalització unilateral a les que ja existeixen, sinó dotar les activitats de les administracions d’un altre instrument de suport i d’acom-panyament. Som conscients que no es parteix de zero en aquesta tasca. Sabem que ja hi ha iniciatives en la mateixa direcció, algunes avançades i d’altres en preparació. No prete-nem ignorar-les, ni substituir-les, ni duplicar-les.

En aquest sentit, sol·licitem a totes les entitats participants en aquesta primera jornada que col·laborin en la missió d'Ivàlua. Els representants reunits aquí de tots els departa-ments del Govern de la Generalitat de Catalunya, ajuntaments, agents socials, sindicats, patronals, altres organismes públics, del tercer sector i de les empreses del sector privat, no seran possibles clients, ni espectadors passius de les activitats d'Ivàlua. Haurien de ser, en canvi, col·laboradors actius en aquesta iniciativa, tal com s’anirà definint a partir d’ara.

La jornada d’avui s’estructura al voltant d’una ponència-marc i tres taules rodones que donaran veu a

diferents perspectives sobre l’ava-luació de les polítiques públiques. A partir d’aquest primer pas, des d'Ivàlua oferim la màxima receptivi-tat als suggeriments, les propostes i les demandes de col·laboració que ens arribin de tots els sectors. Atesa la bona acollida d’aquesta convo-catòria, confio que les propostes seran abundants i profitoses per als interessos de les administracions públiques, que en realitat, han de ser els interessos generals de la socie-tat. Aquest és el desig que formulo com a president del Consell Rector d'Ivàlua i que espero veure realitzat ben aviat. Moltes gràcies.

Enllaços externs

Ivàlua www.ivalua.cat

Jornada d’avui www.ivalua.cat/11 08/presentacio

INAUGURACIÓHble. Sr. Josep Maria VallèsCatedràtic de Ciència Política i de l’Administració de la Universitat Autònoma de Barcelona i president d’Ivàlua

CV

/ 10 /

Sumari La jornada en cinc minuts!

INAUGURACIÓ Sr. Andreu MorillasSecretari d’Economia del Departament d’Economia i Finances, Generalitat de Catalunya

El projecte d'Ivàlua, avui fet realitat, es va gestar a la seu del Departa-ment d’Economia i Finances de la Generalitat de Catalunya ara fa uns tres anys. En primer lloc, voldria agrair a les persones que van ser a l’origen del projecte, així com les fases successives, el seu ajut i la seva col·laboració, en particular al Dr. Jordi Sánchez, director de la Fun-dació Jaume Bofill, i a la Dra. Paula Adam, que va treballar en el disseny de l’entitat en les fases inicials, i, per descompat, a les persones que hi han treballat directament els darrers mesos per acabar de donar-li forma: el president d’aquest consorci, el Dr. Josep M. Vallès i la directora d’Ivà-lua, la Sra. Blanca Lázaro.

Però Ivàlua és avui possible grà-cies a la col·laboració de diferents institucions: la Diputació de Barce-lona, la Fundació Jaume Bofill i la Universitat Pompeu Fabra. Les tres institucions, conjuntament amb la Generalitat de Catalunya, a través del Departament que represento, integren el Consell Rector del Con-sorci. El Departament està també re-presentat per l’Institut d’Estadística de Catalunya (IDESCAT), que pretén col·laborar –a través de la seva apor-tació en tècnica i coneixement– en l'instrumental científic que requereix l’acció d'Ivàlua.

Ivàlua neix avui públicament, tot i que fa mesos que està en marxa i que, en la seva cartera d’activitats, consten ja bastants projectes d’ava-luació interessants. Neix amb la vo-luntat d’obertura a la resta d’institu-cions interessades en l’avaluació de les polítiques públiques i, com no podia ser d’una altra manera trac-tant-se de polítiques públiques, amb voluntat multidisciplinària.

D’aquesta manera, Ivàlua sorgeix amb tres objectius complementaris.

D’una banda, introduir la cultura de l’avaluació dins de l’activitat normal de les administracions públiques, des de la Generalitat, amb tota la seva complexitat organitzativa, fins a les administracions locals, passant per totes les entitats de caràcter públic o que col·laboren amb el sector públic que creuen que –des del disseny de les seves accions fins a l’avaluació de l’impacte que han tingut– han de retre comptes i han de sotmetre’s a l’avaluació. D’altra banda, Ivàlua es crea també amb una vocació de servei: la vocació d’as-sessorar les diverses organitzacions interessades. I, en tercer lloc, neix per contribuir a la modernització de les administracions públiques, grà-cies a la incorporació de la cultura d’avaluar i de retre comptes com un fet habitual en les seves actuacions.

Des del Departament que repre-sento, donem la benvinguda a tot el que ens faci guanyar eficiència a l’hora d’aplicar els recursos públics, especialment ara que travessem un moment difícil per obtenir i utilitzar aquests recursos. En aquest sentit, la cultura de l’avaluació de les polítiques públiques pot contribuir a millorar l’eficiència de les administracions i a fer, sobretot en aquests moments, una aportació a l’acció pública del tot necessària i convenient.

CV

/ 11 /

Sumari La jornada en cinc minuts!

Enllaços externs

Departament d’Economia i Finances Generalitat de Catalunya www.gencat.cat

Fundació Jaume Bofill www.fbofill.cat

Diputació de Barcelona www.diba.cat

Universitat Pompeu Fabra www.upf.edu

Institut d’Estadística de Catalunya (IDESCAT) www.idescat.cat

SumariLa jornada en 5 minuts!

/ 12 /

Sumari La jornada en cinc minuts!

El projecte del Consorci Ivàlua, que avui es presenta de manera pública, té molt a veure amb l’impuls i el lideratge que va exercir en el seu dia el conseller Antoni Castells des del Departament d’Economia i Finances de la Generalitat de Catalunya. El fet, però, és que, com ha dit el president d'Ivàlua, Josep Maria Vallès, no par-tim de zero. L’avaluació és un tema d’interès, necessari i imprescindible, per a tots els qui treballen a les administracions públiques o hi col-laboren. Ens interessa perquè, mal-grat que és un tema desconegut, ha deixat de ser només una pràctica del sector privat i, des de fa un temps, les administracions públiques també hem introduït instruments per avaluar els serveis públics i la feina que fem. Avaluar és la garan-tia de progrés i millora i, com que ens trobem immersos en processos d’aquestes característiques, també adoptem mecanismes d’avaluació. En aquest camí, hem d’aprendre molt i hem d'homogeneïtzar molts aspectes. Per això, Ivàlua serà un bon instrument per afavorir el treball conjunt i compartit sobre l’avaluació de les polítiques públiques.

Pel que fa a la Diputació de Barcelo-na, fa quinze anys vam fer l’exercici de plantejar estratègicament què ha-via de ser en el futur una administra-ció local de segon nivell, com ho és la nostra. De fet, la nostra feina dels últims deu anys ha estat marcada i impregnada pels eixos que es van decidir en aquell plantejament, que eren, d’una banda, considerar la província com una xarxa de municipis i, de l’altra, entendre la cooperació, el suport i l’assistència als municipis com un exercici de concertació. Si ens fixem en el que diuen les enquestes i la majoria dels alcaldes i alcaldesses de la provín-cia, aquesta feina d’anys ha generat bons resultats. També podem dir el

mateix de les diputacions de la resta d’Espanya.

L’any 2007, malgrat els resultats po-sitius del model que havíem aplicat durant una dècada, vam considerar oportú anar més enllà i vam plante-jar un exercici d’auto avaluació que vam anomenar <<Reflexió Estratè-gica 2007>>. Per molt bo que sigui, cap model no pot sostenir-se de manera indefinida, perquè la societat i les necessitats canvien i, per tant, els models i les estructures s’hi han d’adaptar contínuament.

Per plantejar el futur estratègic dels propers quinze anys, hem tingut en compte els tres grups d’interlocutors imprescindibles perquè una organit-zació de segon nivell sigui eficient. En primer lloc, un grup d’experts aliens a la Diputació i que prove-nen de la universitat, l’economia, la cultura, els serveis, etc., perquè des de l’exterior ens donessin una visió crítica i constructiva d’una adminis-tració local com és la Diputació. En segon lloc, l’organització; és a dir, els mateixos treballadors de la Diputa-ció van participar en l’avaluació i la definició estratègica per als propers quinze anys. De fet, difícilment es pot implantar un nou model i modernit-zar una organització si les persones que han de realitzar el procés no hi participen i s’hi impliquen. I, en tercer lloc, el més important per a nosaltres, vam escoltar els usuaris i els receptors en primera instància dels serveis que ofereix la Diputació: els alcaldes i les alcaldesses, els re-gidors i les regidores dels municipis.

Aquesta avaluació i reflexió conjunta ens ha permès elaborar el pla de mandat per al període 2008-2011, ens ha fet interioritzar i millorar aspectes que ja havíem incorporat perquè l’avaluació sigui un treball continu i permanent, i ens ha servit

INAGURACIÓExcm. Sr. Antoni FoguéPresident de la Diputació de Barcelona

CV +CV

/ 13 /

Sumari La jornada en cinc minuts!

per determinar que la innovació i la defensa dels interessos dels municipis han de ser una de les línies estratègiques de la Diputa-ció. La majoria dels municipis de la província de Barcelona, més de 200, tenen menys de 5.000 habitants. Per això, si aquests municipis han de fer programes i han d'avaluar les seves polítiques per si mateixos, si han de presentar propostes d’innovació en les prestacions dels serveis públics locals, avançarem poc. Com que disposen de pocs recursos tècnics i econòmics, l’avaluació i la innovació només poden situar-se en tercera o quarta instàncies dins les seves prioritats. Per això vam entendre que la Diputació, com a organització local de segon nivell, havia d’assumir aquest paper: desenvolupar i interio-ritzar en la nostra organització els instruments que ajudin el conjunt dels municipis a avaluar els serveis que presten, tant de manera indivi-dual com de manera coordinada, fent exercicis de comparació per trams de població.

I ara ens trobem de ple en aquesta feina, la de desenvolupar el nostre pla integral d’avaluació i els nostres plans sectorials d’avaluació. Per això, d’acord amb la seva condició d’administració que s’esforça per modernitzar i optimitzar els seus recursos, la Diputació va respon-dre afirmativament a la possibilitat d’integrar-se en el projecte d’Ivàlua. Ens sentim molt satisfets de ser un dels quatre fundadors d’aquest consorci, conjuntament amb el Govern de la Generalitat de Cata-lunya, la Universitat Pompeu Fabra i la Fundació Jaume Bofill, perquè creiem que –amb crisi o sense crisi– les administracions públiques tenim l’obligació de treure el màxim rendi-ment dels recursos obtinguts. Gastar menys no equival a millors serveis ni a més eficiència, i gastar més tam-poc no equival a això. El que importa és que optimitzem els recursos públics al màxim i busquem meca-nismes d’avaluació, i que tot això ens serveixi per formular propostes de futur que ens facin ser més eficients

i més eficaços en els serveis als ciutadans. Tot aquest esforç, no el fem per mantenir estructures inter-nes, sinó per participar els uns i els altres en projectes comuns, perquè els ciutadans visquin en millors condicions i perquè cada vegada gaudeixin de més serveis públics i de més qualitat. En aquest camí, hi som tots, tant la Generalitat de Catalunya com la resta dels membres d'Ivàlua, concebut com un gran instrument al servei dels ciutadans.

Enllaços externs

Diputació de Barcelona www.diba.cat

Pla de mandat per al període 2008-2011 www.diba.cat/ladiputacio/programago-vern.asp

PRIMERA PARTLa institucionalitzacióde l'avaluació: quines lliçons ofereix l'experiència internacional?

/ 15 /

Sumari La jornada en cinc minuts!

PONÈNCIA-MARCQuins factors faciliten el desenvolupament i la institucionalització de l'avaluació de polítiques públiques?

Dr. Ray C. Rist Assessor del Grup d’Avaluació Independent del Banc Mundial i president de l’Associació Internacional d’Avaluació per al Desenvolupament

Ponent introduït pel Dr. Xavier Ballart, catedràtic de Ciència Política i de l’Administració de la Universitat Autònoma de Barcelona

Com podem enllaçar l’avaluació de les polítiques públiques i la go-vernança? Com es pot millorar la governança amb la informació que ens proporciona l’avaluació de les polítiques públiques? En aquesta qüestió participen dos elements. D’una banda, tenim la governança, que té com a finalitat definir estra-tègies de direcció sobre la realitat, i que suposa saber cap a on anem. De

l’altra, hem de considerar l’avaluació, que té a veure amb com fem servir la informació per millorar la presa de decisions. És a dir, l’avaluació està relacionada amb la presa de deci-sions basada en evidències, proves, dades o anàlisis de qualitat. Per tant, torno a plantejar la pregunta inicial: com es pot enfortir la capacitat de les administracions públiques i construir estratègies directives més fortes a través de dades i d’anàlisis sòlides?

Aquí cal tenir en compte que, quan parlem de polítiques públiques i governança, estem passant d’un nivell micro –el d’un projecte– a un nivell nacional o macro. El canvi de perspectiva és molt rellevant, perquè afecta o va concretant la qüestió ini-cial. És a dir, treballar amb un nivell nacional significa que ens hem de preguntar sobre dos aspectes:• Com podem incorporar les pers-

pectives i la informació generades pels sistemes d’avaluació en la governança dels estats nacionals actuals?

• Com podem passar dels <<estu-dis>> als <<fluxos>>?

Pel que fa al primer punt, moltes organitzacions fan petites avaluaci-ons: ara avaluen un projecte, ara un altre…, i a poc a poc, acumulen una pila enorme d’informes amb totes aquestes avaluacions individuals.

Dr. Ray C. RistVINCULAR L’AVALUACIÓ DE LES POLÍTIQUES PÚBLIQUES I LA GOVERNANÇA

PDF

L’expert internacional en avaluació, Ray C. Rist, analitza com l’avaluació de les polítiques públiques contribueix a millorar la governança; és a dir, com una informació sòlida i fonamentada pot millorar la presa de decisions. Rist aprofundeix en el doble objectiu d’estructurar un sistema d’avaluació a nivell nacional i com els governs poden ser receptius a les avaluacions.

/ 16 /

Sumari La jornada en cinc minuts!

Tanmateix, què ens aporten aquests informes? Podem dir que avaluen realment el funcionament i les polí-tiques d’aquella organització? Quan passem a un nivell macro –provin-cial, nacional i fins i tot internacio-nal–, la qüestió és com hem de dur l’avaluació també a aquest nivell.

El segon punt planteja com passar dels estudis als fluxos, com deixem d’acumular més i més avaluacions de projectes que no sumen res i passem a construir fluxos d’avalu-ació i de coneixement. Aquest repte se situa en el debat sobre la gestió del coneixement, tan important per al sector públic d’arreu del món. Per què? Perquè les administracions públiques necessiten preguntar-se i respondre les següents qüestions: com sabem el que sabem? I com sabem el que no sabem? I com descobrim el que no sabem? I com compartim el que sabem?

La importància d’aquestes qüestions es posa de manifest quan, per exem-ple, les organitzacions incorporen nou personal al seu equip i han de compartir amb aquests professionals el que saben. En molts casos duen a terme pràctiques terribles i es limiten a dir: << Llegeixi aquests informes i allà ho trobarà tot explicat.>> Lògicament, aquesta és una pràc-tica poc eficaç perquè les persones avancin en la política pública –o en el sector privat– i liderin aquestes organitzacions en el segle XXI. Si un professional s’incorpora a una oficina, a un ministeri, per introduir-hi canvis i millores, però ignora el que sap i el que no sap, s’enfronta amb un mur d’ignorància, amb un buit, que dificul-ta enormement el lideratge. És com pilotar un avió sense els instruments del quadre de comandament: dur, ar-riscat i malsà. En el nostre cas, en el cas de la governança i l’avaluació de les polítiques públiques, aquests ins-truments són els fluxos d’informació i de coneixement, i no l’acumulació d’estudis, perquè, insisteixo, el repte és la gestió del coneixement.

MASSA INFORMACIÓ?Paradoxalment, però, la majoria de les organitzacions públiques dispo-sen de molta informació, de milers de calaixos plens de dades i estu-dis. Per tant, el problema és com gestionar l’abundància d’informació aleatòria. És més: hi ha autèntic coneixement en aquesta acumulació d’informació aleatòria? Hi ha criteris per discernir i fer judicis encertats sobre una organització o unes políti-ques públiques en aquests informes que es mouen d’un lloc a l’altre i que, per fatiga, acaben oblidats en un ar-xiu? En aquestes condicions resulta molt difícil gestionar i liderar una organització.

A més, en molts països, l’excés de dades –útils o no útils– conviu amb l’escassetat d’informació vàlida per avaluar. I el fet és que ningú no sap què fer amb aquestes piles de dades i d’informes que viatgen de taula en taula fins que acaben en algun fitxer. Això dificulta jutjar el rendiment i els resultats del sector públic i, en definitiva, no contribueix a millorar el procés de governança.

AVALUAR éS úTIL PER A LA GOVERNANçAFins aquí hem vist que, per relligar avaluació i governança, cal concebre

l’avaluació a un nivell macro i passar dels estudis als fluxos, així com fer front tant a l’excés de dades com a la falta d’informació realment rellevant per avaluar. Amb aquesta perspecti-va, el següent pas és analitzar com podem fer servir la informació avaluativa perquè resulti útil per al procés de governança. Des del meu punt de vista, hi ha quatre maneres de fer-ho.

1. Sintetitzar el que se sap. Sintetizar forma part de la gestió del conei-xement. Hem de saber què sabem per poder saber on som, per co-nèixer el nostre punt de partida. Tanmateix, per construir una base més ferma del que sabem, per assumir-ho i compartir-ho, per fonamentar les nostres accions, ho hem de sintetitzar.

2. Desmitificar els problemes. Al sector públic hi ha massa infor-malitat a l’hora d’explicar els problemes que ens afecten, hi ha moltes explicacions basades en l’experiència personal, en les anècdotes dels familiars d’algú o en la intuïció, i no en les proves i les evidències. Quan ens pregun-tem el perquè dels problemes –per exemple, per què tenim atur entre els joves o com hem de fer front a la transmissió del VIH–, moltes de les respostes es basen en mites i llegendes urbanes que, sorpre-nentment, arriben a influir en les polítiques públiques. En canvi, les avaluacions ens poden facilitar una visió més clara i concreta de l’origen dels problemes i ens per-meten parlar sobre l’atribució i la causalitat dels problemes i de les polítiques. Necessitem les dades de les avaluacions si volem tenir aquesta conversa sobre l’atribució i la causalitat, perquè les dades ens diuen el que està passant; les evidències ens diuen per què tenim els problemes que tenim. Sense aquestes proves i evidènci-es, serà molt difícil per al sector públic prendre decisions encerta-des i raonades.

/ 17 /

Sumari La jornada en cinc minuts!

3. Obtenir nova informació sobre l’efectivitat dels programes o les polítiques. És a dir, està funcionant el que intentem fer des de les administracions públiques? Aquí cal fer una distinció important: que un programa s’hagi implantat de manera completa i segons els pas-sos previstos no vol dir que aquest programa hagi estat efectiu, no-més vol dir que s’ha tingut èxit en la implantació. Però si el progra-ma o la política implantats par-teixen d’una teoria de canvi feble o falsa, no aportaran cap millora, no ajudaran en res, per molt per-fectament que s’hagin implantat. Compliment perfecte i eficàcia són dos conceptes diferents. Per això, el que ens ha d’importar és l’eficà-cia, que és el que hi ha al cor del bon servei públic. I aquí és on ens pot ajudar la informació avaluativa.

4. Explicar les implicacions d’una nova informació. Un cop hem après alguna cosa que abans desconeixíem, què significa això que hem après i com ho podem incorporar a la nostra pràctica? I, sobretot, com podem fer que aquesta nova informació millori el procés de presa de decisions? Aquí hem tornat, per tant, a la idea clau de basar la presa de decisions en proves i evidències.

DOS PROPòSITS PER CONSTRUIR UN SISTEMA D’AVALUACIÓ NACIONALHem vist quatre maneres en què la informació avaluativa pot resul-tar útil per a la governança, però quins serien els objectius clau per construir un sistema nacional d’avaluació? En altres paraules, en quines àrees ens pot ajudar passar d’una avaluació de nivell micro a una de nivell macro o nacional? N’hi ha dues, que analitzaré tot seguit:

1. Influir en la presa de decisions sobre les polítiques públiques de manera que s’avanci cap a una gestió basada en les evidències, cap a una construcció d’estratègi-es públiques fonamentades en els bons resultats.

2. Dotar d’anàlisis i de conclusions el cicle polític. És a dir, la segona àrea per integrar l’avaluació o la valoració en l’àmbit públic és do-nar informació avaluativa a totes les fases del cicle polític: la fase de formulació de les polítiques, la fase d’implantació i la fase de rendició de comptes.

PRIMER PROPòSIT: GESTIONAR BASANT-SE EN L’AVALUACIÓ I ELS RESULTATSLa gestió basada en els resultats és

un instrument de les organitzacions i les estructures de govern d’alt rendiment a tot el món. Molts països estan avançant cap a aquesta gestió d’alt rendiment, fins i tot aquells que un no pensaria mai que entren en aquest grup. Penso en Sri Lanka, que està en plena guerra civil i ha suportat 70.000 baixes, o en la Re-pública del Kurdistan, on el ministre de Sanitat està renovant el sistema de salut actual per progressar cap a estratègies i decisions basades en les dades avaluatives i els bons resultats. Però n’hi ha d’altres, com ara Mèxic, Colòmbia, Espanya…, per-què aquest tipus de gestió respon als reptes del sector públic actual.

El sector públic actual ja no es legitima dient que està molt ocupat i que fa tot el que pot fer pel ciutadà. Estar ocupat ja no constitueix una base legítima perquè el sector públic rebi suport, finançament, confian-ça… Som al segle XXI i tothom està ocupat. El sector públic gasta l’OPM (other people's money, els diners dels altres) i, si ha de justificar aquesta despesa davant dels ciutadans, no pot respondre només que ha dedicat el seu temps a aquestes àrees o àmbits, sinó que ha de parlar de resultats. El sector públic ha de progressar i ha de donar evidències d’aquest progrés.

/ 18 /

Sumari La jornada en cinc minuts!

SIS PROPOSTES PER GESTIONAR BASANT-SE EN RESULTATSPel que fa a aquesta gestió basada en els resultats i la valoració, vull aportar sis propostes i demanar que s'hi reflexioni.

1. Si no mesures els resultats, no pots distingir l’èxit del fracàs. Qualsevol administració i/o orga-nització que no mesuri el que fa, no sap on és. Aleshores és quan un ha de basar-se en anècdotes, en l’experiència dels familiars…, per prendre decisions polítiques.

2. Si no pots veure l’èxit, no el pots recompensar o incentivar. Un factor positiu del creixement del sector públic seria fer més del que està funcionant i menys del que no està funcionant. La majoria dels que treballem per al sector públic ens agrada pensar que treballem per millorar les coses, però com podem distingir entre el que funci-ona i el que no funciona? Ho po-dem distingir si avaluem l’eficàcia dels programes i les polítiques, i no només si s’han complert o aplicat. Torno a recordar que com-pliment no equival a efectivitat, no significa que allò funcioni.

3. Si no pots recompensar l’èxit, segurament estàs incentivant el

fracàs. Com? Finançant projectes i programes que no funcionen, però que tu no saps que no funcionen perquè no els estàs mesurant i avaluant. Si no mesures l’acció pú-blica, no pots distingir entre l’èxit i el fracàs. I si no pots distingir entre l’èxit i el fracàs, és probable que acabis finançant el fracàs.

4. Si no pots detectar l’èxit, no pots aprendre de l’èxit. Les organitza-cions d’alt rendiment s’animen i s’impliquen amb l’aprenentatge organitzatiu. Si la teva organització no aprèn, estàs parat i, al final, el pes de la gravetat guanya i et fa anar enrere.

5. Si no pots reconèixer el fracàs, no el pots corregir. Ens cal aprendre el que funciona i el que no funcio-na per combatre els mals costums i els comportaments disfuncionals que, dissortadament, continuem incentivant perquè no sabem dis-tingir entre l’èxit i el fracàs.

6. Si pots demostrar els resultats obtinguts, pots guanyar el suport de la societat. Per ser transparents, per retre comptes i demostrar als ciutadans que el que fem pot ser un referent, hem de tenir dades. Els detalls, els testimonis i les anècdo-tes concretes no aporten cap dada

sobre si el que fem funciona millor que el que fèiem abans.

LA SUPERVISIÓ I L’AVALUACIÓ BASADES EN ELS RESULTATSDesprés de veure aquestes sis propostes per gestionar a partir de resultats, voldria explicar de ma-nera més detallada què caracteritza els sistemes de supervisió i avalu-ació (Monitoring & Evaluation, M&E) basats en dades, proves i evidènci-es. En primer lloc, aquest sistema mesura fins a quin punt els governs funcionen bé o no funcionen bé, en quin grau responen o no responen als reptes que han de satisfer.

En segon lloc, la supervisió i l’ava-luació basades en resultats són un instrument de gestió. Parlo des de la meva experiència de quinze anys de treball a l’Administració nord-americana i veig que treballem amb una caixa d’eines molt limitada: l’eina del pressupost, l'eina dels re-cursos humans, l'eina de l’auditoria i l’eina de la supervisió i les estadís-tiques (Monitoring & Statistics, M&S). Aquestes són les nostres eines. És a dir, estem intentant gestionar unes organitzacions molt complexes al segle XXI amb eines dels segles XIX i XX. Però, de fet, només un sistema de supervisió i avaluació pot dir-nos com s’està comportant i està funcio-

/ 19 /

Sumari La jornada en cinc minuts!

nant un govern. Ni els pressupostos ni les auditories et diuen com has fet la teva feina: et diuen només si l’has complert. L’equip de recursos humans treballa amb inputs i el sis-tema de supervisió i d’estadístiques continua fent les activitats quotidia-nes, però ni l’un ni l’altre ens aporten proves de si estem avançant o no. En canvi, només quan construïm un sistema de supervisió i avaluació disposem d’una eina que ens dóna feedback del rendiment obtingut.

I, en tercer lloc, aquest sistema implica una transformació conceptu-al, perquè el sistema de supervisió i avaluació basades en resultats emfa-titza passar de mesurar els outputs (allò que has generat, els resultats concrets) a mesurar els outcomes (allò que genera la suma de resul-tats, és a dir, les conseqüències o els efectes). Moltes administracions mesuren bé els outputs i és lògic que sigui així, perquè hi tenim més de 5.000 anys d’experiència: des de l’època dels egipcis i els xinesos, les administracions han mesurat el que generaven. Però construir una escola no equival a millorar el rendiment acadèmic, de la mateixa manera que construir un hospital no equival a millorar la situació sanitària. En definitiva, resulta fonamental distin-gir entre els outputs i els outcomes perquè emergeixi una nova gestió del sector públic a tot el món, una gestió preocupada pels resultats, els beneficis, les conseqüències i les millores. Ens cal deixar de celebrar una cultura dels outputs i construir una cultura dels outcomes en el sector públic. PER QUÈ HEM DE TREBALLAR AMB AQUEST TIPUS DE SUPERVISIÓ I AVALUACIÓ?Quines raons tenim per adoptar aquest tipus d’estratègia? Per què hauríem d’incorporar sistemes de supervisió i avaluació fonamentats en resultats? Puc pensar , com a mínim, en sis aportacions concretes diferents:

1. La supervisió i l'avaluació basades en resultats aporten informació crucial sobre el rendiment i el funcionament del sector públic.

2. Aquesta estratègia ajuda a formu-lar i justificar les peticions pres-supostàries. En resum, serveix per crear pressupostos que no recompensin el fracàs: si finances programes que no funcionen o que no saps si funcionen perquè no els estàs avaluant en aquest sentit, estàs finançant molts possibles fracassos i moltes conductes dis-funcionals dins del sector públic. Pots finançar unes bones instal-lacions i una bona campanya de publicitat, o fins i tot pots tenir personal molt amable treballant en aquestes instal·lacions, però això no té res a veure amb el ren-diment, amb les conseqüències i els beneficis demostrables.

3. Aporta informació actualitzada i freqüent al personal. Les organit-zacions d’alt rendiment són riques en informació i treballen amb el concepte de la línia o el camp vi-sual (line of sight), clau en la teoria de la gestió pública. Camp visual vol dir aquí que, sigui quin sigui el teu lloc a l’organització, veus com et connectes als objectius estratègics d’aquesta organització. La gent de baix està connectada amb la gent de dalt, tots treballen en la mateixa direcció. En canvi, si tu arribes a la feina i no saps ben bé per què ets allà, ni cap a on vas, ni què pensen els de dalt, perquè ningú no ha parlat amb tu, llavors tens un problema bàsic a la teva organització. La manca de comunicació crea conductes disfuncionals. Però si el que vols és que tothom segueixi la direcció marcada, l’equip necessita saber cap a on va, necessita informació al dia i amb freqüència. Exigir que tothom et segueixi o declarar sim-plement cap a on vols anar, ja no funciona. Això podria haver funcio-nat als segles XVII o XVIII, però no al segle XXI.

4. Centra l’atenció a assolir outco-mes. Ja he dit que els outputs i els outcomes són dues dimensi-ons molt diferents. Insisteixo en l’exemple que una administració pública pot construir una molt bona escola sense tenir cap èxit sobre el rendiment acadèmic, sense millorar l’ensenyament que s’hi imparteix. El que necessitem és centrar-nos en els outcomes, els aspectes qualitatius.

5. Permet als directius identificar els punts febles i reaccionar per corregir-los. Només a partir que hem obtingut dades sobre un tema, els gestors poden fer algu-na cosa respecte a aquest, poden identificar els punts febles dins el sistema i poden prendre decisions per corregir-los. Si els responsa-bles de l’organització reconeixen que hi ha coses que no funcionen, però no poden assenyalar quines són ni poden fer res per solucio-nar-les, això és un càncer dins de l’organització i una bona manera de destruir-la ràpidament.

SEGON PROPòSIT: AVALUAR PER DOTAR D’ANÀLISIS I CONCLUSIONS EL CICLE POLíTICHem parlat de com s'ha d'avaluar l’estratègia basada en els resultats. Ara, però, tractarem com podem incorporar l’avaluació al cicle de po-lítiques: és a dir, com podem utilitzar l’anàlisi i la informació per pensar amb més claredat i millorar les tres fases del cicle polític: la formula-ció de polítiques, la implantació de polítiques i l’accountability o obligació de retre comptes de les polítiques. Exposaré què és el que ens hem de preguntar perquè l’avaluació millori cadascuna d’aquestes fases.

1. L’avaluació en la fase de formula-ció de les polítiques

1.1. Què se sap sobre el problema que estem tractant? Quina evi-dència hi ha sobre la natura del problema que hem de formular políticament? És clau fer-se aquesta pregunta abans de redescobrir la roda… I hem

/ 20 /

Sumari La jornada en cinc minuts!

de deixar al marge les suposi-cions, les anècdotes, els mites i les experiències viscudes.

1.2. Què s’ha fet anteriorment per resoldre aquest problema? És a dir, un cop ja sabem el que sabem de l’atur juvenil, o de la transmissió del VIH o del mal-tractament infantil…, ens hau-ríem de preguntar com altres països, equips o administracions han manejat aquest tema.

1.3. Què se sap dels esforços previs i dels impactes que han tingut que ens pugui ajudar a triar entre les opcions actuals? Parlo aquí de saber què ha funcionat i què no ha funcionat empírica-ment, sigui a l’Estat espanyol, al Regne Unit o als Estats Units. Si tenim evidències de com han funcionat les estratègies del passat, això ens pot ajudar a construir una base més forta i a escollir entre les alternatives actuals. Cal utilitzar aquestes dades i anàlisis com una eina perquè la nostra organització pugui pendre decisions.

2. L’avaluació en la fase d’implanta-ció de les polítiques

2.1. Hem implantat el que volíem implantar? Necessitem realitzar avaluacions sobre els esforços fets per aplicar les polítiques.

2.2. Com s’entén la política o el pro-grama en els diferents nivells del sistema governamental? Fins a quin punt el que estem fent s’entén a tots els nivells del govern i arriba també als pro-veïdors de serveis, a les ONG, a les organitzacions de la societat civil? Hi ha un acord, de dalt a baix, sobre el que estem fent? Segons la meva experiència, aquí es pot generar una situació o sensació de confusió, perquè, com més avall s’és en l’estructu-ra, normalment menys claredat i més improvisació hi ha: la gent fa el que els va bé fer, i no el que caldria fer d’acord amb l’estratè-gia original del canvi.

2.3. Hi ha capacitat institucional per emprendre la iniciativa que es

vol implantar? A moltes organit-zacions, se’ls dóna un mandat que no tenen la capacitat de complir. D’aquesta manera, els programes fracassen perquè, malgrat que l’organització lluiti per aplicar-los, no té prou ca-pacitat per dur-los a terme tal com s’havia pensat. Llavors pot sorgir el dubte de si ha fallat el disseny de la política o si la implantació ha estat feble. Per tant, abans de tot, necessitem diagnosticar que l’organització té la capacitat necessària per aplicar la iniciativa.

2.4. Pot el sector públic implantar la iniciativa amb qualitat? Si ho pot fer, val la pena programar la iniciativa. Però si no ho pot fer, s’està programant per fracassar.

3. L’avaluació en la fase d'obligació de retre comptes de les polítiques (accountability)

3.1. Què ha aconseguit o no, el programa o la política aplicat?

3.2. S’han assolit els objectius del programa? Estratègicament, hem arribat fins a on volíem arribar?

3.3. Es pot establir l’atribució? És a dir, es pot determinar que el programa ha donat lloc als can-vis als quals volia donar lloc? De vegades, apliques un programa i et trobes amb uns canvis, però no pots establir que el programa ha estat el causant dels canvis, excepte si elimines les altres possibles explicacions o causes. Per tant, t’has de preguntar sobre l’atribució i la causalitat.

/ 21 /

Sumari La jornada en cinc minuts!

No pots gestionar programes de 100, 200 o 300 milions d’euros només amb la intuïció: necessi-tes les dades i les proves.

3.4. S’han mantingut al llarg del temps les metes i els objectius originals de la política?

3.5. El sector públic s’ha mobilitzat amb eficàcia per respondre de manera adequada a la iniciativa?

Aquestes qüestions ajuden a reflexi-onar i aprendre que l’avaluació ha de afinar el procés de formular polí-tiques, d’implantar-les i de retre'n comptes. En definitiva, l’avaluació ens ajuda a veure si el que estem fent té o no té sentit.

SIS REQUISITS PERQUÈ ELS GOVERNS SIGUIN RECEPTIUS A LES AVALUACIONSMolts governs –locals, provincials, regionals, nacionals– no entenen bé què aporten les dades i anàlisis de les avaluacions, perquè en molts llocs encara és un tema nou. Perquè aquests governs siguin receptius a l’avaluació, han de satisfer una sèrie de sis requisits o condicions prèvies.

1. Els governs confien més en la informació interna que en la in-formació generada per unitats externes. He arribat a aquesta conclusió a partir de l’experiència que tinc amb nombrosos governs, malgrat que sempre hi pugui ha-ver alguna excepció.

2. Si la persona o organització que fa l’avaluació té una credibilitat alta, se sol acceptar més aquesta valoració. És evident que no dema-nem informació a gent en qui no confiem.

3. L’aprenentatge de les organitza-cions depèn que el proveïdor de l’avaluació sigui creïble. Si hem de treballar i aprendre d’una avaluació, confiem en la univer-sitat que l’ha generat o en els consultors que ens han facilitat la informació? Si no hi confiem, se-gurament no la farem servir. Si hi confiem, segurament la podem fer

servir per aprendre.

4. Si vols que un govern percebi les avaluacions com a positives, cal evitar que percebi la supervisió, l'escrutini o l'examen com una cosa negativa. Molts segments del sector públic rebutgen l’escrutini, no volen que ningú els fiscalitzi ni els demani dades o obri els seus arxius. Si no perceben que la su-pervisió és legítima, segurament no acceptaran les conclusions de l’avaluació. A les organitzacions d’alt rendiment, però, tot ha de ser transparent. Per exemple, les Nacions Unides van premiar Kenya l’any 2007 perquè el seu govern ha avançat ràpidament cap a per-formance contracts amb tots els gestors de l’Administració pública. Aquests contractes permeten més supervisió i transparència d’allò que el gestor s’ha compromès a fer, com es mesurarà, amb qui treballa, de qui depèn, etc. Vaig ser a Nairobi la primavera passada, on 302 alts funcionaris de l’adminis-tració kenyana van treballar du-rant dues setmanes per entendre aquest performance contracting i com l’anaven a fer.

5. És molt important generar con-fiança. Si construeixes confiança, la gent treballarà amb tu. En cas contrari, la gent no serà receptiva a l’avaluació.

6. Les organitzacions es deterioren constantment i necessiten infor-mació sobre com renovar-se. Les organitzacions viuen sempre en estat de deteriorament, perquè els professionals marxen, els siste-mes fracassen, les línies mestres queden obsoletes, hi ha confusió a tots els nivells… Per això és tan difícil el lideratge, perquè signifi-ca tirar endavant organitzacions que tendeixen a deteriorar-se. A més, no n'hi ha prou amb quedar-se estancat: si t'estanques, si no treballes en la renovació, vas en-rere. Per tant, les organitzacions necessiten informació sobre com renovar-se, com treballar millor

i com mesurar la diferència entre l’èxit i el fracàs. Cap organització pot millorar per si mateixa.

Enllaços externs

Grup d'Avalució Independent del Banc Mundial www.worldbank.org/oed

Nacions Unides www.un.org

Evaluation and Monitoring Directorate del Govern de Kenya www.monitoring.go.ke

Bibliografia:·Bemelmans-Videc, Marie-Louise; Ve-dung, Evert; i Rist, Ray C. (Ed.) (2007). Carrots, Sticks & Sermons: Policy Instru-ments & Their Evaluation. New Bruns-wick: Transaction.

·Rist, Ray C; i Stame, Nicoletta (Ed.) (2006). From Studies to Streams: Mana-ging Evaluative System. New Brunswick: Transaction.

·Furubo, Jan-Eric; Rist, Ray C.; i Sandahl, Rolf (Ed.) (2002). International Atlas of Evaluation. New Brunswick: Transaction.

·Leeuw, Frans L.; Rist, Ray C.; i Sonnich-sen, Richard C. (2000). Can Governments Learn?: Comparative Perspectives on Evaluation & Organizational Learning. New Brunswick: Transaction.

/ 22 /

Sumari La jornada en cinc minuts!

TAULA RODONALa pràctica de la institucionalització de l’avaluació: presentació de casos

Sra. María Luisa Carcedo Presidenta de l’Agència Estatal d’Avaluació de les Polítiques Públiques i la Qualitat dels Serveis (AEVAL)

Sr. Eduardo Zapico Direcció General de Pressupostos de la Comissió Europea

Sra. Herma Kuperus Alta funcionària del Govern dels Països Baixos i professora de l’European Institute of Public Administration

Dra. Véronique Chanut Professora de Ciències de l’Administració de la Universitat d'Alvèrnia i exrelatora general del Consell Nacional de l’Avaluació

Moderador: Dr. Xavier Ballart,catedràtic de Ciència Política i de l’Administració de la Universitat Autònoma de Barcelona

L'Agència Estatal d'Avaluació de les Polítiques Públiques i la Qualitat dels Serveis (AEVAL) es va crear a principis de 2007 amb la finalitat de

fomentar la cultura i d'implantar la pràctica de l'avaluació dels progra-mes i les polítiques d'àmbit públic. Consegüentment, <<institucionalit-zar>> l'avaluació a les organitzacions públiques espanyoles. Després de presentar l'origen, la vocació i la fina-litat d'AEVAL, vull aprofitar aquest espai per compartir amb vostès l'experiència adquirida i les lliçons apreses de la feina feta en aquests dos anys de vida de l'Agència.

En l'actualitat, AEVAL està concloent les avaluacions dels programes i les polítiques d'àmbit públic correspo-nents al segon Pla de Treball aprovat en el Consell de Ministres l'1 d'agost de 2008, que inclou sis avaluacions. Avaluacions que se sumen a les set que s'han fet i publicat en l'exercici 2007. Aquests dos anys de treball ens permeten extreure conclusi-ons per continuar aprofundint en l'experiència de l'avaluació i en les finalitats a les quals respon l'Agèn-cia Estatal d'Avaluació i Qualitat, i també en els principis d'actuació que la regeixen.

CV PDF

Sra. María Luisa CarcedoLa pràctica de la institucionalització de l’avaluació: presentació de casos LA PRÀCTICA DE LA INSTITUCIONALITZACIÓ DE L’AVALUACIÓ A ESPANYA

Presidenta de l’Agència Estatal d’Avaluació de les Polítiques Públiques i la Qualitat dels Serveis (AEVAL)

La presidenta d'AEVAL, María Luisa Carcedo, presenta l’origen, la missió i l’experiència dels dos primers anys de vida d’aquesta agència a l’hora d’avaluar les polítiques de l’Administració general de l’Estat espanyol, així com a l’hora de millorar la qualitat en la gestió del sector públic. Carcedo també detalla els plans de treball d'AEVAL dels anys 2007 i 2008, els principis d’actuació, els objectius estratègics, els instruments que els han de fer realitat i els reptes de futur.

/ 23 /

Sumari La jornada en cinc minuts!

EL PUNT DE PARTIDA DE L'AEVALCom ja he apuntat, la creació de l'Agència era un dels compromisos que incloïa el programa electoral amb el qual el partit que assumia el Govern es va presentar a les eleccions generals de l'any 2004. En el capítol dedicat a una admi-nistració pública que garantís els serveis públics essencials, s'hi especificava com a projecte prioritari <<la creació d'una agència estatal d'avaluació>>. Aquest compromís es renova en el programa de l'any 2008, amb la idea d'enfortir l'Agència d'Avaluació i Qualitat.

La Llei 28/2006, de 18 de juliol, d'agències estatals per a la millora dels serveis públics, és la referència normativa que en la seva disposi-ció addicional primera autoritza el Govern a la creació de l'Agència Estatal d'Avaluació de les Polítiques Públiques i la Qualitat dels Serveis, adscrita al Ministeri d'Administra-cions Públiques.

Amb anterioritat, es va constituir una comissió d'experts (Ordre ministerial APU/1463/2004, de 19 de maig, BOE de 25 de maig) encarregada d'ana-litzar l'experiència internacional, diagnosticar la situació de l'avalua-ció al nostre país i fer les propostes metodològiques i institucionals més desitjables per a la posada en funci-onament de l'Agència.

Tant el diagnòstic com les conclu-sions incloses en l'informe dels ex-perts han estat tinguts en compte per determinar l'estructura de l'Agència i els seus continguts i funcions.

El diagnòstic fet va constatar, en pri-mer lloc, l'absència de la cultura de l'avaluació i dels instruments neces-saris per dur a terme les avaluacions de les polítiques públiques. Com a conseqüència d'això, existia, en segon lloc, un dèficit notable d'alló que podríem denominar la concepció o <<l'enfocament avaluador>> de les polítiques públiques. En tercer lloc, es va evidenciar que no s'estaven portant a terme, de manera instituci-

onalitzada i sistemàtica, avaluacions de les polítiques públiques. I, final-ment, la conseqüència que s'extreia dels punts anteriors era que la rendició de comptes i la transparèn-cia dels recursos públics no eren visibles per a la ciutadania o, el que és el mateix, que els ciutadans no percebien l'avaluació com a instru-ment de rendició de comptes.

De les principals conclusions de la comissió d'experts, se n'han de destacar les següents:

1. L'avaluació ha de disposar d'un espai diferenciat en l'àmbit públic i ha d'ocupar un lloc destacat en l'agenda de les institucions.

2. L'avaluació de les polítiques pú-bliques és una activitat específica i amb identitat pròpia, clarament di-ferent d'altres com ara, per exem-ple, el control intern, l'auditoria financera, l'auditoria de gestió o el control pressupostari. A més, l'avaluació manté i ha de mantenir una relació de complementarietat amb aquestes altres eines.

3. En un estat descentralitzat, des-envolupar l'acció pública en l'àm-bit de l'avaluació, en molts casos, exigeix la participació dels tres nivells de govern. En aquest con-text, l'Agència es considera <<un element articulador bàsic d'un sistema públic d'avaluació estruc-turat amb un disseny cooperatiu i en el qual l'Agència tingui un espai específic>>. Per tant, es tracta d'articular un espai on es gene-rin sinergies i s'evitin duplicitats d'acció.

4. Caldria progressar més enllà de les avaluacions de projecte o programa i més enllà d'una vi-sió sectorial, perquè cal avaluar polítiques, que precisament es caracteritzen per ser transversals, intersectorials i interterritorials.

UNA MISSIÓ, DUES FINALITATSAixí doncs, tenint en compte els antecedents esmentats, s'aprova

el Reial decret 1418/2006, d'1 de desembre, pel qual s'aprova l'Estatut de l'Agència d'Avaluació de Polí-tiques Públiques i la Qualitat dels Serveis. En conseqüència, l'Agència és un organisme públic regulat en la Llei d'agències estatals per a la mi-llora dels serveis públics, la primera que s'estableix per aquesta Llei i que respon al nou model de gestió públi-ca, basat en els principis de respon-sabilitat, eficiència i participació.

L'Estatut estableix que la missió de l'Agència és promoure i dur a terme avaluacions de les polítiques i els programes públics la gestió dels quals correspon a l'Administració general de l'Estat, per afavorir l'ús racional dels recursos públics, la rendició de comptes a la ciutadania i l'impuls de la gestió de la qualitat dels serveis.

Així doncs, l'acció de l'AEVAL res-pon a una doble finalitat: política i econòmica. D'una banda, la finalitat política fa referència a la rendició de comptes, a la transparència i a la qualitat democràtica, mentre que la finalitat econòmica al·ludeix a la recerca de l'eficiència, a la racio-nalització dels recursos, a la presa de decisions basades en evidències i a l'avaluació dels resultats de les polítiques en la societat.

EL PLA ANUAL D'AVALUACIONS A ESPANYALa realització d'avaluacions de polítiques i programes públics de l'Administració general de l’Estat i l'impuls a la millora de la qualitat en la gestió de les organitzacions pú-bliques constitueixen els dos pilars bàsics de l'activitat de l'Agència. En ambdós casos, es busca la millo-ra de la qualitat de les actuacions portades a terme per l'Administració pública i, per tant, del servei que aquesta ofereix als seus ciutadans.

Les activitats d'avaluació i de promo-ció de la qualitat desenvolupades per l'AEVAL en bona part estan determi-nades per mandats governamentals específics. Aquesta característica

/ 24 /

Sumari La jornada en cinc minuts!

dóna força a la legitimitat dels tre-balls i dóna contingut específic a la institucionalització de l'avaluació i la qualitat com a eines de modernitza-ció i innovació administrativa.

Per a la consecució dels objectius plantejats per a l'Agència, el seu Estatut estableix una sèrie de com-petències i funcions, entre els quals destaquen:• Avaluar els programes i les políti-

ques públiques que anualment li encarregui el Consell de Ministres.

• Fer un informe anual per al Con-grés dels Diputats sobre l'activitat desenvolupada per les agències estatals i els seus compromisos per millorar la qualitat dels serveis prestats als ciutadans.

• Fer un informe anual de l'Observa-tori de la Qualitat dels Serveis Pú-blics que inclogui la percepció del ciutadà sobre la qualitat d'aquests serveis.

A més, com que estan dintre del seu àmbit d'actuació, s'atribueixen a l'Agència dues funcions addicionals que cobreixen un conjunt d'estratè-gies prioritàries del Govern actual. Així:• Avaluar anualment el grau d'apli-

cació i d'èxit de les principals mesures del Programa Nacional de Reformes.

• Avaluar l'estratègia espanyola de desenvolupament sostenible, en col·laboració amb l'Observatori de la Sostenibilitat d'Espanya (OSE).

D'aquesta manera, en el Pla de Tre-ball desenvolupat el 2007 per AEVAL es van dur a terme les avaluacions

següents:• Programa Nacional de Reformes

d'Espanya:• La incidència de les mesures

adoptades per racionalitzar la despesa farmacèutica.

• L'efectivitat de les polítiques en matèria de seguretat energètica.

• Els programes de foment de les activitats d'investigació, des- envolupament i innovació INGE-NIO 2010.

• Les línies de finançament per fo-mentar l'activitat emprenedora.

• Els tràmits administratius per a la creació d'empreses.

• El registre nacional de drets d'emissió de gasos d'efecte hiver-nacle.

• La qualitat del servei dels museus de titularitat pública estatal.

• La bonificació de les quotes socials a la Seguretat Social a Ceuta i Melilla, per estimular la creació d'ocupació.

Per altra banda, el 2008 s'han fet les avaluacions següents (pla aprovat pel Consell de Ministres l’1 d’agost de 2008):• Programa Nacional de Reformes

d'Espanya:• La política de millora del sistema

de transferència de tecnologia a les empreses.

• El sistema general de beques educatives.

• El sistema de gestió col·lectiva dels drets establerts per la política de propietat intel·lectual.

• La participació de l'Administració general de l'Estat en el Sistema per a l'Autonomia i l'Atenció a la Dependència.

• La política de bonificació i reducció de quotes de la Seguretat Social.

• Les accions finançades a càrrec dels pressupostos generals de l'Estat en les àrees d'influència socioeconòmica de la xarxa de parcs nacionals.

INSTRUMENTS PER FER REALITAT ELS PRINCIPIS D'ACTUACIÓDes de la creació de l'Agència, s'ha treballat en l'elaboració d'una sèrie d'instruments que permetin fer re-alitat els principis que han de guiar l'actuació de la institució. La síntesi d'aquestes pautes d'actuació i el seu correlat instrumental es presenten en el quadre següent.

CONCRECIÓ DELS PRINCIPIS D'ACTUACIÓ DE L'AGÈNCIA

Principi bàsic d'actuació• Instruments per a la seva consecució

Independència de criteri• Responsabilitat pública• Competència professionalTransparència i participació • Informe general d'activitat• Pla de comunicació i informació• Publicació i informe d'avaluació

Autonomia i responsabilitat• Contracte de gestióCooperació interadministrativa i participació institucional• Pla d'aliancesQualitat i millora continuada• Pla de qualitatÈtica professional i responsabilitat pública• Codi ètic de l'Agència• Codi ètic dels empleats públics

/ 25 /

Sumari La jornada en cinc minuts!

En aquest quadre, els principis bàsics d’actuació consten enumerats tal com apareixen en l'article 7 de l'Estatut de l'Agència Estatal d'Ava-luació de les Polítiques Públiques i la Qualitat dels Serveis, que sintetitza la proposta feta per la comissió d'ex-perts. Pel que fa als instruments, l’informe general d’activitat de l’any 2007 inclou informació molt rellevant sobre les competències atribuïdes a l'Agència.

UN NOU MODEL DE GESTIÓ PER CONTRACTELa constitució de l'AEVAL, com ja he indicat, s'inscriu en un nou model gestor basat en els principis d'autonomia, de responsabilitat i de control, que són instrumentalitzats a través del contracte de gestió.

El contracte de gestió té com a ob-jectiu regular l'activitat de l'Agència Estatal d'Avaluació de les Polítiques Públiques i la Qualitat dels Serveis i les relacions recíproques entre l'Agència i els ministeris d'Adminis-tracions Públiques i d'Economia i Hisenda, ja que està adscrita al primer i, pel que fa al finançament de la seva activitat, també al segon.

En l'àmbit d'aquesta relació entre els ministeris esmentats i l'Agència, es prioritzen les diverses activi-tats que condueixen al compliment de l'objecte de l'Agència, es traça l'enfocament en el qual ha de basar el seu assoliment i s'assignen els recursos pressupostaris i la dotació de personal per fer possible l'assoli-ment d'aquest propòsit.

En aquest àmbit i, per tant, amb aquest nou model de gestió, els objectius estratègics de l'Agència es concreten, d'una banda, a afer-mar l'aposta per l'avaluació feta pel Govern i el Parlament amb la creació de l'Agència i, de l'altra, a impulsar la millora de la qualitat en la presta-ció dels serveis públics.

D'aquestes estratègies es deriven els quatre eixos d'acció següents:

1. <<Crear>> Agència, és a dir, pro-moure la consecució d'una institu-ció que interioritzi la participació, la col·laboració i la transparència com a eixos rectors del seu funcio-nament material, i assimilar així la nova cultura de gestió pretesa.

2. Promoure la cultura avaluadora, fet que implica situar l'avaluació en un lloc destacat dintre de l'agenda dels responsables i els directius públics i convertir-la en una pràctica habi-tual a la nostra administració.

3. Fer avaluacions amb èxit, la qual cosa implica confirmar els resul-tats esperats com a conseqüència de l'acció d'un programa o d'una política pública i, d'altra banda, detectar els efectes no esperats d'aquesta intervenció pública. Aquest eix es revela un instrument clau per fer realitat la rendició de comptes i per acostar-se a la presa de decisió de manera més precisa.

4. Millorar la qualitat en la gestió de les organitzacions públiques, fet que es tradueix en un compromís amb la ciutadania. Aquest eix es materialitza amb la realització d'activitats d'investigació, assis-tència tècnica i certificació.

Des d'AEVAL es treballa intensament per dur a terme aquests objectius estratègics, a vegades en col·laboració amb les comuni-tats autònomes. Per aquesta raó, es preveu la signatura de convenis amb la finalitat d'establir un grau de cooperació beneficiós per a ambdues parts i fins i tot incorporar al Consell Rector de l'Agència els represen-tants de les comunitats autònomes (tal com està previst en l’article 4 de l’Estatut de l’Agència).

EL REPTE DE CONSOLIDAR AEVALEn propers mesos i anys, el nostre repte se centra a consolidar l'Agèn-cia, la qual cosa significa concentrar els nostres esforços, com a mínim, en tres direccions. En primer lloc,

es planteja la necessitat de gene-rar credibilitat institucional i social mitjançant la professionalitat dels treballs fets per l'Agència. En segon lloc, dintre de l'àmbit de les com-petències atribuïdes a AEVAL, hem d'impulsar i facilitar els mecanismes de col·laboració entre les adminis-tracions públiques. I, finalment, hem d'esforçar-nos per convertir gradu-alment l'Agència en una institució de prestigi i referent, tant en l'àmbit nacional com en l'internacional.

En darrer lloc, vull apuntar els factors que, durant els dos anys de vida de l'Agència, han fet possible l'èxit del nostre treball. Aquest èxit radica en l'encert en la selecció de les polítiques i els programes que s'han d'avaluar i en el temps per decidir sobre aquests; en la con-solidació d'una estructura per a la col·laboració i la cooperació, i, molt especialment, en la nostra xarxa d'experts i professionals en avalua-ció i gestió de la qualitat.

Enllaços externs

AEVAL www.aeval.es

Llei 28/2006, de 18 de juliol, d'agències estatals www.aeval.es/comun/pdf/ley_de_agen-cias.pdf

Informe dels experts www.aeval.es/comun/pdf/Informe_ comision_expertos_esp.pdf

Reial decret 1418/2006 www.aeval.es/comun/pdf/Real_ Decreto_Agencia.pdf

Observatori de la Sostenibilitat d'Espanya www.sostenibilidad-es.org/observatorio sostenibilidad/

Pla de Treball desenvolupat el 2007 www.aeval.es/es/evaluacion_de_ politicas_publicas/evaluaciones_de_la_agencia/

Informe general d'activitat www.aeval.es/comun/pdf/Informe_ general_actividad_2007.pdf

/ 26 /

Sumari La jornada en cinc minuts!

L'objectiu de la meva ponència és mostrar una visió panoràmica de l'experiència de la Comissió Euro-pea en la implantació d'un sistema d'avaluació. Des de fa més de deu anys s'estan fent esforços d'avaluació fructífers i per això l'experiència de la Comissió Europea pot ser interessant per a qualsevol administració pública. Actualment, el sistema d'avaluació de la Unió Europea està ben institu-cionalitzat i en plena fase de desen-volupament cap a una avaluació de més qualitat i cap a un millor ús dels resultats de l'avaluació en l'elabo-ració de les polítiques europees. És a dir, l’avaluació a Europa ja és una

realitat tant des del punt de vista de l’oferta com des del punt de vista de la demanda.

Començaré parlant de l’origen i les principals fases de l’avaluació a la Unió Europea. En segon lloc, des-criuré la normativa i l’organització del sistema d’avaluació. Com a tercer punt exposaré la política actual d’avaluació i el seu enfocament. I, finalment, analitzaré i avaluaré els obstacles als quals hem hagut de fer front, és a dir, quines lliçons hem après de l’experiència de la Unió Europea.

L’ORIGEN DE L’AVALUACIÓ A LA UNIÓ EUROPEAPel que fa al primer punt, l’origen de l’avaluació a la Unió Europea, cal emmarcar-lo en un conjunt d’es-forços de reforma més amplis (EU Governance). De fet, no trobem cap esforç per millorar l’avaluació que no estigui emmarcat en reformes de la governança i la gestió a Europa:

1. Reforma SEM 1 (Sound and Ef-ficient Management 2000, Gestió Financera Sòlida i Eficaç 2000) a mitjan de la dècada dels noranta. Aquesta reforma se centrava en la gestió eficient dels recursos i, de fet, es vinculava al greu problema de l’augment de la despesa a la Unió Europea (causat per noves iniciatives polítiques en recerca i desenvolupament, educació, medi ambient…, i per l’ampliació de fun-cions que feien pujar la despesa de la Comissió). Aquests eren també els anys de la disciplina pressupos-

tària i de l’aprovació dels criteris de Maastricht que havien de fer estrè-nyer el cinturó als estats membres i a la Comissió. Una de les línies de treball per aconseguir aquest objectiu de disciplina era justament impulsar els sistemes d’avaluació.

2. Unió Europea - Llibre blanc sobre la governança (2001). Amb el Llibre blanc sobre la governança es pro-posava que l'elaboració de les polí-tiques europees es faci dintre d'un marc dels principis de participació, transparència i responsabilitat, entre altres. L'avaluació es presen-tava com a instrument necessari per a algun d'aquests principis, especialment per millorar la trans-parència i la responsabilitat en el govern i la gestió de les polítiques europees.

3. Comunicacions sobre gestió per

activitats (Activity Based Manage-ment, ABM) i Avaluació d’Impactes (Impact Assessment, IA) (2002). En aquell moment es van plantejar unes reformes per augmentar la qualitat de la governança i l’eficièn-cia en la gestió dels recursos, lliga-des a comunicacions de la Comissió Europea. Aquestes comunicacions, promogudes des de diferents di-reccions generals de la Comissió, eren molt clares sobre com s'ha de dur a terme la gestió per resultats i sobre com s'han d'introduir instru-ments d’avaluació en sintonia amb aquest tipus de gestió per objectius i resultats. Dintre de la gestió per resultats també es parlava, en aquelles dates, de gestionar els

Sr. Eduardo ZapicoLa pràctica de la institucionalització de l’avaluació: presentació de casos LA INSTITUCIONALITZACIÓ DE L’AVALUACIÓ A LA UNIÓ EUROPEA

Direcció General de Pressupostos de la Comissió Europea

CV PDF

Des de la Direcció General de Pressupostos de la Comissió Europea, Eduardo Zapico mostra l’origen de l’avaluació a la Unió Europea i els esforços normatius i d’organització que aquesta institució ha fet per implantar un sistema d’avaluació en la darrera dècada. Zapico conclou que l’avaluació està clarament institucionalitzada a la Unió Europea i que ara avança cap a la millo-ra de la qualitat i l’ús que es fa d'aquesta en el procés d’elaboració de les polítiques europees.

/ 27 /

Sumari La jornada en cinc minuts!

pressupostos per resultats i de co-mençar a avaluar l'impacte de les intervencions de la Unió Europea (encara que no es pensava en una avaluació d'impacte final, sinó en una avaluació ex ante dels possibles efectes de les propostes legislati-ves o dels programes d'actuació de la Unió Europea i d'identificar les possibles opcions per a la presa de decisions).

4. Comunicacions sobre l’avaluació (1996, 2000, 2007), que marquen les diferents fases de l’evolució de l’avaluació en aquest àmbit europeu.

Per tant, insisteixo, l’origen de l’avaluació a la Unió Europea està re-lacionat amb diverses reformes, i es vol que l’avaluació estigui íntimament integrada en els processos de gestió i de pressupostos. Va néixer amb aquesta ambició. De fet, la preocupa-ció inicial era la despesa, i l’evolució posterior de l’avaluació a la Comissió ha anat lligada de manera especial als programes de despesa. En canvi, al principi no es va prestar atenció a programes importants de la Unió Eu-ropea de tipus legislatiu, informatiu, de coordinació…

TRES DATES I COMUNICACIONS CLAU: 1996, 2000 I 2007També és cert que la implantació d'un sistema d'avaluació global per a la Unió Europea no va partir de zero, atès que existia certa experiència d'avaluació per part de les direcci-ons generals d'Agricultura, d'Ajuda Humanitària, de Política Regional i

altres. El 1996, però, amb la primera comunicació sobre avaluació, es va crear una primera política global co-muna per a tota la Comissió Europea, que orientava la tasca d’altres direc-cions generals sense experiència en avaluació i que els facilitiava aprendre o fertilitzar els coneixements d’aque-lles direccions generals amb una certa trajectòria en avaluació.

Cinc anys després, l’any 2000, va sor-gir un nou impuls sobre l’avaluació i una nova comunicació que va animar la Comissió Europea perquè els re-sultats de les avaluacions es tingues-sin en compte a l’hora de fer el procés pressupostari. El pressupost es va es-tructurar a l'entorn de grans partides o <<activitats pressupostàries>> (per exemple, els fons estructurals, pro-grames marc d'actuació, agències, etc.). Cada direcció general identifi-cava dues, tres, quatre… d'aquestes grans polítiques o línies de treball, o agències dependents que, segons el reglament financer, havien de ser objecte d'avaluació. Fins i tot es van presentar els pressupostos d'acti-vitats sense línia pressupostària, o sigui, sense conseqüències en la des-pesa, que també podien ser objecte d'avaluació. Amb el canvi de segle, es va obrir una nova fase en el desen-volupament de l’avaluació a la Unió Europea en la qual s’associa l’avalu-ació a l’intent d’utilitzar els resultats i les evidències que siguin útils per a la presa de decisions i millores de les polítiques europees.

Finalment, l'any 2007 es va aprovar una nova comunicació que plante-

java utilitzar l'avaluació a un nivell més elevat de decisió. Es buscava que l’avaluació no s’apliqués només de manera immediata en sectors i nivells molt operatius, sinó que també s’enllacessin els resultats de l’avaluació amb les grans prioritats de la Comissió. Per tant, es buscava anar més enllà de l’esforç avaluador, per millorar les polítiques secto-rials i promoure, en canvi, que de l’avaluació sorgeixi una producció de coneixements útils per identificar en quina mesura cadascuna de les grans polítiques sectorials contribu-eix a impulsar o assolir els objectius prioritaris de la Comissió al màxim nivell estratègic. L’avaluació s’entén aquí com una resposta a les neces-sitats estratègiques de la Comissió i significa una evolució clara en relació amb les dues fases anteriors.

EL MARC NORMATIU I ORGANITZATIUDesprés d’haver explicat l’origen i les fases de l’avaluació a la Unió Euro-pea, voldria tractar el segon punt: el marc normatiu i organitzatiu. Aquí cal ressaltar dues idees principals. D’una banda, hi ha un compromís legal d’avaluar –clar i fonamental– que es planteja en diferents articles de la legislació que parlen de l’obligació d’avaluar quan hi ha intervencions amb una despesa significativa. Aquí destacaria el Reglament financer 1605/2002, del Consell, i les normes d’implantació, Reglament de la Co-missió 2342/2002. De fet, l’article 33 –que trobo massa ambiciós– assenya-la que el resultat de l’avaluació s’ha d’utilitzar per justificar la sol·licitud

/ 28 /

Sumari La jornada en cinc minuts!

de crèdit i les variacions que es pre-sentin d’un any respecte al següent. A més, cal afegir altra legislació, com ara alguns reglaments específics (per exemple, per als fons estructurals, agricultura…). També cal incloure en la base normativa els estàn-dards d’avaluació i bones pràctiques (C/2007/213).

Per altra banda, hi ha una organitza-ció institucional de l’avaluació sòlida, tant pel que fa a la demanda com pel que fa a l’oferta. La imatge següent recull de manera informal les institucions i la seva relació amb l’ava-luació: apareixen representats el Parlament, el Consell, així com la Comissió, amb totes les unitats d’avaluació i de coordinació interna. Totes aquestes institucions se situen al costat de quatre fòrums on es debat sobre l'avaluació i on es demana coneixement avaluatiu (els cercles ombrejats a la imatge): BH (Budget Hearings, Audiències Pressupostàri-es), on tenen lloc les discussions bilaterals entre la Comissió i la Direcció General de Pressupostos, així com el COMBU (Committee on Budgets, Comissió de Pressupostos, del Consell de Ministres de la UE) i el COBU (Committee on Budgets, Comissió de Pressupostos, del Parlament Europeu), que són comitès des dels quals es demana avaluació i informació per justificar i donar suport a les demandes pressupostàri-es. La xarxa institucional està ben dissenyada i les relacions són clares, però hi ha certes limitacions a l'hora d'intentar aplicar els resultats de l'avaluació.

QUINES CARACTERíSTIQUES ORGANITZATIVES SINGULARITZEN L’AVALUACIÓ A EUROPA?Acabem de parlar de la xarxa ins-titucional de l’avaluació a la Unió Europea. Ara m’agradaria exposar quines característiques organit-zatives distingeixen l’avaluació en l’àmbit comunitari.

1. El sistema d'avaluació forma part de la mateixa Comissió Europea; és a dir, no és un sistema extern, sinó que està situat al centre de la institució, dins de la mateixa Direcció General de Pressupostos, per desenvolupar una avaluació molt concreta: l'avaluació ex post i l'avaluació ex ante d'impacte (impact assessment).

2. Paral·lelament al fet que el sis-tema d’avaluació està situat a la Comissió, hi ha altres institucions amb instruments que tenen una força enorme a l’hora de super-visar l’avaluació: els informes del Tribunal de Comptes per revisar el sistema d’avaluació i proporcionar un feedback positiu per millorar aquest sistema; les sol·licituds del Consell i del Parlament perquè la Comissió faciliti informació es-pecífica sobre l’estat o la qualitat de la informació avaluativa incor-porada als plans d'activitats i la documentació pressupostària, que recullen nombrosa informació no financera sobre els resultats de la gestió o les previsions en termes d’objectius i d’indicadors.

3. El sistema d'avaluació és des-centralitzat, cada direcció general realitza la seva activitat avaluado-ra de manera autònoma. Dintre de cada direcció general hi ha unes unitats o departaments que es van denominar funcions d'avaluació.

4. D’altra banda, aquestes <<funci-ons d’avaluació>> es coordinen des de la unitat central d'avaluació de la Direcció General de Pressu-postos mitjançant una xarxa d’ava-

luació que es reuneix de manera regular i assídua.

5. Aquesta xarxa d’avaluació es considera el principal fòrum per a la coordinació i l’aprenentatge, ja que va molt més enllà de l’in-tercanvi d’informació. És un fòrum que s’organitza anualment per fo-mentar la gestió del coneixement.

6. Entre les característiques or-ganitzatives destaca també la gran dependència que el sistema d’avaluació europeu té respecte als recursos externs: un setanta per cent de l’esforç d’avaluació se subcontracta a serveis externs, empreses de consultoria i empre-ses especialitzades en cada sector. Aquests col·laboradors externs fan avaluacions de gran dimensió i abast que estan fora de la capa-citat interna de la Comissió, atesa l'escassetat dels seus recursos humans.

7. Finalment, vull esmentar la ca-pacitat per aprendre: estudis ECA (European Court of Auditors, Tribunal de Comptes Europeu), QA (Quality Assurance, Control de Qualitat) i BUDG (Direcció General de Pressupostos).

QUI FA QUÈJa he comentat que treballem amb un sistema d’avaluació descen-tralitzat, on cada direcció general desenvolupa un treball específic. També he destacat el rol central de la unitat d’avaluació de la Direcció General de Pressupostos i l’existèn-cia d’una xarxa d’avaluació per a la coordinació i l’aprenentage. Ara vol-dria detallar quines responsabilitats recauen en cadascuna d’aquestes institucions o unitats.

Què fa cada direcció general de la Comissió Europea (avaluació des-centralitzada):• Té una funció d’avaluació (EF) amb

una responsabilitat definida per planificar, coordinar i controlar avaluacions, així com per desenvo-lupar-les (aquest punt sí que està

/ 29 /

Sumari La jornada en cinc minuts!

centralitzat en la mateixa direcció general).

• Assegura que els recursos hu-mans i financers s’identifiquin amb claredat i s’assignin propor-cionalment per a les activitats d’avaluació.

• Defineix les tasques, les responsa-bilitats, l’organització i els proce-diments per a tots els actors invo-lucrats a gestionar l’avaluació.

• Contribueix a la planificació, així com als documents pressuposta-ris i als informes anuals.

• Segueix el pla d’acció per implantar les recomanacions de l’avaluació.

Què fa la unitat d’avaluació de la Direcció General de Pressupostos:• Preparar normes i estàndards de

col·laboració amb les direccions generals.

• Promoure bones pràctiques a la Comissió.

• Donar suport a les funcions/uni-tats d’avaluació.

• Examinar de manera detallada les propostes pressupostàries.

• Recopilar i sintetitzar els resultats d’avaluació a les direccions gene-rals operatives.

Què fa la Xarxa d’Avaluació:• Es constitueix com un grup de

representants de les funcions d’avaluació.

• El seu objectiu és compartir expe-riències d’avaluació i el desenvo-lupament de coneixements.

• Es reuneix cinc vegades l’any.• Estableix un pla anual d’activitats

(WG, seminaris, formació…).

POLíTICA D’AVALUACIÓ I ENFOCAMENT ESTRATÈGIC ACTUALAmb aquestes idees he tancat el segon punt de la ponència, sobre la normativa i l’organització de l’avalu-ació a la Unió Europea, i passo a desenvolupar el tercer punt: la política d’avaluació i el seu enfoca-ment en l’actualitat, centrat en l’ús estratègic de l’avaluació. I, quan parlem d’ús, ens referim a produir informació rellevant per a les políti-ques estratègiques i prioritàries de

la Comissió Europea, i no només les sectorials.

Per tant, l’objectiu principal és millorar la pràctica de l’avaluació de manera que, d’una banda, s’orienti més cap al desenvolupament de la política estratègica i, de l’altra, sigui més útil per prendre decisions al màxim nivell estratègic.

MESURES PER UTILITZAR L’AVALUACIÓ ESTRATÈGICAMENTPer assolir aquest objectiu, la Comissió Europea se centra en una sèrie de mesures per millorar l’ús estratègic dels resultats de l’avalu-ació. Destacaria quatre àmbits on s’està fent un esforç important per-què, en síntesi, l’avaluació sigui més rellevant, es difongui el coneixement, se simplifiquin els estàndards i s’integri eficaçment en la planificació i la preparació de pressupostos.

1. Assegurar que les avaluacions es dissenyen de manera que facilitin la producció d'evidències i infor-mació rellevants i apropiades per satisfer les necessitats estratègi-ques d'informació de la Comissió Europea.• Ampliació de l'àmbit d'aplicació

a tota classe d'iniciatives, siguin amb despesa o sense despesa (legislació, informació, coordina-ció, etc.).

• Enfocament: introducció de criteris i qüestions sobre el grau d'utilitat de les iniciatives avaluades en les prioritats de la Comissió.

• Oportunitat temporal: ajusta-ment i sincronització dels plans d'avaluació als plans de decisió.

2. Assegurar que els resultats de l’avaluació es comuniquen i es difonen millor:• Presentar els informes als deci-

sors i als grups d’interès.• Realitzar informes anuals d’ava-

luació i EIMS (European Innova-tion Monitoring System, Sistema Europeu de Monitoratge de la Innovació).

• Elaborar documents pressupos-

taris i de planificació.• Organitzar seminaris per a grups

d’interès.• Seguir els resultats i els plans

d’acció.

3. Simplificar els estàndards de l’avaluació en:• Recursos i organització.• Planificació de (totes) les activi-

tats d’avaluació.• Disseny de cada avaluació.• Direcció i execució de les avalu-

acions.• Difusió i ús dels resultats de

l’avaluació.

4. Integrar l’avaluació en la planifica-ció i l’elaboració del pressupost:• La informació de l’avaluació ha

estat integrada formalment en el cicle Planificació i Programació Estratègica (Strategic Planning and Programming [SPP] i de gestió de resultats [ABM]).

• Els resultats de l’avaluació han de contribuir al debat i a les de-cisions sobre els objectius polí-tics, les activitats i el pressupost de la Unió Europea.

En aquest sentit, hi ha una sèrie de documents que incorporen l’avalua-ció en el cicle SPP, que aconseguei-xen que hi hagi informació avalu-ativa en aquest cicle. En la fase de programació, són el pla i l’estratègia anual APS (Annual Policy Strategy, Estratègia Política Anual), les fitxes d’activitat ABB-PDB (Activity Based Budgeting-Preliminary Draft Budget, pressupost basat en activitats-avant-projecte de pressupost), el pla anual de gestió i els plans d’avaluació. I en la fase dels informes, destaquen l’informe anual d’activitats i l’informe anual d’avaluació.

/ 30 /

Sumari La jornada en cinc minuts!

LES RAONS PER AVALUARPer tancar aquest tercer apartat sobre la política d’avaluació i l’enfo-cament actual, exposaré breument quines són les raons per avaluar en l’àmbit europeu. És a dir, per què s’avalua a la Comissió Europea? Per què i com es pren la decisió d’ava-luar? En general, pot dir-se que el procés de decisió sobre què i quan s'ha d'avaluar és descentralitzat i no imposat des dels alts nivells de la Comissió. Com sol dir-se, és més aviat <<de baix a dalt>> (bottom up). En primer lloc, la decisió d'avalu-ar pot ser la conseqüència d’una obligació legal, de la petició d’un comissari o de les institucions de la Unió Europea. En segon lloc, les direccions generals també poden decidir fer una avaluació per raons d’oportunitat: per exemple, per necessitats estratègiques d’informa-ció, per satisfer les prioritats del seu comissari.

CONCLUSIONS DE LES ExPERIÈNCIES DE LA UNIÓ EUROPEA EN AVALUACIÓEn el quart i darrer apartat tinc la intenció d’extreure algunes conclusi-ons sobre les experiències de la Unió Europea pel que fa a l’avaluació, que, de fet, podríem considerar un sistema en ple desenvolupament. És a dir, i torno així a l’inici de la meva exposició, hi ha indicis clars que l’avaluació de la Unió Europea està ben institucionalitzada des del punt de vista formal i en fase de des- envolupament cap a una major qua-litat i un millor ús dels seus resul-tats per elaborar polítiques.

Aquestes conclusions es basen en les característiques que ha de tenir un sistema d'avaluació de polítiques públiques per ser considerat com a tal. La intenció és identificar les evidències que aquestes caracterís-tiques es donen a la Unió Europea i exposar els principals factors d'èxit i les millores en curs pel que fa a l'avaluació a Europa.

Per tant, en primer lloc, quines són les característiques d’un sistema

d’avaluació? Segons una part d’un estudi internacional dirigit per Ray C. Rist, podem pensar que es pot parlar de l'existència d'un sistema d'avalu-ació quan es compleixen les quatre condicions següents:• L’activitat avaluadora es realitza de

manera permanent i regular.• En un marc organitzatiu/institucio-

nal determinat.• Amb una perspectiva metodològica

ben identificada.• I amb la intenció d’utilitzar sis-

temàticament els resultats de l’avaluació.

Des del meu punt de vista, aques-tes condicions es compleixen a la Comissió Europea. És a dir, hi ha una producció regular d’avaluacions des de l’any 2002: actualment n’hi unes dues-centes l’any, a banda de moltes més d’impact assessment i centenars, gairebé milers, als estats membres i dirigides per les políti-ques regionals. I, a part d'això hi ha una organització consolidada, es genera un coneixement metodològic sobre avaluació que s'està desen-volupant, els resultats s'utilitzen en la política sectorial i hi ha intenció i capacitat d'aprenentatge perquè en el futur s'utilitzi també a nivell estratègic.

ELS FACTORS DE L’<<ÈxIT>> A LA UNIÓ EUROPEAPer aconseguir aquest èxit relatiu de l’avaluació a la Unió Europea, hem de considerar una sèrie de factors fonamentals:

1. L’obligació legal clara i explícita d’avaluar les intervencions de la

Comissió Europea i d’utilitzar els resultats d'aquesta avaluació.

2. La demanda d’informació avalu-ativa per part de les institucions comunitàries i de l’alta direcció de la Comissió.

3. La disponibilitat i el desenvolu-pament del capital social (col-laboració i confiança recíproques entre els actors i centres princi-pals relacionats amb l'avaluació i les seves corresponents xarxes o comunitats d'avaluació) i intel-lectual (metodologia i saber fer).

4. La capacitat per aprendre (per exemple, que hi hagi diferents ca-nals de feedback positiu sobre com millorar els sistemes d’avaluació i d’exigència de responsabilitats).

A continuació voldria comentar sintèticament les línies de millora que la Unió Europea està seguint en l'actualitat:

1. Equilibrar la cobertura de les activitats que s'han d'avaluar (les mesures legals i d’altres que no impliquen despesa no estan prou cobertes).

2. Augmentar l’enfocament estratè-gic (per exemple, incorporar a les avaluacions qüestions relaciona-des amb l’estratègia i fomentar qüestions avaluatives del tipus cost-eficàcia).

3. Consolidar una cultura i un estil de decisió/gestió per resultats a la Comissió.

/ 31 /

Sumari La jornada en cinc minuts!

4. Continuar l'esforç de reforma que s'està fent des del 2005 per mi-llorar la qualitat de l'avaluació i la incorporació dels seus resultats en els processos i documents de planificació i pressupost.

Per concloure, voldria ressaltar que segons les evidències presentades es pot afirmar que hi ha proves que el sistema d'avaluació de la Unió Eu-ropea està ben institucionalitzat i té capacitat per desenvolupar la quali-tat i l'ús dels resultats de l'avaluació per a la formació de les polítiques i les estratègies europees.

Enllaços externs

Comissió Europea http://ec.europa.eu/index_es.htm

Unió Europea http://europa.eu/

Sound and Efficient Management 2000 http://europa.eu/generalreport/en/1997/enx80297.htm

Llibre blanc de la governança http://europa.eu/scadplus/leg/es/lvb/l10109.htm

Direccions generals de la Comissió http://ec.europa.eu/dgs_es.htm

Direcció General d'Agricultura http://europa.eu/pol/agr/index_es.htm

Direcció General d'Ajuda Humanitària http://europa.eu/pol/hum/index_es.htm

Direcció General de Política Regional http://europa.eu/pol/reg/index_es.htm Reglament financer 1605/2002 del Consell http://europa.eu/scadplus/leg/es/lvb/l34015.htm

Reglament de la Comissió 2342/2002 http://eur-lex.europa.eu/LexUriServ/site/es/consleg/2002/R/02002R2342-20070501-es.pdf

Estàndards d’avaluació i bones pràctiques (C/2007/213) http://ec.europa.eu/dgs/informa-tion_society/evaluation/data/pdf/sec_2007_0213_en.pdf

Parlament Europeu http://www.europarl.es/

Consell Europeu www.consilium.europa.eu/

Direcció General de Pressupostos http://ec.europa.eu/dgs/budget/index.htm

Tribunal de Comptes Europeu http://eca.europa.eu/portal/page/portal/eca_main_pages/splash_page

/ 32 /

Sumari La jornada en cinc minuts!

Sra. Herma KuperusLa pràctica de la institucionalització de l’avaluació: presentació de casos AVALUACIÓ DE POLÍTIQUES PÚBLIQUES: EL CAS D’HOLANDA

Alta funcionària del Govern dels Països Baixos i professora de l’European Institute of Public Administration EIPA, (Maastricht)

En aquesta ponència presentaré el cas holandès en relació amb l’ava-luació de les polítiques públiques. D’una banda, abordaré la trajectòria del nostre sistema d’avaluació i, de manera concreta, detallaré el cicle vital de les polítiques, les caracte-rístiques del sistema i la història de l’avaluació, que resulta força parti-cular a Holanda. De l’altra, parlaré de la situació actual en aquest àmbit, sobretot del model que s’utilitza, de les normatives i regulacions especí-fiques que ens afecten, i també dels rols dels actors de l’avaluació i de les relacions que s’estableixen entre

ells, ja que Holanda és un país cen-tralitzat però amb administracions autònomes. Finalment, proposaré una sèrie de conclusions sobre el cas holandès: les lliçons apreses a partir de la nostra experiència.

EL CICLE VITAL DE LES POLíTIQUES PúBLIQUESLa imatge següent mostra un pano-rama familiar per als qui treballem en l’avaluació de les polítiques públi-ques: és el cicle de vida de les polí-tiques públiques a Holanda, que ens serveix per veure en quines àrees i de quines maneres podem avaluar. En l’inici del cicle podem fer servir l’exploració a través d’avaluacions ex ante. L’exploració ens permet esbrinar amb quins problemes ens podem trobar en el futur i amb quines vies podem afrontar aquests problemes potencials.

A partir d’aquí preparem escenaris alternatius per poder formular les polítiques. En definitiva, hem avançat ja cap a la fase de formulació de les polítiques, on també tenen un paper significatiu les avaluacions ex ante. Aquestes avaluacions no s’utilitzen només per mantenir un

debat sobre les polítiques, sinó que, en els darrers cinc anys, també ens han servit per analitzar l’impacte de les polítiques abans que s’apli-quin, fixant-nos especialment en si les polítiques triades són realment aplicables o implantables, si es pot controlar aquesta implantació, si són polítiques realitzables o no, i si estan protegides contra possibles fraus. De fet, a vegades volem implantar una política i, al final, veiem que el resul-tat aconseguit és força diferent del que havíem previst. Per tot això, cal fer l’anàlisi d’impacte de la política abans d’implantar-la.

Durant la implantació i l’execució de les polítiques, hi ha avaluacions ín-terim o intermèdies que examinen el contingut, però sobretot el procés de les polítiques. En l’actualitat, la major part de les polítiques les executa el Govern nacional, malgrat que hi ha molts altres actors implicats, com les administracions locals, les agències o el sector privat. En aquesta fase d’execució, hi ha un ampli sistema de control o monitoratge que també for-ma part de la informació que s’utilitza a l’hora de desenvolupar avaluacions ex post, és a dir, per veure si ens cal revisar les polítiques existents o bé iniciar una nova política. Per des-comtat disposem d'un departament d’auditories comptables per saber com hem gastat els diners i si els hem gastat d’una manera efectiva i eficaç. Aquesta és una anàlisi del cicle polític holandès actual, un cicle força definit després que s’hagi de-senvolupat durant diversos anys.

CV CV+ PDF

Des de l’experiència al Govern dels Països Baixos i com a professora de l’EIPA, Herma Kupe-rus explica el model holandès d’institucionalització de l’avaluació, així com el paper que té en el cicle de formulació de les polítiques públiques. La trajectòria holandesa permet a Kuperus extreure conclusions i recomanacions, com ara evitar una regulació excessiva de l’avaluació, prioritzar la qualitat sobre la quantitat i ser conscient tant de les oportunitats com de les limi-tacions de l’avaluació.

/ 33 /

Sumari La jornada en cinc minuts!

LES CARACTERíSTIQUES DELS PAïSOS BAIxOSAbans d’entrar a fons en aquest pro-cés, és important parlar dels trets ca-racterístics del nostre país: en desta-caria cinc. En primer lloc, els Països Baixos són un país petit amb molts habitants i, per tant, amb escassetat estructural d’espai, recursos, habitat-ge... Per això tenim una llarga tradició a fer polítiques molt estructurades, sobretot en el camp de la planificació regional i l'habitatge.

En segon lloc, tenim una llarga tradició d’anàlisi de tendències i d’avaluació política, realitzada, però, per professionals de les polítiques públiques que estaven vinculats a la universitat. El que passa és que aquests esforços es van centrar en el passat en el contingut de la polí-tica, en la pregunta sobre si era una bona política, i no en la seva eficièn-cia i eficàcia.

D’altra banda, pel que fa a l’àmbit fi-nancer, Holanda també presenta una trajectòria extensa en la planificació i el control dels pressupostos de l’Administració pública. Tot i que els experts van començar pels aspectes financers, la seva feina també s’ha estès als aspectes organitzatius i ha abordat l’eficiència de l’organització.

Des de l’any 1999 treballem amb un sistema nou per elaborar els pressu-postos i la comptabilitat (VBTB, Poli-cy Budgets and Policy Accountability), amb el qual mirem d’enllaçar els dos conceptes d’eficiència i eficàcia. Intentem fer aquest enllaç a través de plans i informes anuals sobre el que s’ha fet i el que no s’ha fet.

Finalment, Holanda ha adoptat un enfocament que integra cada vegada més l’avaluació de les polítiques en el cicle pressupostari. És a dir, l’avaluació forma part del sistema de planificació dels pressupostos.

LES TRES ETAPES DE LA HISTòRIA DE L’AVALUACIÓHa estat interessant que alguns dels ponents anteriors hagin parlat de la

recessió econòmica perquè, en certa manera, té a veure amb la història de l’avaluació a Holanda, que es pot caracteritzar per tres períodes diferents. El primer, el podríem con-siderar el moment del domini dels experts i els acadèmics (1971-1990), de manera que ja hi havia algunes avaluacions professionals. A finals de la dècada dels vuitanta, però, la recessió va arribar a Holanda i ho va fer molt ràpidament, gairebé de cop.

Per això, el segon període (1991-2001) va emfasitzar l’eficiència de les polítiques i es va centrar a saber com es gastaven els diners dels impostos, com es podien pren-dre millors decisions i triar entre diferents alternatives polítiques. En aquesta etapa es van endegar nombroses iniciatives diferents per integrar l’avaluació en el sistema d’elaboració de les polítiques i en el procés pressupostari. De fet, el moment clau va arribar l’any 1999, quan va arrencar el nou sistema de pressupostos i comptabilitat de les polítiques públiques –el ja esmentat VBTB–, que volia centrar-se més en els outcomes, perquè mirava de rela-cionar els resultats de les polítiques amb els seus objectius, instruments i diners invertits.

Aquesta iniciativa es va completar l’any 2000: ja no es feien només plans anuals que es presentaven en un debat obert i solemne perquè tothom sabés el que el Govern havia planificat fer, sinó que també es van introduir moments de responsa-bilitat i de comptabilitat financera en els quals el Govern explicava al Parlament holandès i al públic què havia fet i com ho havia fet. Malgrat que això va començar l’any 2000, ni els mitjans de comunicació ni els polítics ho van considerar interes-sant, un fet que mostra la tensió que hi ha habitualment entre la pràctica política i el pensament polític. La pràctica dels polítics s’orienta sovint a elaborar i mostrar grans plans i a aconseguir ser elegits després en els processos electorals, però sense tenir en compte si aquests plans

s’han realitzat o no o si s’han realit-zat amb més diners dels previstos. Aquesta comptabilitat o responsabi-litat no interessa gaire excepte quan passa alguna cosa negativa, i llavors, lògicament, interessa molt més als mitjans de comunicació que als polí-tics, que, de fet, eviten parlar-ne per por a generar alguna crisi política. En canvi, a l’altra banda, l’Adminis-tració pública està molt interessada en els efectes a llarg termini de les polítiques i es fa preguntes clau com ara <<hem aconseguit el que volíem?>> o <<podríem haver-ho fet d’una altra manera?>>. Insisteixo, per tant, que hi una certa tensió en aquest sentit.

Pel que fa al tercer període, l’avalua-ció com a eina i forma de pensar in-tegrada en el sistema pressupostari i en les regulacions de les polítiques (2002-2006), es va desenvolupar en dos passos. El primer data de l’any 2002, quan va sorgir la primera llei que va regular l’avaluació a Holanda (Performance Data and Evaluative Stu-dies Regulation, RPE), que era molt restrictiva i anava de dalt a baix per-què, malgrat que va abraçar tots els nivells dels ministeris i les agències, va començar al centre: el Ministeri d’Economia. Aquesta primera llei, així com el sistema VBTB, creat l’any 1999, es van avaluar el 2004 i gràcies a aquesta avaluació vam aprendre lli-çons interessants que apareixen re-flectides en el segon pas del període: la nova normativa de 2006 (Regulation on Periodical Evaluation, RPE).

EL MODEL UTILITZAT Per tant, a Holanda es va inaugurar una nova gran manera de pensar l’any 1999 amb el model VBTB. Aquesta regulació pretenia millorar l’estructuració dels pressupostos; formular amb claredat els objectius en els pressupostos amb unitats acceptables, mesurables segons els resultats i intel·ligents perquè fossin realitzables i viables; i també enllaçar els objectius amb les eines i els recursos necessaris per fer-los realitat. En aquest sentit, cada ministre del

/ 34 /

Sumari La jornada en cinc minuts!

Govern havia de respondre tres grans qüestions –en tots els camps polítics de la seva competència– per poder assolir les finalitats en l’àrea política tractada: • Què farem per aconseguir-ho?• Quant permetrem que ens costi?• Què volem aconseguir?

Aquest era, de fet, un procés obliga-tori que implicava tots els ministeris i que anava de dalt a baix, amb molta informació i formats facilitats pel ministre de Finances, però també de baix a dalt, amb plans i pressupos-tos, i que finalment es va implantar a tots els nivells de l'Administració pública nacional. D’aquesta manera, s’anaven fent plans d’implantació i control de les polítiques que incloïen quin tipus de política es volia fer, quins instruments es volien utililtzar, així com quina quantitat de diners s’havia d’emprar... Era, en definitiva, una estratègia molt estructurada que s’aplicava a tots els nivells dins dels ministeris i que permetia seguir l’evolució del procés. Aquest és el model creat l’any 1999, avaluat el 2004 i millorat el 2006.

ELS ACTORS, ELS ROLS I LES RELACIONSQui participa en aquest procés, quin paper hi tenen aquests actors i com es relacionen entre ells? Malgrat que a Holanda es funciona amb un sistema polític centralitzat, hi ha molts agents o actors, perquè també tenim administracions autònomes descentralitzades. En tot cas, una de les figures clau és la dels ministres, perquè els ministeris es responsa-bilitzen d’elaborar les polítiques i d’avaluar-les, malgrat que poden ex-ternalitzar aquesta avaluació perquè la facin les universitats, les agències, altres administracions, els instituts especials… A banda, en el mateix àmbit ministerial hi ha unitats de previsió i d’anàlisi de tendències, grups especialitzats que lliuren els seus estudis i treballs –i també avaluacions– a les diferents àrees de polítiques públiques i que també les difonen a la societat o al Parlament holandès.

També té un paper en aquest procés el Tribunal de Comptes (Algemene Rekenkamer), un sistema de qualitat que assegura que els polítics realit-zen l’avaluació i que la realitzen cor-rectament, de manera que controlen el sistema. Se situa al nivell més alt i aporta una visió global. És, de fet, un institut independent que pot incoar avaluacions interministerials. A més, per exemple, si hi ha més d’un ministeri implicat, pot investigar, fer valoracions i presentar-ne els resul-tats al Parlament. Totes aquestes avaluacions estan disponibles al web del Parlament d’Holanda en llengua holandesa.

LA REGULACIÓ SOBRE ESTUDIS AVALUATIUS DE L’ANY 2002Voldria ara aprofundir en la regula-ció específica sobre avaluació que Holanda va aprovar l’any 2002, que ja he mencionat anteriorment (Perfor-mance Data and Evaluative Studies Regulation). Potser a l’inici tots els països necessiten aquest tipus de legislació per garantir –tal com pre-tenia Holanda llavors– que la funció avaluativa es realitza dins del Govern central, a cada ministeri, i que es recull informació de qualitat sobre les polítiques per al pressupost i l’informe anual.

En el nostre cas era una regulació obligatòria, molt rígida i detallada, que treballava amb tres instruments: les avaluacions ex ante, les avalua-cions ex post i els sistemes de mo-nitoratge o supervisió. D’una banda, la regulació del 2002 determinava que calia avaluar totes les noves polítiques, tots els instruments i tots els canvis en les polítiques amb una avaluació ex ante, i que tot això s’havia de justificar i documentar

dins de les propostes polítiques. De l’altra, reservava les avaluacions ex post per a les polítiques importants, que s’havien d’avaluar integralment un cop cada cinc anys. A més, hi havia uns sistemes de supervisió que se centraven en els inputs i els outputs (o resultats en termes de productes, serveis o activitats), però també en els outcomes o suma de resultats de les polítiques en relació amb els seus objectius. O això és el que pensàvem llavors.

El fet, però, és que l’any 2004 es va avaluar tot aquest sistema i es va detectar que havíem d’acceptar que no arribava a desembocar en els outcomes, sinó només en alguns efectes de les polítiques. Per tant, l’any 2006 es va arribar a una nova regulació sobre avaluació (Regulation Periodical Evaluation, RPE), que des-cartava algunes parts poc importants de la regulació anterior i hi afegia un component nou. En lloc d’aportar grans informes o estudis per a les avaluacions ex ante de les polítiques o dels canvis de les polítiques, es va proposar que caldria respondre preguntes breus i concretes, com ara: és això una cosa que ha de fer l’Administració pública nacional? O la podem deixar a les mans de les administracions locals, del mercat o de les organitzacions privades? Què podem fer respecte d’aquest tema?, etc. Vam reconèixer la realitat que molts dels grans informes, sovint realitzats per instituts que guanyaven força diners amb aquesta feina, no ajudaven ni milloraven les polítiques, i vam dir que no volíem anar per aquest camí. Vam veure que era més important obtenir un informe breu i precís que no pas informar sobre tot de manera exhaustiva.

Pel que fa a l’avaluació ex post, la re-gulació del 2006 la considerava una investigació periòdica sobre l’efici-ència i l’eficàcia de les polítiques. En aquest sentit, es distingia entre els efectes de la política (que es poden conèixer amb l’anàlisi d’efectes, que mesura els efectes nets d’una política o instrument) i els outcomes

/ 35 /

Sumari La jornada en cinc minuts!

o suma de resultats a mitjà i llarg terminis en la societat (que es poden examinar amb la valoració política, que avalua una política de manera general o segons els seus objectius operatius). Aquí cal tenir present que els outcomes poden arribar no només com a resultat dels processos polítics, sinó també com a resultat del que ha passat en altres àmbits –polítiques locals, internacionals…– o en d’altres moments. La crisi financera actual n’és un exemple, perquè hem vist que els països no podien preveure-la o controlar-la a causa de les influències exteriors.

També vam aprendre que havíem de fer servir comissions més indepen-dents o imparcials, o institucions externes, segons quin fos el pes del projecte; que havíem d’assegurar l’equilibri de poders per poder obte-nir informació equilibrada i adient en tot moment, i que havíem de progra-mar avaluacions en els plans polítics i pressupostaris.

LES LLIçONS QUE HEM APRÈSAquestes són algunes de les realitats concretes que hem après a Holanda amb l’avaluació de la regulació del 2002 i amb l’actualització d’aquesta regulació del 2006. També és cert, però, que hem après més lliçons generals a partir de tota l’experiència global de les darreres dècades. Quines serien les principals lliçons dels Països Baixos pel que fa a l’avaluació de les políti-ques públiques?

1. L’avaluació s’ha de basar en una orientació cap als resultats o una orientació output and outcome.

2. Regular excessivament les avalu-acions en disminueix la qualitat i l’ús: en aquests casos, l’avaluació s’acaba fent perquè s’ha de fer, però no perquè vulgui aportar alguna cosa útil o desenvolupar bones idees.

3. És millor fer poques i bones avalu-acions que fer-ne moltes de quali-tat mediocre.

4. Convé ser realistes i moderar les nostres expectatives sobre les avaluacions, però millorar-ne els mètodes constantment. L’avalua-ció no dóna totes les respostes, ni sempre assenyala el camí correcte.

5. En lloc de recollir nombroses informacions irrellevants i dades inútils, cal invertir a esbrinar i formular les preguntes correctes per respondre.

6. És important ser conscient dels límits d’explorar alternatives i ser creatiu per trobar nous camins o maneres d’enfocar l’avaluació per implicar les parts interessades, per saber si estan d’acord amb la mesura o per determinar si una política acceptada és bona o no.

Els polítics treballen amb una ori-entació a curt termini perquè han de tornar a ser elegits al cap de pocs

anys. Per això les avaluacions que van massa lluny no els serveixen gaire. Els experts o gestors que treballen en l’Administració pública amb contractes d’alt rendiment es pregunten si poden fer la feina en tres anys i després tenir un altre contracte, perquè no els interessa el que passarà després. Això em fa pensar en els límits de l’avaluació en l’actualitat, perquè al final, en aquest marc, s’hi poden donar alguns efectes col·laterals. Aquesta gent no s’interessa pels efectes a llarg termini, sinó que només pels efectes a curt termini i per la seva carrera.

Per això, fins i tot si es dóna una base o un raonament excel·lent per desen-volupar plans polítics, no hi ha cap garantia que aquests plans s’acabin implantant. Sí que és cert que un document específic i ben presentat –que mostri una relació clara entre els objectius, els instruments i el fi-nançament– aconsegueix exposar en primer pla totes les dades rellevants de manera sistemàtica i senzilla, i que, per tant, aquest tipus de document ajuda a prendre decisions raonades, facilita el procés de presa de decisions polítiques. Tanmateix, en última instància, la decisió és política!

Enllaços externs

Govern nacional www.government.nl

Parlament holandès www.parlement.nl

Ministeri d’Economia www.minfin.nl/english

Tribunal de Comptes (Court of Audit, Algemene Rekenkamer) www.rekenkamer.nl

Web del Parlament d’Holanda en llengua holandesa www.tweedekamer.nl/applicaties/ result.jsp

/ 36 /

Sumari La jornada en cinc minuts!

En aquesta ponència abordaré l’ex-periència francesa en avaluació de polítiques públiques, miraré d’ex-treure algunes reflexions del nostre passat i, sobretot, apuntaré algunes perspectives per al futur d’aquest àmbit. Per iniciar, però, aquesta reflexió col·lectiva, vull explicar una faula, la història de l’elefant i dels cecs, que sovint s’explica als nens i que es pot aplicar al camp de l’ava-luació. La recull H. Mintzberg a <<La stratégie et l’éléphant>>, a l’edició de març de 1998 de la revista L’Expansi-on Management Review. És la història

de sis cecs que viatgen a l’Índia per veure què és un elefant. Tots sis van tocant per torns una part de l’ani-mal, de manera que tots arriben a conclusions diferents: el primer cec xoca amb el costat de l’animal i pen-sa que aquest és un mur; el segon palpa un ullal rodó, llis i punxegut i afirma que l’elefant és una llança; el tercer examina la trompa, que identifica erròniament amb una serp; el quart cec s’abraça al genoll i creu que es troba davant d’un arbre; el cinquè acaricia l’orella i exclama que l’efefant és un ventall; mentre que el sisè, tampoc gaire astut, s’agafa a la cua i assenyala que l’elefant és una corda. La història no acaba gaire bé perquè els sis cecs discuteixen sense posar-se d’acord sobre què és l’elefant: tots tenien una part de raó i tots estaven equivocats sobre què era globalment l’elefant.

A França, en l’àmbit de l’avaluació, som una mica com aquests cecs de la faula: és a dir, tots hem tocat una mica l’avaluació, però no sabem ben bé què és. Tots en parlem i tenim un punt de vista, tant si som actors com si som experts, però ens costa iden-tificar l’avaluació en el seu conjunt.

UN PUNT DE VISTA PERSONAL SOBRE L’AVALUACIÓEn realitat, jo mateixa avanço en part com una cega en aquest àmbit. Fa vint anys que m’ocupo de l’avalu-ació i, sigui a títol interministerial o no, he desenvolupat diferents rols en aquest àmbit: he actuat com

a autoritzadora i prescriptora d’ava-luacions, com a experta en qualitat i controladora, com a avaluadora i, des que he tornat a la universi-tat, com a formadora dels futurs emissors d’avaluacions de polítiques públiques.

Avui intentaré transmetre els fruits d’aquesta experiència en avaluació, perquè he de confessar que, malgrat que se m’ha demanat que parli de l’experiència francesa, he plante-jat més aviat la meva intervenció des del punt de vista personal. Per això, miraré de ser útil realitzant una certa tasca comparativa (bench-marking) i aportant algunes de les claus a l’hora d’avaluar les polítiques públiques.

UN ITINERARI DE TRES ETAPES: EL BALANç DE VINT ANYS D’AVALUACIÓUs proposo seguir tres etapes. En primer lloc, faré un balanç de l’ava-luació de les polítiques públiques vint anys després de la seva institu-cionalització a França. En segon lloc, examinaré amb quines dificultats ens hem trobat. I, finalment, tractaré la pràctica de l’avaluació: les tram-pes que cal evitar i els factors clau de l’èxit.

Pel que fa a la primera etapa de la ponència, la situació actual després de vint anys d’avaluació, només par-laré d’algunes de les principals difi-cultats, perquè l’objectiu no és mirar pel retrovisor. En destacaria tres

Dra. Véronique Chanut La pràctica de la institucionalització de l’avaluació: presentació de casos REFLEXIONS I PERSPECTIVES A PARTIR DE L’EXPERIÈNCIA FRANCESA D’AVALUACIÓ

Professora de Ciències de l’Administració de la Universitat d’Alvèrnia i exrelatora gene-ral del Consell Nacional de l’Avaluació (França)

CV PDF

Com a exrelatora del Consell Nacional de l’Avaluació i des de l'experiència professional en di-ferents funcions relacionades amb l’avaluació, la professora Véronique Chanut fa un balanç de l’avaluació de les polítiques públiques a França en els darrers vint anys: una implantació llarga i difícil però real, amb signes de dinamisme i de fragilitat a la vegada. Chanut reflexiona sobre la utilitat de l’avaluació, i també sobre els factors d’èxit i les dificultats d’una activitat que ella entén com un art pràctic.

/ 37 /

Sumari La jornada en cinc minuts!

elements importants: primer, que el desenvolupament institucional de l’avaluació ha estat llarg, difícil, però real; segon, que mostra signes de vitalitat i de fragilitat i que, per tant, el balanç resulta força equilibrat; i, tercer, que hi ha una sèrie d’inter-rogants persistents sobre la utilitat de l’avaluació.

HA ESTAT UN DESENVOLUPAMENT LLARG I FEIxUC…, PERò REALL’avaluació de les polítiques públi-ques va néixer a França l’any 1989, quan el primer ministre, Michel Rocard, va instaurar un dispositiu interministerial d’avaluació que tenia alguns punts en comú amb els dispositius dels Països Baixos, descrits en aquesta mateixa jor-nada per Herma Kuperus. Cal dir, però, que aquesta vella idea de retre comptes partia d’algunes pràctiques interministerials preexistents, com ara la tradició del càlcul econòmic després de la guerra, la tradició dels cossos públics d’inspecció i de con-trol amb una forta consciència que tot agent públic ha de retre comptes, i les estadístiques estatals molt desenvolupades. També comptava amb l’antecedent de l’experiència de racionalització de les partides pres-supostàries a la dècada dels anys setanta i amb el fet que l'expressió retre comptes consta a la Declaració dels Drets de l'Home i del Ciutadà.

Tanmateix, el desenvolupament de l’avaluació ha estat difícil a França i, en aquest període de vint anys, podem parlar d’una evolució del tipus stop and go. Com he assenyalat, l’avaluació va començar a instituci-onalitzar-se l’any 1989 amb molta ambició i un fort impuls polític, però el dispositiu es va anar desinflant a poc a poc en els dos o tres anys següents. S’havien creat equips d’avaluació, però els faltaven coman-des i encàrrecs, per això l’avaluació va travessar una fase d’ofec durant la dècada dels anys noranta. L’any 1998 va arribar un segon moment d’esperança i d’alè en l’avaluació de polítiques públiques a França: el país va fer esforços per descentralitzar-

se i construir nous dispositius per integrar els col·lectius territorials. Tanmateix, aquest impuls va perdre força dos anys més tard, de manera que, malgrat algunes realitzacions significatives, l’avaluació va entrar en una fase de fracàs i manca de suport polític.

Ara, l’any 2008, podem parlar d’una nova etapa de l’avaluació a França que, potser, serà finalment la de la maduresa: el govern actual ha creat per primera vegada una secretaria d’estat que s’encarrega de l’avalua-ció de les polítiques públiques i s’es-tà perfilant un programa d’avaluació. Hi ha recursos i experts destinats a aquest camp, que mai no ha estat tan ben dotat com avui i, per això, esperem obtenir-ne resultats.

Com a conclusió diria que ha estat una institucionalització marcada pels dubtes, però també per un desenvo-lupament real i per les realitzacions concretes, sobretot a nivell regional. Les regions van començar a fer avaluació obligades per Europa, però després s’hi van llençar de manera innovadora i ara en fan molta. Per tot això, i malgrat les dificultats expo-sades, hi ha un model d’avaluació a la francesa que s’ha anat instal·lant durant els darrers vint anys a tots els nivells de l’Estat i sobre objectes diversos (polítiques, programes, contractes…) i que es caracteritza perquè totes les avaluacions van acompanyades per la creació d’ins-tàncies independents i plurals, amb els diferents implicats de la política avaluada. A més, es tracta d’un pro-cés estandarditzat amb divisions del treball avaluatiu entre els polítics, els experts, els avaluadors i la resta de parts implicades, i, també, d'un procés lineal i seqüencial, perquè la majoria de les avaluacions són ex post (hi ha molt poques avaluacions ex ante i in itinere).

ELS SIGNES DE VITALITAT I ELS SIGNES DE FRAGILITATUna segona característica d’aquests vint anys de desenvolupament insti-tucional de l’avaluació és el balanç

actual –força equilibrat– entre els signes de dinamisme i els signes de fragilitat. D’una banda, veiem que hi ha diversitat de realitzacions en ava-luació, però, alhora, hi ha uniformitat metodològica: falta innovació perquè sempre s’utilitzen els mateixos mètodes d’avaluació. De l’altra, la pràctica de l’avaluació es genera-litza, malgrat que constatem que hi ha poca memòria d’avaluació: ni es capitalitza ni s’aprèn prou de les avaluacions anteriors. Per exemple, he parlat amb diferents responsables regionals en matèria d’avaluació i cap d’ells podia explicar què havia fet el seu predecessor tres o quatre anys abans. En tercer lloc, és un signe de vitalitat veure que totes les lleis es publiquen amb l’obligació d’avaluar-les (l’avaluació s’ha convertit en una obligació i un ritual), però és un signe de fragilitat comprovar que els ges-tors estan poc motivats per avaluar. Per això, en quart lloc, tothom fa ava-luació, però es fa amb poc nivell pro-fessional: a les nostres elits, a nivell central i territorial, els falta formació per desenvolupar l’avaluació. Com a cinquè signe de vitalitat, diria que l’avaluació ha triomfat en el mercat de les consultores, i com a cinquè signe de fragilitat, que ha estat un cert fracàs acadèmic. Finalment, se’n parla molt, hi ha una inflació del terme avaluació, malgrat que no hi ha consens sobre la seva definició ni sobre la pràctica avaluadora.

éS úTIL L’AVALUACIÓ?D’aquí sorgeixen precisament algunes de les crítiques recurrents contra l’avaluació de les polítiques públiques i alguns dels interrogants que en qüestionen la utilitat, als quals també jo he hagut de fer front a l’hora d’intentar desenvolupar avaluacions a França. De fet, els gestors públics sempre presenten tres crítiques:• Les avaluacions arriben massa

tard, després de la batalla. Un responsable regional amant de la pintura va comparar l’avaluació amb els quadres que representen el camp de batalla i on es veuen els oficials que miren de lluny,

/ 38 /

Sumari La jornada en cinc minuts!

amb prismàtics, el que passa a la batalla.

• Les avaluacions són procediments llargs i complexos.

• L’avaluació no té influència real sobre l’acció política.

Per tant, malgrat que parlem molt de l’avaluació, continua oberta la pregunta per què i a qui serveix l’avaluació de les polítiques públi-ques.

ELS OBSTACLES I LES DIFICULTATSFins aquí he tractat els vint anys d’avaluació a França. Ara, però, m’agradaria centrar-me en les difi-cultats que hem trobat i que trobem a l’hora de desenvolupar l’avalua-ció: les dificultats de mètode, les dificultats institucionals i polítiques i, sobretot, les més importants, les dificultats gerencials, perquè no s’ha considerat l’avaluació com l’eina de gestió que en realitat és.

1. Les dificultats metodològiques. A França constatem bàsicament tres dificultats de mètode. La pri-mera es relaciona amb l’accés a les dades i amb la insuficiència

d’informació, o, en alguns casos, també amb l’abundància d’infor-mació, que la fa difícil d’utilitzar. Una segona dificultat específica-ment francesa és pensar a partir d’objectius que orientin l’actuació pública. És un punt en el qual es-tem intentant treballar. Finalment, també ens hem adonat que el disseny seqüencial de les políti-ques públiques no es correspon necessàriament amb la concepció que la gent té de la funció pública i amb la realitat del seu procés: de vegades els objectius apareixen després dels resultats i es formu-len de manera oportunista, és a dir, sovint hi ha un cert decalatge en el pretès desenvolupament lineal de l’acció pública.

2. Les dificultats institucionals i polítiques. N’esmentaré tres. La primera és on situar o ubicar l’ava-luació o, millor dit, les instàncies de l’avaluació. En segon lloc, el fet que no hi ha una única cultura de l’avaluació, sinó que cal tenir en compte tantes cultures de l’avalu-ació com cultures administratives hi ha. La tercera dificultat fa refe-

rència a la centralització adminis-trativa del país, de manera que els dispositius francesos d’avaluació són encara molt centralitzats, i per això alguns detractors parlen de la gran <<màquina>> de l’avaluació.

3. Les dificultats de gestió. Són les més importants i difícils de su-perar. Primer, treballem amb una cultura de projectes d’avaluació poc desenvolupada. Segon, hem de fer front a la burocratització dels processos avaluatius, que genera desacoblaments temporals (costa articular el temps de l’acció política i el temps de l’avaluació), desacoblaments cognitius (entre el que diuen els polítics, el que entenen els actors, el que fan els avaluadors…) i desacoblaments entre els agents (experts i polítics). La tercera dificultat consisteix que l’avaluació és un procés empès per l’oferta i no impulsat per la demanda o les expectatives dels actors implicats. En aquest sentit, proposaria reflexionar sobre el

/ 39 /

Sumari La jornada en cinc minuts!

procés de l’avaluació i pensar algu-nes alternatives per modificar-lo.

ELS PARANYS QUE S'HAN D'EVITAR I ELS FACTORS PER TENIR ÈxITA partir dels vint anys d’avaluació a França i de les principals dificul-tats amb les quals ens trobem, quin objectiu ens hauríem de plantejar, quins paranys hem d’evitar a l’hora de posar en pràctica l’avaluació de les polítiques públiques i quines con-dicions necessitem per assolir l’èxit?

Segons el meu parer, l’objectiu que hem d’aconseguir és passar de l’avaluació de l’acció política a una avaluació integrada dins de l’acció política.

Per això, per assolir aquest objectiu, hem d’evitar quatre paranys, els quatre pecats capitals de l’avaluació.• L’excés de ciència: prioritzar els

coneixements dels experts en detriment de la política.

• El metodisme: fomentar el proce-diment en detriment de l’acció.

• L’historicisme: significa mirar massa pel retrovisor, examinar les regularitats del passat en detriment de la innovació i dels fenòmens emergents.

• L’activisme: canviar o reformar perquè sí, i no a partir de l’apre-nentatge i del que es desprèn de l’avaluació. De vegades, es busca que tot canviï perquè al final res no canviï.

Per mirar de solucionar aquests paranys, hem de reunir una sèrie de condicions per a l’activitat avaluativa o, en altres paraules, satisfer els factors clau –sis des del meu punt de vista– perquè tingui èxit l’avalua-ció de les polítiques públiques.• Pensar en l’avaluació com un pro-

jecte, la qual cosa implica un saber fer organitzatiu i de gestió.

• Considerar que tenim dret a l’error. A França, es dóna poc dret a l’error als funcionaris en els processos d’experimentació de l’avaluació.

• Establir uns dispositius més dinà-mics i interactius.

• Capacitar les organitzacions per-

què puguin reflexionar, aprendre i integrar els nous coneixements.

• Experimentar noves referències. Amb el meu equip estem treballant en això, és a dir, a intentar no partir de referents o criteris a priori sinó a construir els actors amb nous criteris d’avaluació. Ho hem fet per avaluar la política d’implantació dels radars per controlar els ex-cessos de velocitat a la carretera, on vam treballar sobre els criteris que els molts actors implicats as-sociaven a la millora de la segure-tat a la carretera.

• Retrobar el sentit de l’arrel de la paraula avaluació: els valors. El concepte d’avaluació incorpora una sèrie de valors que hem de reconsiderar a nivell institucional: els valors que fan que una institu-ció pública sigui bona.

Per això, en la meva pràctica actual de l’avaluació, intento treballar amb uns dispositius més participatius, interactius i cooperatius, i també formar els actors durant el mateix procés de l’avaluació plantejant punts de vista més flexibles que els anteriors. Aquesta seria una via de treball interessant per renovar els enfocaments sobre l’avaluació de les polítiques públiques

LES VIRTUTS DE LA BONA AVALUACIÓCom a conclusió, com que m’agra-den molt les novel·les policíaques, on sempre es planteja què és un bon crim, m’agradaria preguntar-vos què és per a vosaltres una bona avaluació. Una bona avaluació, i amb això estaria d’acord amb la meva companya holandesa Herma Kuperus, ha de ser simple i oberta, ha d’oferir recursos als actors de la política pública, no s’ha de percebre com una obligació complementària i ha d’oferir feedbacks. A més, la bona avaluació és un art pràctic. Per això m’agradaria acabar amb el proverbi del ferrer: <<C’est en forgeant qu’on devient forgeront>> (és treballant el ferro que un es fa ferrer), que significa que és la pràctica la que fa el mestre o que és practicant una i

altra vegades com s’aprèn un ofici. Per això agraeixo als organitzadors d’aquesta jornada que ens hagin convidat a treballar i a anar forjant l’avaluació amb la nostra feina.

Enllaços externs

Secretaria d’Estat que s’encarrega de l’avaluació de les polítiques públiques www.premier-ministre.gouv.fr/acteurs/gouvernement/secretariat_etat_ prospective_evaluation_m621

SEGONA PARTL'avaluació de polítiques públiques a Catalunya: necessitats, reptes i compromisos

/ 41 /

Sumari La jornada en cinc minuts!

TAULA RODONAQuè n’esperen els actors socials i econòmics?

Sr. Narcís Bosch Director gerent del Consell de Cambres de Catalunya

Sr. Antoni Abad President de la Confederació Empresarial Comarcal de Terrassa

Sra. Cristina Faciaben Responsable de Polítiques d'Integració Social de la Comissió Obrera Nacional de Catalunya

Sra. Eva Granados Responsable de Política Institucional de la Unió General de Treballadors de Catalunya

Sr. Carles Barba President de la Taula d’Entitats del Tercer Sector Social de Catalunya

Moderador: Sr. Jordi AlberichDirector del Cercle d’Economia

Sr. Narcís BoschUNA VISIÓ DES DEL CONSELL DE CAMBRES DE CATALUNYA

Director gerent del Consell de Cambres de Catalunya

Voldria començar la meva interven-ció presentant les cambres de forma breu, perquè potser no es coneix prou el seu paper. Les cambres són corporacions públiques, gestio-nades privadament per empresaris

que s’elegeixen cada quatre anys amb aquesta finalitat. Són entitats a mig camí entre el Govern i l’Adminis-tració i els empresaris, que les ges-tionen segons l’esperit i la cultura de les organitzacions.

Entre les funcions que les cambres han de desenvolupar obligatòria-ment, a banda de fomentar l’activitat econòmica (la funció que concentra la major part de l’esforç), destaca la de representar els interessos econò-mics generals davant de tercers: les administracions públiques i altres entitats. Això es plasma en l’exer-cici de la funció consultiva –se’ns demana l’opinió sobre determinades qüestions que afecten l’economia– i també en la presència de les cam-bres en un gran ventall d’entitats de composició plural i que formen part de l’Administració pública. Per exemple, les cambres són presents en entitats més executives, com ara l’Agència Catalana de l’Aigua, l’Agència de Residus o el Consorci de Promoció Comercial de Catalu-nya (COPCA); en d’altres de caire consultiu, com el Consell Català de la Formació Professional o el Consell Social de la Llengua Catalana; i en

CV

El director gerent del Consell de Cambres de Catalunya, Narcís Bosch, considera imprescindible definir els objectius de les entitats públiques per entendre la seva acció i, sobretot, per avaluar-la, per tal de verificar si s’han satisfet els objec-tius inicials plantejats en les seves polítiques. Bosch també aborda tres aspectes clau en l’avaluació de les polítiques pú-bliques: la capacitat dels equips de treball, la proporció entre els recursos invertits i el benefici obtingut, i la necessitat de treballar amb criteris d’eficàcia objectius.

/ 42 /

Sumari La jornada en cinc minuts!

d’altres de tipus municipal, com la Fira de Barcelona o el Consorci de Turisme de Catalunya.

DESCONNExIÓ ENTRE ELS OBJECTIUS I LES ACTUACIONSDe fet, des del Consell de Cambres participem en més d’un centenar d’entitats, de manera que tenim l’oportunitat de veure com funci-onen per dintre. En aquest sentit, la primera cosa que sorprèn és la dificultat, malgrat que formem part dels òrgans de govern o d’assesso-rament, de copsar amb claredat el nexe que hi ha entre els objectius ex-plícits o implícits d’aquestes entitats i l’actuació diària que hi desenvolu-pen i gestionen.

Aquesta desconnexió pot explicar la distància o falta d’enteniment de la societat envers l’acció política. El ciutadà no només desconeix com funcionen aquestes entitats de l’Ad-ministració pública, sinó que també li costa entendre que perseguei-xen uns objectius concrets que, en teoria, han d’afavorir aquest mateix ciutadà, així com les empreses o corporacions.

DEFINIR I AVALUAR ELS OBJECTIUSPer tant, és fonamental clarificar els objectius d’aquestes entitats, perquè, evidentment, les entitats han d’estar al servei de les polítiques. Des de la seva concepció, s’hauria de definir quins objectius persegueixen: només així resultarà senzill comprendre les accions que se segueixen dels objectius i, posteriorment, avaluar si s’han assolit aquests objectius. En aquest sentit, un cas clar és el de les infraestructures. El que centra el debat de les infraestructures no és mai, o gairebé mai, quins objectius han de servir aquestes infraestruc-tures, sinó si passaran per la dreta o per l’esquerra del municipi, si el travessaran per sobre o per sota, si seran de dos o tres carrils… En canvi, difícilment es discuteix quin tipus de mobilitat s’està perseguint amb aquesta infraestructura.

Tot això té repercussions evidents pel que fa a l’avaluació de les po-lítiques. Si només discutim si una carretera passarà per la dreta o per l’esquerra del municipi, hi haurà poca cosa per avaluar: només si la carretera ha passat per on s’havia decidit i, en tot cas, si els diners per realitzar-la s’han gastat de la mane-ra adequada. El mateix passa amb altres temes més eteris, com ara la crisi de l’aigua. S’ha discutit sobre si s’havien d’interconnectar les xarxes, fer transvasaments o utilitzar dessa-linitzadores, però els aspectes lligats als objectius –garantir el subminis-trament d’aigua d’una determinada qualitat– han estat absents del de-bat. Aquesta dinàmica genera resul-tats insatisfactoris, perquè, al final, mai no podem dir si hem aconseguit realment alguna cosa o si hi ha gent que hi ha perdut o hi ha guanyat amb les accions realitzades. Podem dir que s’han fet unes polítiques o actuacions i que d’altres no s’han fet, però no sabem si el que s’ha fet ha servit per satisfer o assolir realment el que s’havia plantejat a l’inici.

ELS OBJECTIUS DE LES REGULACIONS QUE CONDICIONEN LES EMPRESESTanmateix, l’Administració i l’acció pública tenen cada vegada més pes en la societat i, per tant, cada vegada també és més necessari que les polí-tiques i les activitats públiques siguin avaluades. Ja he parlat de l’àmbit de la provisió d’infraestructures, però, des del punt de vista empresarial, hi ha tot un seguit de regulacions que interfereixen en l’activitat empresa-rial –o que la condicionen– i de les quals no tenim els objectius clars. A més, tenim la percepció que aquestes regulacions no s’han dimensionat bé: imposen a les em-preses uns costos molt superiors als beneficis socials que generen. Per tant, hauríem de disposar d’instru-ments que ens poguessin dir, amb una certa objectivitat, si aquestes percepcions són certes o no: de fet, ho seran o no ho seran segons els objectius que s’haguessin d’assolir amb les esmentades regulacions.

Arribo així al tema d’aquesta taula rodona, <<què n’esperem>>, perquè això és el que esperem. El que demanem o el que ens agradaria és que Ivàlua pogués donar resposta a aquestes necessitats.

CAPACITAT, RECURSOS I CRITERIS PER AVALUARA banda del compliment dels objec-tius, si baixem alguns graons, hi ha tres temes clau en relació amb l’ava-luació de les polítiques públiques.

1. La capacitat dels agents o les unitats que desenvolupen les polí-tiques i els programes específics. Aquesta administració pública en creixement encomana tasques cada cop més complexes a uns equips poc dotats, formats o ade-quats a les finalitats plantejades. És una qüestió que ens preocupa. No hi ha res més trist que veure com s’encallen determinades administracions públiques perquè les persones que les han de tirar endavant o els mitjans de què disposen no són els suficients.

2. La suficiència o insuficiència dels recursos econòmics per pagar els serveis. És a dir, quina és la proporció entre el que costa gesti-onar una política i el que realment genera, quina és la proporció entre el cost de la provisió del servei i la seva eficiència.

3. La percepció que tenen les empre-ses i els ciutadans sobre les polí-tiques i les actuacions públiques, perquè, normalment, per formar-se una opinió, no poden tenir cri-teris objectius sobre l’eficàcia de les polítiques. Per això, es genera un debat molt visceral on la gent no es fixa en els assoliments i els resultats reals, sinó en els pro-cediments, les maneres de ges-tionar o les actituds. Desvincular els objectius de l’acció –l’acció és bona perquè s’ha aplicat correcta-ment o s’han fet servir els diners com marca la normativa– significa adoptar una visió de l’avaluació molt burocràtica i pròpia dels

/ 43 /

Sumari La jornada en cinc minuts!

funcionaris. I aquesta visió dificul-ta que la gent tingui una impressió positiva de l’acció dels polítics, així com de les polítiques i actuacions públiques.

Finalment, vull felicitar la iniciativa de creació d’Ivàlua i desitjar que desenvolupi una bona activitat en el futur, perquè ens doti realment d’aquests instruments d’avaluació que reclamem i necessitem. N’espe-rem molt.

Enllaços externs

Consell de Cambres www.cambrescat.es

/ 44 /

Sumari La jornada en cinc minuts!

Sr. Antoni AbadQuè n’esperen els actors socials i econòmics? UNA VISIÓ DES DE LA CECOT

Avaluar ha de tenir l’objectiu de mi-llorar, d’aportar millores. En aquest sentit, ens sembla favorable portar les polítiques públiques a examen i, també, revisar sistemàticament tots els seus circuits per valorar si estan complint els objectius previs-tos. Quins objectius? Les polítiques públiques han de respondre i atendre les necessitats dels ciutadans i de les persones físiques i jurídiques. Per això, l’avaluació ens ha de conduir cap a simplificar la vida i fer-la més fàcil, perquè la tenim molt complica-da a causa de l’excés de legislació i de procediments. A més, avaluar ha d’introduir més eficiència en la gestió de les polítiques públiques.

A partir d’aquí, des de la CECOT, pensem que sovint pesa més el fet que existeixin les actuacions públi-ques que no pas el fet que siguin eficients, o que massa vegades s’ar-regla un tema i se n'espatllen uns altres. És important que ens adonem d’aquestes realitats.

CONTRASTAR LES PRÀCTIQUES D’AVALUACIÓPer això, si volem que l’avaluació im-pliqui canvis útils i que tinguin èxit, cal que, en primer lloc, l’avaluació estigui contrastada amb les millors pràctiques en l’àmbit mundial. Els empresaris utilitzem fins i tot l’ex-pressió benchmarking, que significa contrastar allò que fas amb les millors pràctiques d’altres empreses o organitzacions. De fet, a l’empresa l’avaluació també la tenim per una altra banda: el mercat i els nostres clients ens avaluen diàriament.

En canvi, no és gens evident que les administracions públiques se sotme-tin cada dia a un mercat que les ava-luï o a uns clients que els facin confi-ança o, en cas contrari, les deixin de banda. Sé que, probablement, això no és possible i, per tant, cal insistir que –de la mateixa manera que les empreses fem aquest benchmarking– les polítiques públiques vagin a exa-men. Perquè això sigui possible, cal tombar algunes barreres culturals i incrementar la cooperació pública i privada. Els referents en avaluació, el món anglosaxó i els països escan-dinaus, han fet un llarg recorregut i han creat una base de confiança en la col·laboració entre els sectors públics i l’empresa privada. No han

renunciat a cap poder públic, però, en canvi, han aportat competència, eficiència i un cert grau de super-visió, perquè, quan un posa serveis al mercat, el client hi exerceix un primer control, ja que el client mana.

ATENTS AL QUE DIUEN ELS INDICADORSDit això, també voldria assenyalar que disposem d’alguns indicadors i que hem d’estar-hi atents. Des de la CECOT sovint utilitzem els informes Doing Business (Fer negocis) que publica anualment el Banc Mundial i que examinen l’economia inter-nacional. Aquesta Espanya i aquesta Catalunya amb un fort creixement en els últims catorze o quinze anys –i alhora enlluernades pel seu èxit– han passat de la posició 29 a la 49 de les economies mundials, segons l’avaluació del Banc Mundial. Mentre aquí vivíem embadalits en un creixe-ment que semblava que havia de ser etern, la radiografia exterior ens deia que anàvem perdent posicions.

Per tant, hem estat poc intel·ligents, perquè ja fa anys que havíem d’haver reaccionat i havíem d'haver fet can-vis estructurals. En canvi, ara hem d’afrontar un problema doble: la crisi econòmica actual i la necessitat de reaccionar perquè es produeixin aquests canvis. Penso, però, que tot això és possible, que no és incompa-tible fer les coses ràpid i bé. Aquest és el repte que tenim al davant.

Entenem la importància d’avaluar les polítiques públiques i de fer que els agents socials hi tinguin un paper rellevant: l’avaluació ens inte-

President de la Confederació Empresarial Comarcal de Terrassa (CECOT)

El president de la CECOT, Antoni Abad, aposta per una avaluació de les polítiques públiques que impliqui aportar canvis i millores i que, per tant, estigui contrastada amb les millors pràc-tiques mundials, utilitzi indicadors útils i consistents, condueixi a resultats transparents i ajudi indirectament a millorar la competitivitat del país. En tot cas, segons Abad, qualsevol procés d’avaluació ha de tenir una dimensió externa realitzada per equips multidisciplinaris, però també una dimensió interna d’autoavaluació.

CV

/ 45 /

Sumari La jornada en cinc minuts!

ressa, hi volem participar de manera constructiva i positiva. Perquè això sigui una realitat, els que avaluïn, els que avaluem, hem de treballar per fer propostes assolibles, és a dir, per fer propostes capaces de moure i provocar els canvis que necessitem. Si els avaluadors només hem d’opi-nar, poc canviaran les coses i ens sentirem frustrats.

En conseqüència, per fer aquesta feina necessitem indicadors, pocs però útils, congruents i consistents en el temps i que serveixin per pren-dre decisions, unes decisions que després tornarem a avaluar i, així, posarem en marxa un cercle virtuós i un camí de millora continuada.

RESULTATS I RÀNQUINGS TRANSPARENTSA més, avaluar les polítiques públi-ques hauria de conduir a la trans-parència dels resultats. Cal que es facin públics els resultats i que –en això em sento molt anglosaxó– hi hagi rànquings. Abans he dit que l’economia espanyola ha passat de la posició 29 a la 49: el descens és la conseqüència d’analitzar deta-lladament deu grans àrees en cent vuitanta-una economies, una anàlisi que permet detectar els països que pugen i els que baixen i, sobretot, la tendència. És bo disposar d’aquests rànquings –saber els resultats, qui està millorant, qui s’esforça i qui s’està quedant endarrerit– per apli-car un concepte de competència que és molt sa.

MILLORS POLíTIQUES PúBLIQUES, MéS COMPETITIVITATTanmateix, no solament hem de fer bé les coses en l’àmbit de les políti-ques públiques, sinó que les hem de fer bé i ràpid perquè el nostre país competeix amb d’altres territoris. En aquest sentit, és transcendental per a les empreses de Catalunya que tin-guem millors polítiques públiques, ja que això ens dotaria immediata-ment de més competitivitat. Mai no és neutre el que fa o deixar de fer l’Administració pública, sinó que sempre té conseqüències positives o negatives en la competitivitat.

Per això ens sembla tan rellevant la discussió sobre l’avaluació de les po-lítiques públiques i ens sembla vital que hi puguem participar, sempre que aquesta participació impliqui que s’hi puguin fer canvis reals. Quin sentit té avaluar sense esperit de canvi o de millora? Potser només un sentit acadèmic, i això només si s’entén aquest terme de manera obsoleta, perquè, avui, l’acadèmic és qui està al dia per poder preparar i impulsar el futur.

AVALUACIÓ INTERNA I AVALUACIÓ ExTERNAFinalment, voldria apuntar una qües-tió menor però que parteix de l’ex-periència: els processos d’avaluació haurien de tenir una part d’avaluació externa, però també una d’avaluació interna. És a dir, els mateixos actors de les polítiques públiques s’haurien d’autoavaluar. L’autoavaluació és un procés cultural que ens pot motivar.

Evidentment, també hi ha d’haver avaluadors externs, grups multi-disciplinaris que –des d’òptiques diferents– aportin els criteris d’avaluació necessaris per formar el cercle virtuós que he mencionat anteriorment: criteris per arribar a conclusions que, alhora, esdevinguin decisions que s’apliquin i que, un cop aplicades, es tornin a avaluar. Prendre decisions, veure’n els re-sultats i tornar a prendre decisions, és el que fem constantment a les nostres empreses.

Voldria acabar amb una nota posi-tiva: avaluar serveix per evidenciar, però evidenciar no consisteix a destacar allò dolent, sinó a destacar-ho tot. I el primer que destacaria és tot allò bo i tot el recorregut positiu que s’estigui fent. Això, animar-nos amb el que estem transformant i millorant, és el primer que hem de fer. Lògicament, l’avaluació també posarà al descobert allò negatiu, però potser això ens parlarà dels qui corren poc o es mouen a poc a poc, i no necessàriament dels qui fan les coses malament. En aquest punt, hem d’aprendre a fer que tot es con-tagiï dels aspectes més positius que l’avaluació hagi posat de manifest.

Enllaços externs

CECOT www.cecot.cat

Informes Doing Business www.doingbusiness.org/economyran-kings

/ 46 /

Sumari La jornada en cinc minuts!

Davant de la pregunta que planteja aquesta taula rodona, què esperen els actors socials i econòmics de l’ava-luació, la Comissió Obrera Nacional de Catalunya (CONC), com a sindicat, n’espera moltes coses. En aquesta in-tervenció miraré de resumir tot el que ens agradaria que aportés aquest nou projecte d’avaluació de les polítiques públiques a Catalunya.

Nosaltres, però, començaríem pel final: és a dir, voldríem que es co-neguessin els efectes i els resultats de les polítiques públiques i dels programes públics, amb tres objec-tius bàsics.

1. Millorar la qualitat de les polí-tiques i dels serveis públics, a partir de la base que en això con-sisteix precisament el compromís públic de les administracions amb els ciutadans. Des del nostre punt de vista, aquest compromís va més enllà de racionalitzar la despesa pública o d’usar de manera òptima els recursos econòmics –aspectes que s’han comentat en la taula rodona anterior–, perquè la po-lítica ha d’acostar-se a allò que realment necessiten els ciutadans i que, per tant, és objecte de la intervenció pública.

2. Conèixer els efectes i els resul-tats de les polítiques, perquè la societat conegui què s’està fent i com s’està fent. Aquesta és, en el fons, la raó de ser de les avaluacions.

3. Millorar la qualitat democràtica dels òrgans públics, i aquí hau-ríem d’emfasitzar la participació ciutadana. De fet, no recomanem res que no recomani la mateixa Unió Europea en relació amb els principis que han d’ajudar a modernitzar les administracions públiques i millorar la governança: els principis de responsabilitat, eficiència, participació, obertura i coherència.

QUÈ MéS VOLEM DE L’AVALUACIÓ DE LES POLíTIQUES PúBLIQUES? Volem que l’avaluació permeti conèi-xer quins són els resultats que s’han assolit, però també a quin cost i amb quin impacte.

Volem que l’avaluació aporti una utilitat social doble: tant per a l’Administració com per a la ciuta-dania. Per a l’Administració, hauria de tenir una utilitat estratègica, per perfeccionar-ne l’eficiència, i utilitat política, per millorar la governança. Pel que fa al ciutadà, hauria de tenir una utilitat més democràtica, per poder exercir el dret a conèixer quin és el grau real de compliment dels compromisos públics per part dels governants.

L’avaluació de les polítiques públi-ques hauria d’incorporar un caràcter més prospectiu, de futur, i no només retrospectiu per avaluar el que ja s’ha fet o veure com funciona el que ja està en marxa.

També ens agradaria que l’avaluació de les polítiques públiques s’institu-cionalitzés de debò, és a dir, que es convertís en una pràctica habitual per a l’Administració tant a l’hora d’elaborar polítiques com a l’hora de revisar les que ja s’han aplicat.

QUÈ VOLEM, PERò, QUE S’AVALUï?Tanmateix, perquè l’avaluació de les polítiques públiques s’acosti a aquests paràmetres, entenem que en primer lloc s’ha de determinar clarament què volem que s’avaluï.

1. Pretenem que s’avaluïn els pro-grames i les polítiques públiques a partir dels resultats que obtenen i dels efectes que generen, sem-pre en relació amb la finalitat que havien de perseguir.

Sra. Cristina FaciabenQuè n’esperen els actors socials i econòmics? UNA VISIÓ DES DE LA COMISSIÓ OBRERA NACIONAL DE CATALUNYA

Responsable de Polítiques d’Integració Social de la Comissió Obrera Nacional de Catalunya (CONC)

CV

Com a representant de la CONC, Cristina Faciaben exposa que el sindicat voldria: conèixer els efectes i els resultats de les polítiques públiques i a quin cost s’han obtingut; fomentar que l’avaluació tingui més utilitat política i democràtica, sigui més prospectiva i s’institucionalitzi; i destacar quins àmbits i aspectes caldria avaluar i com caldria avaluar-los (principis, fases del cicle de formulació de polítiques públiques, informació i mesures correctives). Faciaben conclou amb algunes propostes per a la millora del funcionament de l’avaluació a Catalunya.

/ 47 /

Sumari La jornada en cinc minuts!

2. Volem que s’avaluïn les normes, perquè són l’instrument bàsic per desenvolupar les polítiques públiques i per això han de ser de qualitat òptima, tant pel que fa a la redacció com pel que fa a les fases d’aplicació i compliment. D’una banda, és imprescindible que hi hagi un nombre suficient, just i necessari de normes, que no vol dir només reduir-ne el nombre. De l’altra, han de ser proporcionades i adequades a allò que vulguin solu-cionar o regular, han de tenir ob-jectius clars, han de ser eficients i, sobretot, han de ser accessibles i transparents, un aspecte que so-vint es deixa de banda. Què volem dir amb això? Volem dir que han de ser entenedores per a la ciutada-nia, que no han de quedar només a l’abast d’uns quants entesos que puguin interpretar-les.

3. Cal pactar els indicadors de qua-litat, els que considerem més útils per dur a terme l’avaluació. Com podem fixar aquests indicadors? D’entrada, haurem de marcar-nos les fites a les quals volem arribar i, a partir d’aquests objectius, hau-rem d’utilitzar els indicadors tèc-nics, financers, econòmics…, que siguin rellevants i en els quals la rellevància estigui determinada per la utilitat que aporten. Després, és imprescindible consensuar aquests indicadors amb els agents socials i econòmics.

4. L’avaluació ha de permetre com-provar si les finalitats que s’havien marcat eren les adequades. Es pot donar el cas que arribem a les fites que ens havíem marcat, però que potser no siguin les que ens havíem d’haver marcat, perquè ha passat massa temps (tal com han assenyalat ponents anteriors, la lentitud és un dels punts més criticats de l’avaluació de les polí-tiques) o bé per altres causes que es puguin determinar. Si veiem que les finalitats fixades no són les adequades, ha arribat el moment de modificar-les.

5. Finalment, l’avaluació també ha de considerar si la provisió de serveis programada és la correcta i si les accions que hem determi-nat que es faran són suficients per satisfer les necessitats que havíem detectat prèviament.

I COM VOLEM AVALUAR LES POLíTIQUES PúBLIQUES?A partir d’aquí voldria abordar un altre aspecte rellevant: com s’ha de fer l’avaluació de les polítiques públiques. En primer lloc, s’ha de fer respectant tota una sèrie de princi-pis imprescindibles. Entre aquests destaquen el servei al ciutadà, que, com he dit abans, és la raó de ser de l’avaluació, així com l’objectivitat, la independència i l’autonomia perquè l’avaluació pugui aportar utilitat. Les avaluacions esbiaixades resulten poc útils perquè acaben complint els

desigs de qui les ha encarregat. A més, l’avaluació ha de ser sistemà-tica i rigorosa, transparent, basada en la pluralitat i la participació (cal articular mecanismes per garantir aquesta participació), i amb respon-sabilitat pública.

En segon lloc, també és especial-ment important que l’avaluació arribi a totes les fases del cicle de les polítiques públiques: que s’avaluï una política quan es dissenya, quan es posa en pràctica i quan ja està prou madura, per examinar-ne els efectes, resultats i impactes. Si ens limitem a revisar les polítiques madures, no farem prospecció ni mi-rarem endavant, sinó només cap al passat. Per això, potser ha arribat el

moment de pensar que ens interes-sa avaluar les accions que haurem de fer en el futur o les modificaci-ons que haurem d’introduir en una política.

Com a tercer aspecte, l’avaluació només millorarà l’eficàcia adminis-trativa, i com a conseqüència la go-vernança, si som capaços d’informar la ciutadania. Com ha de ser la infor-mació que genera l’avaluació? D’una banda, ha d’estar d’acord amb els criteris que he mencionat abans i, de l’altra, ha de ser una informació sis-temàtica i periòdica. És a dir, perquè tingui valor, la ciutadania ha de poder conèixer el resultat de les avaluaci-ons de manera continuada. Només amb informació periòdica es pot ava-luar l’acció dels instituts d’avaluació, perquè qualsevol institució pública ha d’estar sotmesa ella mateixa a

l’avaluació i cal examinar si la seva feina és correcta tant pel que fa al nombre d’avaluacions com pel que fa a la qualitat d’aquests estudis. A més, la informació generada per les avaluacions ha de ser transparent i pública: perquè l’Administració reti comptes a la ciutadania, els infor-mes de l’avaluació han d’arribar al màxim nombre de persones possible i no han de limitar-se a ser un retorn a qui ha fet l’encàrrec avaluador.

En quart lloc, l’avaluació de les polítiques només serà útil si serveix per aplicar les mesures correctives necessàries i no es limita a constatar si ho hem fet bé o malament. Si no ho hem fet bé, potser haurem de redefinir programes, canviar accions

/ 48 /

Sumari La jornada en cinc minuts!

de govern, corregir la dotació dels recursos segons els resultats que volíem aconseguir, intervenir en aspectes nous que realment es mereixen una intervenció pública… L’avaluació no es pot quedar en un informe, sinó que, quan detecta problemes en una política, ha de traduir-se en modificacions: posar remei a tot el que s’ha detectat com a incorrecte forma part de la respon-sabilitat pública.

PROPOSTES PER MILLORAR L’AVA-LUACIÓ A CATALUNYAPer acabar, em permeto el luxe de plantejar, en nom de la CONC, una sèrie de propostes per millorar l’ava-luació de les polítiques públiques a Catalunya, propostes que tenen en compte que Ivàlua és un institut nou i que, per tant, imaginem que encara està obert a possibles aportacions externes.

1. De manera concreta, creiem que Ivàlua hauria d’assimilar aspectes del funcionament d’AEVAL, en el sentit que el Parlament de Catalu-nya, així com la resta d’òrgans de participació ciutadana i els agents socials i econòmics, hauriem de poder sol·licitar informes d’ava-luació a l'Ivàlua: és a dir, que els gestors públics poguessin dema-nar avaluacions, però també la ciutadania a través dels seus re-presentants. D’aquesta manera, es

garantiria la participació ciutadana i, a més, s’ampliaria la pluralitat a l’hora de demanar avaluacions.

Si només poden sol·licitar avalua-cions els gestors públics, correm el risc de l’endogàmia, el perill que només es demanin avaluaci-ons sobre determinats tipus de po-lítiques o, fins i tot, que només es reclamin informes sobre aquells àmbits que ja se sap que obtin-dran resultats favorables. Per això insistim que s’hauria d’ampliar la pluralitat d’agents que puguin sol-licitar aquests informes i que, de manera similar al que passa amb l’AEVAL i el Congrés dels Diputats a Espanya, les avaluacions d'Ivàlua s’hagin de presentar al Parlament de Catalunya, l’òrgan màxim de representació de la participació ciutadana al nostre país, per tal de retre comptes d’allò realitzat.

2. Al marge de presentar les avalua-cions al Parlament, caldria publi-car-ne els resultats anualment, per complir una doble funció: pri-mera, estendre el reconeixement públic de l’avaluació (més enllà del cercle de qui ha fet l’encàrrec) i, segona, mesurar la utilitat de l’organisme d’avaluació.

3. Les propostes es completen amb una petició per articular la par-ticipació ciutadana en l’avaluació a través de la participació dels

agents socioeconòmics i dels representants socials. És neces-sari fomentar que la ciutadania exerceixi i reclami el dret que l’Administració li reti comptes sobre les polítiques públiques que desenvolupa. Per això, ens sembla especialment interessant que tant AEVAL com Ivàlua incloguin, entre les seves missions o finalitats, el fet d’incentivar que se sol·licitin avaluacions.

Per acabar, tot i que ja hem vist que esperem molt de l’avaluació de les polítiques públiques, també tenim grans expectatives sobre les funci-ons que pot dur a terme Ivàlua. Li desitgem el millor futur possible i confiem que pugui ser un instru-ment que possibiliti l’avaluació de les polítiques públiques i que ser-veixi per assolir els objectius que tots compartim.

Enllaços externs

Comissió Obrera Nacional de Catalunya www.ccoo.cat/

/ 49 /

Sumari La jornada en cinc minuts!

Sra. Eva GranadosQuè n’esperen els actors socials i econòmics? UNA VISIÓ DES DE LA UNIÓ GENERAL DE TREBALLADORS DE CATALUNYA

Ho ha comentat el president de la CECOT, Antoni Abad, en aquesta mateixa taula rodona: avaluar és millorar. Per tant, què esperem de l’avaluació des de la Unió General de Treballadors de Catalunya? Esperem que l’avaluació funcioni, que se’n faci i que es publiqui. Aquí ja podria aca-bar la meva intervenció, però miraré d’explicar de manera més extensa els arguments i els objectius que ens plantegem.

La representant de la CONC, Cristina Faciaben, i jo coincidim habitualment en diferents fòrums i taules rodo-nes i mirem de complementar les

nostres intervencions. Avui també ho hem fet. De fet, subscric al cent per cent tot el que ella ha exposat i intentaré no repetir-ho. A més, no parlaré des d’un punt de vista teòric o acadèmic, sinó a partir dels debats que mantenim avui a la UGT de Catalunya, però també a CCOO i a la patronal, sobre les polítiques públiques i sobre els espais i entitats en què participem i on pensem que s’hauria de fer avaluació.

UNA PREGUNTA DOBLEDavant la pregunta què esperen els actors socials i econòmics de l’avaluació, he girat la qüestió i m’he preguntat: què s’espera dels agents socials i econòmics pel que fa a l’avaluació de les polítiques públi-ques? És necessari plantejar aquesta doble pregunta, perquè, si examinem el que es publica al Diari Oficial de la Generalitat de Catalunya (DOGC), els acords de concertació i la documen-tació dels àmbits de participació, podríem arribar a la conclusió que tenim un país que avalua, que avalua molt i que ho fa tot molt bé. Tan-mateix, si organitzem jornades com aquestes i es creen instituts com Ivàlua, vol dir que l’avaluació encara té un camí per recórrer a Catalunya i que, en tot cas, els que som aquí ens ho creiem i volem que tiri endavant.

QUÈ ESPEREM DE L’AVALUACIÓ DE LES POLíTIQUES PúBLIQUES? 1. Com a agents socials, ens agra-

daria compartir diagnòstics amb l’Administració. Ho solem fer en la concertació social, però, de fet, això s’escapa de l’enfocament

d’aquesta jornada, perquè la con-certació és una negociació en la qual pots arribar a un acord o no, és a dir, la decisió de compartir diagnòstics és totalment política. Més endavant examinaré el cas del gran acord de diàleg social a Cata-lunya i veurem com aquest acord estratègic comença a fer alguns intents d’avaluació en polítiques actives: el Departament de Treball s’hi ha posat i esperem obtenir-ne resultats aviat. Com deia, però, compartir diagnòstic depèn de la voluntat dels poders polítics: els sindicats ho esperem encara que no sempre sigui possible.

2. Esperem que no es faci propagan-da de l’avaluació de les polítiques públiques, tal com passa sovint quan les polítiques participatives es traslladen als mitjans de co-municació i, en canvi, les seves propostes no van acompanyades de les memòries econòmiques corresponents.

3. Per tant, esperem unes polítiques i una avaluació realistes. El Consell de Treball, Econòmic i Social rep molts textos que després s’aproven al Parlament però que, amb fre-qüència, són de difícil compliment.

ELS ExEMPLES DE LA FALTA DE REALISMEUn exemple d’aquesta manca de rea-lisme és la Llei d’ocupació del 2002, que preveia una sèrie d’instruments per avaluar i, sobretot, desplegar les polítiques actives. Avui, a finals del 2008, encara està pendent, entre

Responsable de Política Institucional de la Unió General de Treballadors de Catalunya (UGT)

CV

Des de la UGT de Catalunya, Eva Granados aspira que es faci l'avaluació de les polítiques públi-ques, que funcioni i que es publiqui. Granados desenvolupa aquestes expectatives i assenyala que, com a agents socials, esperen compartir diagnòstics amb l’Administració, que les avaluacions no s’utilitzin com a propaganda i que contribueixin al desenvolupament de polítiques realistes. Per acabar, analitza què pot aportar el sindicat per a l’avaluació a Catalunya i presenta algunes iniciati-ves esperançadores en aquesta direcció.

/ 50 /

Sumari La jornada en cinc minuts!

d’altres, el Pla de Desenvolupament de Polítiques Actives previst en la llei esmentada. Per això, si ens limi-tem al text legal, podríem afirmar que som un país que preveu com farà i avaluarà les seves polítiques, malgrat que en la pràctica, set anys després, encara ho estem esperant.

Com que nosaltres participem en el Consell de Direcció del Servei d’Ocupació de Catalunya (SOC), podríem dir que som coresponsa-bles d’aquesta realitat, però no ens sentim coresponsables perquè hem demanat que això canviï per activa i per passiva, hem intentat en quatre ocasions –sense èxit– fer estudis d’avaluació de les polítiques actives d’ocupació. Pensem que ha estat impossible fer aquests estudis no per manca de voluntat política de l’Administració o dels responsables polítics, sinó perquè en la concep-ció i el seguiment de les polítiques no hi ha previstos els mecanismes d’avaluació. En la pràctica, això sig-nifica que es fan cursos de formació ocupacional, però no es preveu com es mesurarà si els assistents s’inse-reixen o no en el mercat laboral, que és l’objectiu de la formació. Sembla obvi i de sentit comú, però el Consell de Treball, Econòmic i Social, del qual formo part, difícilment pot avaluar les necessitats del mercat de treball i de l’oferta formativa, per exemple en formació professional. És evident, doncs, que ens queda molt camí per recórrer.

En resum, esperem que no s’utilitzi l’avaluació com a propaganda i que es facin polítiques realistes. Un altre exemple és la Llei de la dependèn-cia, que es va dir que seria la quarta pota de l’estat del benestar i que difícilment es podrà complir. Les afirmacions realitzades van generar grans expectatives en la ciutada-nia, però la realitat és que es van fer molts errors en les estimacions de població o va faltar una dotació pressupostària suficient. En definiti-va, hauríem d’exigir avaluació, però encara hauríem d’exigir més que la mateixa concepció d’una política

pública prevegi que es podrà portar a la pràctica.

Hi ha més exemples, com la Llei d’educació de Catalunya i el Pacte Nacional d’Educació. Aquí partíem d’un procés de concertació amb un acord amb el Govern de la Genera-litat, però després, en el moment d’articular aquesta política pública, el text legal no recull el que s’havia pactat prèviament. En síntesi, espe-rem compartir diagnòstics i bones polítiques que es puguin aplicar en condicions, i que es faci realment tot el que s’havia dit que es faria en l’àmbit de l’avaluació.

I QUÈ S’ESPERA DELS SINDICATSTorno ara a la segona cara de la pre-gunta inicial sobre l’avaluació de les polítiques públiques: què s’espera de nosaltres, de la UGT de Catalunya? D’una banda, la nostra raó de ser és tot el que es relaciona amb les condicions laborals dels treballa-dors i, això, ho fem representant els treballadors a les empreses que ens voten. Els sindicats treballem perquè les empreses catalanes i les condici-

ons dels treballadors siguin cada cop millors, malgrat que ara no sigui el moment idoni per aconseguir-ho. De l’altra, els sindicats complim una funció com a agents socials, vinculada amb les condicions del salari social, funció que ens fa par-ticipar en nombrosos organismes a Catalunya i a tot l’Estat per defensar els interessos generals: 211 espais institucionals d’àmbit nacional i, si hi sumem els territorials, 640. Els sindicalistes de la UGT de Catalu-nya assessorem aquests espais i en alguns formem part de la direcció. La major part d’aquests espais de participació institucional també pre-veuen avaluar i seguir les polítiques, però si haguéssim d’avaluar aquests espais que suposadament preveuen mecanismes d’avaluació, els haurí-em de reformar i racionalitzar.

Quina sensació tenim davant d’aquest panorama? Sovint tenim la sensació que als poders públics els falta convicció sobre la nostra par-ticipació o que, fins i tot, ens veuen com a personatges un pèl incòmo-des o molestos. Tanmateix, si els sindicats volem pressionar perquè es faci l'avaluació de les polítiques públiques, hem de tenir uns poders públics que reconeguin que també podem participar en aquesta ava-luació i aquest seguiment. D’altres vegades, en altres organismes de participació institucional, tenim la sensació que voler fer avaluació es percep com una dilació per prendre les decisions sobre les polítiques, com una manera de generar pro-blemes i de no complir el calendari previst.

MOTIUS PER A L’OPTIMISMEM’agradaria concloure assenyalant que no veiem tota la realitat tan negra. De fet, l’any 2005 vam compar-tir amb el Govern de la Generalitat el diagnòstic de com estava el país i de com voldríem que fos, a banda de com podríem fer el canvi de patró de creixement.

/ 51 /

Sumari La jornada en cinc minuts!

També el 2005 vam signar l’Acord es-tratègic per a la internacionalització de l’economia catalana i la qualitat de l’ocupació, que hem revisat i im-pulsat el 2008 i que preveu cent dues mesures –amb quadre d’indicadors, partides pressupostàries i calendari– per configurar un full de ruta d’unes polítiques compartides pels agents socials i el Govern. Aquest acord estratègic comença tot just ara el seu trajecte i, per tant, encara hem de veure com avança, però preveu mesures concretes per avaluar aquestes polítiques públiques, així com una sèrie d’organismes que en faran el seguiment i el control (una comissió de seguiment, integrada per tots els signants de l’acord, avaluarà les mesures una per una). A més, en els darrers pressupostos de la Generalitat de Catalunya, les partides pressupostàries s’ajustaven a les mesures concretes de l’Acord estratègic.

Per tant, tenim l’esperança que, més enllà de la racionalització del mapa institucional que comentava ante-riorment, puguem fer l'avaluació de les polítiques públiques a partir d’aquest acord estratègic. És evident

que dependrà de la voluntat política del Govern per complir aquelles mesures, així com de l’encert de les comissions de seguiment i les reuni-ons monogràfiques per fer aquesta avaluació.

Finalment, coincideixo amb Cristina Faciaben a esperar que Ivàlua es dimensioni i se’l tingui en compte en el Govern i el Parlament de Catalu-nya. De la mateixa manera, esperem que, amb els exercicis d’avaluació embrionaris que surten en els documents signats pels agents socials i el Govern, es pugui posar fil a l’agulla i puguin fer l'avaluació de les polítiques públiques, no només Ivàlua, sinó també les entitats que participem en el Consell de Treball, Econòmic i Social.

Enllaços externs

UGT de Catalunya www.ugt.cat

Departament de Treball www.gencat.cat/treball

Consell de Treball, Econòmic i Social www.ctescat.cat

Servei d’Ocupació de Catalunya (SOC)www.oficinatreball.net/

/ 52 /

Sumari La jornada en cinc minuts!

Intervinc en nom de la Taula del Tercer Sector Social de Catalunya, que integra 26 organitzacions de segon i tercer nivell que, per la seva banda, reuneixen més de 3.000 entitats. Aquesta realitat és un actiu del nostre país que representa un 1 % del PIB, 75.000 treballadors, 150.000 voluntaris... Es tracta d’organitzacions no lucratives, amb una vocació de servei públic, que se centren a atendre les persones que pateixen situacions d’exclusió social: parlem de col·lectius amb dificultats d’inserció social, persones i famílies pobres, sense sostre, persones amb discapacitats, persones amb addic-

cions, infants en situació de risc, immigrants amb dificultats, perso-nes grans… Entre les organitzacions que componen la Taula hi ha la Creu Roja, Càritas, Cocarmi, Fatec, Aires, L’Esplai, la FCVS, la FEDAIA, la Fun-dació Pere Tarrés, les Cooperatives d’Iniciativa Social, les ECAS, la FCD…

La Taula, una xarxa relativament jove amb només cinc anys de recorregut, té un doble objectiu: treballar per les polítiques per a la inclusió social i perquè aquestes polítiques siguin millors i, alhora, reforçar les entitats del tercer sector i el seu paper com a actor social.

EL TERCER SECTOR FORMA PART DE L’ESPAI PúBLICDes d’aquesta doble perspectiva, miraré de fer algunes aportacions: en primer lloc, des del vessant de les polítiques socials i l’especificitat d’avaluar aquestes polítiques i, en se-gon lloc, des de la percepció i la mira-da de les organitzacions socials que estem compromeses en aquest àmbit i que ens considerem part de l’espai públic en la mesura que treballem per l’interès general i ens interrelaci-onem amb les administracions.

Per tant, ens considerem part d’aquest espai públic sobre el qual Ivàlua vol centrar la seva activitat avaluadora de les polítiques públi-ques. El fet que ens hagin convidat a participar en aquesta jornada ja expressa una percepció de la realitat plural, perquè molts àmbits de la vida econòmica i social creuen que els agents socials clàssics són els em-

presaris i els sindicats, però s’obliden de la realitat del tercer sector, amb milers de persones i d’organitzaci-ons implicades en la vida social. En aquest sentit, desitgem una llarga vida a Ivàlua i que pugui aportar una dinàmica de llarg recorregut i no, com ha dit Véronique Chanut en la primera taula rodona de la Jornada, una dinàmica d’stop and go.

A partir d’aquí, ja centrat en què es-perem de l’avaluació des del tercer sector, voldria expressar sis percep-cions sobre el que està passant i, sobretot, desigs de futur.

1. Sobre l’absència d’avaluació En les intervencions anteriors m’he quedat amb la idea que s’estan fent moltes coses en avaluació que desconeixia. Tanmateix, el tercer sector té la percepció que s’avalua poc o no s’avalua. Creiem que les decisions sobre <<què>> es fa i <<com>> es fa es prenen no tant a partir de l'anàlisi de l’impacte positiu que han generat determi-nades polítiques, sinó més aviat a partir d’altres variables o lògiques. Podria destacar-ne algunes:• Les lògiques pressupostàries.• Les inèrcies de l’Administració.• Els interessos dels operadors

interns i externs.• El predomini de la norma per

sobre d’altres consideracions.• Les pressions de caràcter polític.

Com a conseqüència, les polí-tiques són sovint inadequades, fins i tot pel que fa als objectius formulats, i es malbaraten els

Sr. Carles BarbaQuè n’esperen els actors socials i econòmics? UNA VISIÓ DES DE LA TAULA D’ENTITATS DEL TERCER SECTOR SOCIAL DE CATALUNYA

President de la Taula d’Entitats del Tercer Sector Social de Catalunya

CV PDF

El president de la Taula del Tercer Sector Social de Catalunya, Carles Barba, analitza les percep-cions que té aquest tercer sector sobre l’avaluació: l’absència d’avaluació, la falta de connexió entre l’avaluació i la presa de decisions, la necessitat d’observatoris o agents avaluadors externs a l’Administració, el foment d’una avaluació centrada en l’espai públic, les especificitats de les políti-ques socials i, finalment, l’avaluació de les funcions pròpies del tercer sector en el marc més ampli de les polítiques públiques i la seva relació amb l’Administració.

/ 53 /

Sumari La jornada en cinc minuts!

recursos. Com ha dit Eva Gra-nados, de la UGT de Catalunya, segurament ens queda molt camí per fer. Així ho demostren les dades colpidores que apareixen en determinats estudis, com ara l’informe del Foment d'Estudis Socials i de Sociologia Aplicada (FOESSA) –una fundació vinculada a Càritas– que es va presentar ahir mateix [20 de novembre de 2008]. Segons aquest estudi, ben fonamentat i contrastat, Espanya ha experimentat un creixement econòmic notable en els darrers set o vuit anys, però aquest creixe-ment no ha anat associat amb una disminució relativa de la pobresa –que se situa al voltant del 20 % de la població–, ni amb una dis-minució de les desigualtats, que, per contra, han crescut. A més, si comparem les xifres amb les de la resta de països de la Unió Europea dels quinze, resulta que el percen-tatge del PIB d’Espanya en política social s’ha distanciat quatre punts del de la resta d’aquests països en els darrers set o vuit anys (i això, malgrat que Espanya ha crescut molt més que aquesta Europa dels quinze en aquest període). Per què comento aquestes dades? Perquè són transcendentals per avaluar les polítiques públiques, perquè l’avaluació no ha de valorar només els programes o les acci-ons, sinó que també ha de mesu-rar els objectius de les polítiques. I se suposa que les polítiques públiques es plantegen reduir la pobresa i les desigualtats, així com vincular el creixement amb la distribució de la riquesa. En aquest informe de FOESSA, però, no hi ha participat l’Ad-ministració pública (i sí alguna universitat), i això mostra que un punt tan nuclear com aquest –el nivell de pobresa i de cohesió so-cial al nostre país– no està sent objecte d’avaluació per part de cap administració. De fet, a quin de-partament tocaria valorar aquesta realitat? Per aconseguir aquests

objectius, segurament hi hauria d’haver una intervenció mancomu-nada de diversos departaments i una intervenció impulsada políti-cament.

2. Sobre la utilitat de l’avaluació: alguns factors crítics Tenim la sensació que, sovint, l’avaluació no té efectes pràctics perquè els mecanismes, els ins-truments i les unitats d’avaluació no estan prou connectades amb els processos de decisió. Obser-vem que hi ha buits en l’avaluació –Véronique Chanut n’ha parlat en la seva intervenció–, que es poden concretar en:• Manca de sincronia entre el

temps d’avaluació i el temps de decisió. Moltes vegades s’avalua una política en un període deter-minat, però es decideix canviar l’orientació de la política abans que s’hagi avaluat.

• Desconnexió entre les unitats que avaluen i les que decideixen. Sabem que hi ha nombrosos tèc-nics de l’Administració que ava-luen programes, que els conei-xen perfectament i que arriben a conclusions sobre aquests, però ells no decideixen. Per tant, si tot el que saben no es connecta amb qui decideix, no és útil.

• Prevalença dels factors econò-mics o dels procediments admi-nistratius (prevalença de la norma).

• Desconnexió entre les avalua-cions de les administracions i la resta d’actors. Fer política és treballar en xarxa i amb actors externs a l’Administració.

En definitiva, podem concloure que és tant o més important ava-luar com garantir que aquesta avaluació tingui una repercussió concreta i útil per millorar les polítiques públiques.

3. Sobre el govern en l’avaluació: el control compartit Des de la CONC, Cristina Faciaben s’ha referit a aquesta qüestió en aquesta mateixa taula rodona:

no es pot avaluar exclusivament des de l’actor o des de qui defineix la política, perquè es corre un risc massa alt que l’avaluació busqui legitimar els objectius predefinits. En aquest sentit, resulta fona-mental evitar els observatoris o unitats d’avaluació adscrits es-trictament a les administracions i que actuïn com a legitimadors de les polítiques. Per tant, cal establir instruments consorciats que comptin amb la participació de les tres potes –treballadors, beneficiaris i món extern– que ha comentat el president de la Dipu-tació de Barcelona, Antoni Fogué, en la presentació de la Jornada i que garanteixin el rigor i la im-parcialitat en l’avaluació, així com la diversitat de perspectives (ac-tors, beneficiaris, món acadèmic…) i el control recíproc.

4. Sobre l’objecte de l’avaluació: l’espai públic Sovint un té la sensació que l’ava-luació se centra en alguns aspec-tes que, malgrat que són neces-saris, no són els més definidors de les polítiques. Per exemple, s’esmercen molts esforços en els procediments interns, a quantificar les realitzacions, en les realitzaci-ons pròpies de les administracions i, sobretot, en les lògiques depar-tamentals.

Al meu entendre, caldria esforçar-se a centrar l’objecte de l’avaluació en el que passa a l’espai públic, de manera que es doni més relleu a:• L’impacte de les polítiques.• Els actors externs.• Els aspectes qualitatius.• Les realitzacions de la societat

(les administracions i també el tercer sector).

• Les lògiques transversals.

Quan dic que l’objecte de les ava-luacions ha de ser el que passa a l’espai públic, parlo en realitat de la cooperació entre els àmbits públic i privat. El tercer sector es dedica precisament a l’espai

/ 54 /

Sumari La jornada en cinc minuts!

públic –som espai públic–, però no ho fa des de l’Administració. Per això, nosaltres també sentim la necessitat que s’avaluï el que fem, el nostre impacte i, sobretot, com treballem conjuntament. Si volem incidir en un aspecte deter-minat com ara l’educació –on hi ha clarament actors públics i actors privats que treballen en xarxes públiques compartides–, hem de tenir aquesta mirada global, ben segur que més complexa, però enormement més útil per veure en quina mesura avancem a l’hora d’abordar i resoldre els temes.

5. Sobre l’avaluació de les polítiques socials i la seva especificitat El món acadèmic i intel·lectual ens recorda sovint que no podem avaluar tot de la mateixa manera i que, per exemple, no tot es pot avaluar en termes de cost i bene-fici. El catedràtic Joan Subirats ho ha sistematitzat en més d’una ocasió: avaluar les polítiques socials significa tenir en compte unes especificitats molt concretes que, probablement, implicaran unes dificultats afegides, perquè aquestes polítiques demanaran instruments de mesura adients a aquesta complexitat. Per a políti-ques complexes calen avaluacions complexes. Alguns factors específics de les polítiques socials són:• La multidimensionalitat de

l’exclusió. Hi ha diversos fac-tors d’exclusió més enllà de la pobresa material (discapacitats, xarxa social, soledat, malalties mentals…) i moltes variables que hi intervenen.

• La temporalitat lligada als iti-neraris de les persones en la inclusió social. Els temps que triguen les persones a recupe-rar la inclusió social també són diversos.

• Components més abstractes i menys mesurables, menys pre-cisos i quantificables.

• La multiplicitat d’objectius, de vegades contradictoris: nivell formatiu i igualtat, ocupació per a tothom i competitivitat, atenció a l’exclusió i habilitació per a l’autonomia personal…

• La falta de sincronia entre la jus-tificació de la despesa adminis-trativa i el ritme dels resultats.

• La importància del procés més enllà dels resultats.

• La diversitat d’actors i la impor-tància del treball de col·laboració entre les administracions i la societat.

Com a conseqüència, convé deter-minar avaluacions específiques, i segurament més complexes, per mesurar factors que no sempre són blancs o negres.

6. Sobre l’avaluació del tercer sector i el treball en xarxa La darrera consideració té a veure

amb l’avaluació de la realitat del tercer sector. Tendim a pensar que les polítiques de les administra-cions públiques, així com la seva avaluació, s’han de centrar a pro-veir de serveis els ciutadans. Des del meu punt de vista, però, les polítiques han d’anar més enllà: la seva funció hauria de ser gene-rar les millors condicions perquè la societat i els ciutadans puguin desenvolupar-se de manera autò-noma. Això implica una manera de fer política incardinada en la socie-tat civil i que compti amb els actius de la societat.

Què significa aquest plantejament en l’àmbit de les polítiques soci-als? Vol dir estimular uns nivells de cohesió social i de participació ciutadana on destaquin els valors de la convivència i la fortalesa comunitària. Vol dir implicar el conjunt de la societat perquè sigui protagonista en el combat per la inclusió social i implicar de mane-ra particular les entitats del tercer sector. En aquest sentit, entenem que, de la mateixa manera que el discurs polític formula la impor-tància de disposar d’una societat civil forta i organitzada, o que en la lluita per la inclusió social és nuclear el treball en xarxa (entre les administracions, les entitats i d’altres operadors), cal avaluar les polítiques destinades a fomentar i

/ 55 /

Sumari La jornada en cinc minuts!

estructurar el tercer sector i me-surar les nivells de cohesió social i la salut democràtica i convivencial d’una societat. En especial, cal avaluar com s'han d'utilitzar els instruments de les polítiques pú-bliques, com ara els de la concer-tació i la contractació de serveis, amb aquest objectiu. Sovint l’Administració veu el ter-cer sector social com un simple proveïdor de serveis i utilitza els instruments de relació amb aquest sector segons aquesta visió: és a dir, s’aplica la contractació públi-ca com una empresa més, sense tenir en compte els valors afegits que aporta l’existència d’aquest sector. Per tant, tot això hauria de ser objecte d’avaluació. En definitiva, cal veure com s’ava-luen la cohesió social, la fortalesa associativa i les polítiques que ho poden afavorir. Aquí hem d’afron-tar un altre buit que no és només d’avaluació, sinó que també és de polítiques. Però això és un peix que es mossega la cua, perquè, mentre no s’avaluï, no es formula-ran noves polítiques. En aquest marc, Ivàlua ens genera una gran expectativa i esperem que ajudi a cobrir la necessitat d’eines d’avaluació més adequa-des. Com ha dit Eva Granados, de la UGT de Catalunya, esperem que s’avaluï, que es publiquin els

resultats i que aquests ens siguin útils a tots.

Enllaços externs

Taula del Tercer Sector Social www.taulasocial.org

Creu Roja www.creuroja.org

Càritas www.tarraconense.cat/index.php?inc=fitxa_organismes&idnoticia=3351

Cocarmi www.cocarmi.cat

Fatec www.gentgran.org

Aires www.aires.cat

L’Esplai www.esplai.org

FCVS www.federacio.net

FEDAIA www.fedaia.org

Fundació Pere Tarrés www.peretarres.org

Cooperatives d’Iniciativa Social www.cooperativestreball.coop

ECAS www.acciosocial.org

FCD www.desenvolupamentcomunitari.cat

Informe de FOESSA www.foessa.org

/ 56 /

Sumari La jornada en cinc minuts!

TAULA RODONAQuè fan i què poden fer els actors institucionals?

Sr. Joan Colom Síndic major de la Sindicatura de Comptes

Sr. Àngel Ros Alcalde de Lleida

Sr. Jordi Joly Tinent d’alcalde d’Economia i Organització a l’Ajuntament de Sant Cugat del Vallès

Sr. Josep Martí Director general de Coordinació Interdepartamental del Departament de la Presidència de la Generalitat de Catalunya

Sra. Dolors Canals Directora de Qualitat Normativa del Departament de la Presidència de la Generalitat de Catalunya

Moderador: Dr. Carles RamióDirector de l’Escola d’Administració Pú-blica de Catalunya, professor titular de Ciència Política de la Universitat Pompeu Fabra i membre del Consell Rector d'Ivàlua

Sr. Joan ColomUNA VISIÓ DES DE LA SINDICATURA DE COMPTES DE CATALUNYA

Per entrar en matèria, els voldria recordar que la Sindicatura de Comptes és l’òrgan estatutari de control extern de Catalunya –remarco aquest rang d’estatutari–, que depèn del Parlament i que té com a missió

vetllar perquè el sector públic català (Generalitat, ens locals, empreses públiques, universitats....) gestioni els recursos públics –ingressos i despeses– de manera eficient, amb respecte per la legalitat i d’acord amb els principis de la comptabilitat pública.

Aquesta tasca, la duu a terme mitjançant informes de fiscalització que estan definits per la llei, que la mateixa Sindicatura decideix fer d’ofici o que, algunes vegades, es fan per mandat del Parlament de Ca-talunya. Tots aquests informes, els emmarquem en un programa anual d’activitats públic que aprova el Ple de la Sindicatura. Un cop aprovats pel Ple de la Sindicatura, aquests informes s’envien al Parlament per al seu debat i la seva aprovació en el si de la Comissió de la Sindicatura de Comptes (però el destinatari final és el ciutadà de Catalunya i, de vegades, això els diputats no ho entenen). Les resolucions de la comissió parla-mentària s’envien a l’Executiu català perquè hi corregeixi les principals incidències detectades. Però tornaré a aquest punt més endavant.

Síndic major de la Sindicatura de Comptes de Catalunya

CV PDF

Per al síndic major, Joan Colom, la Sindicatura de Comptes de Catalunya hauria d’anar més enllà de les fiscalitzacions de regu-laritat, cap a auditories de gestió que mesurin el cost i l’eficàcia de les polítiques públiques, tal com fan institucions similars d’altres països. Satisfer aquest repte implica superar dificultats com la limitació actual de mitjans, la informació no prou com-pleta, així com resoldre qüestions com ara avaluar les empreses públiques, aprofitar millor des del Govern i el Parlament les au-ditories de la Sindicatura i adaptar-se als reptes socials actuals.

CV+

/ 57 /

Sumari La jornada en cinc minuts!

QUÈ FISCALITZA LA SINDICATURA DE COMPTES?Les fiscalitzacions que realitza la Sindicatura de Comptes són prin-cipalment de regularitat: això vol dir de control de la veracitat de les dades economicofinanceres i de compliment de la legalitat. En menor manera, i aquest és un aspecte que ens agradaria corregir, la Sindicatu-ra realitza auditories de gestió o de les ja clàssiques tres e (economia, eficiència i eficàcia), que són les que obren el camí cap a l’avaluació de la gestió pública, evidentment des del nostre camp d’actuació.

Des d’una institució com la Sindica-tura caldria anar més enllà: hauria de realitzar uns treballs de fisca-lització que permetessin mesurar el cost de les polítiques i la seva eficàcia, que responguessin a la qüestió si s’han assolit els objectius perseguits per aquella política i amb el menor cost possible (allò que els anglosaxons anomenen value for mo-ney). En definitiva, que els resultats dels serveis públics que reben els ciutadans indiquessin un bon ús dels fons –no només des del punt de vista del respecte de la legalitat– i que fóssim capaços de demostrar que les institucions vetllen d’una manera clara i directa pels interessos dels contribuents (en anglès es parlaria dels contribuents-electors).

Voldria exemplificar això que dic a partir de tres casos concrets de pa-ïsos i continents diferents: el Regne Unit, el Canadà i Austràlia.

PRIMER ExEMPLE: ELS GOVERNS LOCALS BRITÀNICSEl primer cas fa referència als informes sobre la gestió de governs locals que realitza la National Audit Office al Regne Unit –l’equivalent de la Sindicatura de Comptes–, pre-vistos en la Llei de governs locals del 2003. Aquests informes tenen la finalitat d’avaluar els serveis que s’ofereixen als ciutadans en àmbits com el transport, la seguretat, la salut pública, la gent gran, els joves i els infants.

Aquesta mateixa setmana, per exemple, s’ha presentat l’informe sobre la ciutat de Portsmouth, de 196.400 habitants. Entre d’altres coses, l’informe diu que la ciutat té un bon lideratge i que escolta la seva gent (sobretot en els grans projectes de ciutat); que ha baixat el crim, el tema que preocupava més els ciutadans; que s’ha implantat un sistema per controlar la velocitat a un màxim de 20 milles per hora –32 km/h– a totes les àrees residenci-als; que només un 21 % dels edificis municipals són accessibles per a les persones amb discapacitat o que cal desenvolupar una estratègia per a la gent gran que vagi molt més enllà dels serveis socials bàsics, en con-sonància amb l’estratègia nacional Don’t stop me now: Preparing for an ageing population (No m’atureu ara: preparar-se per a una població en procés d'envelliment).

SEGON ExEMPLE: L’ExÈRCIT CA-NADENC A L’AFGANISTANEl segon cas es refereix a l’informe del Tribunal de Comptes del Canadà (Office of Auditor General) sobre el subministrament de material per a les tropes de l’exèrcit canadenc a l’Afganistan (el Canadà hi té destina-da una mitjana de 2.500 efectius des de l’any 2005). L’objectiu de l’informe era avaluar si la cadena de distribu-ció dels subministraments responia a les necessitats de la missió i si aquesta permetia tenir un bon con-trol dels estocs i un sistema d’alerta efectiu de les noves necessitats, tal com requereix la logística d’una operació d’aquest tipus.

En el treball realitzat es troben incidències com que el sistema de distribució no segueix la trajectòria dels enviaments i que, en determi-nats moments, no controla on són els estocs; que resulta difícil poder fer un manteniment adequat sobre determinats equipaments per la falta de peces i de previsió per canviar- les; que hi ha un baix nivell de seguiment de les incidències mos-trades pels comandaments a partir d’informes o d’altres mecanismes

d’alerta... Tot això podria provocar que determinats vehicles poguessin quedar inutilitzats.

TERCER ExEMPLE: LA SEQUERA A L’ESTAT AUSTRALIÀ DE VICTòRIACom a tercer cas hi ha l’informe elaborat pel Tribunal de Comptes de l’estat australià de Victòria (Victo-rian’s Auditor General Office, VAGO), l’abril del 2008, sobre el pla d’in-fraestructures d’aprovisionament d’aigua per lluitar contra la sequera –no sé si els sona el tema…–, amb un pressupost aproximat de 2.800 milions d’euros. Les conclusions de l’informe destaquen que el Govern de l’estat de Victòria ha portat a terme el pla incorrent en greus defi-ciències, com poden ser la manca de rigor a l’hora de calcular els costos, els beneficis i els riscos de determi-nats projectes, així com uns nivells molt baixos d’informació a la ciuta-dania i a d’altres actors implicats. Aquest informe, força demolidor, no va impedir, però, un incendi terrible a l’estat de Victòria durant el nostre estiu, l’hivern australià. Els podria comentar molts més casos en àmbits com la reducció de les llistes d’espera hospitalàries, l’efectivitat del transport públic urbà, els serveis culturals als quals té accés la ciutadania, etc., però no vull avorrir-los.

ELS OBSTACLES DE LES AUDITORI-ES DE GESTIÓ A CATALUNYAAra com ara, a casa nostra, imple-mentar auditories de gestió és un repte no exempt de dificultats, però també és un desig. Entre les dificul-tats, destacaria aquestes tres:

1. Les auditories de regularitat que fa la Sindicatura ens comporten molta feina i encara no tenim prou mitjans per fer auditories de ges-tió. Potser els sorprendrà, però, malgrat que la remuneració i les perspectives de carrera a la Sin-dicatura de Comptes de Catalunya se situen probablement a la franja alta de la funció pública catalana, a tots els concursos oposició per

/ 58 /

Sumari La jornada en cinc minuts!

a places d’auditors, ajudants d’au-ditor i lletrats que hem realitzat en els darrers quatre anys, hem hagut de declarar vacants un nombre significatiu de places per manca de candidats preparats. I, malaurada-ment, són nombroses les incidèn-cies que trobem en les fiscalitzaci-ons de regularitat: incompliments de la normativa pressupostària, de subvencions o de mercats públics; irregularitats en la contractació d’obres, béns i serveis; incompli-ment de la normativa de gestió de personal, etc.

2. Els ens fiscalitzats ens ofereixen informació que no és prou com-pleta per poder realitzar auditories de gestió. Ens caldria informació basada en programes, objectius, accions, indicadors de gestió, etc. A la vegada, ens caldria disposar dels elements que permetessin calcular i avaluar el cost d’una política, com les liquidacions de pressupostos per programes, i no els tenim.

3. En el fons, el problema principal és que els pressupostos dels ens pú-blics catalans –des de la Generalitat de Catalunya fins al darrer ajunta-ment o els ens dependents– s’apro-ven habitualment sense objectius definits ni indicadors de despesa.

EL CAS DE L’AUDITORIA A L’ENTI-TAT AUTòNOMA DEL DIARI OFICIAL I DE PUBLICACIONS (EADOP)Voldria exemplificar les auditories de gestió amb una auditoria, modesta, que la Sindicatura va realitzar l’any 2006 sobre els objectius i els indica-dors de EADOP de l’exercici 2004.

Aquest informe es pot consultar al nostre web i, entre d’altres conclusi-ons, la Sindicatura indicava que:• Calia concretar més els objectius,

quantificar-los perque fossin me-surables.

• La normativa havia d’explicitar l’obligació de retre comptes del grau d’assoliment dels objectius dins la memòria de gestió.

• S’havien d’analitzar més el nivell d’assoliment dels objectius pro-gramats, les causes de les desvi-acions detectades i les possibles mesures correctores que s’hi adoptessin.

• Calia comparar els indicadors amb els d'entitats semblants.

• Calia fer un major esforç de comu-nicació pública dels resultats.

COM S'HAN D'AVALUAR LES EMPRESES PúBLIQUES?També m’agradaria tractar el tema de les empreses públiques –un sec-tor important i en creixement en el pressupost agregat del sector públic de Catalunya– i la dificultat d’ava-luar-ne l’eficiència i l’eficàcia, entre d’altres motius perquè hem de partir de la premissa que els indicadors

vàlids per a l’empresa privada no ho són per a la pública. Per exemple, les empreses públiques de transport poden ser deficitàries, sense que això signifiqui que no presten degu-dament el servei. Què passa, però, amb l’empresa privada? Les regles del mercat expulsen de manera automàtica l’empresa privada que no pot competir en igualtat de condici-ons per prestar aquests serveis: per tant, a l’empresa privada avaluem els outputs (productes i serveis). En canvi, a l’empresa pública avaluem si l’empresa fa allò per a què va ser creada amb una utilització òptima dels recursos.

ENTRE EL GOVERN I EL PARLAMENTDeia anteriorment que, en les reso-lucions que aprova el Parlament de Catalunya sobre els informes de la Sindicatura, normalment s’insta el Govern a seguir les nostres re- comanacions. En aquest punt, hem de fer un seguiment més cons-tant i acurat de l’acompliment i les correccions que l’Executiu realitza sobre les nostres recomanacions: hem de posar-ho per escrit i avaluar aquest seguiment de l’Executiu en futurs treballs de fiscalització. Amb mesures com aquestes segur que milloraríem en transparència i oferi-ríem una altra garantia als ciutadans

/ 59 /

Sumari La jornada en cinc minuts!

sobre l’ús que es dóna als diners que paguen, bé, que paguem amb els nostres impostos.

Segons el meu parer, el Parlament de Catalunya no aprofita prou les possibilitats que ofereixen els debats sobre els informes de la Sindica-tura de Comptes. En la majoria de parlaments que conec, l’informe de l’òrgan de control extern –Tribunal de Comptes, Audit Office…– és el punt de partida del debat que es fa amb el gestor de l’ens fiscalitzat: aleshores, els parlamentaris poden veure què ha fet el gestor per esmenar les deficiències posades de manifest en l’informe. En canvi, al Parlament de Catalunya hi ha més discussions de grups, i entre els parlamentaris i la Sindicatura, que amb els gestors, que històricament mai no hi han estat convidats (tot i que tenen el dret reglamentari de fer-ho).

ADAPTAR-SE ALS REPTES DE LA SOCIETAT ACTUALD’altra banda, també volia comentar que treballem per anar adaptant la nostra institució i la seva missió als problemes amb què s’enfronta la societat: la recent crisi financera –l’abast de la qual encara no coneix ningú–, el canvi climàtic, les noves polítiques sobre el suport a l’estat del benestar, etc. Per exemple, la Sindicatura vol iniciar auditories mediambientals, una temàtica en la qual a Europa ja fa anys que es treballa i que, aviat, també serà obli-gatòria a tots els estats de la Unió Europea.

Per afrontar tots aquests reptes, però, cal adequar el marc legal que se’ns aplica. En aquest sentit, voldria posar de manifest la necessitat d’aprovar la nova llei de la Sindicatura de Comp-tes; l’actual és vigent des de l’any 1984, sobre la qual em consta que el Govern està treballant per fer que la institució esdevingui més moderna i permeable als nous temps i a les noves necessitats. La nova llei hauria d’ampliar l’àmbit subjectiu de la Sin-dicatura i hauria de donar cobertura a

les competències que ara ja exerceix sobre les universitats, les fundacions, els processos electorals i, si es vol, els partits polítics. Hauria d’ampliar el seu àmbit d’actuació en camps com l’auditoria mediambiental o la de gènere i, sobretot, hauria d'establir algun tipus d’instrument coercitiu que reforci el deure de col·laborar amb la Sindicatura.

Pel que fa a la manera en què la Sin-dicatura es relaciona amb els seus stakeholders (el Parlament, l’Execu-tiu, els ens fiscalitzats, els mitjans de comunicació i els ciutadans), encara ens queda molt per fer a tots els ni-vells. Aquest és un aspecte que preo-cupa els òrgans de control extern re-gionals i també els estatals, tal com es va posar de manifest en l’últim congrés de l'EUROSAI (organització que agrupa els tribunals de comptes europeus estatals), que va tenir lloc a Cracòvia el juny de 2008 i en el qual vaig tenir l’ocasió de participar com a representant de l'EURORAI (l’entitat que agrupa els tribunals de comptes europeus regionals).

Cal que les institucions semblants a la nostra treballem en xarxa; això facilitaria també intercanviar índexs i indicadors. Ja ho hem començat a fer a Espanya i a Europa, però hem d’anar més enllà i impulsar plata-formes que ens permetin comparar i avaluar què estem fent i com ho estem fent per ser competitius. En aquest sentit, una entitat com Ivàlua pot ser de gran utilitat per obrir es-pais de reflexió, formació i debat.

MéS EINES PER AVALUAR I MéS COMUNICACIÓCom a conclusió, volia comentar que encara tenim un llarg camí per recórrer, com a mínim en l’àmbit de l’avaluació. D’una banda, cal dotar tots els gestors públics de les eines que permetin plantejar aquestes avaluacions des de l’inici i fer-ne el seguiment. I, de l'altra, des del nos-tre punt de vista, cal verificar que els recursos s’han gestionat de manera adequada i que això s’ha fet d’una manera eficient i eficaç, evidentment

amb la complicitat del legislador i de l’Executiu, que haurien de fer les adaptacions normatives i pressupos-tàries pertinents.

Finalment, a més d’insistir en la necessitat de disposar de productes i serveis de qualitat que ens ajudin en aquest sentit, cal continuar l’esforç de comunicar més i millor el que fem per demostrar no només que els recursos permeten arribar a les fites marcades per respondre a les demandes dels ciutadans, sinó que realment estem generant canvis, noves oportunitats i major cohesió en la nostra societat.

Enllaços externs

Sindicatura de Comptes www.sindicatura.cat

Programa anual d’activitats públic www.sindicatura.cat/web/guest/ Programa_Anual_Activitats

National Audit Office www.nao.org.uk

Portsmouth www.portsmouth.gov.uk

Don’t stop me now… www.audit-commission.gov.uk/reports/NATIONAL-REPORT.asp?CategoryID=&ProdID=D1391254-78F6-42b8-92A1-53004A972E34

Tribunal de Comptes del Canadà (Office of Auditor General) www.oag-bvg.gc.ca

Tribunal de Comptes de l’estat australià de Victòria (Victorian’s Auditor General Office, VAGO) www.audit.vic.gov.au

Govern de l’estat de Victòria www.vic.gov.au

Entitat Autònoma del Diari Oficial i de Publicacions (EADOP) www.gencat.cat/dogc/index.htm

Aquest informe www.gencat.cat/dogc/index.htm

EUROSAI www.eurosai.org

EURORAI www.eurorai.org

/ 60 /

Sumari La jornada en cinc minuts!

Voldria començar aquesta interven-ció amb una sèrie de consideracions i reflexions sobre l’avaluació de les polítiques públiques. Després par-laré de l’experiència desenvolupada en aquest camp, tot i que només de manera incipient, a l’Ajuntament de Lleida.

Com a primera reflexió, volia dir que, en el món local i específicament en els ajuntaments, que és on la demo-cràcia directa té un paper més relle-vant, les polítiques públiques s’ava-luen mitjançant un procés electoral cada quatre anys. Aquest és, fins ara, l’únic mecanisme real, operatiu i implantat arreu per avaluar les polí-

tiques públiques. El ciutadà –que no hem d’oblidar que és l’objecte final de totes les polítiques– avalua el que s’ha fet en els processos electorals locals, on hi ha més proximitat i coneixement de les diferents opcions polítiques i, òbviament, de les polí-tiques desenvolupades. És evident que en un procés electoral no només influeixen el grau de compliment de les polítiques i l’eficàcia demostrada en executar-les, sinó que hi partici-pen molts altres components, com ara els sentiments o l’entorn, que incideixen de manera immaterial sobre l’acció política. Tanmateix, les polítiques realment efectuades, els serveis realment prestats, continuen tenint una incidència directa en el resultat electoral final. Per tant, aquí hi ha una mesura real d’avaluació d’aquestes polítiques.

TRES ELEMENTS LATENTS EN L’AVALUACIÓPel que fa a la següent reflexió, quan en una democràcia com la nostra hom es planteja avaluar polítiques públiques, segur que hi ha alguns elements latents o subconscients.

D’una banda, darrere la voluntat d’avaluar les polítiques hi ha la vo-luntat de reforma de l’Administració pública. De fet, darrere la voluntat d’avaluar hi pot haver un interès estrictament acadèmic o científic de classificar el que s’ha fet, o bé un interès per millorar i aplicar accions o tractaments diferents. L’interès per reformar l’Administració ha estat un pensament recurrent, gairebé circular, des de la implantació de la democràcia. N’hem parlat molt.

Abans de dedicar-me a la políti-ca, jo era informàtic i vaig tenir una llarga trajectòria de treball en ajuntaments. Em vaig desmoralitzar el dia que vam deixar de parlar de reformes per parlar de modernitza-ció. <<Ja està, hem baixat el nivell. El següent pas després de baixar el nivell serà treure el nivell>>, recordo que vaig pensar. Tot i això, algun esperit de reforma ens ha de quedar quan volem avaluar polítiques. Segu-rament, el nostre <<Pepito Grillo>> interior encara vol introduir canvis en l’Administració. És bo que ens quedi alguna cosa d’aquest esperit.

D'altra banda, hi ha un segon element latent, quan formulem la necessitat d’avaluar les polítiques. És la cultura pressupostària, el rigor pressupostari o, en altres paraules, la pressió que fa la societat sobre el control de la despesa pública.

I, finalment, entre els elements de fons de l’avaluació, hauria d'ha-ver-hi –honestament crec que hi és– el focus en el ciutadà, i no en l’Administració. Quan algú es preo-cupa d’avaluar polítiques, això em permet pensar que els programes i les accions no es tancaran del tot malament. Quan algú es preocupa de si les polítiques són eficaces per al ciutadà, vol dir que pensa que hi ha un senyor o una senyora que són l’objecte d’aquestes polítiques. Això em sembla intrínsecament bo. Per tant, si avaluem, demostrem que el ciutadà és l’objecte de la nostra política. Aquest és, de fet, l’avanç més important que denota avaluar. És un element positiu que hem de

Sr. Àngel RosQuè fan i què poden fer els actors institucionals? UNA VISIÓ DE L'ALCALDE DE LLEIDA

Alcalde de Lleida

CV

L’alcalde de Lleida, Àngel Ros, reflexiona sobre: les eleccions com a avaluació periòdica dels ajun-taments; els elements latents en l’avaluació (la reforma de l’Administració pública, el control de la despesa pública i el ciutadà com a objecte de les polítiques); la contaminació de valors entre els sectors públic i privat; l’avaluació de l’eficiència però també de l’eficàcia, la transparència neces-sària en l’avaluació i el canvi de la cultura administrativa actual. Ros també detalla els mecanis-mes d’avaluació amb els quals treballa avui l’Ajuntament de Lleida.

CV+

/ 61 /

Sumari La jornada en cinc minuts!

retenir i que contradiu bona part del missatge càustic sobre l’Administra-ció pública. CONTAMINACIÓ ENTRE EL SECTOR PúBLIC I EL SECTOR PRIVATCom a tercera reflexió, l’avaluació de les polítiques de l’Administra-ció demostra una tendència de la societat actual que és la relació i la contaminació que hi ha entre els elements positius de la política i els de les entitats del sector privat. He passat la meitat de la meva vida professional al sector privat i l’altra meitat a l’Administració pública –com a funcionari o, en els dar-rers cinc anys, com a polític– i puc afirmar que hi ha aquest contagi clar d’un sector envers l’altre. Si el que s’intercanvia són elements positius, les coses funcionen.

Potser en els últims temps hem vist exemples de contaminació negativa d’un sector cap a l’altre, però possi-blement la crisi tornarà a portar-nos els elements positius de la contami-nació i serem capaços de donar una altra vegada valor a la funció política: el valor de servei.

Feta aquesta consideració, cal dir que el sector privat ha traspassat a l’Administració pública instruments i eines de control de gestió que supe-

ren la funció clàssica de control de gestió, basada en el rol de l’interventor de les administracions. De la mateixa manera, el sector privat també ha aportat al públic criteris de rendibilitat, amb totes les dificultats que té parlar de rendi-bilitat a l’Administració, sobretot quan tenim en compte els elements socials de les polítiques que fem els governs i, en particular, els governs locals.

Si mirem la relació entre el sector públic i el sector privat en l’altra direcció, el sector públic ha estat ca-paç d’impregnar de valors socials el sector privat. Avui ningú no s’estra-nya que el sector privat també parli de la rendibilitat social, així com del compte d’explotació social, el compte d’explotació mediambiental, els criteris de sostenibilitat i els cri-teris d’aportació al capital humà. A més, el ciutadà actual també valora els productes i les marques segons aquests criteris; per exemple, quan compra un article perquè té una etiqueta verda o perquè contribueix a la societat en forma d’aportacions a polítiques en el Tercer Món, etc. Amb aquest comportament del ciutadà-consumidor es demostra que les polítiques públiques han aconseguit impregnar d’aquests conceptes el sector privat.

AVALUAR L’EFICIÈNCIA PERò DEIxAR DE BANDA L’EFICÀCIAA partir d’aquí, després d’haver re-flexionat sobre el concepte d’elecció com a procés quantificable i for-malitzat per avaluar les polítiques públiques en les societats demo-cràtiques; després d’haver parlat sobre els elements subconscients que hi ha en una administració quan es parla d’avaluació (reforma, rigor pressupostari i focus en el ciutadà); i després d’haver examinat els fluxos de relació entre l’àmbit públic i l'àmbit privat, podem centrar-nos en una quarta reflexió: què passa quan les administracions públiques es preocupen d’avaluar l’efecte de les polítiques. Aquí les administracions treballem amb el criteri que la nos-tra acció de govern ha de ser eficaç i eficient i, per tant, hem d’avaluar els resultats de les polítiques, però també els costos i els recursos que utilitzem.

Això és especialment important perquè hi ha una manca de meto-dologies adequades per avaluar les polítiques, al sector públic i també al privat, malgrat que sí que som capa-ços d’avaluar els costos. És més fàcil avaluar-ne l’eficiència que avaluar-ne l’eficàcia. En la meva activitat docent, explico gestió de projectes, però ho passo malament quan em

/ 62 /

Sumari La jornada en cinc minuts!

toca exposar la relació cost-benefici dels projectes. Sé explicar els costos dels projectes. En canvi, pel que fa als beneficis, explico als meus alumnes que cal passar els beneficis intangibles a beneficis quantifica-bles, però jo mateix no sé com fer-ho. Admeto les meves limitacions. És molt difícil avaluar els beneficis que aportem tant en el sector públic com en el privat. Ens centrem a avaluar l’eficiència de les polítiques perquè ens és més còmode, perquè dispo-sem de més metodologies i tècni-ques que per avaluar-ne eficàcia.

LA TRANSPARÈNCIA, CONDICIÓ PRÈVIAA banda dels criteris d’eficiència i d’eficàcia i de com poden dificultar l’avaluació de les polítiques, la cin-quena reflexió s’ocupa d’una condició necessària per a l’Administració pú-blica que vulgui avaluar: la voluntat de transparència, és a dir, la voluntat política que s’avaluï l’Administració de maneres addicionals a les que ja preveu la llei –les eleccions– cada quatre anys. Sense aquesta voluntat política de transparència, no hi ha mecanismes que puguin avaluar ni l’eficiència ni molt menys l’eficàcia de les polítiques públiques.

Per descomptat, la transparència implica una certa predisposició dels professionals responsables de l’ava-luació. Implica fer avaluacions dels serveis prestats centrades en els ciutadans i en molts casos implica autoavaluar-se. Per tant, la transpa-rència va lligada a la predisposició dels polítics o dels funcionaris que han d’avaluar el que s’ha fet.

CANVIAR LA CULTURA DE L’ExPEDIENTEn aquest sentit, com a sisena i dar-rera reflexió, l’avaluació de les políti-ques públiques xoca amb la manera tradicional de treballar de l’Adminis-tració pública, que és la cultura de l’expedient o un sistema de treball absolutament procedimental i regit per mecanismes planificats.

Aquesta cultura de l’expedient pre-senta aspectes positius, però quan es va dissenyar no va tenir en compte com s'ha d'avaluar el resultat que un expedient genera en la societat o en el ciutadà. És a dir, avui treba-llem d’una manera que no incorpora intrínsecament el concepte d’avalua-ció. Per tant, avaluar significa afegir alguna cosa a la manera de treballar habitual en les administracions públiques.

QUÈ FA L’AJUNTAMENT DE LLEIDA PER AVALUAR?Després d’aquestes sis reflexions o consideracions, vull presentar els elements –poc nombrosos– que uti-litzem des de l’Ajuntament de Lleida com a mecanismes d’avaluació de la nostra feina.

1. Considerem la Sindicatura de Greuges com un mecanisme per avaluar les nostres polítiques públiques, com també l’informe anual que aquesta entitat presenta al Ple Municipal i l’informe periò-dic que el síndic em presenta com a alcalde de la ciutat.

2. Els consells de participació ciu-tadana són un element important i, de fet, els considerem mecanis-mes no formalitzats –més qualita-tius que quantitatius– per avaluar les polítiques públiques.

3. En el mateix sentit avaluador ac-tua el Consell Econòmic i Social,

centrat, però, en les polítiques que tenen un impacte econòmic. Aquí sí que podem dir que hi ha un focus en l’eficiència.

4. Finalment, disposem d’altres me-

canismes formals, però qualita-tius, per avaluar les polítiques que desenvolupem a la ciutat: l’Oficina d’Informació al Ciutadà, el telèfon 010 i les oficines que l’Ajuntament de Lleida té per relacionar-se amb el ciutadà, per rebre la formulació de queixes i valoracions, etc.

Per tant, en aquest àmbit d’avaluació de polítiques públiques, els ajunta-ments tenim un llarg camí per recór-rer. D’una banda, no hem d’oblidar mai el sedàs electoral cada quatre anys i, de l’altra, hem de considerar que el fet de formular la necessitat d’avaluar el treball realitzat ja és un element positiu que, de fet, revela un focus en el ciutadà i una voluntat de transparència. A partir d’aquí, ens espera el repte de desenvolupar noves metodologies, noves tècniques i noves eines d’avaluació.

Enllaços externs

Ajuntament de Lleida www.paeria.es/cat

Sindicatura de Greuges www.paeria.es/cat/ajuntament/altres_webs.asp?Detall=True&IdWeb=56&Tipus=REG&IdIdioma=cat

/ 63 /

Sumari La jornada en cinc minuts!

Sr. Jordi Joly Què fan i què poden fer els actors institucionals? UNA VISIÓ DES DE L’AJUNTAMENT DE SANT CUGAT: APLICACIÓ DEL MODEL PACTE (PLA D’ALINEACIÓ I COMPETITIVITAT ESTRATÈGICA)

Tinent d’alcalde d’Economia i Organització de l’Ajuntament de Sant Cugat del Vallès

Malauradament, la cultura política del nostre país no està encara im-pregnada d’allò que significa l’avalu-ació de les polítiques públiques. Dic <<encara>> perquè vivim en un món que no ens ho posarà gens fàcil si, precisament, volem escapar d’anar en aquesta direcció. De fet, ja dispo-sem de plataformes i pantalles mà-giques que poden resultar letals per als polítics des del punt de vista de l’avaluació. Penso, per exemple, en el cercador Google, capaç de bolcar en dècimes de segon tones d’informació sobre la cerca que hem fet, com ara contrastar què estan fent i dient avui

els polítics i l’Administració i què feien i deien amb anterioritat sobre la mateixa qüestió. Parlem, doncs, d’un autèntic sistema detector d’incohe-rències i d’un sistema d’informació tan detallada i tècnica com vulguem.

Per tot això, des de l’Ajuntament de Sant Cugat hem posat en marxa un model que respon a la pregunta formulada en aquesta taula: què fan i què poden fer els actors institucio-nals en relació amb l’avaluació de les polítiques públiques? El model que hem portat a terme des de Sant Cu-gat es basa en el concepte d’un pacte politicotècnic per als anys 2008-2011 que hem anomenat Pla d’Alineació i Competitivitat Estratègica (PACTE), que recull el que fem en avaluació o, més modestament, el que intentem fer. El món anglosaxó, malgrat que ja ha interioritzat el concepte d’accoun-tability o d'obligació de retre comptes, sap que encara li queda molt camí per endavant en aquesta matèria. Nosaltres, al nostre país, però, encara ho tenim molt verd i, per tant, afrontar políticament aquest repte no és senzill ni està exempt de dificul-tats polítiques, tècniques, culturals i organitzatives. L’Ajuntament de Sant Cugat del Vallès és una organització on treballen gairebé 700 persones i, per tant, és complex gestionar-la i canviar-la.

LA POLíTICA HA D’ENTENDRE LA GESTIÓVull insistir que es tracta d’un pacte politicotècnic, perquè la teoria ens ha dit que la política no tenia res a veure

amb la gestió, que eren dinàmiques i lògiques diferents. Se’ns ha dit que els tecnòcrates eren un món i els polítics, un altre. Però, amb aquesta separació, les coses no funcionen. Perquè puguin funcionar, el polític s’ha d’apropar a la gestió. Això no vol dir convertir-se en un tecnòcrata, sinó entendre la gestió, entendre què és possible fer i què no és possible fer. Es pot il·lustrar amb un exem-ple del sector privat. Si el consell d’administració d’una empresa és als antípodes del director general o no entén la dinàmica del que és possible i del que no ho és, aquesta empresa experimentarà grans dificultats, per no dir que no tindrà cap possibilitat en un món com l’actual. El mateix passa, doncs, entre la política i la gestió pública.

Avui és, a més, un dia especialment interessant per parlar d’avaluació. Vivim un moment de crisi i d’incer-tesa terrible i, des de la política, ens inflem la boca per demanar compe-titivitat i productivitat a les empreses del país. Als empresaris, els diem: <<sigueu competitius!>>, <<gestio-neu bé!>>, <<reduïu costos perquè la globalització ens estreny!>>, <<lluiteu pel valor afegit davant dels xinesos i els hindús!>>… Tanmateix, en acabar aquest discurs, hauríem de pensar que les administracions a nivell eu-ropeu signifiquen gairebé el 50 % del PIB i que tot el que fan afecta molt el conjunt de la societat.

Per tant, la pregunta és: què passa amb la competitivitat de l’Adminis-

CV PDF

Des de l’Ajuntament de Sant Cugat, Jordi Joly analitza el model PACTE (Pla d’Alineació i Compe-titivitat Estratègica), que recull un pacte politicotècnic d’aquesta administració local per introduir una orientació estratègica (i no burocràtica) i per canviar cap a una cultura de la gestió. L’Oficina de Gestió Estratègica hi té un paper central amb l’objectiu que el nou model aconsegueixi vincular l’estratègia de govern amb el programa electoral i amb els pressupostos, alinear l’organització i, en aquest procés, transformar alguns elements de la nostra cultura política.

/ 64 /

Sumari La jornada en cinc minuts!

tració pública? Aquesta qüestió no forma part de l’agenda política, però ho hauria de fer, perquè el polític serà més o menys fort en la mesura que la seva administració funcioni més o menys bé. Les promeses polítiques no es fan realitat per art de màgia. Si en el programa electoral anuncies que vols anar per aquí, fer això o fer allò altre, has de saber que, quan arribis al govern, serà l’Administració pública qui hagi d’executar aquest programa, i això és gestió. Per tant, la política també és gestió.

CANVIAR UNA ORGANITZACIÓ BUROCRÀTICAPer descomptat, la política és ideolo-gia i no es limita al món de la tècnica i la gestió, però la ideologia allunya-da de la gestió és pura demagògia, perquè, senzillament, no és possi-ble. Perquè el país sigui competitiu, necessitem una administració pública competitiva. A l’Ajuntament de Sant Cugat del Vallès aquest tema ens obsessiona; volem anar en aquesta direcció i per això ens hem inventat aquest model, aquest pacte politico-tècnic 2008-2011, que miraré d’expli-car a continuació.

A grans trets, una organització burocràtica o massa administrativa, on només es lluita pels recursos i on només es valora què tinc i què no tinc en el pressupost, sovint genera desmotivació i manca de ganes de treballar. Aquí entra en acció, el concepte de funcionari, i ho fa en sentit negatiu. De fet, per a un polític, en el sentit més clàssic del terme, és ter-riblement útil tenir <<funcionaris>>, perquè, si les coses no funcionen, pot escudar-se en ells i eludir la responsabilitat personal. Cal dir que el funcionari, entès pejorativament, està present a l’Administració pública i a qualsevol de les grans empre-ses privades i corporacions globals amb molts beneficis i bona gestió. A més, qui ens negarà que també hi ha políticfuncionaris… Serà millor que no entrem a analitzar-ne els perfils.

En aquest context, per passar a una organització enfocada cap a l’estratè-

gia (no burocràtica), és vital motivar i incentivar. Per incentivar, però, cal tenir ganes de fer coses i, sobretot, saber cap a on es va. I aquí entra en joc l’avaluació de les polítiques, per-què avaluar no vol dir només castigar quan no s’han fet bé les coses, sinó bàsicament motivar. Si sabem què volíem fer i què hem aconseguit i com ho hem aconseguit, aquesta informa-ció ens permet corregir el rumb si cal i continuar tirant endavant.

EL CANVI DE MODEL: LA CULTURA DE LA GESTIÓA Sant Cugat, com hem afrontat el pas cap a una organització enfocada cap a l’estratègia? En primer lloc, cal dir que aquest pas no es fa d’un dia per l’altre. I, en segon lloc, el PACTE (Pla d’Alineació i Competitivitat Estratègica) ha estat possible gràcies a un gran consens polític a la ciutat, i no només a l’equip de govern. És a dir, en aquesta intervenció no vull fer un discurs polític partidista, sinó que vull explicar una experiència de ciutat on l’oposició també ha mostrat una actitud de maduresa molt digna i lloable. Estem parlant de <<cultura política>>.

Em preguntava, però, com s’havia fet el canvi a Sant Cugat. Anys enrere vam començar per la cultura de la gestió. Vam passar de la cultura de la despesa a la cultura del cost amb l’aplicació de la metodologia de l’ABC (Activity Based Costing System): és a dir, saber on es gastaven els diners, què costaven les activitats... Aquí hi ha una consideració important: no tot són diners, sinó que cal parlar de diners i de gestió. Ja no podem jutjar si una administració fa més o menys una política segons els diners que hi dedica en el pressupost, perquè fer més despesa no equival a obtenir més resultats (parlo del debat dels outputs i dels outcomes d’aquesta mateixa jornada). Només cal mirar l’educació o la salut: els països que destinen més diners a aquestes polítiques públiques són els que obtenen mi-llors resultats? La resposta és clara: no. Per tant, ens hem d’acostumar a parlar no només de pressupostos,

sinó també de gestió, objectius i resultats. Hi ha coses que s’aconse-gueixen perquè es gestiona bé, sense un increment pressupostari, i aquesta és la gran diferència. Així és com des-cobrim els bons gestors públics.

EL PAPER DE L’OFICINA DE GESTIÓ ESTRATÈGICADesprés de treballar la cultura de la gestió, vam posar en funcionament l’Oficina de Gestió Estratègica. No és una entitat com Ivàlua, que té un major abast, ni s’ocupa de la ne-cessària avaluació de les polítiques públiques a llarg termini, sinó que és una oficina molt enfocada a les coses que s’executen dia a dia, enfocada que les coses es facin bé i es facin ràpidament, que es facin d’acord amb l’estratègia i amb les prioritats prèviament decidides, a aconse-guir l’alineació de l’organització, tal com ha comentat el president de la CECOT, Antoni Abad. Parlo d’avaluar la gestió del dia a dia durant tot el mandat polític i durant cada pressu-post anual: què he fet? Quina decisió he pres? Cap a on vaig? Aconsegueixo el que volia o no?... Aquests plante-jaments polítics tenen un fort lligam amb la gestió pública, i d’aquí sorgeix el model del pacte a Sant Cugat.

Per tant, l’Oficina de Gestió Estratè-gica es converteix en una, eina, en el company de viatge permanent del govern municipal i dels gestors. Ava-lua però ho fa des del següent punt de vista: <<el pressupost està lligat als objectius i cal saber si s’estan complint o no aquests objectius, si s’està aconseguint la fita que ens ha-víem proposat i si estem gastant més o menys diners per aconseguir-ho>>. Això és fàcil de dir però complex de fer, perquè es necessita disposar d’in-formació i d’indicadors per fer aquest tipus d’avaluació.

/ 65 /

Sumari La jornada en cinc minuts!

QUINA éS LA MISSIÓ I LA VISIÓ DEL PACTE?El PACTE de l’Ajuntament de Sant Cugat té la missió de definir i implantar un nou model de gestió i d’elaboració pressupostària, basat en mapes estratègics i quadres de comandament a tots els nivells directius de l’organització. A partir d’aquesta missió, queda definit què volem aconseguir amb aquesta nova cultura política i aquest nou model de gestió. Volem aconse-guir que Sant Cugat sigui una ciutat de referència a Europa, bressol de noves idees i d’una política prestigi-ada. Aquesta és, doncs, la visió per a Sant Cugat. Aquesta missió i aquesta visió tenen a veure amb la cultura política, i no només amb l’Adminis-tració pública, perquè, sense una cultura política determinada, tot això s’enfonsaria ràpidament. De fet, és una visió agosarada, però plantejar que vols ser una ciutat de referèn-cia a Europa genera il·lusió i ganes de treballar, marca un tarannà i un posicionament important dins l’or-ganització. Un exemple ha estat la candidatura de Sant Cugat a l’Institut Europeu de Tecnologia, en sintonia amb la vocació internacional de la ciutat.

EL PRIMER OBJECTIU: L’ESTRATÈGIA DE GOVERN I EL PROGRAMA ELECTORALDins d’aquest pacte, el primer objec-tiu és definir l’estratègia a l’inici de la legislatura i vincular-la al progra-ma electoral. Si el model s’implanta realment i de manera definitiva, es podrà considerar un luxe que, quan l’any 2011 sigui elegit un nou equip de govern, aquest equip pugui arribar a l’Administració pública i pugui vincular directament allò que va disposar en el programa electoral –els objectius del seu programa– amb els pressupostos. Això resultarà enormement útil i serà, sense cap mena de dubte, un pas endavant cap a la consolidació i millora de la nostra democràcia.

Com deia Sèneca, <<si no saps cap a quin port navegues, cap vent no

és bo>>. Primer, has de saber cap a on vas, però, per saber-ho, cal una segona cosa políticament important: decisió. A la nostra cultura política li costa molt interioritzar la importàn-cia de la decisió per fer les coses i, encara més, per fer-les ràpidament, al ritme de l’exigència de la societat actual. En aquest sentit, la presa de decisions incorpora un altre aspec-te clau: decidir, és a dir, marcar els objectius estratègics, implica dir, sí a unes coses i no a unes altres i, a més, implica explicar perquè es diu sí a això i no a allò. Decidir és, senzillament, prioritzar.

EL SEGON OBJECTIU: ALINEAR L’ORGANITZACIÓTot això necessita un canvi cultural general i, per tant, com a segon objectiu, parlaríem d’alinear l’orga-nització. En la pràctica, s’estableix un pacte entre la Junta de Govern (els polítics) i el Consell de Direcció, encapçalat pel director general i els gerents de les diferents àrees de l’Ajuntament.

A partir d’aquest pacte organitzatiu, parlem de tres tipus d’estratègies. D’una banda, l’estratègia política, que anomenen mapa de ciutat i que marca els objectius estratègics (el programa electoral i de govern). De l’altra, tenim l’estratègia execu-tiva competitiva, que estableix els objectius de gestió. En aquest cas, els directius públics són els que es plantegen: <<per assolir aquesta es-tratègia o aquests objectius, cal dur a terme aquest altre conjunt d’ob-jectius i de processos>>. Per acabar, tenim l’estratègia funcional, que de-senvolupa els objectius operacionals sobre els clients, els processos i els recursos, en el sentit més clàssic i conegut de l’estructura d’un quadre

de comandament segons Kaplan i Norton. Els objectius operacionals es vinculen directament amb allò que el Consell de Direcció ha deter-minat com a objectiu de gestió.

Tot aquest treball només es pot fer de manera transversal i amb la implicació del conjunt de les direccions, que n’hauran assumit la responsabilitat i no es conformaran amb les habituals subcontractacions i consultories respecte a aquesta qüestió. No pots encarregar a una consultora un pla estratègic i uns indicadors que, després, has de dur a terme tu mateix. A la llarga, si no existeix la mencionada implicació, això no funciona.

UN PACTE AMB MéS OBJECTIUS DE CANVISatisfer els dos primers objectius, definir l’estratègia i vincular-la al programa electoral i alinear l’or-ganització, trenca amb el debat pressupostari habitual. Aquest debat se sol basar només a identificar allò que s’incrementa i allò que es redu-eix segons la dotació econòmica que adjudica el pressupost. Ara, però, el debat potser hauria d’anar en una altra direcció; per exemple, hauria de buscar quines partides es poden rebaixar, perquè, possiblement, s’haurien d’assolir els mateixos objectius amb una menor despesa econòmica. Aquí s’emmarcaria, de fet, el tercer objectiu del pacte: vin-cular l’estratègia de govern amb els recursos econòmics de l’Ajuntament.

Com a quart objectiu, parlaríem de la definició de les responsabilitats i la transparència, és a dir, d’anar de nou cap a una nova cultura política. En aquest punt, haig de fer un comen-tari rellevant: perquè un model com aquest funcioni, cal prestigiar, potenciar i millorar la figura de la gestió pública, del directiu públic, dels càrrecs de confiança polítics a les administracions. S’han de convertir en autèntics directius, en bons directors tècnics de la gestió pública. És cert que en tenim molts i molt bons, però també que la nostra

/ 66 /

Sumari La jornada en cinc minuts!

cultura política vincula massa sovint la política amb els càrrecs directius. És a dir, els polítics que no participen de les llistes electorals fan política a través de les direccions generals o de les secretaries generals, que són càrrecs de confiança. Sé que parlar d’aquest tema pot ser compromès, però si volem millorar la competitivi-tat del país, els polítics han de poder exigir el màxim als directius públics i aquests directius públics han d’actuar com a autèntics directius, han d’actuar com ho farien en una empresa privada. El primer interes-sat a saber si s’assoleixen o no els resultats és el govern i, per tant, el concepte de retre comptes també ha de ser present en aquesta relació entre els polítics i els directius públics. Les relacions de connivència i dependència política entre els go-verns i els seus directius impossibili-ten una bona competitivitat del país.

TOT EL PLA A LA VISTA: ELS MAPESVoldria tancar la meva intervenció amb una ullada general a tot el pacte politicotècnic 2008-2011 per a la ciutat de Sant Cugat del Vallès. Aquesta visió global del pacte inclou una sèrie de mapes que marquen el camí:• El mapa polític per als quatre anys

de la legislatura (objectius estra-tègics).

• El mapa competitiu del Consell de Direcció per als quatre anys de mandat (objectius de gestió).

• El mapa funcional de cadascuna de les àrees de treball, amb una duració d’un any: cultura, esports, educació i joventut; economia i

planificació estratègica; innovació i projectes; polítiques socials; recursos humans, etc.

• El mapa de suport de l’estratègia: és a dir, el de l’Institut de Gestió Estratègica, que treballa per do-nar servei a totes aquestes àrees, com a òrgan staff.

Després de veure els mapes, el pacte també exposa com s'ha de definir l’activitat de valor afegit dins de l’organització, la qual cosa implica treballar processos d’en-ginyeria i d’innovació, i com es pot donar un paper fonamental a la comunicació. En aquest sentit, el pla de comunicació ha d’aconseguir que tota l’organització sàpiga cap a on va i què s’espera d’ella. Aquest és un valor important, sobretot a l’hora de motivar i d’incentivar els treballa-dors d’una organització.

PRESSUPOST PER OBJECTIUSFinalment, aquesta visió global dels mapes, aquest definició de l’activitat de valor afegit i aquest pla de comu-nicació, enllacen amb l’explicació del pressupost de l’Ajuntament de Sant Cugat, un pressupost pensat perquè sigui fàcil d’entendre i de digerir. Per exemple, el de l’any 2008 s’organitza en les perspectives o blocs de recur-sos, estructura i beneficiaris, que, al seu torn, es creuen amb les missi-ons o els objectius que s’ha proposat la ciutat. • Els recursos que té l’Ajuntament:

en pressupost; en govern, direc-tius i administracions públiques; i en coneixement, tecnologia i in-novació. Aquests recursos donen

resposta al següent bloc o pers-pectiva, que és l’estructura de la ciutat.

• L’estructura, que podem entendre com <<la ciutat sense persones>>: l’entorn urbà i ambiental (places, carrers, parcs i jardins…); els equipaments, la urbanització i les inversions (habitatge públic, escoles bressol, centres cívics…); i el territori, el planejament i les comunicacions (trànsit, transport públic…).

• Els beneficiaris de tots aquests recursos que hem vist en les perspectives anteriors i de tota aquesta inversió plantejada són: les persones; les entitats, les associacions i els agents socials i culturals; i el comerç, les empre-ses i els centres de coneixement. En definitiva, tota la gestió pública, tota la despesa corrent o d’inver-sió, té una única finalitat global: aconseguir un outcome o objectiu final previst en la perspectiva dels beneficiaris.

Com deia, aquestes tres perspecti-ves horitzontals es dirigeixen cap a l’assoliment de la missió que està definida pels següents objectius: la sostenibilitat econòmica, la innovació continuada i la política en xarxa.

La imatge mostra els imports totals per a totes les perspectives (recur-sos, estructura i beneficiaris) i com es desglossa cada objectiu o missió. Per tant, no és un pressupost per partides. Aquest pressupost ajuda a identificar ràpidament quina és la suma d’imports que es destina a cadascun dels objectius últims de les diferents polítiques públiques, aquelles polítiques que –en el cas que estem analitzant– ajuden a la finalitat <<família>>, <<gent gran>>,

/ 67 /

Sumari La jornada en cinc minuts!

<<seguretat>>, etc. Si ens fixem en la perspectiva d’estructura, el pressupost exposa si s’ha construït un centre de dia, una escola bressol o el que correspongui i que s’ha fet precisament per donar resposta a un objectiu del <<beneficiari>>. És a dir, aquest pressupost separa, tal com han comentat ponents anteriors, els outcomes (els beneficiaris) i els outputs (l’estructura i els recursos).

Per acabar, voldria remarcar que aquest Pla no és sinònim que tot hagi d’anar molt bé, però sí que po-dríem dir que és sinònim de treball, de fer política a la recerca de la res-ponsabilitat i l’ètica, de ganes de fer les coses ben fetes… El temps dirà si aquesta proposta haurà pogut ajudar, en la mesura que sigui possible, a canviar determinades maneres de fer en política que no responen a una era global i exigent com l’actual.

Enllaços externs

Ajuntament de Sant Cugat www.santcugat.cat

Pla d’Alineació i Competitivitat Estratègica (PACTE) www.santcugat.cat/files/651-2165-fitxer/PACTE_2008-2011.zip

Oficina de Gestió Estratègica www.sfo.santcugat.cat

Ullada general a tot el pacte politicotècnic 2008-2011 www.ivalua.cat/arxius/ponencies_11–08/ponencia–jordi_joly.pdf

/ 68 /

Sumari La jornada en cinc minuts!

Sr. Josep MartíQuè fan i què poden fer els actors institucionals? UNA VISIÓ DES DEL DEPARTAMENT DE LA PRESIDÈNCIA DE LA GENERALITAT, DIRECCIÓ GENERAL DE COORDINACIÓ INTERDEPARTAMENTAL

Director general de Coordinació Interdepartamental del Departament de la Presidència de la Generalitat de Catalunya

En la intervenció anterior d’aquesta mateixa taula rodona, Jordi Joly, de l’Ajuntament de Sant Cugat del Va-llès, ha traslladat molt correctament algunes possibles perspectives de com es poden imbricar les ciències polítiques i de l’Administració amb la política més tradicional. Aquesta és una experiència que la Generalitat de Catalunya també va iniciar al final de la passada legislatura, quan es va avaluar un primer Pla de Govern. Malgrat que aquesta avaluació va transcendir més aviat poc, va estar penjada al web de la Generalitat en

primera plana amb alguns milers de descàrregues i va fer palès –per es-crit– que no s’havien assolit alguns dels objectius que el Govern s’havia plantejat per a l’any 2004. Les perso-nes implicades en aquesta tasca en tots els departaments, en especial el de la Presidència, vam sentir-nos contents de l’experiència, de manera que, de seguida que es va obrir la nova legislatura, vam començar a redactar un segon Pla de Govern, ara amb més agilitat, amb la vocació de fer-ne, amb tota la cura meto-dològica, el seguiment i l’avaluació pertinents durant tota la legislatura actual.

EL PRESSUPOST PER PROGRAMES DE LA GENERALITATAbans de començar, també caldria remarcar que en aquesta taula pot-ser faltaria aportar una visió sobre el pressupost per programes de la Generalitat de Catalunya, un tema sobre el qual no puc aprofundir ara mateix, però sobre el qual sí que miraré de fer algunes pinzellades. Aquesta experiència interessant, que també va arrencar la legislatura passada, genera molta feina diverses vegades l’any a molts dels assistents en aquesta jornada que pertanyen a l’Administració pública: primer han d'omplir el pressupost per progra-mes i, després, quan toca avaluar-lo, han de facilitar les dades que es demanen.

Aquesta tasca té lloc cap al mes de setembre i cada any implica moure

més informació. El que és impor-tant és que es tracta d’una iniciativa d’una riquesa extraordinària i que els seus beneficis es veuran a mig i llarg terminis. Per tant, paga la pena que tots els qui ens interessem per l’avaluació de les polítiques públi-ques coneguem l’esforç que, malgrat les mancances evidents, ja s’està fent en aquest sentit. Segurament cal que aquest esforç transcendei-xi el debat públic dels experts en aquesta matèria.

LA PERSPECTIVA DES DE LA PRESIDÈNCIA DE LA GENERALITATEn aquesta intervenció parlaré del Pla de Govern, la figura que m’ha tocat dirigir aquests anys, i també abordaré alguns altres aspectes previs sobre l’avaluació de les políti-ques públiques. Abans, però, voldria matisar un aspecte. Sembla que, quan un parla des de la Presidència de la Generalitat, totes les opinions expressades s’hagin de dur a terme immediatament. Però la realitat és més complexa que això i, per tant, algunes coses s’expressen com a desigs i d’altres, com a realitats. Ens movem en el terreny del gris.

AVALUACIÓ… Sí O NO? El meu primer argument és senzill. Crec que no es pot discutir si cal o no cal avaluar, perquè, per exemple, tots els qui estem en política estem avaluant permanentment. Per tant, aquesta és una pregunta retòrica, perquè executar polítiques públiques sempre porta implícit un procés

CV PDF

El director general de Coordinació Interdepartamental de la Generalitat de Catalunya, Josep Martí, examina l’avaluació de les polítiques públiques a partir de l’experiència d’elaborar i seguir el Pla de Govern de l’actual legislatura (a través d’un aplicatiu específic), així com de l’experiència de la introducció del pressupost per programes de la Generalitat. Martí argumenta quins són els factors crítics perquè l’avaluació sigui útil i els factors que poden contribuir a l’èxit de l’avaluació a Cata-lunya en les diferents fases del cicle polític.

/ 69 /

Sumari La jornada en cinc minuts!

d’avaluació. Quan dic a algú que ha d’invertir en avaluació, no és per-què es posi a fer una cosa diferent, sinó perquè faci millor allò que ja fa. El problema, o la dificultat, radica a prendre aquestes decisions de gestió a partir d’avaluacions metodolò-gicament correctes, i no a partir d’avaluacions amb una base massa descompensada. És a dir, la baixa qualitat amb què massa sovint es duu a terme aquest procés en l’àmbit polític, impedeix que l’avaluació tècnicament solvent pugui competir amb la ideologia, l’experiència per-sonal, la pressió externa…, com a factors de decisió final.

Qualsevol presa de decisió está associada a un procés avaluador. A més, en política, ningú no pot fugir de l’avaluació, ni que sigui l’avalu-ació interna. Al conjunt del Govern, se’ns avalua des del Parlament de Catalunya. Els directors generals que executen polítiques són avalu-ats pels secretaris generals quan, per exemple, els pregunten per què necessiten tants diners en el pres-supost anual. També ens avaluen els ciutadans afectats per les nostres polítiques i ens avaluen els mateixos treballadors públics. Per tant, hi ha un conjunt d’avaluacions creua-des que necessiten una plataforma mínima, comuna i metodològicament ben treballada per estructurar la informació.

SER CONVINCENTS PER SER COMPETITIUSQuin és, o hauria de ser, el caràcter substancial d’aquesta avaluació? Probablement hauria de ser una avaluació <<convincent>>. Quan em trobo davant dels meus responsa-bles polítics, el meu problema és convèncer-los. El vector clau és la capacitat de convèncer, no només en el terreny de les dades o de la pura objectivitat, sinó també en el terreny del plantejament, la dialèctica, etc. Sense afermar una metodologia con-vincent, l’avaluació no és competitiva en política.

Voldria fer un incís sobre l’afirmació, feta en aquesta taula rodona, que el vot avalua. El vot avalua perquè és la decisió sumària dels electors, en la qual resideix la legitimitat política, però cal matisar que més del 50 % del vot és sempre el mateix: els partits polítics reben una part de vot fidel, hagin fet el que hagin fet. Hi ha exemples clars de fa uns anys. Per tant, el vot és un element d’avalua-ció, democràticament inapel·lable, però no és l’únic des del punt de vista tècnic.

ELS FACTORS CRíTICS D’UTILITATPer tal de descriure els factors crí-tics d’utilitat, he partit de la definició d’avaluació que aporta la professora de Harvard Carol H. Weiss i que, de fet, recull elements que han sortit en les intervencions anteriors: <<L’ava-

luació és la valoració sistemàtica dels processos i/o els impactes d’un programa o una política, comparada amb un conjunt de patrons implí-cits o explícits com una manera de contribuir a la millora del programa o de la política>> (Carol H. Weiss, Evaluation, Prentice Hall, 1988). Aquí apareixen els quatre elements clau de l’avaluació:

1. Sistemàtica: l’avaluació és una aproximació quantitativa –com a mínim a l’inici, malgrat la impor-tància que tenen les aproxima-cions qualitatives– i regular. Que sigui regular és el repte.

2. Processos (operation) i/o resultats (outcomes): la valoració dels pro-cessos i dels resultats ens obliga a formular objectius i ens permet diferenciar la gestió.

3. Patrons de referència: avaluar mostra la necessitat bàsica de posar-nos d’acord sobre uns pa-trons de referència per comparar, d’arribar a uns estàndards explícits i pactats. Per exemple, la nostra educació es compara amb la de Finlàndia. Finlàndia rep les millors notes en els informes internacio-nals, però és el patró de referència de Catalunya? El conseller ha visi-tat Finlàndia i ha importat algunes de les polítiques més interessants, com ara el màster que els profes-sors de secundària han de fer a

/ 70 /

Sumari La jornada en cinc minuts!

partir del proper curs, un màster de dos anys o de seixanta crèdits que multiplica per cinc el que feia el CAP. Probablement, però, Finlàndia no és el nostre patró de referència en tot, entre d’altres raons perquè els nens finlandesos van a l’escola a partir dels sis o set anys i els nostres, a partir dels tres. L’elecció del patró de referèn-cia s’ha de pactar entre l’avaluador i l’avaluat.

4. Millora: l’avaluació exigeix la neutralitat de l’avaluador i un enfocament no academicista, si l’objectiu és millorar les polítiques o els programes. D’una banda, cal certa neutralitat per part de qui fa l’avaluació i, per això, no la pot realitzar un mateix, ni tampoc l’enemic o l’adversari polític i le-gítim. Esperem que Ivàlua sigui una de les figures que guanyi en aquest valor de neutralitat en les polítiques públiques. De l’altra, no s’ha d’avaluar per avaluar, sinó perquè l’avaluació sigui pràctica per al gestor. L’avaluació pot ser acadèmica, però no academicista ni <<preciosista>>.

ELS FACTORS D’ÈxIT DE L’AVALUA-CIÓ A CATALUNYAPer parlar dels factors que poden contribuir a l’èxit de l’avaluació de les polítiques públiques a Catalu-nya, m’he fixat en el cicle de la gestió pública. • Determinar sistemàticament els

objectius en les polítiques. Els objectius han de quedar marcats des de la planificació. Després, en el moment de programar i pressupostar, els hem d’estruc-turar, els hem de jerarquitzar, hem d’establir un calendari...

• Invertir en sistemes de mesura i bases de dades. Aquest ha de ser un nou concepte de despesa per tal de ser capaços de recollir da-des en el moment de l’execució i de vertebrar la informació.

• Realitzar la comptabilitat per projectes.

• Trobar temps per a l’avaluació i, alhora, accelerar l’avaluació. El

temps és un recurs gairebé més escàs que els diners. Ahir, en una xerrada sobre la innovació i la indústria, s’explicava el cas d’una empresa farmacèutica americana que rep 15.000 milions de dòlars per gastar en innovació: una for-tuna, però l'ha de gastar en sis mesos. Darrere aquest marge de temps dramàticament curt, hi ha la por que vingui un altre procés d’innovació de la competència i que això impedeixi amortitzar la inver-sió feta. Els lapses de temps dispo-nibles, o les finestres d’oportunitat, són cada cop més breus.

• La tossuderia dels gestors <<pioners>>.

• La modèstia dels avaluadors.• No enfrontar l’avaluació amb la

política. L’avaluació no pot salvar una política a vegades acusada de cutre, no és un instrument de sal-vació. La política sempre ha portat a grans coses i, segons els temps, també a coses més modestes. L’avaluació ens pot donar algunes pistes de claror allà on encara hi ha foscor, però els factors del risc, la ideologia, la persona i el grup que li dóna suport, continuen essent els valors principals per determinar el futur d’un país des de les instàncies públiques. No hem de crear un nou positivisme a partir de l’avaluació.

• La comprensió dels ciutadans i dels mitjans de comunicació.

• Tenir una normativa general. Tard o d’hora haurem de tenir una normativa que no deixi aquests conceptes als llimbs, sinó que hi doni una perspectiva més o menys tancada, un patró comú i que, si no ens serveix, puguem modificar.

EL PLA DE GOVERN ACTUAL: FIxAR PRIORITATSPassem ja al Pla de Govern d’aques-ta legislatura. Aquest Pla és l’inici per tenir unes polítiques d’ava-luació global sobre la Generalitat de Catalunya, en la mesura que tots els departaments van intentar fixar prioritats perquè el Pla fos un element de referència i sobre el qual pivotés tota la gestió. Per exemple,

entre les prioritats sanitàries hi ha des d’avançar en l’organització, el finançament i l’excel·lència del nou model sanitari, fins a reforçar l’aten-ció integral de la persona, passant per millorar la qualitat tècnica de l’assistència sanitària.

Després, els textos també marquen objectius concrets o criteris d’intervenció, com ara reduir la ràtio d’habitants per professional mèdic, ampliar els horaris d’atenció (deu minuts), accedir al metge de capçalera en menys de quaranta-vuit hores, etc.

Com fem el seguiment del Pla? El se-guim a través del nostre aplicatiu del Pla de Govern que ens ajuden a omplir tots els departaments, amb unes cent persones involucrades en tota l’orga-nització per entrar dades i millorar la informació dia a dia. Per exemple, si comprovo avui la mitjana de temps d'una visita mèdica, l’aplicatiu mostra que encara és de nou minuts i trenta segons. Necessitem créixer, però sabem on som exactament.

ALTRES ELEMENTS PER TREBALLAR I AVANçARDes de la Generalitat de Catalunya, a banda del Pla de Govern, estem mirant d’avançar en altres elements o regles generals de l’Administració pública. En primer lloc, la transició cap a pressupostos llegibles, que ja he esmentat abans, amb la inversió com a gran exemple. Aquests dies molts diaris comarcals publiquen les inversions que suposadament es faran al seu territori durant l’any 2009. Això, però, no és cert, perquè el capítol VI dels pressupostos de la Generalitat ha deixat de dir-nos les inversions. Les inversions ja no són al capítol VI, sinó al VII, el IV, el II… Ara és molt difícil trobar les inversions amb els paràmetres tra-dicionals, i encara més en algunes comarques com el Tarragonès, on l’Estat fa les inversions principals. En aquest sentit, encara ens queda molt per llegir bé les partides dels pressupostos. Nosaltres ho estem intentant amb els pressupostos

/ 71 /

Sumari La jornada en cinc minuts!

per programes.

En segon lloc, la Generalitat està fent un gran esforç, en termes eco-nòmics i humans, per tenir progra-maris centrals de gestió: és a dir, patrons comuns per a l’extranet de les administracions catalanes (EACAT), el sistema pressupostari, les subvencions, la gestió de personal...

En tercer lloc, és imprescindible jerarquitzar i racionalitzar progres-sivament el bosc de plans actuals de la Generalitat de Catalunya. Avui ens consten cent cinquanta-dos textos programàtics, entre acords estratègics, pactes nacionals, plans directors, plans territorials, docu-ments de mesures, plans d’inversi-ons, programes de subvencions..., que generen confusió. En aquest sentit, una bona pràctica és la Llei de mobilitat de l’any 2003, aprovada per unanimitat. En aquesta llei hi ha moltes figures –no defuig la neces-sària complexitat–, però es jerar-quitzen i se sap què li toca fer a cada figura. Funciona com un mapa o una guia d’ús de les polítiques sobre mo-bilitat. Per això, una pota important per a la Generalitat i tota l’Adminis-tració és la qualitat normativa, que explicarà la següent ponent, Dolors Canals, com a directora d’aquest àmbit des del Departament de la Presidència.

I, finalment, en quart lloc, necessi-tem que hi hagi una referència tèc-nica permanent en el procediment avaluador. Esperem que Ivàlua pugui actuar com aquesta referència.

L’AVALUACIÓ EN LA FORMULACIÓ DE POLíTIQUESTancat el punt anterior, voldria destacar una regla d’or que lliga l’avaluació amb la formulació de noves polítiques públiques: que tot pla s’iniciï amb l’avaluació del pla anterior. És a dir, no podem fer més plans sense avaluar els an-teriors. Hi ha exemples de bones pràctiques en aquesta línia, com ara el Pla d’Inversions d’Infraestructures

del Transport de Catalunya, que va avaluar els plans de carreteres ante-riors, o l’Acord Estratègic d’aquesta legislatura.

Tanmateix, cal insistir que els òrgans polítics han de tenir i tenen plena legitimitat per exercir la decisió en qualsevol cas, sense que l’avaluació sigui un instrument que els caigui a sobre.

LA TRANSPARÈNCIA I EL MILLOR úS DELS FONS PúBLICSEm queden ara dues preguntes sobre què és o què significa avaluar les polítiques públiques. La primera qüestió és si avaluar equival a ser transparent. Aquí diria que no hi ha transparència sense avaluació, però que, en alguns casos, hi ha d’haver avaluació sense transparèn-cia. És a dir, algunes vegades hem de deixar que els gestors tinguin in-formació abans que la resta de gent, perquè, en cas contrari, al polític se li fa molt difícil exercir la seva funció. Evidentment, el gruix de la informa-ció ha de ser traslluïda i compartida. Hi ha d’haver govern i hi ha d’haver oposició.

La segona pregunta és si avaluar vol dir utilitzar millor els fons públics. Sens dubte, la resposta és sí, però amb un toc d’atenció. Sóc dels que pensa que, quan un programa funciona, es pot demanar als gestors que retallin el pressupost un 10 % o un15 % perquè segur que trobaran la manera de ser eficients. El que és més important és que el progra-ma funcioni; després, potser pots retallar els recursos i dedicar-los a un altre àmbit. En canvi, els progra-mes que no funcionen potser és que encara necessiten més recursos. Hem d’anar amb compte de no ser dogmàtics i acabar tancant progra-mes perquè no funcionen segons quins indicadors.

ELS OBJECTIUS DE FUTUR EN AVALUACIÓFinalment, voldria insistir en la tasca realitzada des de la Generalitat de Catalunya perquè els aplicatius

generin, de manera automàtica, els informes que exposen el grau de compliment del Pla de Govern: ens diuen on hauríem de ser en teoria i on som en l’actualitat en cada àmbit, segueixen el nombre d’actuacions que es finalitzen i les que encara no han començat i, evidentment, gestio-nen els endarreriments.

A partir d’aquí, ens plantegem dos grans objectius de futur en matèria d’avaluació de les polítiques públi-ques. El primer seria redactar una metodologia d’elaboració del Pla de Govern de la Generalitat de Cata-lunya. I, el segon, avaluar el Pla de Govern i els plans departamentals l’any 2010.

Enllaços externs

Generalitat de Catalunya www.gencat.cat

Primer Pla de Govern www.gencat.cat/pladegovern/cat/plago-vern2004.htm

El Govern www.gencat.cat/generalitat/cat/govern

Departament de la Presidència de la Generalitat www.gencat.cat/presidencia

Segon Pla de Govern www.gencat.cat/pladegovern

Aquesta jornada www.ivalua.cat/11-08/presentacio

Professora de Harvard Carol H. Weiss www.gse.harvard.edu/faculty_research/profiles/profile.shtml?vperson_id=370

/ 72 /

Sumari La jornada en cinc minuts!

Sra. Dolors Canals Què fan i què poden fer els actors institucionals? UNA VISIÓ DES DE LA DIRECCIÓ DE QUALITAT NORMATIVA

Directora de Qualitat Normativa del Departament de la Presidència de la Generalitat de Catalunya

CV

LA POLíTICA PúBLICA DE MILLORA DE LA QUALITAT NORMATIVADes de fa temps, es parla en molts àmbits de l’excés de regulació nor-mativa. Se’n parla també sovint com si aquesta fos una patologia que no-més pogués ser superada mitjançant l’eliminació de la norma, de la llei, o –dit en altres termes– mitjançant la desregulació. Tot i això, hi ha una alternativa a la desregulació que consisteix a regular millor. Aquesta alternativa ha estat posada en pràctica en països del nostre entorn des de fa ja alguns anys

i es concreta en l’establiment d’una nova política pública que ens ha de conduir a fer només aquelles normes que siguin necessàries, però sempre les millors normes possibles.

Aquesta política pública és la millora de la qualitat normativa, el reconei-xement com a política pública de la necessitat de vetllar pels principis de qualitat i d’eficàcia de les normes. Aquesta ha estat l’aposta del Govern de la Generalitat, que ha assig-nat la responsabilitat a una unitat directiva dependent de la Secretaria del Govern –la Direcció de Qualitat Normativa–, creada en la darrera reestructuració del Departament de la Presidència, aprovada pel Decret 93/2008, de 29 d’abril.

La millora de la qualitat de la regula-ció o millora de la regulació norma-tiva és, en concret, un compromís de la Unió Europea que, a conseqüència del mandat atorgat pel Consell Euro-peu de Lisboa, va aprovar el pla d’ac-ció <<Simplificar i millorar el marc regulador>> i va posar en marxa una estratègia global per incrementar la qualitat de tot el procés legislatiu a la Unió Europea, el programa <<Le-gislar millor>>. Aquesta estratègia i aquest programa posen l’èmfasi en la importància que té la millora de la qualitat de la normativa per garantir no només un mercat just i compe-titiu, sinó, alhora, el benestar dels ciutadans, la protecció de la salut i del medi ambient.

La millora de la regulació normativa no és, però, una política d’implanta-ció i d’assoliment ràpid i fàcil. Ans al contrari. Les experiències compara-des ens mostren que cal introduir a poc a poc, pas a pas, la cultura de la qualitat normativa.

QUÈ ENTENEM PER QUALITAT NORMATIVA: PRINCIPIS DE LA QUALITAT NORMATIVAA grans trets, la qualitat normativa es pot definir com la millora de les normes jurídiques, com la millora de la regulació normativa des del mateix moment en què es pren la decisió d’iniciar la tramitació d’una norma fins a la seva aplicació i execució.

Els principis de qualitat normativa que han d’informar el procés de decisió, el procediment d’elaboració, l’aplicació i l'execució, i fins i tot la revisió, la modificació i la derogació d’una norma jurídica, són els prin-cipis de necessitat, proporcionalitat, coherència, transparència, accessi-bilitat i simplicitat (Informe Mandel-kern sobre la millora de la regulació, encarregat per la Unió Europea l’any 2000).

D’acord amb les recomanacions de l’Organització per a la Cooperació i el Desenvolupament Econòmic (OCDE), una regulació normativa de qualitat ha de complir els paràme-tres següents: • Servir objectius polítics clarament

identificats i ser efectiva a aconse-guir-los.

La directora de Qualitat Normativa de la Generalitat de Catalunya, Dolors Canals, detalla l’aposta de la Generalitat per millorar la qualitat de la regulació a través d’una unitat directiva i d’una política pública pròpies. A més d’exposar els principis de la qualitat normativa, Canals considera l’avaluació de la qualitat i l’eficàcia de les normes com a exercici de bon govern, i defensa la cen-tralitat d’avaluar l’impacte normatiu per poder millorar la qualitat de la regulació. En aquest marc se situa justament el decret de la Generalitat que simplifica i redueix les càrregues administratives per a les activitats econòmiques.

/ 73 /

Sumari La jornada en cinc minuts!

• Tenir una base empírica i legal.• Produir beneficis que justifiquin

els costos, considerant els efectes distributius en la societat i tenint en compte els efectes econòmics, ambientals i socials.

• Minimitzar els costos i les distorsi-ons del mercat.

• Promoure la innovació a través d’incentius de mercat i enfocs basats en objectius.

• Ésser clara, simple i pràctica per als seus destinataris.

• Ésser coherent amb altres regula-cions i polítiques.

• Ésser compatible, al màxim pos-sible, amb la competència i el co-merç, i facilitar la inversió nacional i internacional.

Als principis i paràmetres anteriors, s’hi suma el principi de simplificació administrativa, que ha d’inspirar l’actuació de les administracions pú-bliques, però també les propostes de nova regulació normativa, sobretot la dirigida a regular l’exercici d’activi-tats econòmiques.

Més en concret i en el marc actu-al de transposició de la Directiva 2006/123/CE, del Parlament i del Consell, de 12 de desembre de 2006, relativa als serveis en el mercat interior, el principi de simplifica-ció administrativa ha d’informar qualsevol regulació normativa que tingui incidència en les activitats de serveis. Aquesta Directiva de serveis identifica la simplificació adminis-

trativa amb la supressió d’obsta-cles jurídics, entre els quals hi ha, les càrregues administratives, i té alhora per objectiu la reducció de la regulació innecessària i injustificada que restringeixi l’accés i l’exercici d’activitats econòmiques de presta-ció de serveis.

Ara bé, cal fer alguna puntualització respecte del que cal entendre per simplificació administrativa, dins i fora del marc d’aquesta Directiva: • La simplificació administrativa no

implica, sempre i en tot cas, la desregulació.

• La simplificació administrativa no respon només a interessos o objectius econòmics.

• La simplificació administrativa no és una simplificació normativa.

• La simplificació administrativa no és una renúncia al procediment administratiu.

• La simplificació administrativa no és només una tramitació electrònica.

Per acabar, la simplificació ad-ministrativa té també uns límits concrets que han de ser tinguts en consideració en el moment de prendre decisions sobre el contingut material de la regulació normativa que recull aquest principi. Aquests límits concrets són la garantia de la seguretat jurídica dels destinataris de la norma i, en tot cas, la garantia dels drets fonamentals i les lliber-tats públiques de tercers.

L’AVALUACIÓ DE LA QUALITAT I L'EFICÀCIA DE LES NORMES: LA NORMA COM A OBJECTE D’AVALUA-CIÓ EN TERMES D’IMPACTE I L’AVA-LUACIÓ COM A ExERCICI D’AUTO-REFLExIÓ I DE BON GOVERN L’objecte de la política de la millora de la qualitat normativa és la norma jurídica. Es tracta d’avaluar la norma jurídica des de la perspectiva de l’impacte que tindrà una vegada sigui aprovada; de garantir la seva eficàcia des del moment previ a la propos-ta i al llarg de tot el procediment d’elaboració i aprovació de la norma (avaluació ex ante), així com l’avalua-ció de la seva execució i compliment (avaluació ex post).

Les avaluacions ex ante i ex post que comporta la millora de la qualitat i l'eficàcia de la norma jurídica són sempre des de l’òptica dels impactes que comportarà la seva aplicació. Existeixen alguns interrogants als quals cal respondre en el moment de fer l’avaluació en aquests termes, entre d’altres: • Si cal fer la norma o no (millor

opció possible).• Quina norma o opció de regulació

s´ha de fer (llei o reglament).• Si el procediment d’elaboració

segueix tots els tràmits preceptius i s’ha donat participació a tots els agents afectats (el procediment com a eina de millora de la qualitat de la norma).

• Quines són les tècniques, els ins-truments i les categories jurídiques

/ 74 /

Sumari La jornada en cinc minuts!

més adients per a la finalitat per-seguida per la norma (per exemple: per què una autorització adminis-trativa i no una comunicació?).

• Quins poden ser els impactes col-laterals o no desitjats en l’aplicació i execució de la norma.

L’avaluació ex ante se centra en els efectes que tindria cada opció de regulació i cada contingut material de la regulació, sempre sobre la base de dos elements que s’han de conjugar per tal d’aconseguir que l’avaluació de la norma en termes d’impacte no es faci de manera aïlla-da. Aquests dos elements són:

1. L’existència d’impactes normatius de caràcter divers –social, econò-mic, ambiental– respecte de la ciu-tadania en general i, en particular, respecte dels diferents segments de la població (grups de ciutadans, PIMES), així com respecte de les administracions (Administració de la Generalitat i Administració local).

2. L’ordenament jurídic en el qual s’integra la norma objecte d’ava-luació: tota norma s’integra en un ordenament en el qual coexisteixen diferents normes que tenen, alho-ra, impactes diferents. Una avalua-

ció òptima de l’impacte d’una nor-ma requereix la seva consideració com a part d’un ordenament més ampli. Només així s’aconseguirà evitar la reiteració de procediments i la duplicació de tràmits, per posar tan sols un exemple.

Així mateix, l’avaluació ex post s’ha de fer també des de la consideració de la norma com a part d’un orde-nament jurídic i des dels impactes diversos que ha tingut. La decisió pública de revisar una norma o derogar-la no pot ser efectuada amb independència del sistema jurídic en el qual s’integra i des del qual ha produït els uns o els altres efectes. De fet, avui dia l’existència i la su-perposició de diferents ordenaments jurídics fan difícil adoptar iniciatives normatives sense tenir presents els ordenaments dels quals deriven o en els quals s’emmarquen, així com les avaluacions d’impacte normatiu fetes en altres instàncies.

D’aquesta manera, les avaluacions –ex ante i ex post– es presenten com a accions reflexives, com a exerci-cis d’autoreflexió de les instàncies públiques encarregades de prendre decisions de contingut normatiu, siguin d’iniciativa, de tramitació

o d’aprovació d’una regulació norma-tiva. L’avaluació de la qualitat i l'eficà-cia de la norma en termes d’impacte és, al capdavall, una actuació de bon govern.

L’AVALUACIÓ DE L’IMPACTE NORMATIU COM A INSTRUMENT CENTRAL DE LA MILLORA DE LAQUALITAT NORMATIVA L’eina central de la política de mi-llora de la qualitat normativa en els països més avançats és l’avaluació de l’impacte normatiu. Aquest és també l’instrument adoptat per la Unió Europea en el seu programa <<Legislar millor>>, que, sobre la base del principi del desenvolupa-ment sostenible, comporta l’estudi integrat de totes les conseqüències econòmiques, socials i ambientals de les noves propostes normatives.

Tot i els moments diferents en els quals es realitzen les avaluacions de l’impacte normatiu, l’avaluació ex post ha de tenir molt presents l’avaluació ex ante –si és que aquesta s’ha fet, és clar– i les conclusions tretes dels impactes potencials de la norma avaluada.

Els elements objecte d’avaluació de l’impacte normatiu poden ser diferents, segons la norma concreta i segons si es tracta d'una l’avaluació ex ante o una l’avaluació ex post. En aquest moment incipient de posada en marxa a Catalunya de la política pública de millora de la qualitat i l'eficàcia normativa, els més habitu-als són: • Càrregues administratives (reduc-

ció dels costos administratius).• Simplificació de procediments i

reducció de tràmits (simplificació administrativa).

• Substitució dels règims d’autorit-zació i inscripció en registres per comunicació prèvia o declaració responsable (Directiva de serveis i Decret 106/2008, de 6 de maig).

• Efectes directes i indirectes de la norma.

• Efectes col·laterals no desitjats.

/ 75 /

Sumari La jornada en cinc minuts!

D’altra banda, tant l’avaluació ex ante com l’avaluació ex post poden tenir un abast diferent, segons la casu-ística normativa i, alhora, segons el propi abast de la norma els efectes de la qual s’avaluen l'un i l'altre moments.

Ens podem trobar amb una avaluació de caràcter sectorial, o sigui, l’ava-luació d’un sol tipus d’impacte en un segment concret de la població (per exemple, l'avaluació de l’impacte econòmic en les activitats empre-sarials), o amb una avaluació de ca-ràcter global –l’avaluació idònia, en certa manera–, això és, l’avaluació de tots els impactes estimats en el conjunt de la població afectada per la norma, la qual inclou l’impacte sobre l’Administració de la Generali-tat i sobre les administracions locals de Catalunya.

Sens dubte, aquesta avaluació glo-bal, ideal en termes d’idoneïtat, no pot fer-se en el moment en què ens trobem i per a qualsevol iniciativa normativa que es presenti per ser aprovada. L’avaluació de caràcter integral només es pot plantejar en un moment molt més avançat del procés d’implantació de la cultura de la qualitat normativa.

Per això, la implantació de la política de millora de la qualitat normativa a Catalunya està presidida per la cau-tela, per la decisió de fer els primers passos sense precipitació, ni grans expectatives, ni grans accions més enllà de les que la mateixa normati-va ens obliga a fer en el dia d’avui.

EL DECRET DE SIMPLIFICACIÓ I LA REDUCCIÓ DE CÀRREGUES ADMINISTRATIVES PER A LES ACTIVITATS ECONòMIQUES A Catalunya, l’avaluació de l’impacte normatiu es preveu per primera ve-gada en el Decret 106/2008, de 6 de maig, de mesures per a l'eliminació de tràmits i la simplificació de proce-diments per facilitar l'activitat eco-nòmica. El Decret estableix que les propostes normatives que elaborin els departaments de l’Administració

de la Generalitat han d'anar acom-panyades d’un informe d'avaluació de l'impacte de les mesures propo-sades, que formarà part de l'expe-dient de tramitació de la disposició normativa (article 4.1).

En aquests moments i fins a l’apro-vació pel Govern de la Guia de bones pràctiques per a l'elaboració i la revisió de la normativa a la qual es refereix el Decret, l’avaluació de l’im-pacte regulatori en la fase d’elabo-ració de les disposicions de caràcter general, s’ha de referir només a l’impacte de les mesures proposa-des per la norma en les empreses i l’activitat econòmica. En concret, l’informe de l'impacte regulatori ha d’identificar i, si és possible, quan-tificar les càrregues administratives que la norma projectada generarà i les ha de justificar per tal de possibi-litar la verificació, un cop aprovada la norma, que aquesta compleix els cri-teris de simplificació administrativa.

Una avaluació rigorosa del projecte normatiu al llarg del seu procés d’elaboració ha de permetre avaluar la necessitat i la proporcionalitat de les càrregues administratives que considera el projecte, a fi de reduir totes les que no estiguin suficient-ment justificades i, al capdavall, minimitzar els costos administratius per als qui volen exercir activitats econòmiques.

S’entén per cost administratiu el cost econòmic que significa, per a les empreses o els ciutadans, fer les tasques administratives o de gestió necessàries per complir la norma-tiva vigent. Aquest cost inclou les tasques que també es farien si no existís la norma concreta que cal complir.

La càrrega administrativa s’identifica com a aquella part del cost admi-nistratiu que es deu exclusivament a les exigències imposades per la normativa vigent i que es tradueix en una obligació de preparació i subministrament de dades a l’Ad-ministració pública o a tercers, això

és, en una obligació d’informació, en una obligació legal o reglamentària de preparar, subministrar o tenir a disposició algun tipus d’informació.

Per tal d’identificar i quantificar les càrregues administratives, i així ela-borar l’informe d’impacte regulatori previst pel Decret 106/2008, de 6 de maig, la Direcció de Qualitat Nor-mativa ha posat a les mans dels de-partaments de l’Administració de la Generalitat la versió en català d’una primera metodologia de referència per mesurar i reduir els costos ad-ministratius per a les empreses: el model de costos estàndard (MCE).

Enllaços externs

Direcció de Qualitat Normativa www10.gencat.cat/sac/AppJava/ organisme_fitxa.jsp?codi=16589

Decret 93/2008, de 29 d'abril www.gencat.cat/diari/5123/08112164.htm

<<Simplificar i millorar el marc regulador>> http://europa.eu/scadplus/leg/es/lvb/l10107.htm

<<Legislar millor>> http://ec.europa.eu/governance/better_regulation/index_es.htm

Informe Mandelkern ec.europa.eu/governance/better_ regulation/documents/mandelkern_ report.pdf

Directiva 2006/123/CE / Directiva de serveis http://europa.eu/scadplus/leg/es/lvb/l33237.htm

Decret 106/2008, de 6 de maig www.gencat.cat/diari/5131/08127014.htm