Issuu

DE VLAAMSE BREDE HEROVERWEGING ALS OPSTAP NAAR EEN STRUCTUREEL EVALUATIEBELEID

Advies van de Sociaal-Economische Raad van Vlaanderen, Wetstraat 34-36, 1040 Brussel W www.serv.be – T +32 2 209 01 11 – E info@serv.be

Advies op eigen initiatief Decretale opdracht

SERV-decreet 7 mei 2004 art. 11 (overlegfunctie)

Goedkeuring raad

27 juni 2022

Contactpersoon

Peter Van Humbeeck Stijn Wouters

pvhumbeeck@serv.be swouters@serv.be

De heer Jan JAMBON Minister-president van de Vlaamse Regering en Vlaams minister van Buitenlandse Zaken, Cultuur, Digitalisering en Facilitair Management Martelaarsplein 19 B-1000 Brussel

De Vlaamse Brede Heroverweging als opstap naar een structureel evaluatiebeleid Mijnheer de minister-president De SERV vindt de afgelopen Vlaamse Brede Heroverweging (VBH) een belangrijk en waardevol initiatief. Met dit advies wil de SERV de Vlaamse Regering, het Vlaams Parlement en de Vlaamse overheid aanmoedigen om met de ervaringen van de VBH verdere stappen te zetten naar de structurele verankering van beleidsevaluaties, uitgaventoetsingen en heroverwegingen in het beleidsen begrotingsproces. De SERV kan de reeds gemaakte analyses over de VBH grotendeels onderschrijven. Maar ze zijn ook enigszins beperkt vanuit het perspectief van een structurele verankering van beleidsevaluaties. Bovendien zijn meerdere van de vaststellingen en leerlessen die de Stuurgroep VBH maakte ook al eerder geformuleerd. De uitdagingen zijn dus fundamenteler en vergen een diepgaandere analyse. De SERV heeft de situatie in Vlaanderen vanuit zo’n breder perspectief geanalyseerd. Mee op basis van internationale richtsnoeren en goede praktijken formuleert de SERV in dit advies aanbevelingen voor (1) toekomstige brede heroverwegingen, (2) de structurele verankering van beleidsevaluatie en (3) de aanpak van enkele fundamentelere uitdagingen in de Vlaamse politiek-ambtelijke context die belangrijk zijn voor een goede evaluatiecultuur. De SERV hoopt dat u deze aanbevelingen ter harte neemt en is steeds bereid tot nadere toelichting en discussie. Hoogachtend

Pieter Kerremans

Hans Maertens

administrateur-generaal

voorzitter

Inhoud Inhoud

Krachtlijnen

Advies

Inleiding

Beleidsevaluatie

Terugblik op de VBH

Aandachtspunten voor toekomstige heroverwegingen 4.1

Klaarheid over de timing en frequentie van toekomstige brede heroverwegingen

4.2

Heldere scope en doelstellingen

4.3

Meer samenwerking tussen beleidsdomeinen en met het federale niveau

4.4

Een duidelijke governance

4.5

Maximale transparantie

Aanbevelingen voor de structurele verankering van beleidsevaluatie 5.1

Een overheidsbrede evaluatieagenda die zorgt voor coördinatie, selectie, planning en transparantie van evaluaties

5.3

Investeringen in data en in opbouw van expertise en capaciteit om te zorgen voor kwaliteit

5.5

Een databank en portaalsite met evaluaties die zorgen voor een goede vindbaarheid en toegang tot evaluatieresultaten

5.4

Een organisatiestructuur die het evaluatiebeleid verder uitwerkt, organiseert en opvolgt

5.2

Een geïntegreerd strategisch beleidskader voor beleidsevaluatie dat de koppeling met beleidsen begrotingsprocessen maakt

De politiek-ambtelijke context als fundamentele succesvoorwaarde

6.1

Politiek en ambtelijk leiderschap

6.2

Onderling vertrouwen, zowel in de regering als in de politiekambtelijke verhoudingen

6.3

Een structuur en cultuur van daadkracht binnen de Vlaamse Overheid

6.4

Een open en gezonde debatcultuur

6.5

Een sterk en actief Vlaams Parlement

Krachtlijnen Tijdens de eerste 9 maanden van 2021 liep de ‘Vlaamse Brede Heroverweging’ (VBH). Een van de doelstellingen daarvan was de structurele verankering van beleidsevaluaties, uitgaventoetsingen en heroverwegingen in het beleidsen begrotingsproces. Met dit advies wil de SERV de Vlaamse Regering, het Vlaams Parlement en de Vlaamse overheid aanmoedigen om hierin verdere stappen te zetten. Beleidsevaluatie heeft immers een cruciale functie in het verzekeren van goed bestuur, kwaliteitsvol beleid, performante publieke dienstverlening en gezonde financiën. Beleidsleren over waarom een beleid werkt (of niet) en hoe het kan worden verbeterd, kenmerkt succesvol beleid en performante overheden. Het advies bevat ten eerste aandachtspunten voor de organisatie van toekomstige brede heroverwegingen. 1.

Met name vraagt de SERV dat er klaarheid komt over de timing en frequentie van toekomstige brede heroverwegingen. Dat moet zorgen voor meer voorspelbaarheid en voldoende tijd.

Vervolgens wijst de SERV op het belang van een heldere scope en doelstellingen. Aandachtspunten daarbij zijn: een betere bewaking van de proportionaliteit van de inspanningen, meer focus op fundamentelere heroverwegingsvragen en minder onduidelijkheid over de relatie met besparingen.

Meer onderlinge samenwerking tussen beleidsdomeinen en met de federale overheid moet toelaten om belangrijke interferenties mee te nemen in de evaluaties.

Ook een duidelijke governancestructuur en goede afbakening van rollen en verantwoordelijkheden zijn nodig. Op dit vlak kan zeker worden voortgebouwd op de gehanteerde werkwijze in de VBH.

Er moet maximale transparantie zijn in alle fasen. Vandaag ontbreekt die nog over de politieke beslissingen naar aanleiding van de resultaten van de VBH. Verder is op sommige momenten een meer actieve communicatie naar de belangrijkste stakeholders wenselijk.

Ten tweede formuleert de SERV aanbevelingen voor de structurele verankering van beleidsevaluatie en het realiseren van een evaluatiecultuur. Het uitgangspunt hierbij is dat uitgaventoetsingen en brede heroverwegingen moeten worden ingebed in een breder evaluatiebeleid, vanuit de vaststelling dat de connectie tussen deze beide ‘werelden’ - het begrotingsmatige en het beleidsmatige – tot dusver nog te weinig werd gemaakt. Volgens de SERV is er nood aan: 5

Een organisatiestructuur die het evaluatiebeleid verder uitwerkt, organiseert en opvolgt. Een centrale expertisecel met voldoende mandaat is noodzakelijk als trekkende instantie. Die moet het evaluatiebeleid opzetten, promoten, coördineren, opvolgen en verbeteren vanuit een wholeof-government perspectief, in nauwe samenwerking met alle entiteiten.

Een overheidsbrede evaluatieagenda die zorgt voor coördinatie, selectie, planning en transparantie van evaluaties. Zo’n agenda zou best jaarlijks worden geactualiseerd, met een vooruitblik van 3 tot 5 jaar. Het veronderstelt de opmaak van evaluatieplannen in elk beleidsdomein die na discussie en afstemming worden samengevoegd. Een goed proces voor de selectie van de prioritair te evalueren thema’s - met inbreng van stakeholders - zal het vertrouwen en het draagvlak versterken.

Een databank en portaalsite met evaluaties die zorgen voor een goede vindbaarheid en toegang tot evaluatieresultaten. De doorwerking van evaluaties wordt bevorderd door een gepaste communicatie en verspreidingsstrategie en (gestandaardiseerde) beleidssyntheses.

Investeringen in data en in opbouw van expertise en capaciteit om te zorgen voor kwaliteit. Evaluatie vergt een hoge beschikbaarheid van prestatie- en evaluatie-informatie en structurele initiatieven voor de opbouw van capaciteit en expertise.

Een strategisch beleidskader voor beleidsevaluatie dat de koppeling met beleidsen begrotingsprocessen maakt. Zo’n beleidskader dat de visie, verantwoordelijkheden en instrumenten en randvoorwaarden expliciteert, vormt het sluitstuk van een verankerd evaluatiebeleid.

Het advies gaat tot slot ook in op enkele fundamentelere uitdagingen in de Vlaamse politiek-ambtelijke context. Naarmate op die punten vooruitgang kan worden bereikt, zal ook de voedingsbodem voor beleidsevaluatie verbeteren en kan evidence-informed policy making floreren. Die dieperliggende succesvoorwaarden betreffen: 1.

Politiek en ambtelijk leiderschap.

Onderling vertrouwen, in de regering en politiek-ambtelijk.

Een structuur en cultuur van daadkracht in de Vlaamse Overheid.

Een open en gezonde debatcultuur.

Een sterk en actief Vlaams Parlement.

In elk geval vraagt de SERV dat het Vlaams Parlement hierin een veel grotere rol opneemt. Een startpunt is het organiseren van een jaarlijks moment in mei waarop het gevoerde regeringsbeleid besproken en geëvalueerd wordt (naar het voorbeeld van de jaarlijkse verantwoordingsdag in Nederland) als keerzijde van de Septemberverklaring (of de Prinsjesdag in Nederland). Dat moet zorgen voor meer evenwicht tussen de huidige grote politieke aandacht voor de aankondiging van nieuw beleid (plannen, intenties) en de beperkte aandacht voor de uitvoering (realisaties, effecten).

Advies 1. Inleiding Met dit advies wil de SERV de Vlaamse Regering, het Vlaams Parlement en de Vlaamse overheid aanmoedigen om verdere stappen te zetten voor de structurele verankering van beleidsevaluaties, uitgaventoetsingen en heroverwegingen in het beleidsen begrotingsproces. Zo'n structurele verankering gericht op een cultuuromslag was een van de achterliggende doelstellingen van de ‘Vlaamse Brede Heroverweging’ (VBH) die tijdens de eerste 9 maanden van 2021 liep. Die structurele verankering moet: •

de kwaliteit van de Vlaamse openbare financiën versterken, door beter overwogen en meer gerichte begrotingskeuzes mogelijk te maken volgens de principes van het prestatiegeïnformeerd begroten;

•

de kwaliteit van de beleidsbeslissingen verbeteren, door de effectiviteit en efficiëntie van het bestaande beleid regelmatig te evalueren en alternatieve beleidsopties aan beleidsmakers voor te leggen;

•

zorgen voor een betere afstemming van het beleid en de middelen op nieuwe doelstellingen en prioriteiten in een veranderende wereld, door periodiek fundamentelere heroverwegingsvragen te stellen over kerntaken en allocatie van middelen.

De structurele verankering van beleidsevaluaties en uitgaventoetsingen moet zo - in tweede orde - tevens de verantwoording en transparantie vergroten, beleidsleren bevorderen over wat wat werkt, waarom, voor wie en onder welke omstandigheden en nieuwe kansen creëren voor politieke en maatschappelijke dialoog. Beleidsevaluatie heeft met andere woorden een cruciale functie in het verzekeren van goed bestuur, zeker in een context van steeds complexere beleidsuitdagingen, stijgende verwachtingen van burgers en bedrijven over de kwaliteit van het beleid en beperkte budgettaire middelen. Beleidsevaluatie zorgt ervoor dat de beleidsvorming wordt geïnformeerd door evidence. Beleidsleren over waarom een beleid werkt (of niet) en hoe het kan worden verbeterd, kenmerkt succesvolle en performante overheden. Het advies gaat hierna eerst in op enkele begrippen. Vervolgens blikt de SERV kort terug op de VBH en beleidsevaluatie in Vlaanderen. De kern van het advies bestaat uit aanbevelingen voor toekomstige heroverwegingen en voor de structurele verankering van beleidsevaluatie en voor toekomstige uitgaventoetsingen en heroverwegingen. Het laatste deel gaat in op enkele fundamentelere uitdagingen in de Vlaamse politiek-ambtelijke context die belangrijk zijn voor een goede evaluatiecultuur. Een uitgebreid achtergrondrapport van het SERV-Secretariaat bevat een nadere onderbouwing van het advies. Dat rapport is gebaseerd op eerdere SERV-adviezen, internationale goede praktijken en het werk en de ervaringen in het kader van de VBH. 7

2. Beleidsevaluatie In dit advies hanteert de SERV de volgende omschrijvingen van de begrippen uitgaventoetsingen, (brede) heroverwegingen, ex post beleidsevaluaties (hierna alle drie gevat onder de generieke term ‘evaluaties’) en ex ante evaluatie. •

Uitgaventoetsingen of spending reviews zijn systematische, diepgaande en specifieke onderzoeken van belangrijke uitgavenposten om beleidsopties te ontwikkelen die de relevantie, effectiviteit of efficiëntie van uitgavenprogramma’s en het beleid kunnen verbeteren.

•

(Brede) heroverwegingen zijn omstandige onderzoeken van beleid met een budgettaire impact, gericht op het aanbieden van beleidsopties om het beleid doelmatiger en doeltreffender te maken, de uitgaven beter afstemmen op de beleidsprioriteiten en het niveau van de totale uitgaven beter beheersen. Ze zijn een instrument om periodiek de balans op te maken van de (totale) uitgaven (en inkomsten) en van de afstemming ervan op de begrotingsdoelstellingen en de prioriteiten, zowel binnen een beleidsdomeinen als voor de hele overheid. (Brede) heroverwegingen kunnen een belangrijk instrument zijn voor het herijken van de middelen op nieuwe uitdagingen en prioriteiten.

•

(Ex durante / ex post) beleidsevaluatie is de gestructureerde evaluatie van een lopend of voltooid beleidsinitiatief om de relevantie, effectiviteit, efficiëntie en impact ervan te bepalen en te verbeteren, of anders gesteld: het op basis van gericht verzamelde informatie en aan de hand van specifieke criteria systematisch beoordelen van beleid. Ex post beleidsevaluatie is nauw verwant aan uitgaventoetsingen maar kan breder gaan qua doel (bv. meer klemtoon op beleidsleren over wat werkt, waarom, voor wie en onder welke omstandigheden), beoordelingscriteria (bv. naast efficiëntie en effectiviteit bv. milieu-effecten, regeldruk …) en scope (bv. ook beleidsmaatregelen die geen begrotingsmiddelen vergen).

•

Ex ante evaluaties of impact assessments zijn gestructureerde analyses van de verwachte resultaten en effecten (kosten en baten) van mogelijke nieuwe beleidsmaatregelen of wijzigingen aan bestaand beleid. Ze bekijken welke maatregel het meest aangewezen is om een maatschappelijk probleem effectief en efficiënt op te lossen, met zo weinig mogelijk ongewenste neveneffecten.

Tussen deze vormen van evaluaties zijn er duidelijke linken. Uitgaventoetsingen kunnen onderdeel zijn van beleidsevaluaties of ermee samenlopen. Omgekeerd nemen uitgaventoetsingen de inzichten uit beleidsevaluaties mee. Ex post evaluaties en uitgaventoetsingen zijn een essentiële input voor (brede) heroverwegingen, zij het dat brede heroverwegingen meer moeten zijn dan de loutere bundeling van uitgevoerde beleidsevaluaties en uitgaventoetsingen. Ex post evaluaties (en uitgaventoetsingen) zijn tevens een belangrijke input voor ex ante evaluaties en ex ante evaluaties zijn een belangrijk startpunt voor ex post evaluaties (zgn. levenscyclusbenadering, cf. infra). Deelrapport 1 van het achtergronddocument omschrijft deze begrippen gedetailleerder. Het gaat ook in op de rol van instrumenten zoals monitoring, audits en reviews.

3. Terugblik op de VBH Beleidsevaluatie staat in Vlaanderen al minstens 30 jaar op de politieke en ambtelijke agenda. Vaak was sprake van een slingerbeweging met meer en minder interesse voor beleidsevaluatie. De rode draad is dat er door de jaren heen heel wat goede beleidsvoornemens zijn geformuleerd en initiatieven zijn genomen, maar dat de concrete vertaling naar structuren, processen, engagementen en randvoorwaarden ontbrak om de ambities ook in de praktijk waar te maken (zie deelrapport 2 bij dit advies en onderstaand kaderstuk). Terugblik op beleidsevaluatie in Vlaanderen 1990-2022 Vlaanderen (en België) wordt gerekend tot de regio’s waar beleidsevaluatie pas op de agenda is gekomen in de loop van de jaren 1990 van de vorige eeuw. Dat gebeurde vooral vanuit de sterke verantwoordingsfilosofie van het New Public Management (NPM). Die visie werd in Vlaanderen via het ‘project’ Beter Bestuurlijk Beleid (BBB) in uitvoering gebracht. Beleidsevaluatie kreeg kort daarna specifieke aandacht door het Vlaams wetgevingsbeleid dat onder impuls van adviezen van de SERV vanaf begin jaren 2000 vorm kreeg. Dat decennium was ook de periode waarin het Vlaams Evaluatieplatform boven de doopvont werd gehouden (2007), het Steunpunt Bestuurlijke Organisatie Vlaanderen een handleiding beleidsevaluatie schreef (2007), het Steunpunt Milieubeleidswetenschappen functioneerde als katalysator fungeerde voor milieubeleidsevaluatief onderzoek in Vlaanderen (2001-2006) en in het Vlaams Parlement een commissie expliciet bevoegd werd voor decreetsevaluatie (2004-2009). Tegelijk bevestigden diverse studies het beeld dat ex post beleidsevaluatie in Vlaanderen weinig geïnstitutionaliseerd was en er al bij al weinig beleidsevaluaties plaatsvonden. In de periode 2009-2014 was er op niveau van de Vlaamse overheid op het vlak van beleidsevaluatie weinig beweging. Wel steeg onder impuls van de nieuwe voorzitter de interesse vanuit het Vlaams Parlement. De periode 2014-2019 zorgde voor een versnelling en verdieping van de discussie over beleidsevaluatie. De Vlaamse administratie bv. had in haar bijdrage voor de nieuwe legislatuur duidelijk meer aandacht voor de belangrijke rol van beleidsevaluatie. In het regeerakkoord 2014-2019 en de diverse beleidsnota’s werden talrijke evaluaties aangekondigd en werd het belang van een beleid rond ex post evaluaties beklemtoond. Daarnaast kon in diverse beleidsdomeinen een nieuwe dynamiek op het vlak van (ex post) beleidsevaluatie worden vastgesteld. Dat was het gevolg van onder meer de financieel-economische crisis, de impact van de 6e staatshervorming (ook in het licht van de beperktere overgedragen budgetten) en de beslissing van de Vlaamse Regering om de cofinanciering van de Steunpunten vanuit wetenschapsbeleid vanaf 2016 te schrappen. In het Vlaams Parlement nam het Bureau in 2016 een reeks beslissingen rond decreetsevaluatie naar aanleiding van een advies van de SERV (2015). Het groenboek bestuur (2016) en het witboek ‘open en wendbare overheid’ (2017) legden vervolgens de lat duidelijk hoger. Het witboek bevatte nieuwe ambities, geïnspireerd door SERV-adviezen en gebaseerd op internationale goede voorbeelden. Het leidde samen met een reeks beslissingen van het Vlaams Parlement tot o.a. de opmaak van Vlaamse evaluatiestandaarden en de beslissing om informatie over decreetsevaluatie structureel te verankeren in de beleidsbrieven (2018). Eind 2018-begin 2019 was de periode van de codificatie van 12 bestuurlijke decreten in een Bestuursdecreet en van 4 financieel-budgettaire decreten in de Vlaamse Codex Overheidsfinanciën (VCO). De VCO bevatte tevens inhoudelijke vernieuwingen in het kader van de evolutie naar meer prestatie-geïnformeerd begroten, waaronder de indeling van de begroting volgens beleidsvelden en inhoudelijke structuurelementen, de invoering van de ‘beleidsen begrotingstoelichting’ (BBT) met het oog op de geïntegreerde behandeling van beleidsen begrotingsinformatie (telkens in oktober) en de afsplitsing van informatie over de beleidsen begrotingsuitvoering in afzonderlijke BBT’s over de beleidsen begrotingsuitvoering (in mei).

De bijbehorende nieuwe omzendbrief VR 2019/11 beleidsen regelgevingsprocessen werd in oktober 2019 van kracht na de eedaflegging van de nieuwe Vlaamse Regering. Die bevat diverse belangrijke bepalingen inzake ex ante en ex post beleidsevaluatie, zowel op niveau van informatieverstrekking in de BBT’s als van de memorie van toelichting bij een ontwerp van decreet. Het Vlaamse Regeerakkoord 2019-2024 en de diverse beleidsnota’s herhalen veel van de eerdere voornemens van het witboek op het vlak van beleidsevaluatie. Maar de concrete vertaling naar structuren, processen, engagementen en randvoorwaarden ontbreekt om die ambities ook in de praktijk waar te maken. De coronapandemie legde vanaf 2020 steeds meer de vinger op wonde. Het was de aanleiding voor de twee relancecomités, de expertengroep arbeidsmarkt, de SERV en de VLIR om nogmaals te pleiten voor een beter data- en evidence based beleid en structurele ex post beleidsevaluatie. Als gevolg daarvan is er in Vlaamse Veerkracht een project VV162 ‘investeren in Vlaamse kennisoverheid’. Dat project gaat echter over de versterking van de Vlaamse Statistische Autoriteit en de organisatie van ‘Strategische Inzichten en Analyses’, niet over beleidsevaluatie als dusdanig. De belangrijkste dynamiek voor beleidsevaluatie in Vlaanderen komt vandaag van de ‘Vlaamse Brede Heroverweging’ (VBH). Dit is tevens een project in het relanceplan Vlaamse Veerkracht (VV158). De VBH bouwt voort op het Vlaams regeerakkoord 2019-2024 dat de uitrol van uitgaventoetsingen (spending reviews) in het vooruitzicht stelde, na een eerder pilootproject en voorbereidend onderzoek.

Vandaag kan beleidsevaluatie opnieuw op toenemende interesse rekenen. Dat is te wijten aan de ‘Vlaamse Brede Heroverweging’ (VBH) die tijdens de eerste 9 maanden van 2021 liep. De Vlaamse Regering zette deze grootschalige oefening op in december 2020, onder impuls van de minister van Financiën en Begroting en de Secretaris-Generaal van het departement Financiën en Begroting (DFB). De VBH was gericht op een kritische doorlichting van de overheidsuitgaven. Dat gebeurde aan de hand van een reeks efficiëntie-, effectiviteits- en opportuniteitsvragen. Die waren van toepassing op alle uitgavenposten binnen de Vlaamse begroting. De VBH leidde tot een rapport met analyses en conclusies voor elk beleidsdomein. Ze werden eind september 2021 gepubliceerd op de website van DFB. De achterliggende doelstelling van de VBH was echter ruimer. De VBH mikte op een cultuuromslag met het oog op de structurele verankering van beleidsevaluaties en uitgaventoetsingen in het beleidsen begrotingsproces. Daarom formuleerde de stuurgroep die het VBH-proces begeleidde ook leerlessen en aanbevelingen voor de toekomst. Ook die werden eind september 2021 gepubliceerd op de website van DFB. Intussen gaf de Vlaamse Regering op verschillende manieren opvolging aan de VBH. De begrotingsopmaak 2022 bevatte diverse beleidsaanpassingen op basis van de VBH. Een aanpassing van de Vlaamse Codex Overheidsfinanciën (VCO) – momenteel in parlementaire behandeling – zal zorgen voor een decretale verankering van heroverwegingen en uitgaventoetsingen. De Vlaamse Regering besliste ook om enkele nieuwe uitgaventoetsingen uit te voeren in de resterende periode 2022-2024 van deze legislatuur. De werkgroep Leesbaarheid van de begroting van het Vlaams Parlement (met vertegenwoordigers van de parlementaire fracties en van de minister-president, de minister van Financiën en Begroting, de Parlementaire diensten, DFB, de Inspectie van Financiën, het Rekenhof en de SERV) werkte aan een kader en spelregels voor uitgaventoetsingen en heroverwegingen. 10

De SERV vindt de afgelopen Vlaamse Brede Heroverweging een belangrijk en waardevol initiatief. De VBH heeft niet enkel heel wat rapporten met analyses en evaluaties van beleidsmaatregelen en uitgaven in de diverse beleidsdomeinen opgeleverd. De VBH heeft ook duidelijk iets in gang gezet en belangrijke uitdagingen om beleid te evalueren zichtbaar gemaakt (zie ook verder onder de aanbevelingen). Hoopgevend is tevens dat sleutelfiguren binnen de Vlaamse overheid zich scharen achter de ambitie van een meer structurele aanpak van beleidsevaluatie. Dat bleek uit de evaluatie en communicatie achteraf. De SERV kan de reeds gemaakte analyses over de VBH grotendeels onderschrijven. In het bijzonder zijn de leerlessen van de Stuurgroep VBH erg waardevol (zie deelrapport 3). Maar ze zijn ook enigszins beperkt vanuit het perspectief van een structurele verankering van beleidsevaluatie. Ze gaan nl. over leerlessen voor toekomstige processen van heroverwegingen en uitgaventoetsingen. Ze leggen nog niet de link met beleidsevaluatie en de bredere werking van de Vlaamse overheid. Dat is ook het geval met de spelregels voor de uitvoering van uitgaventoetsingen die de werkgroep Leesbaarheid van de begroting ontwikkelde. Bovendien zijn meerdere van de vaststellingen en leerlessen die de Stuurgroep VBH maakte ook al eerder geformuleerd. Dat gebeurde onder andere in het kader van het Groenboek Bestuur (2016), het daarop volgende Witboek Open en wendbare overheid (2017), het Bestuursdecreet (2018, gewijzigd in 2021), de Vlaamse Evaluatiestandaarden (2018) en de Omzendbrief beleidsen regelgevingsprocessen (2019). Ze bevatten al heel wat van de aandachtspunten en instrumenten die nu na afloop van de VBH opnieuw werden voorgesteld (zie onderstaand kaderstuk). Maar ze blijken in de praktijk niet uitgevoerd of correct gebruikt te worden. De uitdagingen zijn dus fundamenteler en vergen een diepgaandere analyse. Eerdere beleidsvoornemens en instrumenten voor de verankering van beleidsevaluatie In het witboek Open en wendbare overheid (2017) verwoordt de Vlaamse Regering de ambitie om systematisch beleidsevaluaties uit te voeren als een vast onderdeel van de levenscyclus van beleid (‘evalueer eerst’ principe). Het witboek bevat concrete voornemens om: • • • •

evaluaties beter te plannen en publiek te ontsluiten via een gemeenschappelijke onderzoeks- en evaluatieagenda en evaluaties en beleidsgerichte syntheses te ontsluiten via een portaalsite; procesmatige, methodologische en inhoudelijke standaarden voor evaluaties uit te werken; de aanwezige expertise in de Vlaamse overheid inzake evaluatie te bundelen en de interne onderzoeks- en evaluatiecapaciteit te versterken via o.a. opleidingen en aanwervingen; de samenwerking met wetenschappelijke instellingen te vergroten en stakeholders meer te betrekken in het ganse evaluatieproces;

De Vlaamse evaluatiestandaarden (2018) bevatten principes over: •

•

• •

wetenschappelijke onderbouwing (“We gebruiken de meeste geschikte methoden en technieken, verzamelen van alle noodzakelijke data, leggen verbanden tussen resultaten en hypotheses, verifieren de bevindingen, bewaken de reproduceerbaarheid”), vaardigheden en expertise (“We garanderen de inzet van adequate technische vaardigheden, maar ook van communicatievaardigheden en vaardigheden inzake het coördineren van een proces met inbreng van verschillende stakeholders”), neutraliteit (“We handelen onpartijdig ten opzichte van de verschillende actoren en onbevooroordeeld ten opzichte van de evaluatieresultaten”), transparantie (“We zijn transparant in de stappen die worden gezet’; ‘We communiceren helder van de opstart tot de oplevering van het rapport”), en 11

•

inspraak (“We betrekken stakeholders doorheen het ganse proces”).

De omzendbrief beleidsen regelgevingsprocessen (2019) bevat diverse afspraken rond ex post beleidsevaluaties. De naleving ervan is echter problematisch (zie deelrapport 2 bij dit advies). Met name bepaalt de omzendbrief o.a. dat: • •

•

elke beleidsen begrotingstoelichting (BBT) een overzicht moet bevatten van de geplande beleidsevaluaties (onderzoeks- en evaluatieagenda); de BBT’s in het kader van de beleidsen begrotingsuitvoering zeker de decreetsevaluaties moeten opnemen die in het voorgaande jaar zijn uitgevoerd, met een toelichting over het gevolg dat de Regering aan de conclusies van die evaluaties heeft gegeven of van plan is er aan te geven (uitvoering en repliek); de BBT’s moeten vermelden hoe de realisatie van de beleidsdoelstellingen zal worden opgevolgd. Als er niet voor elke doelstelling een geschikte indicator of kwalitatieve informatie beschikbaar is, moet de BBT aangeven welke maatregelen men zal nemen om dit te verhelpen; in de memorie van toelichting bij een decreet moet worden vermeld of en op welke manier de effectiviteit en efficiëntie zullen worden opgevolgd en op welke manier daartoe de nodige data verzameld zullen worden zodat het decreet in de toekomst kan worden geëvalueerd.

De omzendbrief beleidsen regelgevingsprocessen (2019) bevat tevens belangrijke richtlijnen voor ex ante beleidsevaluatie. Die richtlijnen slaan op de inhoud van de nota aan de Vlaamse Regering wanneer die gaat over beleidsprojecten, en op de inhoud van de memorie van toelichting bij een ontwerp van decreet. Het gaat met name om de onderdelen van een traditionele reguleringsimpactanalyse zoals o.a. de OESO die promoot (voor meer uitleg, zie deelrapport 2). Ook hier is de naleving problematisch te noemen. Het Regeerakkoord 2019-2024 en de beleidsnota Algemeen Regeringsbeleid 2019-2024 spreken onder andere over: • • • • •

de uitrol van uitgaventoetsingen; een betere coördinatie van beleidsevaluaties; een gemeenschappelijke onderzoeks- en evaluatieagenda; maximale publieke ontsluiting; beleidsgerichte syntheses.

Het Bestuursdecreet (2018, 2021) bevat in art. III.113/3 een bepaling over beleidsinformatiedatabanken. De Vlaamse Regering heeft hieraan echter nog geen uitvoering gegeven. De bepaling stelt dat de Vlaamse Regering per beleidsdomein een instantie kan belasten met de uitbouw en het beheer van een databank beleidsinformatie. Die beleidsdatabanken hebben als expliciete doelstelling voor het beleidsdomein in kwestie: • •

de voorbereiding en evaluatie van het beleid te ondersteunen; data aan te leveren voor wetenschappelijk onderzoek voor de beleidsvoorbereiding en beleidsevaluatie.

De SERV heeft de situatie in Vlaanderen vanuit zo’n breder perspectief geanalyseerd. Het achtergrondrapport bij dit advies schetst het beleid, de instrumenten en de ervaringen in Vlaanderen op het vlak van beleidsevaluatie (deelrapport 2) en de VBH (deelrapport 3). Aan de hand van een analysekader dat gebaseerd is op principes en internationale goede praktijken voor de verankering van ex post beleidsevaluaties en uitgaventoetsingen (deelrapport 4), wordt het Vlaamse beleid en de bestaande evaluatiepraktijk getoetst (deelrapport 5). Dat levert diverse bijkomende observaties en klemtonen op, in aanvulling op de leerlessen zoals geïnventariseerd door de Stuurgroep VBH.

Deze analyse vormt de basis voor de onderstaande beleidsaanbevelingen. Ze situeren zich op twee niveaus. 1.

Op het niveau van toekomstige brede heroverwegingen. Brede heroverwegingen zijn immers een bijzondere vorm van evaluatie, die een overheid slechts om de zoveel jaren kan en moet doen. Dat maakt het specifiek in proces, organisatie en aanpak.

Op het niveau van de structurele verankering van beleidsevaluatie en het realiseren van een evaluatiecultuur. De SERV meent dat verdere stappen moeten uitgaan van een geïntegreerde kijk op beleidsevaluatie, uitgaventoetsingen en heroverwegingen, beleidsrelevant onderzoek en data.

Daarnaast gaat het advies ook in op enkele fundamentelere uitdagingen in de Vlaamse politiekambtelijke context die belangrijk zijn voor een goede evaluatiecultuur.

4. Aandachtspunten voor toekomstige heroverwegingen Elke evaluatie vergt een goede governance. Dat wil zeggen: duidelijke doelstellingen, richtlijnen, taakverdelingen en verantwoordelijkheden. Maatwerk is daarbij nodig. Voor ex post beleidsevaluaties is er immers geen beste werkwijze. De concrete governance wordt best geval per geval bekeken en in een plan van aanpak uiteengezet. Wel kunnen algemene evaluatierichtlijnen opties en goede praktijken aangeven (cf. infra). Voor (brede) heroverwegingen daarentegen zijn er wel enkele belangrijke generieke aandachtspunten en leerlessen. Ze worden hierna overlopen. Aandachtspunten voor de organisatie van toekomstige brede heroverwegingen 1. Klaarheid over de timing en frequentie van toekomstige brede heroverwegingen • •

cf. VBH: voldoende tijd meer voorspelbaarheid

2. Belang van heldere scope en doelstellingen • • •

proportionaliteit van de inspanningen meer focus op fundamentelere heroverwegingsvragen minder onduidelijkheid over de relatie met besparingen

3. Meer onderlinge samenwerking om belangrijke interferenties mee te nemen in de evaluaties • •

tussen beleidsdomeinen met de federale overheid

4. Duidelijke governancestructuur en afbakening van rollen en verantwoordelijkheden • • •

cf. werkwijze VBH invloed politiek bewaken betere naleving afspraken

5. Maximale transparantie in alle fasen • •

•

cf. werkwijze VBH nog onduidelijkheid over opvolging resultaten VBH meer actieve communicatie naar stakeholders

4.1 Klaarheid over de timing en frequentie van toekomstige brede heroverwegingen De SERV vraagt dat de Vlaamse Regering de timing en frequentie van toekomstige brede heroverwegingen concretiseert. Duidelijkheid daarover is nodig om te kunnen zorgen voor een goede (meerjaren)agenda van uitgaventoetsingen en beleidsevaluaties, en voor een betere planning en voldoende tijd voor een brede heroverweging. Het gaat dan ook over de afstemming met de (meerjaren)begroting en de opmaak van een nieuw regeerakkoord. Zo zou de bijdrage van de

Vlaamse administratie aan het regeerakkoord telkens kunnen vertrekken van een brede heroverweging. Het gebrek aan tijd was de meest gehoorde kritiek op de VBH. Dat heeft er mee voor gezorgd dat sommige zaken niet tijdig en grondig konden worden bekeken. Sommige rapporten boden daardoor weinig materiaal tot verbetermogelijkheden of efficiëntiewinsten. Er is – behalve voor de acht uitgaventoetsingen voor 2022-2024 waarover de Vlaamse Regering besliste -– geen duidelijkheid over andere uitgaventoetsingen die zullen worden opgestart of over de timing van volgende heroverwegingen.

4.2 Heldere scope en doelstellingen De scope van heroverwegingen moet helder worden bepaald aan het begin van het proces. Het lijkt aangewezen om bij volgende heroverwegingen opnieuw alle beleidsdomeinen mee in de scope te nemen, maar tegelijk beter te waken over de proportionaliteit van de inspanningen zodat de capaciteit en middelen worden ingezet waar ze het meeste nut hebben. De VBH toonde het belang van een centraal initiatief. Doordat de vraag naar evaluatie van het beleid kwam vanuit een overkoepelend initiatief ontstond er soms een nieuwe dynamiek en samenwerking in de beleidsdomeinen. Sommige projectgroepen hanteerden eigen criteria om te bepalen wat ze wel of niet aan een doorlichting zouden onderwerpen. Dat gebeurde vaak zonder afdoende uitleg of met een particuliere argumentatie. Ook de doelstellingen van heroverwegingen (en uitgaventoetsingen) moeten duidelijk zijn. De set van onderzoekvragen uit de VBH zat globaal goed. Maar in de richtlijnen en de governanceaanpak is meer aandacht nodig voor fundamentelere heroverwegingsvragen. De focus in heroverwegingen (en uitgaventoetsingen) moet nog duidelijker liggen op onderzoek naar de effectiviteit en efficiëntie van het beleid en de regelgeving (uitgaven en inkomsten). Besparingsvarianten zijn dan niet het onmiddellijke doel, maar ze kunnen daar wel aanleiding toe geven). Ze kunnen ook nodig zijn om beleidsdomeinen te stimuleren om fundamentelere onderzoeksvragen te stellen.. De VBH werd soms in de hoofden en in de praktijk toch vooral gezien als een budgettaire oefening en een besparingsoperatie. Dat zorgde voor defensieve houdingen en gebrekkige om te vermijden voeding te geven aan besparingsvoorstellen. Met alle middelen en ervaring gingen de analyses vaak niet diep genoeg. Er was in de VBH onvoldoende reflectie om de algemene vraag over kerntaken te beantwoorden, nl. of voor een bepaalde beleidsdoelstelling financiering door overheidsmiddelen verantwoord en wenselijk is, dan wel of beleidsdoelstellingen misschien doeltreffender/efficiënter kunnen worden bereikt door de private sector, de social profit, het middenveld of de lokale besturen.

4.3 Meer samenwerking tussen beleidsdomeinen en met het federale niveau Meer samenwerking tussen beleidsdomeinen en met de federale overheid moet silo-benaderingen vermijden. Er moet ruimte zijn en meer werk worden gemaakt van een systemische of thematische benadering die de interactie tussen beleidsinstrumenten binnen en tussen beleidsdomeinen meeneemt in de evaluatie. Dat geldt ook voor interacties met andere beleidsniveaus. De federale regering bv. is eveneens gestart met spending reviews binnen de federale overheid. Een onderlinge afstemming van de planning en werkzaamheden is nuttig gelet op de interactieeffecten die er vaak zijn. In de VBH bleven de meeste evaluaties beperkt tot één domein. Er waren ondanks de vele raakvlakken tussen beleidsdomeinen weinig of geen samenwerkingsformules om de evaluaties breder op te zetten. In de eindrapporten van EWI, LV en CJM werd wel gewezen op transversale problematieken en op de nood aan systeemdenken en breder opgezette evaluaties. Een goede illustratie van de wenselijke afstemming met het federale niveau is dat EWI in het kader van de VBH de interferenties onderzocht van eigen beleidsinstrumenten met die van het federale niveau. Een van de federale spending reviews gepland voor 2023 gaat net over die vraag, nl. hoe de ondersteuning van onderzoek en ontwikkeling efficiënter en effectiever kan verlopen door ze meer complementair te maken met de ondersteuning door andere overheden.

4.4 Een duidelijke governance Een duidelijke governancestructuur en afbakening van rollen en verantwoordelijkheden zijn nodig. Op dit vlak kan zeker worden voortgebouwd op de gehanteerde werkwijze in de VBH. Die komt op heel wat vlakken overeen met de internationale goede praktijken. Het is volgens de SERV wel nodig om afspraken te maken rond de wijze waarop de neutrale, objectieve uitvoering van evaluaties kan worden gestimuleerd en om mechanismen in te bouwen die de naleving van de richtlijnen en afspraken bevorderen. Waar nodig meent de SERV dat een stuurgroep afspraken zo nodig moeten kunnen afdwingen. Dat is ook een kwestie van cultuur en vertrouwen, die mee door herhaalde uitgaventoetsingen en heroverwegingen kan worden opgebouwd. De governance van de VBH zat globaal goed. Het gaat dan om de tweedelige governancestructuur (met een of meer projectgroepen die de evaluaties uitvoeren en een stuurgroep die coördineert en toezicht houdt op het proces); de inbreng van zowel inhoudelijk-technische als budgettaire deskundigheid en van externe expertise; de verdeling van rollen en verantwoordelijkheden tussen de beleidsdomeinen, de centrale departementen DFB en DKBUZA en de Inspectie van Financiën; en de afspraken over de rol van en communicatie naar het politieke niveau met het oog op autonomie en onafhankelijkheid van de projectgroepen. In de bevraging achteraf werden de rol van de politiek vermeld als verbeterpunt. De afspraken verhinderden niet dat er in sommige beleidsdomeinen politieke inmenging was die een objectieve analyse bemoeilijkte. Ook de kwaliteit van de externe ondersteuning was niet in alle beleidsdomeinen op niveau.

4.5 Maximale transparantie Maximale transparantie is cruciaal. Transparantie ondersteunt de integriteit van het evaluatieproces en bevordert het vertrouwen in en de kwaliteit en beleidsimpact van de evaluatieresultaten. Die transparantie moet er zijn voor alle aspecten. De governance, inhoudelijke richtlijnen, plannen van aanpak, evaluatierapporten, leerlessen en de beleidsrepliek zouden publiek beschikbaar moeten zijn. Op sommige momenten is een meer actieve communicatie naar de belangrijkste stakeholders wenselijk. Het effectief uitvoeren van de aanbevelingen (of de keuze om dat niet te doen transparant te maken) geeft een stimulans om voldoende capaciteit te blijven vrijmaken voor heroverwegingen. De SERV waardeert dat er over de VBH veel transparantie was, zowel over het proces als over de output en de leerlessen. Dat gebeurde binnen afgelijnde afspraken. Naar de toekomst toe is het aangewezen om een minder strikte lijn te volgen voor de communicatie naar belanghebbenden. Zij zouden tijdens het uitvoeringsproces actiever op de hoogte kunnen worden gehouden van de keuzes en vorderingen. De transparantie over de politieke beslissingen na de VBH is echter minder groot. Er is publiek geen goed overzicht beschikbaar van de mate waarin de resultaten van de VBH meegenomen zijn in de begrotingsopmaak 2022 of in 2023 of 2024 zullen meegenomen worden. Dat is ten dele te begrijpen. Er was na de VBH niet zo veel tijd om de conclusies politiek te trancheren. Maar intussen lijkt meer transparantie daarover wel mogelijk. Toch is dat tot dusver niet gebeurd. Slechts enkele BBT’s bij de begrotingsuitvoering 2021 maken melding van de VBH (8 van de 26) waarbij het in de meeste gevallen louter gaat om de vermelding dat de VBH heeft plaatsgevonden. Slechts één BBT vermeldt uitgaventoetsingen (BBT Financiën en Begroting). Transparantie over de besluiten die de politiek trekt uit een evaluatie is reeds formeel voorzien voor decreetsevaluaties, via de omzendbrief beleidsen regelgevingsprocessen. Dit principe kan uitgebreid worden naar uitgaventoetsingen en heroverwegingen. Een goede opvolging van de naleving van die vereiste is daarbij van belang want dat gebeurt nu niet voor decreetsevaluaties.

5. Aanbevelingen voor de structurele verankering van beleidsevaluatie De SERV meent dat verdere stappen naar de structurele verankering van beleidsevaluatie en een evaluatiecultuur nodig zijn. Ze moeten uitgaan van een geïntegreerde kijk op beleidsevaluatie, uitgaventoetsingen en heroverwegingen, beleidsrelevant onderzoek en data. De instrumenten, mechanismen en randvoorwaarden zijn immers erg gelijklopend. Hierdoor zijn er tal van synergiën mogelijk. Een afzonderlijk beleid of beleidskader rond heroverwegingen en uitgaventoetsingen enerzijds en beleidsevaluaties anderzijds is artificieel en zou zorgen voor versnippering en inefficiënties. Een integrale benadering sluit ook aan bij de filosofie van de Beleids- en Begrotingstoelichtingen (BBT’s). In die filosofie wordt beleidsen begrotingsinformatie als geheel gepresenteerd, in plaats van de vroegere afzonderlijke beleidsbrieven en begrotingstoelichtingen. Tot dusver lijken initiatieven echter los van mekaar te lopen. De VBH liep soms een eigen parcours, gescheiden van de opgebouwde kennis en ervaring met beleidsevaluatie. Dat heeft voor gevolg gehad dat personen of cellen die soms al meerdere jaren actief zijn rond beleidsevaluaties niet betrokken zijn geweest. Ook de kennis en ervaringen bij de Steunpunten werd niet overal benut. De betere rapporten uit de VBH waren overigens vaak van beleidsdomeinen die een langere traditie hebben op het vlak van beleidsevaluatie. Volgens de SERV zijn de onderstaande initiatieven noodzakelijk voor een structurele verankering van beleidsevaluatie met impact. Aanbevelingen voor structurele verankering van beleidsevaluatie 1. Een organisatiestructuur die het evaluatiebeleid verder uitwerkt, organiseert en opvolgt • • •

een centrale expertisecel is nodig ondersteund door overleggroep met vertegenwoordigers beleidsdomeinen met voldoende mandaat

2. Een evaluatieagenda voor coördinatie, selectie, planning en transparantie van evaluaties • • •

jaarlijks op te stellen / aan te passen, met een vooruitblik van 3 tot 5 jaar overheidsbreed gecoördineerd, op basis van evaluatieplannen beleidsdomeinen via een goed opmaakproces, met periodiek ook inbreng van stakeholders

3. Een goede vindbaarheid en toegang tot evaluatieresultaten voor doorwerking van evaluaties • •

via een databank en portaalsite met ook (gestandaardiseerde) beleidssyntheses

4. Investeringen in data, expertise en capaciteit • • •

data: versterkte datastrategie + beleidsinformatiedatabanken + ex ante aandacht expertise: strategische benadering + aanhaken bij netwerken buiten overheid financiering: te bekijken, want VBH nu met tijdelijke relancemiddelen gebeurd

5. Een strategisch beleidskader voor beleidsevaluatie • •

Vlaams strategisch beleidskader als sluitstuk met concretisering visie, verantwoordelijkheden, instrumenten en randvoorwaarden

5.1 Een organisatiestructuur die het evaluatiebeleid verder uitwerkt, organiseert en opvolgt Een structurele verankering van beleidsevaluatie start met de concretisering van institutionele verantwoordelijkheden. Er zijn immers heel wat rollen en taken die opgenomen moeten worden op het vlak van het plannen en afstemmen van evaluaties, ontwikkelen van kennis en expertise, bevorderen van kwaliteit en capaciteit, verspreiden en promoten van het gebruik van evaluatieresultaten in de beleidsen begrotingsprocessen en bevorderen van een evaluatiecultuur. Een centrale expertisecel is daarbij noodzakelijk. Dat blijkt ook uit de internationale ervaringen en richtlijnen. Nagenoeg alle OESO-landen hebben een zgn. oversight body voor beleidsevaluatie (zie bijlage B bij deelrapport 4). Er is een trekkende instantie nodig die het evaluatiebeleid kan opzetten, promoten, coördineren, opvolgen en verbeteren vanuit een whole-of-government perspectief. Een bestaffing van zo’n expertisecel vanuit DFB en DKBUZA lijkt aangewezen. De onderstaande figuur concretiseert de taken van zo’n expertisecel in relatie tot de taken die op niveau van een beleidsdomein worden opgenomen. Situering van de taken van de voorgestelde centrale expertisecel

Het is volgens de SERV zinvol om daarnaast een overlegorgaan te plaatsen waarin vertegenwoordigers uit de diverse beleidsdomeinen en de leidende organisaties (DFB en DKBUZA) samen het evaluatiebeleid vorm geven en opvolgen. Zo’n netwerkstructuur lijkt in de huidige Vlaamse bestuurscultuur en bestuurlijke organisatie de beste garantie op een kwaliteitsvolle en gedragen uitwerking van een Vlaamse evaluatiebeleid. Ook onafhankelijke experts zouden in de werking van zo’n overlegorgaan moeten worden betrokken. De centrale expertisecel en/of het overlegorgaan moeten over een voldoende mandaat beschikken. Dat is vereist om indien nodig echt te kunnen sturen en de richtlijnen en gemaakte regeringsafspraken te doen naleven. Dat is op zijn beurt nodig om iedereen mee te krijgen en het vastgestelde verschil in evaluatiebereidheid en -maturiteit tussen de verschillende beleidsdomeinen weg te werken. Zo’n gemandateerd oversight body bestaat vandaag niet in Vlaanderen. Dit gebrek aan organisatorische verankering is een belangrijke reden waarom er tot dusver weinig of geen effectieve coördinatie en aansturing is geweest om de voornemens van het witboek en het regeerakkoord op het vlak van beleidsevaluatie te realiseren of om de richtlijnen van de omzendbrief beleidsen regelgevingsprocessen correct toe te passen (cf. supra). Het rapport van drie buitenlandse experts over de introductie van spending reviews in Vlaanderen en het Rekenhof (voor het federale niveau) formuleerden eerder een soortgelijke aanbeveling. Het Rekenhof ziet het directoraat-generaal Begroting en Beleidsevaluatie binnen de FOD Beleid en Ondersteuning (FOD BOSA) als een opstap naar meer centrale aansturing. Ook de OESO zit volledig op die lijn met zijn (voorlopige) aanbevelingen aan het federale niveau (cf. lopende review van het federale evaluatiebeleid). Voor de VBH lijkt het leiderschap van DFB een cruciale succesfactor te zijn geweest. De spelregels die in de werkgroep Leesbare begroting werden opgesteld vermelden reeds dat het DFB het proces van uitgaventoetsingen zou moeten coördineren en zou moeten waken over het horizontale beleid inzake uitgaventoetsingen en de integratie ervan in de beleidsen begrotingscyclus. Er zijn ook institutionele verantwoordelijkheden nodig in de diverse beleidsdomeinen. Dat is nodig om ervoor te zorgen dat evaluaties structureel en niet enkel op ad-hocbasis gebeuren en de nodige capaciteit en expertise kan worden opgebouwd. Beleidsdomeinen krijgen best een grote autonomie en flexibiliteit om het evaluatiebeleid intern te organiseren. Maar de aanduiding van een verantwoordelijke (bv. een evaluatiecel of evaluatiefunctionaris) voor de ontwikkeling en uitrol van het eigen evaluatiebeleid, zoals in sommige beleidsdomeinen reeds is gebeurd, is een minimum. De capaciteit voor evaluatie binnen de Vlaamse overheid en hoe deze georganiseerd is, blijkt heel heterogeen te zijn. in enkele beleidsdomeinen of entiteiten is er (soms al langer) een centrale evaluatiecel of -functie, maar in andere gebeuren beleidsevaluaties meer ad hoc. Die heterogene organisatie heeft onder meer tot gevolg dat capaciteit en expertise onvoldoende kunnen worden opgebouwd en het delen van goede praktijken wordt belemmerd.

5.2 Een overheidsbrede evaluatieagenda die zorgt voor coördinatie, selectie, planning en transparantie van evaluaties De SERV vraagt dat de Vlaamse overheid werk maakt van een gecoördineerde evaluatieagenda. Zo’n agenda is in veel OESO-landen het belangrijkste instrument voor de planning, selectie, coördinatie en transparantie van evaluaties (i.e., ex post beleidsevaluaties en uitgaventoetsingen). Zo’n agenda zou best jaarlijks worden geactualiseerd, met een vooruitblik van 3 tot 5 jaar. Het veronderstelt de opmaak van evaluatieplannen in elk beleidsdomein die na discussie en afstemming worden samengevoegd tot een gecoördineerde overheidsbrede evaluatieagenda met daarin ook beleidsdomeinoverschrijdende evaluaties. Een gecoördineerde evaluatieagenda werd al meermaals aangekondigd maar is er nog niet. In de meeste beleidsdomeinen wordt er geen echte evaluatieagenda opgemaakt, ondanks de richtlijnen in de omzendbrief beleidsen regelgevingsprocessen. Er blijkt ook nog steeds geen onderlinge afstemming te gebeuren waardoor de aandacht voor systemische of transversale benaderingen beperkt is. Sinds 2018 publiceert de Vlaamse overheid wel jaarlijks een overzicht van de geplande beleidsevaluaties. Maar dit is geen gecoördineerde evaluatieagenda. Het overzicht wordt immers achteraf gemaakt door DKBUZA, op basis van een loutere screening van de beleidsnota’s en de BBT’s. Uit dat overzicht blijkt telkens opnieuw dat de beleidsnota’s en BBT’s niet steeds de vereiste informatie bevatten waardoor er geen duidelijk en volledig overzicht is. De criteria die werden gebruikt voor de nieuw geplande uitgaventoetsingen zijn onduidelijk. De projectgroepen en de stuurgroep hadden thema’s voorgesteld. Maar de basis waarop de lijst van acht nieuwe uitgaventoetsingen 2022-2024 is gebaseerd, is onduidelijk. Het is belangrijk om de opmaak van een gecoördineerde evaluatieagenda goed te organiseren. De evaluatieagenda moet worden afgestemd op de begrotingscyclus en de beleidscyclus. Een transparant proces voor de selectie van de prioritair te evalueren thema’s zal het vertrouwen en het draagvlak versterken. Periodiek en minstens één keer per legislatuur zouden ook de relevante stakeholders (bv. via de SERV en de strategische adviesraden) en de wetenschappelijke wereld (bv. via de VLIR) mee input moeten kunnen geven over welke thema’s en beleidsinstrumenten het meest relevant zijn om te evalueren. Harde criteria voor de selectie van te evalueren beleid zijn niet steeds mogelijk en kunnen ook contraproductief zijn. In Nederland bv. werden de teleurstellende resultaten van het vroegere kader met drempelwaarden onder meer toegeschreven aan een gebrek aan flexibiliteit om zich te concentreren op belangrijke strategische thema's, het gebrek aan grondige beleidsevaluaties om een beleidsdoorlichting op te stellen en de gebrekkige afstemming van de timing van beleidsevaluaties op de politieke beleidsagenda. Een beter alternatief lijkt te zorgen voor een transparant proces om de prioritair te evalueren thema’s te bepalen. Daarom is NL gestart met een Strategische Evaluatie Agenda (SEA) vanaf de begroting 2021. Elk ministerie is verplicht om (minstens) eenmaal per jaar een plan op te stellen voor alle soorten evaluaties (zowel ex post als ex ante en ex durante), met een vooruitblik van 3 tot 4 jaar. De SEA wordt ingediend bij het Ministerie van Financiën en is opgenomen als bijlage bij de Rijksbegroting. Zo’n evaluatieagenda wordt best ook gekoppeld aan een kennisagenda. Een kennisagenda bevat kennisvragen en informatienoden voor toekomstige beleidsuitdagingen. Dat is nuttig om 21

binnen de overheid onderzoek op een meer gestructureerde en overzichtelijke manier te programmeren én om de kennisvragen die leven beter kenbaar te maken bij het bredere ecosysteem van onderzoekers en kennisinstellingen. Voor hen kan zo’n kennisagenda inspiratie bieden om er zelf proactief mee aan de slag te gaan. Dat kan een belangrijke hefboom zijn voor het beleidsrelevant wetenschappelijk onderzoek. Zo’n kennisagenda wordt best periodiek opgesteld, met inspraak van stakeholders in de wereld van onderzoek en beleid. Dit kan per beleidsdomein gebeuren. Wel zou er ook ruimte moeten zijn voor afstemming en samenwerking met het oog op gedeelde of transversale kennisvragen. DWSE ontwikkelde samen met VDAB en diverse stakeholders een kennisagenda. Het doel daarvan is het arbeidsmarktbeleid beter te onderbouwen met data en wetenschappelijke inzichten. DWSE zal jaarlijks rapporteren over de uitvoering van de kennisagenda aan de Beleidsraad en de stuurgroep VIONA (waarin ook de sociale partners zetelen) en de agenda en onderzoeksresultaten publiek verspreiden. DWSE zal ook minstens een keer per levenscyclus van de kennisagenda een conferentie organiseren voor het maken van een synthese van het arbeidsmarktonderzoek. DWSE organiseert ook webinars met (externe) experts waarin de thema’s van de kennisagenda aan bod komen. Bij start van elke legislatuur gebeurt een actualisering op basis van externe stakeholderbevragingen en de diverse beleidsagenda’s van DWSE. De ontwerpkennisagenda wordt telkens voorgelegd aan de Stuurgroep VIONA en de Beleidsraad WSE. De onderzoeken worden ontsloten via een databank en een interactief jaaroverzicht.

5.3 Een databank en portaalsite met evaluaties die zorgen voor een goede vindbaarheid en toegang tot evaluatieresultaten De doorwerking van evaluaties wordt bevorderd door een gepaste communicatie en verspreidingsstrategie. Evaluatierapporten zouden actief openbaar moeten worden gemaakt (rekening houdend met gevoelige informatie). Beleidssyntheses volgens een gestandaardiseerd format kunnen de doorwerking bevorderen (zie bv. https://wol.iza.org/ als goed voorbeeld). Evaluatiedatabanken (ontsloten als open data, via API’s en aan de hand van de FAIR-principes - Findable, Accessible, Interoperable, Reusable) en portaalsites vergemakkelijken de vindbaarheid en toegang. Een koppeling met de gecoördineerde evaluatieagenda is vanuit dat oogpunt ook interessant. Sommige beleidsdomeinen of beleidsvelden hebben reeds een portaalsite met lopend en afgerond evaluatieonderzoek, waaronder Onderwijs en Vorming, WSE, EWI en Cultuur. Het witboek ‘open en wendbare overheid’ kondigde de actieve openbaarmaking aan van alle beleidsevaluaties via een centrale databank met alle beleidsrelevante onderzoeken. Dat portaal is er nog niet. Er is wel FRIS (Flanders Research Information Space). Dat is het portaal voor onderzoekers en onderzoek in Vlaanderen. Het bevat een beschrijving van het publiek gefinancierd onderzoek in Vlaanderen sinds 2008. FRIS bevat ook bepaalde types van publicaties van de Vlaamse universiteiten en wetenschappelijke instellingen. Het gaat echter enkel over metadata van het onderzoek dat wordt verricht binnen de instellingen die onder het decreet betreffende de organisatie en financiering van het wetenschaps- en innovatiebeleid vallen, niet over de concrete onderzoeksresultaten zelf. Het gaat ook dus niet over al het evaluatieonderzoek binnen de Vlaamse overheid. De rapporten van de VBH bijvoorbeeld zitten niet in FRIS (op enkele externe onderzoeken na). 22

5.4 Investeringen in data en in opbouw van expertise en capaciteit om te zorgen voor kwaliteit Een structurele verbetering van evaluaties vergt volgehouden investeringen in data- en expertise-opbouw. Het zijn investeringen die leiden tot grote baten en kostenbesparingen, maar pas op langere termijn. Het gaat misschien om weinig zichtbare inspanningen, maar ze zijn wel cruciaal voor de kwaliteit van de besluitvorming en dus voor de mate waarin maatschappelijke uitdagingen beleidsmatig effectief en efficiënt worden aangepakt. Het is noodzakelijk om verder te investeren in betere data voor evaluaties. Evaluatie vergt een hoge beschikbaarheid van prestatie- en evaluatie-informatie en toegang tot administratieve en beleidsdata. Een evaluatiebeleid moet dan ook gepaard gaan met een sterk databeleid. Dit vergt een overkoepelende en structurele aanpak die gaandeweg de belangrijkste knelpunten in de verzameling, koppeling en beschikbaarheid van data wegwerkt. Er moet geïnvesteerd worden in relevante datasets. Prestatie-informatie zou automatisch gegenereerd moeten kunnen worden, en niet telkens opnieuw in het kader van een specifieke evaluatie. De Vlaamse datastrategie en het data-actieplan 2022 zijn daarin een eerste stap. Maar verdere bijsturingen en inspanningen zijn nodig (zie daarover het recente SERV-advies). Ook in de VBH was data en datavergaring een belangrijke belemmering. Voldoende data waren niet steeds voorhanden. Sommige rapporten brachten dat ook in beeld. Volgens de Stuurgroep VBH is het verbeteren van de data (bv. prestatie-informatie) dan ook een van de belangrijke leerlessen. Vlaanderen heeft inderdaad nog geen performant datasysteem. Het SERV-advies ‘betere data voor het (corona-) beleid’ van juni 2020 en het gezamenlijke advies met de VLIR van september 2021 legde een reeks pijnpunten bloot over de beschikbaarheid, kwaliteit, vindbaarheid en ontsluiting van data voor beleidsmonitoring, -onderbouwing en -evaluatie. Het bestuursdecreet bevat in art. III.113/3 een bepaling over beleidsinformatiedatabanken. Die hebben onder meer als expliciete doelstelling het ondersteunen van de voorbereiding en evaluatie van het beleid van het beleidsdomein in kwestie en het aanleveren van data voor wetenschappelijk onderzoek. De Vlaamse Regering heeft hieraan echter nog geen uitvoering gegeven. Data moet reeds een aandachtspunt zijn op het moment dat beleid wordt ontworpen. Het is nodig om ex ante, bij de totstandkoming van nieuwe beleidsinitiatieven, de gegevens te identificeren die moeten worden verzameld om de effecten te beoordelen. Bij de invoering van elke belangrijke nieuwe beleidsmaatregel zou het dossier moeten aangeven welke data nodig zijn om het beleid te monitoren en te evalueren (en of die beschikbaar zijn). Dat staat ook zo in de omzendbrief VR 2019/11 beleidsen regelgevingsprocessen. Die bevat de richtlijn om in de memorie van toelichting bij een decreet te vermelden of en op welke manier de effectiviteit en efficiëntie zullen worden opgevolgd en te vermelden op welke manier daartoe de nodige data verzameld zullen worden zodat het decreet in de toekomst kan worden geëvalueerd. De omzendbrief VR 2019/11schrijft tevens voor dat de BBT’s moeten vermelden hoe de realisatie van de beleidsdoelstellingen opgevolgd zal worden. Als er niet voor elke doelstelling een geschikte indicator of kwalitatieve informatie beschikbaar is, moet de BBT aangeven welke maatregelen men zal nemen om dit verder te ontwikkelen. Dit gebeurt echter zelden, en alleszins nog niet systematisch. 23

De SERV vraagt tevens structurele initiatieven voor de opbouw van capaciteit en expertise. Die moeten er steeds zijn, zelf als veel evaluaties zouden worden uitbesteed. Dat vergt een samenhangend geheel aan maatregelen zoals evaluatiehandleidingen, opleidingen, leernetwerken, deskundig advies enz. Het opzetten van capaciteitsbeoordelingen in de diverse entiteiten die leiden tot een leeragenda kan een startpunt zijn voor zo’n structurele aanpak. Evaluatienetwerken zoals het Vlaams Evaluatieplatform (VEP) kunnen de leer- en evaluatiecultuur ondersteunen. Het gaat om fora waarin beleidsverantwoordelijken, ambtenaren, universiteiten en expertisecentra, wetenschappelijke steunpunten, deskundigen uit adviesraden, het Rekenhof en andere belangstellenden samen komen. Zulke netwerken blijken een cruciale factor voor de ontwikkeling van evaluatiesystemen. Ze kunnen mee zorgen voor capaciteitsopbouw door bv. uitwisseling van kennis en ervaringen, de opmaak van evaluatierichtlijnen en handleidingen, het kenbaar maken en promoten van opleidingen enz. In de VBH was de beschikbaarheid van expertise een knelpunt. Er waren zowel tekorten in de beschikbare interne onderzoekscapaciteit als bottlenecks en kwaliteitsbeperkingen bij de externe onderzoekspartners en consultants. Dat impliceert dat de kosten en baten van uitbesteding en externe ondersteuning goed moeten worden bewaakt. In het algemeen werd ook de expertise in de wetenschappelijke steunpunten onderbenut. De Vlaamse overheid heeft geen officiële evaluatierichtlijnen of handleiding zoals die in veel landen wel bestaan. Er zijn vandaag in de Vlaamse overheid ook geen structurele initiatieven gericht op de ontwikkeling van evaluatie-expertise, en geen verankering van de kennis op een centraler niveau waardoor schaalvoordelen kunnen worden gerealiseerd. De Vlaamse overheid investeerde wel een tijd in een intern kennisnetwerk beleidsonderzoek en een ruimer kennisnetwerk onderbouwd beleid gecoördineerd door DKBUZA en DEWI. De voorziene doorstart van deze kennisnetwerken kan het delen van evaluatie-expertise alvast ten goede komen. Diverse entiteiten van de Vlaamse overheid participeren tevens actief aan het VEP. De VS zijn een interessant voorbeeld van een strategische benadering van capaciteitsopbouw. De Evidence Act benadrukt de leerfunctie van evaluatie door de ontwikkeling van leeragenda's en capaciteitsbeoordelingen om de 4 jaar in alle agentschappen te verplichten. De bedoeling is dat overheidsinstanties daardoor een beter inzicht krijgen in hun evaluatie-expertise en -middelen en dat ze meer ‘evidence-building’ activiteiten ondernemen. Ook in Canada rapporteren de departementen jaarlijks de uitdagingen en kansen op het vlak van personeelscapaciteit en middelen voor evaluaties via de jaarlijkse departementale evaluatieplannen. Er is vandaag ook weinig zicht op de personele en financiële behoeften en middelen voor evaluatie. Die hangen natuurlijk af van de ambities en concrete plannen rond evaluatie en van de personele en financiële noden voor andere prioriteiten. De ervaring leert echter dat bij budgettaire druk de algemene werkingsmiddelen prioritair naar operationele taken gaan en beleidsevaluaties onder druk komen. De structurele financiering moet dus mee bekeken worden, ook omdat de middelen voor de VBH en de nieuwe uitgaventoetsingen uit de RFF tijdelijk van aard zijn. Voor de VBH werden fondsen gemobiliseerd via de relancemiddelen die de EU ter beschikking stelt aan de Vlaamse overheid. Om deze relancemiddelen te kunnen benutten, moest er een bestek in de markt worden geplaatst waarbij externen worden betrokken. Voor het totale project van de Vlaamse brede heroverwering en uitgaventoetsingen werd zo 10 miljoen euro

voorzien, waarvan er ongeveer 5 miljoen euro beschikbaar is voor nieuwe uitgaventoetsingen na afloop van de VBH.

5.5 Een geïntegreerd strategisch beleidskader voor beleidsevaluatie dat de koppeling met beleidsen begrotingsprocessen maakt Het sluitstuk van een verankerd evaluatiebeleid is een beleidskader voor beleidsevaluatie. Zo’n beleidskader bestaat reeds in veel landen maar ontbreekt nog in Vlaanderen. Het speelt een belangrijke rol in het (op strategisch niveau) expliciteren van: •

de visie, doelstellingen en ambities rond en de samenhang (o.a. op het vlak van proces, tijdstip en data) tussen de diverse soorten evaluaties moeten concretiseren;

•

de institutionele verantwoordelijkheden en de organisatorische vormgeving op centraal niveau moeten regelen;

•

de instrumenten en randvoorwaarden moeten uiteenzetten om het evaluatiebeleid te doen werken (evaluatieagenda, middelen, leercapaciteit, evaluatierichtlijnen, systemen voor informatie-uitwisseling en data-uitwisseling, publicatieportalen, databanken enz.).

Het beleidskader zou uitgewerkt kunnen worden onder de vorm van een visienota zoals bedoeld in de omzendbrief beleidsen regelgevingsprocessen. Hiermee zou de Vlaamse Regering de draad weer opnemen die na het Witboek Open en wendbare overheid is blijven liggen. Een beleidskader is nodig om de ambitie te vertalen die is opgenomen in het regeerakkoord en diverse beleidsnota’s, nl. om werk te maken van meer systematische en kwaliteitsvolle beleidsevaluaties. De visienota moet zorgen voor een coherent kader en een stappenplan die zelf regelmatig worden geëvalueerd en bijgesteld. Het beleidskader zou best ook expliciete aandacht hebben voor betrokkenheid van stakeholders. De inbreng van academici, sociale partners en middenveldorganisaties is belangrijk voor het draagvlak, de kwaliteit en de impact van beleidsevaluaties. Die inbreng wordt best voorzien op de diverse niveaus en moet ruimer worden ingevuld dan enkel transparantie. Belanghebbenden kunnen immers een nuttige inbreng doen over de prioritair te evalueren beleidsmaatregelen of uitgaven (cf. evaluatieagenda). Zij kunnen voor belangrijke input van kennis en informatie zorgen in een evaluatie en mee de kwaliteit en integriteit van de evaluatieprocessen bewaken. Daarnaast kunnen stakeholders voorbeelden van evaluatiepraktijken in andere sectoren en uit het buitenland aanreiken. Zij moeten kennis kunnen nemen en feedback kunnen geven op de evaluatieresultaten om mee te zorgen voor draagvlak en impact. Hun perspectief moet tijdig meegenomen worden bij het opzet en de beoordeling van de performantie van het evaluatiebeleid. In het witboek open en wendbare overheid engageerde de Vlaamse Regering zich om stakeholders meer te betrekken bij evaluaties, in het ganse evaluatieproces. Ook de evaluatiestandaarden uit 2018 bevatten het principe van inspraak: ‘We betrekken stakeholders doorheen het ganse proces’. Een nadere uitwerking van dat principe als onderdeel van evaluatierichtlijnen of een handleiding is er niet gekomen, maar in andere landen bevatten die ook richtsnoeren voor het betrekken van belanghebbenden. Ze leggen uit welke rol belanghebbenden kunnen spelen 25

voorafgaand, tijdens en na een evaluatie om ervaringen, bezorgdheden en data vanop het terrein door te geven en om de kwaliteit van de analyse en het draagvlak voor de resultaten te versterken. De richtsnoeren bespreken vaak ook een set aan mogelijkheden om dat te organiseren zoals openbare raadplegingen, klankborgroepen, adviespanels of begeleidingscommissies en reviews. In het beleidskader moet ook de relatie tussen ex ante en ex post beleidsevaluatie aan bod komen. Ex post beleidsevaluaties (en uitgaventoetsingen en heroverwegingen) zijn uiteraard een belangrijke input voor ex ante evaluatie. Omgekeerd zijn ex ante beleidsevaluaties ook een belangrijk startpunt voor ex post beleidsevaluaties. Beleidsevaluatie is immers maar goed mogelijk als het beleid evalueerbaar is. Dit houdt in dat er bij de beleidsvorming aandacht gaat naar een expliciete en heldere beleidstheorie en dat er reeds op het moment dat beleid wordt ontworpen verduidelijkt wordt welke gegevens moeten worden verzameld om later de effecten te beoordelen. Inspanningen om ex post beleidsevaluaties structureel te verankeren in de beleidsen begrotingsprocessen moeten dan ook gepaard gaan met een structurele verbetering in Vlaanderen van de wijze waarop vandaag ex ante beleidsevaluatie gebeurt. De SERV bracht daarover eerder al diverse adviezen uit. Ex ante beleidsevaluatie gebeurt vandaag in Vlaanderen niet op een systematische, gestructureerde manier. Er is geen verplichting meer om een reguleringsimpactanalyse (RIA) als afzonderlijk document op te maken. Ex ante beleidsevaluatie moet echter nog wel gebeuren, en de resultaten moeten worden opgenomen in de nota aan de Vlaamse Regering en/of in de memorie van toelichting bij een ontwerp van decreet. De richtlijnen ter zake werden opgenomen in de omzendbrief beleidsen regelgevingsprocessen. Het gaat om alle onderdelen van een traditionele reguleringsimpactanalyse zoals die door o.a. de OESO wordt gepromoot (probleemstelling, beleidsopties, impactanalyse, uitvoering en handhaving, monitoring en evaluatie). Ook hier is de naleving van de richtlijnen problematisch. Het rapport van drie buitenlandse experts over de introductie van spending reviews in Vlaanderen uit 2019 benadrukte eveneens het belang van ex ante analyse van nieuwe beleidsinitiatieven. De overgang naar prestatiegeïnformeerd begroten begint volgens heb bij een betere exante onderzoek en keuze van de beste beleidsalternatieven, bij voorkeur op basis van een gestandaardiseerd sjabloon, een samenhangend geheel van richtlijnen en ex-ante controlemethoden en -procedures om de initiatieven te verwoorden. Het is dus goed dat het overleg in het kader van project 160 van het relanceplan Vlaamse Veerkracht over regeldruk zich in de tweede helft van 2022 volop zal richten op het ontwikkelen van een systeem van ex ante evaluatie.

6. De politiek-ambtelijke context als fundamentele succesvoorwaarde Volgens de SERV zijn er ook enkele dieperliggende succesvoorwaarden. Deze hebben te maken met fundamentele of structurele uitdagingen in de Vlaamse politiek-ambtelijke context. Ze vormen een deel van de verklaring waarom de goede plannen en instrumenten die de Vlaamse Regering eerder al formuleerde niet of onvoldoende succesvol waren. Naarmate er vooruitgang is op de onderstaande succesfactoren zal ook de voedingsbodem voor beleidsevaluatie verbeteren en kan evidence-informed policy making (EIPM) floreren. Dieperliggende succesvoorwaarden in de politiek-ambtelijke context 1. Politiek en ambtelijk leiderschap • • •

voorvechters onder de politieke en ambtelijke top voor EIPM en een lerende overheid autoriteit om inertie en weerstand tegen te gaan leiderschap om wenselijke hervormingen effectief tot stand te brengen

2. Onderling vertrouwen, in de regering en politiek-ambtelijk • • •

minder gedetailleerde regeerakkoorden minder centralisatie van beleidswerk in kabinetten meer ruimte voor onafhankelijke beleidsvoorbereiding en -evaluatie door ambtenaren (binnen politiek vastgelegde doelstellingen)

3. Een structuur en cultuur van daadkracht in de Vlaamse Overheid • • •

sterkere coördinatiebevoegdheden en -instrumenten betere opvolging en naleving van regeringsafspraken die gelden voor alle entiteiten duidelijk mandaat voor een entiteit met die opdracht, rapporterend aan de voltallige VR

4. Een open en gezonde debatcultuur • • •

evaluatie als kans tot leren en verbeteren ruimte voor voortschrijdend inzicht en bijsturing op basis van wat wel en niet werkt minder politisering van beleidsevaluaties

5. Een sterk en actief Vlaams Parlement • • •

meer interesse van parlementsleden voor beleidsevaluatie minder partijpolitisering in de relatie tussen parlement en regering jaarlijkse verantwoordingsdag in mei (cf. Nederland) als keerzijde van Septemberverklaring

6.1 Politiek en ambtelijk leiderschap Een evaluatiecultuur vergt voorvechters, onder meer bij de politieke en ambtelijke top, die kwaliteit van het beleid centraal stellen, evidence-informed policy making onderschrijven en uitdragen, bereid zijn te investeren in een lerende overheid en beleidsevaluatie zien als een inherent onderdeel van goed bestuur. Een evaluatiebeleid vraagt voldoende politieke en ambtelijke autoriteit om inertie en weerstand tegen evaluaties (en tegen gemeenschappelijke regels of richtlijnen) te overwinnen. Leiderschap is tevens nodig om wenselijke beleidshervormingen, efficiëntieverbeteringen of herverdelingen van middelen effectief tot stand te brengen. 27

6.2 Onderling vertrouwen, zowel in de regering als in de politiek-ambtelijke verhoudingen Wantrouwen binnen de regering en tussen politiek en administratie heeft veel negatieve effecten. Het versterkt de neiging om regeerakkoorden erg (of te) gedetailleerd te maken, veel beleidswerk in de kabinetten te centraliseren en weinig ruimte te geven aan de administraties voor een onafhankelijke voorbereiding en evaluatie van het beleid (binnen politiek vastgelegde doelstellingen). Dat beperkt drastisch de kansen om beleid te ontwikkelen en bij te sturen op basis van ex ante of ex post evaluatie en evidence. Het hypothekeert ook het ontstaan van een evaluatie- en leercultuur. Het charter Politiek-Ambtelijke Samenwerking is hierin onvoldoende effectief gebleken.

6.3 Een structuur en cultuur van daadkracht binnen de Vlaamse Overheid De huidige structuur en cultuur speelt een gemeenschappelijk (evaluatie)beleid parten. De grote verzelfstandiging en de beperkte coördinatiebevoegdheden en -instrumenten bemoeilijken het maken en laten naleven van afspraken die gelden voor alle entiteiten. Het verklaart waarom goede regels (zoals in de omzendbrief beleidsen regelgevingsprocessen) en afspraken (zoals tijdens de VBH) uiteindelijk toch geen (volledige) uitvoering kennen. Coördinatie gebeurt met de zachte hand. Er is vaak geen strategische (bij)sturing, geen opvolging en geen sanctionering. Er is zelfs geen instantie die de taak of autoriteit heeft om dat te doen.

6.4 Een open en gezonde debatcultuur In een goede evaluatie- en leercultuur is er ruimte voor voortschrijdend inzicht en bijsturing van het beleid op basis van informatie van wat wel en niet werkt in de praktijk, zonder dat dit automatisch leidt tot het culpabiliseren van beleidsverantwoordelijken. In het andere geval worden evaluaties niet als een kans tot leren en verbeteren benut, maar gebruikt als een manier om beleidsmakers op het gevoerde beleid af te rekenen. Die politisering van beleidsevaluatie creëert een voedingsbodem voor terughoudendheid bij politici, beleidsmedewerkers en stakeholders om evaluaties aan te moedigen. Elke evaluatie wordt dan al snel gezien als een bedreiging voor de stabiliteit binnen de regering.

6.5 Een sterk en actief Vlaams Parlement Bij uitstek zouden parlementen interesse moeten hebben in ex ante en ex post evaluatie. Evaluatie voedt, fundeert en verdiept het democratisch debat. Evaluatie is onmisbaar om de drie hoofdopdrachten van het Vlaams Parlement – wetgevend, controlerend en budgettair – naar behoren uit te voeren. Het Vlaams Parlement heeft in het verleden en zeker de vorige legislatuur belangrijke inspanningen gedaan om decreetsevaluatie op de kaart te zetten. Maar de interesse van de meeste volksvertegenwoordigers blijft beperkt. Nog fundamenteler is dat de partijpolitisering de relatie tussen parlement en regering domineert. Dat leidt ertoe dat evaluatie snel een spel tussen 28

partijen of meerderheid-oppositie wordt. Deze dynamiek staat het opbouwen van een beleidsevaluatiecultuur in de weg. Toch moet het mogelijk zijn dat het Vlaams Parlement hierin een veel grotere rol opneemt, Dat doen parlementen in diverse andere landen alleszins (zie bijlage B bij deelrapport 4). In Nederland bv. weegt de Tweede Kamer sterk op de vormgeving van het evaluatiebeleid en de vraag naar beleidsevaluaties. Een goed startpunt voor het Vlaams Parlement zou het organiseren van een jaarlijks moment zijn waarop het gevoerde regeringsbeleid besproken en geëvalueerd wordt, naar het voorbeeld van de jaarlijkse verantwoordingsdag in Nederland in mei. Zo’n moment zou dan de tegenhanger zijn van de Septemberverklaring (of de Prinsjesdag in Nederland, eveneens in september). De basis voor zo’n verantwoordingsdag is reeds gelegd met de invoering van afzonderlijke BBT’s over de beleidsen begrotingsuitvoering (in mei) naast de BBT’s bij de begrotingsopmaak (in oktober). Een afzonderlijk moment moet de huidige scheeftrekking verhelpen tussen de grote aandacht van het parlement en de media voor de beleidsintenties en de beperkte aandacht voor de realisaties en de concrete effecten van het beleid.