DEEL 1 – EX POST BELEIDSEVALUATIE: WAT EN WAAROM?
Rapport van de Sociaal-Economische Raad van Vlaanderen, Wetstraat 34-36, 1040 Brussel W www.serv.be – T +32 2 209 01 11 – E info@serv.be
Disclaimer: Dit achtergronddocument werd opgemaakt door het SERV-secretariaat ter ondersteuning van het sociaal-economisch overleg en de beleidsadvisering door de sociale partners in de SERV. De bevindingen, interpretaties en conclusies in dit achtergronddocument vallen volledig onder de verantwoordelijkheid van het SERV-secretariaat en kunnen op geen enkele wijze toegeschreven worden aan de raad, een organisatie vertegenwoordigd in de raad of een lid van de raad. Kennisname raad
27 juni 2022
Contactpersoon
Peter Van Humbeeck Stijn Wouters
pvhumbeeck@serv.be 02 209 01 01 swouters@serv.be 02 209 01 07
Inhoud Dit Deel 1 van het achtergrondrapport van het SERV-Secretariaat bij het advies ‘De Vlaamse brede heroverweging als opstap naar een structureel evaluatiebeleid’ bevat een inleiding over beleidsevaluatie en kadert de belangrijkste begrippen. Het volledige rapport bestaat uit 5 delen en 3 bijlagen: 1. Beleidsevaluatie: wat en waarom? 2. Beleidsevaluatie in Vlaanderen: beleidsinitiatieven 1999-2021 3. Terugblik op de Vlaamse Brede Heroverweging 4. Principes en internationale goede praktijken voor verankering van ex post beleidsevaluatie 5. Toetsing van Vlaanderen aan een analyse kader voor de verankering van beleidsevaluatie Bijlage A: Spending reviews en beleidsevaluatie in de federale overheid Bijlage B: The governance of policy evaluation: an international review of policy evaluation frameworks and practices Bijlage C: Ex post evaluation and spending reviews: OECD principles, best practices and recommendations
1.
Beleidsevaluatie
4
1.1
Wat is beleidsevaluatie?
4
1.2
Wanneer beleid evalueren?
14
1.3
Waarom ex post beleid evalueren?
16
1.4
Hoe beleid ex post evalueren?
18
Referenties
19
1. Beleidsevaluatie Dit deel geeft een algemeen overzicht van beleidsevaluatie met een focus op ex post beleidsevaluatie. Er wordt ingegaan op onderstaande vragen: •
Wat is beleidsevaluatie?
•
Wanneer het beleid ex post evalueren?
•
Waarom het beleid ex post evalueren?
•
Hoe beleid ex post evalueren?
1.1 Wat is beleidsevaluatie? Hieronder worden eerst omschrijvingen gegeven van enkele kernbegrippen: uitgaventoetsingen, (brede) heroverwegingen, ex post beleidsevaluatie en ex ante evaluatie. Daarna volgt een meer uitgebreide bespreking van de definitie(s) van beleidsevaluatie, uitgaventoetsingen en (brede) heroverwegingen en van gerelateerde instrumenten zoals beleidsdoorlichtingen, monitoring audits en reviews
Kernbegrippen •
Uitgaventoetsingen of spending reviews zijn systematische, diepgaande en specifieke onderzoeken van belangrijke uitgavenposten om beleidsopties te ontwikkelen die de relevantie, effectiviteit of efficiëntie van uitgavenprogramma’s en het beleid kunnen verbeteren.
•
(Brede) heroverwegingen zijn omstandige onderzoeken van beleid met een budgettaire impact, gericht op het aanbieden van beleidsopties om het beleid doelmatiger en doeltreffender te maken, de uitgaven beter afstemmen op de beleidsprioriteiten en het niveau van de totale uitgaven beter beheersen. Ze maken periodiek de balans op van de (totale) uitgaven (en inkomsten) en van de afstemming ervan op de begrotingsdoelstellingen en de prioriteiten, zowel binnen een beleidsdomeinen als voor de hele overheid. (Brede) heroverwegingen kunnen een belangrijk instrument zijn voor het herijken van de middelen op nieuwe uitdagingen en prioriteiten.
•
(Ex durante / ex post) beleidsevaluatie is de gestructureerde evaluatie van een lopend of voltooid beleidsinitiatief om de relevantie en effectiviteit, efficiëntie en impact ervan te bepalen en te verbeteren. Beleidsevaluatie speelt een sleutelrol bij het bevorderen van empirisch onderbouwde beleidsvorming door te zorgen voor een beter inzicht in. Ex post beleidsevaluatie is dus nauw verwant aan uitgaventoetsingen maar kan breder gaan qua doel (bv. meer klemtoon op beleidsleren over wat werkt, waarom, voor wie en onder welke omstandigheden), beoordelingscriteria (bv. naast efficiëntie en effectiviteit bv. milieu-effecten, regeldruk …) en scope (bv. ook beleidsmaatregelen die geen begrotingsmiddelen vergen).
4
•
Ex ante evaluaties of impact assessments zijn gestructureerde analyses van de verwachte resultaten en effecten (kosten en baten) van mogelijke nieuwe beleidsmaatregelen of wijzigingen aan bestaand beleid. Ze bekijken welke maatregel het meest aangewezen is om een maatschappelijk probleem effectief en efficiënt op te lossen, met zo weinig mogelijk ongewenste neveneffecten.
Tussen deze vormen van evaluaties zijn er duidelijke linken. Uitgaventoetsingen kunnen onderdeel zijn van beleidsevaluaties of ermee samenlopen. Omgekeerd kunnen uitgaventoetsingen de inzichten uit beleidsevaluaties meenemen. Ex post evaluaties en uitgaventoetsingen zijn een essentiële input voor (brede) heroverwegingen – zij het dat brede heroverwegingen meer moeten zijn dan de loutere bundeling van uitgevoerde beleidsevaluaties en uitgaventoetsingen. Ex post evaluaties (en uitgaventoetsingen) zijn tevens een belangrijke input voor ex ante evaluaties en ex ante evaluaties zijn een belangrijk startpunt voor ex post evaluaties (cf. levenscyclusbenadering, cf. infra).
Beleidsevaluatie Beleidsevaluatie kent meerdere definities. Van der Knaap et al. (2020) hanteren een brede en eenvoudige definitie. Beleidsevaluatie komt volgens de auteurs neer op het “op basis van gericht verzamelde informatie en aan de hand van specifieke criteria systematisch beoordelen van beleid” (van der Knaap et al., 2020, p. 20). Bouckaert en De Peuter (2018, volgend op McDavid, Huse, & Hawthorne, 2012) omschrijven beleidsevaluatie als “gestructureerd proces dat informatie creeert en synthetiseert met het oog op het verkleinen van de onzekerheid voor stakeholders over een bepaald programma of beleid. Het doel is het beantwoorden van vragen of het testen van hypothesen, waarvan de resultaten in het geheel van informatie worden opgenomen door zij die belanghebbend zijn” (Bouckaert & De Peuter, p. 270). Veel landen hebben een formele definitie van beleidsevaluatie aangenomen. In sommige gevallen is de definitie ingebed in een juridisch document. Sommige landen definiëren evaluatie in richtlijnen of handleidingen. Belangrijke conceptuele begrippen in deze definities hebben betrekking op drie aspecten: •
het type geëvalueerde overheidsinterventies, zoals beleid, regelgeving, programma's, interventies,
•
de criteria voor evaluatie, zoals geschiktheid (relevantie, motivering, beleidslogica), doeltreffendheid (verwezenlijking van doelstellingen), efficiëntie (kosten en baten, onnodige kosten), effecten (effecten, direct en indirect, bedoeld en onbedoeld, primair en secundair op lange termijn)
•
kenmerken van evaluaties, op het vlal van kwaliteit (systematisch, objectief, rigoureus), tijd (ex-post, ex-ante), proces (proportionaliteit, bewijs, gebruikersbehoeften, alternatieven, methoden, ...) en actoren (interne versus externe evaluatie).
•
Vaak is ook het doel van evaluatie een belangrijk kenmerk.
5
Government’s formal definition of policy evaluation
TUR
BGR
BRA AUT
CAN
IRL
SVN
KOR
NZL
No definition OECD 35:12 All 41: 14
One formal definition applicable across government OECD 35: 11 All 41: 14
JPN
SWE
LTU
ITA
LVA
ISR
MEX
ISL
NDL
HUN
NOR
FIN
USA ARG
DNK CHE
CRI
BEL
ROU
COL
AUS
SVK
CHL PRT
CZE POL
GRC
GBR FRA EST
ESP
DEU Several formal definitions exist OECD 35: 12 All 41: 13
Note: n=41 (35 OECD member countries). Bron: OECD
De definitie van evaluatie ontwikkeld door de Evaluatiegroep van de Verenigde Naties (VN) is dat evaluatie "een beoordeling is, zo systematisch en onpartijdig mogelijk, van een activiteit, projectprogramma, strategie, beleid, onderwerp, thema, sector, operationeel gebied of institutionele prestaties. Het analyseert het niveau van het bereiken van zowel verwachte als onverwachte resultaten door de resultatenketen, processen, contextuele factoren en causaliteit te onderzoeken met behulp van geschikte criteria zoals relevantie, effectiviteit, efficiëntie, impact en duurzaamheid". De definitie van evaluatie stelt verder dat evaluatie "geloofwaardige, nuttige evidence-based informatie moet opleveren die de tijdige integratie van haar bevindingen, aanbevelingen en lessen in de besluitvormingsprocessen van de organisaties en belanghebbenden mogelijk maakt". De werkdefinitie die de OESO hanteert voor beleidsevaluatie is: "de gestructureerde en objectieve beoordeling van een lopend of voltooid beleids- of hervormingsinitiatief, het ontwerp, de uitvoering en de resultaten ervan. Het doel is om de relevantie en verwezenlijking van doelstellingen, efficiëntie, effectiviteit, impact en duurzaamheid te bepalen, evenals de waarde of betekenis van een beleid, met als doel de kwaliteit van de besluitvorming te verbeteren en advies op maat te bieden om de beleidsformulering en -uitvoering te verbeteren". De OECD Best Practice Principles for reviewing the stock of regulation vermelden dat (ex post) reviews van regelgeving (zie ook verder) "een empirisch onderbouwde beoordeling van de feitelijke 6
resultaten van regelgeving aan de hand van hun beweegredenen en doelstellingen moet omvatten, eventuele lessen moet noteren en aanbevelingen moet doen om eventuele prestatietekortkomingen aan te pakken". Hoewel de verschillende elementen uit de OESO-definitie terug te vinden zijn in de nationale definities, zijn er enkele verschillen in de manier waarop landen evaluaties beschrijven en interpreteren. De onderstaande kader geeft enkele voorbeelden. In Canada wordt evaluatie gedefinieerd als de systematische en neutrale verzameling en analyse van bewijsmateriaal om verdienste, waarde of waarde te beoordelen, die zich meestal richten op programma's, beleid en prioriteiten en vragen onderzoeken met betrekking tot relevantie, effectiviteit en efficiëntie. Afhankelijk van de behoeften van de gebruiker kunnen evaluaties echter ook andere thema's en kwesties behandelen, maar in elk geval is hun doel om besluitvorming, verbeteringen, innovatie en verantwoording te informeren. In Duitsland wordt evaluatie gedefinieerd als een procedure die de oorspronkelijk geformuleerde verwachtingen ten aanzien van doelstellingen, baten en kosten vergelijkt met de werkelijke effecten, onbedoelde gevolgen en kosten. De evaluatie is bedoeld om aan het licht te brengen of dat de nieuwe verordening haar waarde heeft bewezen of welke eventuele corrigerende maatregelen nodig zijn. Het is gebaseerd op een systematische methodologie, een proces dat gemakkelijk kan worden begrepen door derden en nauwkeurige empirische datasets. In Nederland zijn evaluaties onderzoeken naar de effectiviteit en efficiëntie van beleid. In het VK wordt evaluatie gedefinieerd als een systematische beoordeling van het ontwerp, de implementatie en de resultaten van een interventie, waarbij een interventie een beleid, een programma of een andere overheidsactiviteit kan zijn die bedoeld is om een verandering te verkrijgen. Volgens het ‘Magenta Book’ 'maakt beleidsevaluatie gebruik van een reeks onderzoeksmethoden om systematisch de effectiviteit van beleidsinterventies, implementatie en processen te onderzoeken en hun verdienste, waarde of waarde te bepalen in termen van het verbeteren van de sociale en economische omstandigheden van verschillende belanghebbenden'. In de VS is evaluatie een individuele, systematische beoordeling van een of meer programma's, beleid en organisaties, met behulp van systematische gegevensverzameling en -analyse en bedoeld om hun effectiviteit en effectiviteit te beoordelen. Evaluaties kunnen betrekking hebben op vragen met betrekking tot de implementatie van een programma, de effectiviteit van programmastrategieën of factoren die verband houden met variabiliteit in effectiviteit van het programma of de strategieën.
Bij het vergelijken van deze definities vallen een aantal zaken op. •
De OESO-definitie heeft een brede kijk op het type evaluaties: het gaat om het ontwerp, de uitvoering en/of de resultaten van een toekomstig, lopend of voltooid beleidsinitiatief. Het gaat om ex ante evaluatie of (effect)beoordeling van een voorgesteld beleid en ex post evaluatie van een afgerond beleid.
•
De definitie van evaluatie door de VN en ook de OESO is ook ruimer over de criteria (het doel van een evaluatie zou kunnen zijn om de efficiëntie, effectiviteit, impact of duurzaamheid van een bepaald beleid te beoordelen) dan meer enge definities in verschillende landen die zich richten op een of meer specifieke aspecten (zoals Nederland: alleen efficiëntie 7
en effectiviteit). Beleidsevaluatie is inderdaad vaak in hoofdzaak gericht op het beoordelen van de doeltreffendheid en doelmatigheid beleid. Andere criteria om beleid te beoordelen zijn o.a.: relevantie, zuinigheid, coherentie, consistentie, duurzaamheid, rechtvaardigheid en kosteneffectiviteit (Bouckaert & De Peuter, 2018). •
De VN is heel duidelijk over het doel van de evaluatie. Het benadrukt dat evaluatie niet gaat over het vinden van fouten of het beoordelen van een individu of een team. Integendeel, evaluatie is een kans voor interne en externe belanghebbenden om hun kennis en opvattingen over een bepaalde interventie in te brengen. Aan het einde van het proces geeft evaluatie feedback door prestaties te erkennen die zijn behaald. Bovendien identificeert het manieren voor verbetering en ondersteunt het evidence-based besluitvorming.
•
Een discussie kan zijn in hoeverre een evaluatie lessen moet noteren en beleidsaanbevelingen moet doen. Veel waarnemers zijn van mening dat een beleidsevaluatie lessen moet trekken en aanbevelingen voor verbetering moet bevatten. Beleidsevaluaties dienen gebruikt te worden (De Peuter et al., 2007). De hoofddoelstellingen van beleidsevaluaties is het formuleren van aanbevelingen richting beleidsmakers die ertoe kunnen leiden dat het beleid aan doeltreffendheid en doelmatigheid wint, en/of neveneffecten vermindert. Een evaluatie is van minder waarde als deze niet bevestigt dat een beleid of verordening goed presteert en geen verandering behoeft, of veranderingen identificeert die de prestaties ervan zouden verbeteren. Zowel in Canada als in Duitsland verwijst de definitie expliciet naar de beleidscyclus en het feit dat evaluaties gekoppeld zijn aan het besluitvormingsproces en dus beleidsaanbevelingen. In het ontwerp van beste praktijken voor uitgavenbeoordelingen van de OESO wordt expliciet vermeld dat uitgavenevaluaties moeten worden afgesloten met duidelijke aanbevelingen.
•
Een evaluatie kan niet volledig 'objectief' zijn. Wat belangrijk is, is dat er aan normen wordt voldaan (degelijk, methodologie, ethiek, ...). Een geschiktere term zou neutraal zijn (cf. Canada). Een evaluatie moet worden uitgevoerd vanuit een onpartijdige positie, zonder dat een persoonlijke of politieke factor (van een onderzoeker of beleidsmaker) de onderzoeksopzet en de uitvoering ervan beïnvloedt.
•
Soms wordt de primaire doelgroep expliciet genoemd ('beleidsmakers'). Evaluatie is inderdaad het verbinden van bewijs en besluitvorming. Maar evaluatie is ook het verbinden van 'externe' stakeholders met besluitvorming. De doelgroep of klanten van evaluaties zijn dan ook niet meer beleidsmakers, maar een grote verscheidenheid aan stakeholders. De Britse definitie van evaluatie voegt daar expliciet aan toe "in termen van verbetering van de sociale en economische omstandigheden van verschillende belanghebbenden". Transparantie en betrokkenheid van belanghebbenden zijn inderdaad een belangrijk kenmerk van een evaluatiesysteem, vooral in een tijdperk van coproductie waarin de publieke sector geen monopolie heeft op de uitvoering van beleid of zelfs beleidsformulering en -resultaten (bijvoorbeeld 'recht om aan te vechten'). De inbreng van belanghebbenden is in elk geval vaak een belangrijk onderdeel van het evaluatiesysteem van een land.
•
Om deze discussie af te ronden, is de praktijk van evaluatie niet altijd 'gestructureerd' of 'systematisch', noch volledig verenigbaar met methodologische normen. Vooral in kleinere entiteiten met minder middelen en capaciteit, zoals subnationale en lokale overheden, 8
omvat beleidsevaluatie alle initiatieven en instrumenten die informatie kunnen verschaffen voor besluitvorming. Vaak bestaat er een vorm van evaluatie, zij het door het gebruik van minder formele methoden en lichtere instrumenten die gemakkelijker te implementeren en minder middelenintensief zijn (bv. vragen, rondetafelgesprekken, gesprekken, ...). Deze methoden zijn soms beter afgestemd op lokale omstandigheden, bijvoorbeeld omdat er meer 'nabijheid' is van belanghebbenden in vergelijking met de centrale overheid. Deze evaluatiepraktijk blijft vaak onder de radar (geen outsourcing, geen aparte rapporten, intern gebruik, ...).
Uitgaventoetsingen Spending reviews hebben een specifieke focus op het verbeteren van de kwaliteit van de overheidsuitgaven en op het voorstellen van herallocatie. Het zijn instrumenten om beleidsopties te ontwikkelen, te beoordelen, aan te bevelen en vast te stellen door de bestaande uitgaven van de overheid te analyseren. Deze opties koppelen ze aan het budgetproces. De doelstellingen van een spending review omvatten •
het in staat stellen van de overheid om het totale uitgavenniveau te beheren,
•
het afstemmen van de uitgaven op de prioriteiten van de overheid en
•
het verbeteren van de effectiviteit binnen programma's en beleid.
De OESO maakt een onderscheid tussen spending reviews in de diepte en spending reviews in de breedte (OESO, 2020c). Dit onderdeel gaat in op de eerste (uitgaventoetsingen). Het volgende onderdeel betreft spending reviews in de breedte (heroverwegingen). Uitgaventoetsingen (ofwel uitgavendoorlichtingen) kijken systematisch naar specifieke uitgaven in de diepte. Ze onderzoeken het gehele volume aan bestaande uitgaven en kijken naar de basisuitgaven. Constant beleid geldt als uitgangspunt. Uitgavendoorlichtingen zijn op drie zaken gericht. Deze zijn (Europese Commissie, 2020): Het beantwoorden van de opportuniteitsvraag: is financiering voor een bepaalde uitgave
•
door publieke middelen wenselijk en verantwoord? Het bekomen van doelmatigere uitgaven, door hervormingen door te voeren die zorgen
•
voor gelijke uitgaven met meer kwaliteit of dezelfde kwaliteit voor minder uitgaven. Het verkrijgen van inzicht in de prioritering van de totale uitgaven, met het schrappen van
•
uitgaven die weinig impact hebben of geen politieke prioriteit meer zijn. Invalshoek
Budget
Doel
Doelmatigheid en doeltreffendheid
Scope
Een of meerdere begrotingsartikels
Uitgavendoorlichtingen zijn gekoppeld aan het begrotingsproces. Ze zijn in deze een instrument om de begroting vast te hangen aan prestaties, eerder dan het traditionele input-gebaseerde begroten, waar de kosten van productiefactoren en subsidies van het voorbije jaar het uitgangspunt zijn om uitgaven te gaan toekennen. Door systematisch de uitgaven op prestaties te evalueren en te prioriteren laten ze dus toe om het geaggregeerde niveau van uitgaven onder 9
controle te houden (Europese Commissie, 2020; OESO, 2021). Ze nemen zodoende besparingsopties en keuzemogelijkheden voor extra uitgaven mee in het vizier richting de voorbereiding van de volgende begrotingscyclus. De scope beperkt zich tot één of meerdere begrotingsartikels. (Typische) Onderzoeksvragen bij uitgavendoorlichtingen zijn (SERV, 2021): •
Betreft een uitgave nog steeds een beleidsprioriteit?
•
Zijn de uitgaven voldoende effectief in het bereiken van de vooropgestelde beleidsdoelstellingen? Zijn de uitgaven voldoende kostenefficiënt?
•
(Brede) Heroverwegingen Heroverwegingen (of beleidsonderzoeken) zijn spending reviews in de breedte. Heroverwegingen betreffen een evaluatie van beleid en stellen de effectiviteit van het gevoerde beleid in vraag. Het doel van een heroverweging is letterlijk beleidsmakers de mogelijkheden – namelijk scenario’s of een keuzemenu – aan beleidsopties te geven die toelaten om het beleid te heroverwegen (alternatieven te overschouwen) en/of te richten op nieuwe prioriteiten. Invalshoek
Budget en beleid
Doel
Doelmatigheid en doeltreffendheid
Scope
(Eén of meerdere) ISE’s of beleidsvelden
Waar een heroverweging zich toespitst op een ISE of beleidsveld, zal een brede heroverweging in principe een groot deel of de gehele begroting in scope hebben (Ministerie van Financiën, 2022a). Ze gaan daardoor het beleid eerder op hoofdlijnen beoordelen dan in de diepte te werken. Heroverwegingen steunen wel op bevindingen van andere beleidsevaluaties en beleidsonderzoeken. Ze betreffen keuzes op een lange termijn. (Typische) Onderzoeksvragen bij heroverwegingen zijn: •
Wat zijn beleidsopties om de effectiviteit (en efficiëntie) van het beleid te verbeteren?
•
Wat zijn die beleidsopties binnen een expansief of krimpend budgettair kader (besparingsvariant / intensiveringsvariant)?
Andere gerelateerde instrumenten Verscheidene instrumenten zijn nauw gerelateerd aan ex post beleidsevaluatie. Hieronder komen kort drie instrumenten aan bod: beleidsdoorlichtingen, performance monitoring, reviews en audits. Beleidsdoorlichtingen Beleidsdoorlichting is een term die in Nederland wordt gebruikt en betreft een vorm van uitgaventoetsingen die zich richt op meta-evaluatie. Ze brengen via synthese-onderzoek informatie uit verschillende beleidsevaluaties samen om een globaal inzicht te krijgen in de 10
doelmatigheid en doeltreffendheid van een specifiek beleid dat gelinkt is aan één of meerdere begrotingsartikels (Ministerie van Financiën, 2022c). In die zin zijn beleidsdoorlichtingen eveneens een goed instrument in de ex ante beleidsevaluatie. (Typische) Onderzoeksvragen bij beleidsdoorlichtingen zijn (Van der Knaap et al., 2020, pp. 134135, 319): •
Wat is de aanleiding voor het beleid?
•
Wat is de aard en samenhang tussen de ingezette instrumenten?
•
Wat zijn de uitgaven? Wat is de onderbouwing van de uitgaven?
•
Welke evaluaties zijn uitgevoerd? Op welke manier is het beleid geëvalueerd? Welke beleidsonderdelen zijn nog niet (recent) geëvalueerd geweest? Wat is de doelmatigheid en doeltreffendheid van het gevoerde beleid?
•
Performance monitoring Performance monitoring beoogt de voortgang te toetsen aan de geplande doelstellingen en kan worden gedefinieerd als de formele en voortdurende rapportage van bewijsmateriaal om aan te tonen dat middelen adequaat worden besteed, outputs met succes worden geleverd en mijlpalen worden bereikt. In tegenstelling tot monitoring streeft beleidsevaluatie ernaar verbanden tussen beleidsinterventies en effecten te analyseren en een empirisch onderbouwde beoordeling van de werkelijke resultaten ten opzichte van hun beweegredenen en doelstellingen te omvatten. Performance monitoring of prestatiemeting is het (doorlopend) meten van de prestaties van beleid. Bouckaert en De Peuter (2018) zien drie hoofdtaken voor prestatiemeting, die nauw aansluiten bij de doelstellingen van beleidsevaluaties. Prestatiemeting draagt bij aan (i) het afleggen van verantwoording en het vergroten van de transparantie over het gevoerde beleid, (ii) het verbeteren van de overheidswerking, en (iii) geeft input voor beleidsleren. Invalshoek
Budget en beleid
Doel
Meten van prestaties
Scope
Componenten van de productielogica (o.a. inputs, throughputs, outputs), en de relaties tussen de componenten
Beleidsevaluatie steunt op de resultaten van performance monitoring. Prestatie-informatie is namelijk een van de bronnen van evidence waar beleidsevaluaties op steunen. Waar prestatiemeting eerder beschrijvend van aard is, wil beleidsevaluatie de link tussen de beleidstheorie, het beleidsinstrumenten, ingezette en de resultaten fundamenteel beoordelen. (Typische) Onderzoeksvragen bij performance monitoring zijn: •
Wat zijn geschikte indicatoren om prestaties te meten? In welke mate meten indicatoren prestaties?
•
Wat zijn prestaties?
11
Reviews Reviews is de term die vaak wordt gebruikt voor initiatieven om de voorraad regelgeving te beoordelen in het kader van programma's voor het verminderen van de regeldruk. Ze worden uitgevoerd om ervoor te zorgen dat regelgeving geschikt is voor het beoogde doel, geen buitensporige kosten of administratieve lasten met zich meebrengt en geen negatieve stimulerende effecten heeft op innovatie, concurrentie, investeringen en efficiëntie. De resultaten van dergelijke evaluaties kunnen bijdragen tot een verbetering van het regelgevingskader voor bedrijven en burgers, maar zij kunnen verder gaan door te beoordelen of de verordening werkt zoals bedoeld. Herzieningen van bestaande regelgeving kunnen ook nuttige lessen opleveren over manieren om het ontwerp en de administratie van nieuwe regelgeving te verbeteren, bijvoorbeeld om de nalevingskosten te verlagen of het gedrag effectiever te veranderen. Op deze manier voltooien evaluaties achteraf de regelgevingscyclus die begint met de ex-antebeoordeling van voorstellen en overgaat tot uitvoering en beheer. Reviews zijn een instrument om regelgeving te evalueren in de context van administratieve vereenvoudiging (OESO, 2012). Reviews gaan regelgeving beoordelen op hun doelbereik en kijken of (de implementatie) van hun implementatie niet te grote neveneffecten met zich meebrengt. Invalshoek
Beleid
Doel
Effectiviteit en efficiëntie
Scope
Regelgeving
Reviews zijn verwant aan beleidsevaluaties, maar hebben doorgaans een specifiekere scope. Hun hoofddoel is gericht op de effectiviteit en consistentie van bestaande regelgeving. Centraal daarin staan gedragsinzichten. Ook mogelijke neveneffecten op innovatie, competitie en investeringen komen aan bod. Daarnaast beogen reviews ook om de administratieve lasten voor ondernemingen en burgers te beperken. De resultaten van reviews leiden tot aanbevelingen voor een aangepaste en vereenvoudigde regelgeving die meer rekening met gedragsinzichten. Daardoor zal de adoptie van regelgeving toenemen en/of de implementatiekosten dalen. (Typische) Onderzoeksvragen bij reviews zijn: •
Wat is de doelmatigheid en doeltreffendheid van de regelgeving?
•
Wat zijn de resultaten, effecten en neveneffecten?
•
Welke aanpassingen leiden tot minder administratieve lasten en/of een verbeterde naleving?
Audits Gelinkt aan evaluaties zijn er ook nog audits. Audits zijn onafhankelijke onderzoeken die passen binnen de democratische controle op de uitvoerende macht. Het doel van een audit is het controleren van het beleid en het beoordelen van informatie op hun kwaliteit en wettigheid.
12
Audit heeft tot doel te bepalen of de verzamelde informatie of feitelijke omstandigheden voldoen aan vastgestelde criteria, waaronder naleving van financiële of wettelijke regels. Auditing helpt ervoor te zorgen dat openbare entiteiten en ambtenaren hun taken effectief, efficiënt, ethisch en in overeenstemming met de toepasselijke wet- en regelgeving uitvoeren. Auditing als meer gericht op de interne organisatie. In sommige landen voeren hoge controle-instanties ook doelmatigheidscontroles uit met een evaluatieve benadering. Invalshoek
Budget en beleid
Doel
Ex post meten van efficiëntie, effectiviteit, zuinigheid, wettigheid, waarheidsgetrouwheid van (financiële) informatie.
Scope
Individuele instrumenten, programma’s, organisaties …
Er bestaan verscheidene types van audits. Deze zijn o.a.: •
Performantie-audits. Het nagaan van beleid op het vlak van efficiëntie, effectiviteit en zuinigheid. Die kan zich richten op individuele instrumenten, programma’s, organisaties, systemen enz. (INTOSAI, 2019). Performantie-audits gaan over de resultaten van beleid (prestaties en effecten), de voorwaarden van goed bestuur en de kwaliteit van verantwoordingsinformatie (bv. prestatie-informatie) (Bouckaert & Put, 2018).
•
Wettigheids- en regelmatigheidsaudits. Controle op de wettigheid en regelmatigheid van ontvangsten en uitgaven.
•
Financiële audits. Het beoordelen van financiële informatie op de waarheidsgetrouwheid.
Performantie-audits zijn het meest verwant aan beleidsevaluatie. Beide instrumenten beogen een studie van de efficiëntie en effectiviteit van het gevoerde beleid. Ze schrijven zich daardoor allebei in evidence-informed policy making in. Zowel performantie-audits als beleidsevaluatie leveren nieuwe informatie en inzichten op met aanbevelingen voor beleidsmakers. De belangrijkste verschilpunten zijn de functie, initiatie en het tijdstip van performantieaudits (Bouckaert & Put, 2018). De functie is namelijk het controleren van de uitvoerende macht. Beleidsevaluaties staan daarentegen doorgaans onder het gezag van de uitvoerende macht (bv. door een contract met de evaluator). De initiatie van performantie-audits is daarenboven ook onafhankelijk door interne auditinstanties (bv. Audit Vlaanderen of de Federale Interne audit) of externe auditinstanties (bv. het Rekenhof). Zij kiezen zelf (of op vraag van het wetgevende macht, bij uitzondering de uitvoerende macht of waar dit wettelijk bepaald is) de onderwerpen en bepalen onafhankelijk de scope en de methoden. In tegenstelling tot beleidsevaluatie zijn performantieaudits uitsluitend ex post. (Typische) Onderzoeksvragen bij performantie-audits zijn: •
Wat waren de kosten van de inputs van het beleid? Zijn zuinigheidswinsten mogelijk?
•
Wat is de doelmatigheid van het gevoerde beleid? Zijn efficiëntiewinsten mogelijk?
•
Werden de vooropgestelde doelen dankzij het beleid bereikt? Wat waren neveneffecten? Wat verklaart verschillen in vooropgestelde prestaties, en verschillen in vooropgestelde effecten?
13
1.2 Wanneer beleid evalueren? Er wordt typisch een onderscheid gemaakt tussen drie types beleidsevaluatie: (i) ex ante evaluatie: een beleidsevaluatie die voorafgaat aan de beleidsbeslissing, (ii) ex durante beleidsevaluatie: evaluatie tijdens de uitvoering, (iii) ex post beleidsevaluatie na de uitvoering of nadat beleidseffecten zich zouden moeten gerealiseerd hebben. Figuur 1 maakt de koppeling met beleidscyclus. Evaluatie binnen de beleidscyclus
Bron: De Peuter et al. (2007, p. 36)
Ex ante Ex ante beleidsevaluatie vindt plaats vóór de beleidsbeslissing tijdens de beleidsvoorbereidingsfase. Het is erop gericht om mogelijke beleidspistes te gaan beoordelen aan de hand van op voorhand bepaalde criteria, zoals inclusie. Ex ante beleidsevaluatie sluit aan op de beleidscyclus door beleidsontwikkeling te voeden met eerdere ervaringen op het vlak van uitdagingen, kernproblemen en aandachtspunten, evenals goede praktijken en reeds onderzochte pistes (policy memory) (OESO, 2020b, p. 14). Er zijn twee soorten ex ante beleidsevaluatie: ex ante beleidsevaluatie als methode om beleid te vormen, en ex ante beleidsevaluatie als methode om een beleidsvoornemen te beoordelen (van der Knaap et al., 2020, p. 110). Concrete instrumenten zoals de Impact Assessments van de Europese Commissie combineren de twee soorten ex ante beleidsevaluaties. Van der Knaap, Turskema en Melis (2011) zien in ex ante beleidsvaluatie zes vragen terugkomen om beleidsdoelstellingen, beleidsprobleem, oorzaak en oplossingen met elkaar in verband te brengen (zie ook het systeem van Impact Assessment, bv. Van Humbeeck, 2007, 2009, 2012 ): •
Wat is het op te lossen maatschappelijk probleem?
•
Welke beleidsdoelstellingen worden gekozen en zijn deze realistisch? 14
•
Welke interventies zijn daarvoor denkbaar?
•
Welke interventies zijn (potentieel) effectief?
•
Welke kosten en baten en effecten zijn hiermee gemoeid?
•
Is het beleid uitvoerbaar en handhaafbaar?
Ex durante Een ex durante (tussentijdse, ex proces of ex nunc beleidsevaluatie) vindt plaats tijdens de beleidsuitvoering. Dit is na de beleidsvoorbereiding en nadat een beleidsbeslissing genomen is (van der Knaap et al., 2020, pp. 147-149). In de eerste plaats is ex durante evaluatie erop gericht om de beleidsuitvoering op te volgen en indien nodig bij te sturen. De nood aan tussenevaluatie komt voort uit de complexiteit van beleid. Beleidsinterventies zijn meestal niet eenduidig, maar steunen op een samenwerking tussen verschillende instanties en actoren, mogelijks op meerdere beleidsniveaus en buiten de overheid. De digitalisering maakt dat beleid ook meer en meer steunt op digitale processen, waardoor informatiesystemen moeten opgezet worden of aan elkaar gelinkt om diensten en producten op te zetten of bij te sturen. Dit maakt het niet altijd eenvoudig is om in te schatten wat de beste manier is om beleid uit te voeren, of te voorzien wat mogelijke neveneffecten zijn. Tussentijdse evaluaties laten dan om het implementatieproces bij te sturen richting de oorspronkelijk gestelde doelstellingen. (Voorziene en onvoorziene) neveneffecten worden zo geminimaliseerd worden. Ex durante beleidsevaluatie steunt op de [resultaten] van beleidsmonitoring (infra, 1.4). Zo krijgt men via indicatoren reeds een beeld van de uitvoering van het beleid. Die geeft in eerste instantie input aan managers om de beleidsuitvoering bij te sturen. Bij het uitblijven van de vooropgestelde beleidseffecten (of indicaties daartoe) geeft beleidsmonitoring aanleiding tot aangepaste beleidsbeslissingen door beleidsmakers.
Ex post Ex post beleidsevaluatie vindt ideaaltypisch plaats nadat het beleid uitgevoerd is. De centrale vraag is of de gekozen beleidsinterventies de beoogde resultaten en beleidseffecten bereikten. Die geeft inzicht naar mogelijke nieuwe en betere beleidsinterventies. Ex post beleidsevaluatie maakt de link met een nieuwe ronde in de beleidscyclus en zijn een belangrijk instrument om het evaluatie first principe te realiseren: evalueer eerst vooraleer nieuwe beleidsinitiatieven te nemen. Er is niet altijd een duidelijk moment om ex post beleidsevaluaties aan te vatten. Dit komt langs de ene kant omdat beleid in de praktijk vaak doorloopt en geen eindpunt heeft. Langs de andere kant is het niet altijd eenvoudig te voorspellen wanneer beleidseffecten (outcome/impact) zich volledig of voldoende hebben gemanifesteerd opdat ex post beleidsevaluatie nuttig is. Daarom is het van belang dat ex post beleidsevaluaties regelmatig plaatsvinden. Idealiter stellen beleidsmakers in de fase van de beleidsbeslissing vast wanneer of aan de hand van welke criteria er beslist wordt dat een ex post beleidsevaluatie plaatsvindt. Dit is bijvoorbeeld het geval met horizonbepalingen (sunset clauses) in decreten. Ex post beleidsevaluatie kan ook 15
buiten de beleidscyclus van een specifiek beleid plaatsvinden, bijvoorbeeld in het kader van een brede heroverweging (infra). De volgende secties leggen de focus op ex post beleidsevaluatie. Met name gaan ze in op: •
Waarom beleid ex post evalueren?
•
Hoe het beleid ex post evalueren?
1.3 Waarom ex post beleid evalueren? Beleidsevaluatie heeft een cruciale functie in het verzekeren van goed bestuur, kwaliteitsvol beleid, performante publieke dienstverlening en gezonde financiën door ervoor te zorgen dat de beleidsvorming wordt geïnformeerd door evidence over waarom en hoe een beleid kan slagen of succesvol was en hoe het kan worden verbeterd. Terwijl economische, sociale en ecologische uitdagingen steeds complexer worden (SERV, 2015b)., worden overheden geconfronteerd met een toenemende druk om beter te presteren. De verwachtingen van burgers over kwaliteit van het beleid en de publieke dienstverlening nemen toe. Tezelfdertijd werken overheden in een context van beperkte middelen (financieel en op het vlak van capaciteit) om aan die verwachtingen te doen. Ook de toenemende aantal wet- en regelgeving spoort aan tot regelmatige beleidsevaluaties om opgebouwde regeldruk en incoherenties te verminderen. Ervoor zorgen dat beleidsvorming wordt geïnformeerd door evidence over wat werkt, waarom, voor wie en onder welke omstandigheden is dan essentieel. Ex post beleidsevaluaties bieden één van de instrumenten van overheden om tegemoet te komen aan deze uitdagingen. Evaluaties (in het bijzonder ex post evaluaties) vormen een belangrijke vorm van evidence (OESO, 2020a). Evaluatie is daarmee naast expertise en (wetenschappelijk) onderzoek een derde bron van evidence (Dewaele & Wayenberg, 2014). Beleidsevaluaties informeren beleidsmakers en stakeholders op een regelmatige basis en stellen beleidsmakers in staat om geïnformeerde keuzes te maken. Op die manier is beleidsevaluatie een wezenlijk onderdeel van een overheid die aan evidence-informed policy making doet en de focus richt op de effecten van het beleid. Het voeren van beleidsevaluaties vanuit een budgettair insteek past binnen de omslag naar een prestatiebegroting. In een systeem van prestatiegericht begroten (of resultaatsgericht begroten) staan evaluaties centraal. Langs de ene kant gaan beleidsmakers na wat de resultaten zijn van eerder besliste uitgaven en gaan ze na of de doelmatigheid (en doeltreffendheid) van de uitgaven kan verbeterd worden. Langs de andere kant zijn de vooropgestelde prestaties leidend bij het bepalen van nieuwe uitgaven. Prestatiegericht begroten is er zodoende op gericht om de uitgaven te beheersen en te prioriteren. Het evalueren van het beleid heeft meerdere beweegredenen. Het kan bijdragen aan: Het verbeteren van de werking van de overheid: ‘Wat kunnen we hoe beter doen?’ Het afleggen van verantwoording: ‘Is er gebeurt wat moest gebeuren?’ Beleidsleren: ‘Wanneer en waarom heeft beleid wel of niet effect?’ Overleg en dialoog stimuleren. 16
Verbeteren Ex post beleidsevaluaties dragen bij aan het verbeteren van de werking van de overheid. Beleidsevaluaties geven inzicht of nieuwe beleidsinitiatieven of aanpassingen aan bestaande beleidsinterventies nodig zijn. Ze geven inzicht in beleidsinterventies en hun effecten. Beleidsevaluatie geeft advies om het beleid te verbeteren en de efficiëntie en effectiviteit van het beleid te verbeteren. Efficiënt en effectief overheidsbeleid moet gebaseerd zijn op solide bewijsmateriaal. Veel externe factoren beïnvloeden de verwezenlijking van beleidsdoelstellingen, waaruit blijkt dat er periodiek controles moeten worden uitgevoerd om vast te stellen of de regels werken zoals bedoeld. Evaluatie genereert kennis en is daarom een belangrijke bron van bewijsmateriaal over de verbanden tussen beleidsinterventies en hun resultaten en impact.
Verantwoorden Ex post beleidsevaluaties zorgen voor het afleggen van verantwoording. Beleidsevaluatie bevordert een open overheid (open government) door transparantie te versterken. Op die manier zijn beleidsevaluaties een instrument om beleidsmakers te beoordelen en ervoor te zorgen dat ze rekenschap afleggen voor het gevoerde beleid. Dit zou de ‘value for money’, het vertrouwen in de overheid, de samenhang van het beleid en de legitimiteit van het gebruik van publieke middelen moeten bevorderen.
Leren Ex post beleidsevaluaties faciliteren beleidsleren. Ze zijn een instrument voor beleidsmakers om te leren wat werkt, wat niet werkt en hoe nieuwe beleidsinterventies eventueel betere resultaten en effecten kan opleveren. Ze kunnen het leren bevorderen door een dieper inzicht te krijgen in het waargenomen succes of falen van beleid en van wat werkt, waarom, voor wie en onder welke omstandigheden, en tegen welke kosten. Gedurende het evaluatieproces krijgen de mensen die betrokken zijn bij de evaluatie relevante inzichten in het beleid die kunnen leiden tot een verbetering, ook zonder een formele beleidswijziging, bijvoorbeeld in hoe gedragsverandering effectiever is. Beleidsevaluatie geeft breder ook inzicht in het beleidsproces zelf. Beleidsleren is in dat verband gericht op de kwaliteit van het proces, of van de governance van beleidsevaluaties en het evaluatiebeleid.
Overleg en dialoog stimuleren Evaluaties kunnen het democratische proces versterken en de ruimte creëren voor belanghebbenden om na te denken over een interventie, individueel of in groepen. Door een nuttig platform te bieden, triggert evaluatie belanghebbenden om het onderwerp van de evaluatie te bespreken. Evaluatieprocessen kunnen helpen om relaties op te bouwen en te zorgen voor een beter begrip van de verschillende behoeften en belangen van deelnemers en andere belanghebbenden. Het kan nieuwe ideeën en energie inspireren die kunnen leiden tot nieuwe partnerschappen of nieuwe initiatieven.
17
1.4 Hoe beleid ex post evalueren? Centraal in beleidsevaluatie staat de beleidstheorie (van der Knaap et al., 2020). Een beleidstheorie stelt dat een beleidsmaatregel (of beleidsinterventie) een bepaald effect zal hebben die een beleidsdoelstelling realiseert. Beleidsevaluatie gaat na wat de beleidstheorie dient te zijn en of die gehaald is (Pawson, 2002). Beleidsevaluatie voert dit onderzoek op verschillende momenten in de beleidscyclus. In de fase voor de beleidsbeslissing gaat evaluatie – binnen de doelstellingen die beleidsmakers stellen – na wat mogelijke instrumenten zijn om die beleidsdoelstellingen te realiseren, welke bestaande beleidsmaatregelen reeds een impact hebben op de beleidsdoelstellingen, wat mogelijke neveneffecten zijn enz. Na de uitvoering volgt een analyse die in essentie nagaat of de beleidstheorie en de onderliggende assumpties correct waren. Hoe er geëvalueerd wordt is van groot belang. Afhankelijk van het doel, de scope en de invalshoek zijn verschillende methoden immers minder of beter geschikt om te evalueren (Van der Knaap, 2020, p. 17). Voor het overzicht van evaluatiemethoden wordt verwezen naar de gespecialiseerde literatuur. Ex post beleidsevaluaties verlopen best via een roadmap met duidelijke onderzoeksvragen en een analyse aan de hand van criteria (Europese Commissie, 2017). Die moet langs de ene kant het proces objectiveren, kwaliteit waarborgen en transparantie bevorderen. Langs de andere kant zorgt een zekere standaardisatie dat beleidsevaluaties vergelijkbaar zijn. Dit is belangrijk voor beleidsevaluaties als beleidsdoorlichting, die een synthese-onderzoek betreffen. Beleidsevaluaties bevatten ook vaak processen om stakeholders te betrekken in bv. de vraagstelling, het verlenen van feedback of de input van informatie. Ex post beleidsevaluaties steunen nadrukkelijk op de resultaten van beleidsmonitoring. Die betreft het gestructureerd verzamelen, verwerken, analyseren en rapporteren van data ten aanzien van welbepaalde criteria. Beleidsmonitoring ondersteunt evaluaties en geeft inzicht in de uitvoering, de mate van doelbereik en mogelijke neveneffecten. Beleidsmonitoring gaat niet enkel data verzamelen over prestatie-indicatoren van het beleid die bijvoorbeeld vooruitgang ten aanzien van een bepaalde beoogde output meten (bv. aantal % reductie van broeikasgassen). Het gaat evenzeer over data verzamelen over inputs (de ingezette mensen en middelen), throughputs (bv. meten van de kwaliteit van de dienstverleningsprocessen) en omgevingsfactoren. Van der Knaap et al. (2020, pp. 151-153) maken in het kader van de monitoring een onderscheid tussen meeteenheden en indicatoren. Meeteenheden brengen de inputs, throughputs, outputs, outcomes en impacts concreet in kaart. Indicatoren zijn onrechtstreekse metingen en nuttig wanneer er (nog) geen meetheden zijn. Vaak zullen indicatoren slechts een beperkte dekkingsgraad hebben. Het is van belang dat monitoring tijdig wordt opgezet én beantwoordt aan de informatiebehoeften. Idealiter laten beleidsmakers reeds in de beleidsvoorbereidingsfase een analyse maken van welke indicatoren en meeteenheden voorhanden zijn en welke geschikt zijn (SERV, 2015b).
18
Beleidsevaluatie steunt ook op andere data. Hiertoe horen statistische data, administratieve data, managementinzichten en evaluatiedata. Daarnaast maakt beleidsevaluatie gebruik van eerder onderzoek.
Referenties Bouckaert, G., & De Peuter, B. (2018). Prestatiemanagement. In Bouckaert, G., Hondeghem, A., Op de Beeck, S., Ruebens, M., Verhoest, K., & Voets, J. (Red.). Handboek Overheidsmanagement (pp. 261-293). Brugge: Vanden Broele. Bouckaert, G., & Put, V. (2018). Financieel management. In Bouckaert, G., Hondeghem, A., Op de Beeck, S., Ruebens, M., Verhoest, K., & Voets, J. (Red.). Handboek Overheidsmanagement (pp. 239-260). Brugge: Vanden Broele. De Peuter, B., De Smedt, J, & Bouckaert, G. (2007). Handleiding beleidsevaluatie (drie boekdelen). Leuven: Steunpunt Bestuurlijke Organisatie. Dewaele, J., & Wayenberg, E. (2014). De fundamenten van Beter Bestuurlijk Beleid en Copernicus. Het gebruik van ‘evidence’ geduid en verklaard. Vlaams Tijdschrift voor Overheidsmanagement, 19(3), 85-95. https://www.vtom.be/nl/journal/vtom/index.html Europese Commissie (2017). Better Regulation Guidelines. SWD (2017) 350. https://ec.europa.eu/info/sites/default/files/better-regulation-guidelines.pdf Europese Commissie (2020). Spending Reviews: Some Insights from Practitioners. https://ec.europa.eu/info/sites/info/files/dp135_spending_reviews.pdf Europese Raad (2016). Quality of public finance: spending reviews for smarter expenditure allocation in the Euro area. https://www.consilium.europa.eu/en/press/press-releases/2016/09/09/eurogroup-statement/ Gijselinckx, C. (2016). Beleidsevaluatie ter ondersteuning van evidence-informed beleid in Onderwijs en Vorming. Vlaams Tijdschrift voor Overheidsmanagement, 21(2), 25-30. https://www.vtom.be/nl/journal/vtom/index.html INTOSAI (2019). ISSAI 300. Performance Audit Principles. https://www.intosai.org/fileadmin/downloads/documents/open_access/ISSAI_100_to_400/issai_300/ISSAI_300_en_2019.pdf Knottnerus, André, Peter de Goede en Peter van der Knaap (2016). Systematisch leren van evalueren. Waarden, effectiviteit, onafhankelijkheid en kwaliteit als pijlers voor de brug tussen wetenschap en politiek. Boom Bestuurskunde, 2016, nr. 2. https://tijdschriften.boombestuurskunde.nl/tijdschrift/bk/2016/2 McDavid, J. C., Huse, I., & Hawthorn, L. R. L. (2012). Program Evaluation and Performance Measurement, an Introduction to Practice. Thousand Oaks: Sage. Minister van Financiën (2018). Regeling van de Minister van Financiën van 15 maart 2018, houdende regels voor periodiek evaluatieonderzoek. https://zoek.officielebekendmakingen.nl/stcrt2018-16632.html Ministerie van Financiën (2022a). Evaluatiestelsel. https://www.rijksfinancien.nl/beleidsevaluatie/evaluatiestelsel#PR Ministerie van Financiën (2022b). Brede Maatschappelijke Heroverwegingen. https://www.rijksfinancien.nl/brede-maatschappelijke-heroverwegingen 19
Ministerie van Financiën (2022c). Handreiking beleidsdoorlichtingen. https://archief.rijksfinancien.nl/handreiking-beleidsdoorlichtingen Nederlands Parlement (2016). Comptabiliteitswet 2016. https://wetten.overheid.nl/BWBR0039429/2021-02-13 Nederlands Parlement (2017). Motie van de leden Van Weyenberg en Dijkgraaf. https://zoek.officielebekendmakingen.nl/kst-34725-8.pdf OESO (2012). Recommendation of the Council on regulatory policy and governance. https://www.oecd.org/gov/regulatory-policy/49990817.pdf OESO (2020a). Improving Governance with Policy Evaluation: Lessons From Country Experiences. Parijs: OECD Publishing. https://www.oecd.org/gov/improving-governance-with-policy-evaluation-89b1577d-en.htm OESO (2020b). Building Capacity for Evidence-Informed Policy-Making: Lessons from Country Experiences. Parijs: OECD Publishing. https://www.oecd.org/gov/building-capacity-for-evidenceinformed-policy-making-86331250-en.htm OESO (2020c). Spending Review Survey. Parijs: OECD Publishing. OESO (2021). Draft OECD Best Practices for Spending Reviews. Pawson, R. (2002). Evidence-based Policy: In search of a Method. Evaluation, 8(2), 157-181. SERV (2015a). Advies beleidsrelevant wetenschappelijk onderzoek. https://www.serv.be/node/9736 SERV (2015b). Advies Tien denksporen voor ex post decreetsevaluatie in en door het Vlaams Parlement. https://www.serv.be/node/9857 SERV (2016a). Advies betere regelgeving. https://www.serv.be/node/10909 SERV (2016b). Advies Groenboek bestuur. https://www.serv.be/node/10983 SERV (2021). Advies Evaluatierapport over de Vlaamse begroting 2021. https://www.serv.be/node/14138 Van der Knaap, P. (2004). Theory-based evaluation and learning: possibilities and challenges. Evaluation, 10(1), 16-34. https://journals.sagepub.com/doi/10.1177/1356389004042328 Van der Knaap, P., Pattyn, V., & Hanemaayer, D. (2020). Beleidsevaluatie in theorie en praktijk. Den Haag: Boom Bestuurskunde. Van Dooren, W., Bouckaert, G., Halligan, J. (2015). Performance management in the public sector. New York: Routledge. Van Humbeeck, Peter (2007) Best practices in regulatory impact analysis: a review of the Flemish Region in Belgium, Working paper for European Network for Better Regulation. https://www.uantwerpen.be/en/staff/peter-vanhumbeeck/my-website/publications-and-dow/ Van Humbeeck, Peter (2009). Regulatory impact analysis in Flanders and Belgium: an update on the experience and challenges. ICW Working Paper nr. 2. https://www.uantwerpen.be/en/staff/peter-vanhumbeeck/my-website/publications-and-dow/ Van Humbeeck, Peter (2012). Regulatory Impact Analysis In Flanders And Belgium: Policy And Trends. Paper for the 2012 European Environmental Evaluators Network Forum. HIVA - KU Leuven, Belgium. https://www.uantwerpen.be/en/staff/peter-vanhumbeeck/my-website/publications-and-dow/ 20