ANNEX A – SPENDING REVIEWS EN BELEIDSEVALUATIE IN DE FEDERALE OVERHEID
Rapport van de Sociaal-Economische Raad van Vlaanderen, Wetstraat 34-36, 1040 Brussel W www.serv.be – T +32 2 209 01 11 – E info@serv.be
Disclaimer: Dit achtergronddocument werd opgemaakt door het SERV-secretariaat ter ondersteuning van het sociaal-economisch overleg en de beleidsadvisering door de sociale partners in de SERV. De bevindingen, interpretaties en conclusies in dit achtergronddocument vallen volledig onder de verantwoordelijkheid van het SERV-secretariaat en kunnen op geen enkele wijze toegeschreven worden aan de raad, een organisatie vertegenwoordigd in de raad of een lid van de raad. Kennisname raad
27 juni 2022
Contactpersoon
Peter Van Humbeeck Stijn Wouters
2
pvhumbeeck@serv.be 02 209 01 01 swouters@serv.be 02 209 01 07
Inhoud Deze Annex A fungeert als bijlage bij deel 2 en 3 van het achtergrondrapport van het SERV-Secretariaat bij het advies ‘De Vlaamse brede heroverweging als opstap naar een structureel evaluatiebeleid’. Het bevat informatie over spending reviews en beleidsevaluatie in de federale overheid. Het volledige rapport bestaat uit 5 delen en 3 bijlagen: 1. Beleidsevaluatie: wat en waarom? 2. Beleidsevaluatie in Vlaanderen: beleidsinitiatieven 1999-2021 3. Terugblik op de Vlaamse Brede Heroverweging 4. Principes en internationale goede praktijken voor verankering van ex post beleidsevaluatie 5. Toetsing van Vlaanderen aan een analyse kader voor de verankering van beleidsevaluatie Bijlage A: Spending reviews en beleidsevaluatie in de federale overheid Bijlage B: The governance of policy evaluation: an international review of policy evaluation frameworks and practices Bijlage C: Ex post evaluation and spending reviews: OECD principles, best practices and recommendations
ANNEX A – Spending reviews en beleidsevaluatie in de federale overheid4 1.
Spending reviews op federaal niveau
4
2.
Beleidsevaluatie op federaal niveau
5
Referenties
9
3
ANNEX A – Spending reviews en beleidsevaluatie in de federale overheid 1. Spending reviews op federaal niveau De Federale Regering besliste in december 2020 om te starten met 'spending reviews' binnen de federale overheid. Dat gebeurde in uitvoering van het federale regeerakkoord en onder impuls van Europa (cf. landenspecifieke aanbevelingen van het Europese semester). In een eerste fase ging het om drie proefprojecten. Op basis van internationale goede praktijken en een fact finding mission (in oktober 2019) heeft de OESO aan de federale overheid aanbevolen om eerst te starten met ‘selective spending reviews’ om via proefprojecten ervaring en capaciteit op te bouwen binnen de FOD BOSA en de andere administraties. Die proefprojecten liepen in 2021 en gingen over fiscaliteit (‘vrijstellingen van storting van de bedrijfsvoorheffing’ voor bepaalde soorten werk); gebouwen van de federale overheid (‘de impact van veralgemeend telewerk op de organisatie en de uitgaven van de federale overheid’, over de vraag of er door telewerk bespaard kan worden op huuruitgaven) en zorg (‘bijdragen aan doelmatige zorg’, over vormen van over- en onderconsumptie in de zorg). In april 2021 besliste de regering om in het licht van de begrotingsopmaak 2022 een versnelling hoger schakelen. Er zouden spending reviews gebeuren in de volledige federale overheid en de sociale zekerheid. De verschillende federale administraties en de Inspectie van Financiën kregen via de begrotingsinstructies de vraag om met het oog op de begroting 2022 voorstellen voor spending reviews te doen. Op basis daarvan besliste de ministerraad in november 2021 over de spending reviews voor 2022. Deze tweede reeks spending reviews heeft betrekking op het beheer van het nucleair passief van Belgoprocess, IRE en SCK, de centrale ondersteuning door Belspo van een aantal federale wetenschappelijke instellingen en de samenwerking tussen diensten die belastingen of heffingen innen. Er werd ook een governancestructuur uitgewerkt. Op politiek niveau is de Staatssecretaris voor Begroting de trekker. De Ministerraad neemt de beslissing over onderwerpen voor spending reviews en resulterende beleidsopties. Op ambtelijk niveau in er voor elke spending review een ambtelijke werkgroep, eventueel aangevuld met experten. Binnen de Werkgroepen is er een covoorzitterschap (betrokken departement + FOD BOSA). De FOD BOSA (Beleid en Ondersteuning) zorgt voor coördinatie en geeft advies over en bewaakt de methodologie. Een stuurgroep begeleidt het ganse proces. De financiering komt uit de Europese Relancemiddelen (RRF).
4
Tegelijkertijd werden er voorbereidingen getroffen voor een derde reeks spending reviews in 2023. Uit de pilootprojecten is immers gebleken hoe belangrijk data zijn voor goede uitgaventoetsingen. Daarom zal er in twee stappen worden gewerkt. In 2022 gebeurt een vooranalyse als voorbereiding op de eigenlijke uitvoering van spending reviews in 2023. Die vooranalyse wil ervoor zorgen dat de nodige data worden verzameld op drie domeinen. Het gaat om asiel en migratie, onderzoek en ontwikkeling, en justitie. Er zal bestudeerd worden hoe asieldiensten en centra efficiënter kunnen worden georganiseerd, hoe de ondersteuning van onderzoek en ontwikkeling efficiënter en effectiever kan verlopen en meer complementair met de ondersteuning door andere overheden kan gebeuren en hoe gerechtskosten in strafzaken minder rompslomp met zich kunnen meebrengen.
2. Beleidsevaluatie op federaal niveau Het Rekenhof gaf de voorzet voor een meer structurele aanpak van beleidsevaluatie op federaal niveau. Dat gebeurde door een Audit uit 2018 naar de beleidsevaluatiecapaciteit van de federale overheidsdiensten. De conclusies en aanbevelingen kunnen als volgt worden samengevat: •
De audit toonde dat de meeste federale overheidsdiensten in meer of mindere mate een evaluatiepraktijk ontwikkeld hebben, maar dat slechts enkele FOD’s een afzonderlijke structuur hebben die de eigen beleidsevaluaties aanstuurt. Geen enkele FOD coördineerde of inventariseerde alle evaluaties in het beleidsdomein. •
De minister van Begroting zou volgens het Rekenhof een strategie moeten ontwikkelen om beleidsevaluatie een volwaardige plaats te geven in de beleids-, beheer- en budgetcyclus. Deze strategie moet ertoe bijdragen dat beleidsevaluaties programmeren, uitvoeren en opvolgen een vast onderdeel wordt van de werking van de federale overheidsdiensten.
•
Door gebrek aan een centrale visie en strategie binnen de federale overheid, is de rolverdeling en de onderlinge afstemming tussen de betrokken actoren zoals de FOD’s, de openbare instellingen, Belspo en de kennisinstellingen onduidelijk. Een duidelijk afgebakende evaluatiefunctie ontbreekt. Dat draagt ertoe bij dat de FOD’s heel weinig middelen krijgen voor beleidsevaluaties (en het M&E-systeem). •
Het Rekenhof ziet het directoraat-generaal Begroting en Beleidsevaluatie binnen de FOD Beleid en Ondersteuning (FOD BOSA) als een opstap naar meer centrale aansturing. De audit noteert dat de FOD’s en de beleidscellen vooral methodologische ondersteuning van dat DG verwachten zowel bij de uitbouw van het monitoring- en evaluatiesysteem als bij het uitvoeren van beleidsevaluaties. De FOD’s en beleidscellen zouden daarnaast willen dat de FOD BOSA een platform aanbiedt om goede praktijken en geleerde lessen uit te wisselen. 5
•
Verwijzingen naar beleidsevaluaties in de bestuursovereenkomsten waren veelal summier en lieten niet toe om een beleidsevaluatieagenda op te stellen. • Het Rekenhof beveelt aan jaarlijks beleidsevaluatienota’s in te dienen bij het parlement, gekoppeld aan de begroting of de beleidsnota. De transparantie over geplande en uitgevoerde evaluaties kan het parlementaire debat objectiveren.
•
Ondanks de vele raakvlakken tussen beleidsdomeinen bleven de meeste beleidsevaluaties beperkt tot één domein. Er zijn weinig of geen samenwerkingsformules om beleidsevaluaties over de verschillende beleidsniveaus heen aan te pakken. • De FOD BOSA kan dit volgens het Rekenhof mee verhelpen door een beleidsdomeinoverschrijdend netwerk rond beleidsevaluatie op te zetten.
•
Bij de FOD’s bleek er veel verwarring te bestaan over het begrip beleidsevaluatie. Daarom zou de FOD BOSA het concept scherp moeten stellen, met respect voor de diversiteit binnen de FOD’s. Het zou ook ruimer geïnterpreteerd moeten worden dan puur vanuit een budgettaire invalshoek. •
Het Rekenhof beveelt aan dat de FOD BOSA voldoende financiële middelen en expertise krijgt zodat het een federaal kenniscentrum voor beleidsevaluatie kan uitbouwen.
•
Ongeacht de invulling van de beleidsevaluatie, stelde het Rekenhof vast dat FOD’s zelden beschikken over duidelijk vastgelegde taken en processen of methodologische ondersteuning voor de uitvoering of uitbesteding van beleidsevaluaties. Hetzelfde geldt voor de kwaliteitswaarborgen. Beleidsevaluaties zijn bovendien maar mogelijk als het beleid evalueerbaar gemaakt wordt. Dit houdt in dat er bij de beleidsvorming aandacht gaat naar een expliciete en heldere beleidstheorie en dat de nodige data kunnen worden verzameld om het beleid te evalueren. •
Het Rekenhof beveelt aan dat de FOD BOSA bij de methodologische ondersteuning ook aandacht schenkt aan kwaliteitsborging.
•
Het Rekenhof stelde vast dat de meeste FOD’s met verschillende voorbeelden kunnen illustreren dat de resultaten van hun beleidsevaluaties nuttig zijn en bijdragen aan de beleidsvorming en-bijsturing. De beleidscellen geven echter weinig feedback over het nut van de evaluaties, waardoor FOD’s kansen missen om nieuwe evaluaties zo goed mogelijk af te stemmen op de behoeften. Een ruimere benutting van beleidsevaluaties wordt bovendien beperkt doordat de FOD’s de resultaten zelden voor het grote publiek beschikbaar stellen. Dat gebrek aan transparantie wijst er ook op dat beleidsevaluatie op het federale niveau zelden als een middel wordt beschouwd om het beleid te verantwoorden. • Het Rekenhof beveelt aan dat de ministers hun beleid steunen op en verantwoorden door middel van evaluaties.
6
Momenteel loopt een doorlichting door de OESO over de structurele inbedding van een evaluatiebeleid op federaal niveau. Die doorlichting startte in september 2021 met ondersteuning van DG Reform van de Europese Commissie. Doel van de oefening met de OESO is het formuleren van high level beleidsaanbevelingen over hoe de coördinatie en institutionalisering van beleidsevaluatie kan worden verbeterd en het krijgen van gericht advies over: •
De promotie van evaluatie op federaal niveau in België in het algemeen om “evidence-informed policy making” te verbeteren
•
Manieren om de institutionalisering van beleidsevaluatie te versterken en de rol van de FOD BOSA scherp te krijgen en verder te ontwikkelen
•
De versterking van de analytische capaciteiten.
De voorlopige analyse en conclusies situeren zich op zes assen: •
Framework en mandaat. Het is wenselijk om het beleids- en reglementair kader voor evaluatie te expliciteren (o.a. spending reviews, reguleringsimpactanalyse, taken van de FOD’s, …). Vandaag is er geen verankering in een overkoepelend reglementair kader, geen gemeenschappelijk begrip van wat beleidsevaluatie is en geen centrale begeleiding van hoe evaluaties moeten worden uitgevoerd. BOSA heeft terzake een mandaat, maar dat moet verder worden verduidelijkt.
•
Capaciteit. De capaciteit voor evaluatie binnen de federale administraties en hoe deze georganiseerd is, blijkt heel heterogeen te zijn. Er zijn enkele centrale units voor evaluatie, maar meestal gebeurt alles decentraal. Een aantal departementen investeren wel in een evaluatiefunctie. Echter, de heterogene organisatie van de evaluatiefunctie in ministeries heeft voor gevolg dat capaciteit onvoldoende kan worden opgebouwd en dat het delen van goede praktijken wordt belemmerd
•
Skills. Het wordt erkend dat beleidsevaluatie specifieke skills vereisen, maar er is geen gemeenschappelijk begrip over welke skills exact nodig zijn en er zijn geen gezamenlijke inspanning om de professionele ontwikkeling van het personeel dat verantwoordelijk is voor evaluatie te promoten. Ook het delen van goede praktijken te delen tussen administraties gebeurt zelden.
•
Data. Men erkent dat beschikbaarheid en toegang tot data van hoge kwaliteit essentieel is voor beleidsevaluatie. Er wordt geïnvesteerd in de beschikbaarheid van de kwaliteit van data, maar er kan nog veel vooruitgang worden geboekt in het beschikbaar stellen van data aan andere administraties en een meer geïntegreerde data governance.
•
Gebruik van evaluatie en de evaluatiecultuur. Er is vraag naar beleidsevaluatie (zie onder meer het regeerakkoord) maar de impact van evaluatie op de besluitvorming is gemengd. Zonder vraag en ownership blijven evaluaties ongebruikt. Het stimuleren van de vraag naar evaluaties maakt ook deel uit van een grotere inspanning richting een ‘evidence informed policy’ cultuur.
7
•
Coördinatie en rol van BOSA. Er is volgens de OESO nood aan coördinatie van evaluaties met het oog op het promoten van de kwaliteit en het gebruik ervan en van domeinoverschrijdende evaluaties. Maar de coördinatie is vandaag uiterst beperkt. Er ligt een opportuniteit voor BOSA om evaluatie te coördineren en te faciliteren.
8
Referenties Debels, David (2022). Beleidsevaluatie en Spending reviews. Presentatie op colloquium BOSA/Planbureau ‘Impactevaluatie van het overheidsbeleid: naar empirisch onderbouwde overheidsmaatregelen’, 9 mei 2022. https://www.plan.be/press/event-59-nl-impactevaluatie_van_het_overheidsbeleid_naar_empirisch_onderbouwde_overheidsmaatregelen
OECD (2020). Technical note on how to integrate Spending Review in the Federal Budgetary System in Belgium. OECD (2022). Improving decision-making and governance with policy evaluation in Belgium. Draft version May 2022. Persberichten Federale Regering (2020, 2021). Rekenhof (2018) . Beleidsevaluatiecapaciteit van de federale overheidsdiensten. https://www.ccrek.be/NL/Publicaties/Fiche.html?id=f5236203-167e-40d6-ba41-0a55ad29bfc9
9