Issuu

Evaluatie van het besluit voor de erkenning en subsidiëring van milieu- en natuurverenigingen in Vlaanderen Eindrapport omgevingvlaanderen.be

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 1

EVALUATIE MINABESLUIT Dit rapport is het eindrapport van de opdracht Evaluatie Minabesluit. Naast de evaluatieresultaten (impact, effectiviteit, efficiëntie), worden in dit rapport aanbevelingen geformuleerd voor het nieuwe besluit en voor een evaluatiekader aan de hand waarvan subsidies om de vijf jaar geëvalueerd kunnen worden. Dit rapport bevat de mening van de auteur(s) en niet noodzakelijk die van de Vlaamse Overheid. COLOFON Verantwoordelijke uitgever: Departement Omgeving Afdeling Partnerschappen met Bestuur en Maatschappij Koning Albert II-laan 20 bus 8 1000 Brussel pbm.omgeving@vlaanderen.be www.omgevingvlaanderen.be Bronverwijzing: Gommers A. (KENTER), Wittebolle L. (SuMa Consulting) (2022), Evaluatie van het besluit voor de erkenning en subsidiëring van milieu- en natuurverenigingen in Vlaanderen, uitgevoerd in opdracht van de afdeling Partnerschappen met Besturen en Maatschappij. D/2022/3241/144 PARTNERS

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 2

1 Inhoud 1

Inhoud ....................................................................................................................................................... 3

Managementsamenvatting....................................................................................................................... 5 2.1

Resultaten van het evaluatieonderzoek.......................................................................................... 5

2.2

Aanbevelingen ................................................................................................................................. 7

2.2.1

Aanbevelingen ten aanzien van het subsidiebesluit................................................................... 7

2.2.2 Aanbevelingen ten aanzien van een evaluatiekader voor de vijfjaarlijkse evaluatie van het subsidiebesluit .......................................................................................................................................... 8 3

Inleiding................................................................................................................................................... 10 3.1

Context van het evaluatieonderzoek ............................................................................................ 10

3.2

Voorwerp van de evaluatie ........................................................................................................... 10

3.3

Doel van het evaluatieonderzoek ................................................................................................. 11

3.4

Leeswijzer ...................................................................................................................................... 12

Onderzoekskader voor de evaluatie ....................................................................................................... 13 4.1 4.1.1

De beleidslogica ontrafeld ........................................................................................................ 13

4.1.2

Van beleidslogica naar onderzoeksvragen ............................................................................... 17

4.2 5

Evaluatiemethodologie ................................................................................................................. 19

Evaluatieresultaten ................................................................................................................................. 22 5.1

Feitelijke informatie over de gesubsidieerde verenigingen.......................................................... 22

5.2

Evaluatie op basis van afzonderlijke evaluatiecriteria .................................................................. 22

5.2.1

Impact (doelbereik)................................................................................................................... 22

5.2.2

Effectiviteit ................................................................................................................................ 26

5.2.3

Efficiëntie .................................................................................................................................. 28

5.2.4

Coherentie................................................................................................................................. 31

5.2.5

Duurzaamheid ........................................................................................................................... 32

5.2.6

Proportionaliteit........................................................................................................................ 32

5.3

Van beleidslogica naar onderzoeksvragen .................................................................................... 13

Samenvattende conclusies vanuit de evaluatie ............................................................................ 33

5.3.1

Evaluatie van het subsidiebesluit.............................................................................................. 33

5.3.2

Evalueerbaarheid ...................................................................................................................... 35

Aanbevelingen ........................................................................................................................................ 37 6.1

Aanbevelingen ten aanzien van het subsidiebesluit ..................................................................... 37

6.1.1

Preciseer de ondersteuningsvorm ............................................................................................ 37

6.1.2

Definieer de finaliteit van de ondersteuning............................................................................ 39

6.1.3

Expliciteer beleids- en instrumentdoelstellingen en beleidslogica .......................................... 40

6.1.4 Vertaal instrumentdoelstellingen naar subsidievoorwaarden en -verplichtingen voor begunstigden........................................................................................................................................... 41 6.1.5

Stimuleer schaalvergroting ....................................................................................................... 42

6.1.6

Objectiveer de hoogte van de subsidie: gebruik van referentiekosten of referentiebaten .... 42

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 3

6.1.7

Bepaal de basis voor subsidietoewijzing ..................................................................................43

6.1.8

Vereis een minimum aan eigen inkomsten van de vereniging .................................................43

6.1.9

Optimaliseer dekkingsgraad grondgebied ................................................................................43

6.1.10

Garandeer diversiteit aan verenigingen / aan bijdragen tot beleidsdoelstellingen Omgeving 44

6.1.11

Preciseer professionaliseringsdoelstellingen .......................................................................45

6.1.12

Controle van de interne coherentie .....................................................................................46

6.2

Aanbevelingen ten aanzien van een evaluatiekader voor de vijfjaarlijkse evaluatie van subsidies 47

6.2.1

Kader voor het opstellen van een evaluatiekader ....................................................................47

6.2.2

Aanbevelingen voor het evaluatiekader vanuit de conclusies van het evaluatieonderzoek ...49

6.2.3

Dataverzameling in kader van evaluatie ...................................................................................52

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 4

2 Managementsamenvatting Het Minabesluit regelt de erkenning en subsidiëring van Milieu- en Natuurverenigingen in Vlaanderen. Het besluit van 18 december 2015 regelt de voorwaarden voor erkenning en subsidiëring. Zo moeten verenigingen voldoen aan bepaalde activiteitsnormen om erkend te kunnen worden en moeten ze een meerjarenplan of -nota kunnen voorleggen om gesubsidieerd te kunnen worden. Jaarlijks moet een voortgangsrapport kunnen worden voorgelegd en één keer in een subsidiecyclus van vijf jaar wordt elk van de verenigingen geëvalueerd door een begeleidingscommissie (visitatie). In 2021 startte de voorbereiding voor de opmaak van een nieuw subsidiebesluit vanaf 2026, dat meer in lijn zal zijn met de herziene Vlaamse Codex voor Overheidsfinanciën. De voorliggende evaluatie van het Minabesluit had tot doel om inzicht te verwerven in (i) de impact, effectiviteit en efficiëntie van het huidige besluit, om van daaruit aanbevelingen naar het nieuwe besluit te kunnen aanreiken en (ii) in de evalueerbaarheid van het huidige besluit, om van daaruit aanbevelingen te kunnen formuleren voor het opstellen van een evaluatiekader (voor het Minabesluit, maar ook ruimer voor subsidies die vanuit het departement Omgeving worden verstrekt). Voor het uitvoeren van het evaluatieonderzoek werd als volgt te werk gegaan: −

Een beleidslogica werd opgesteld en de hypothesen die eraan ten grondslag lagen, werden geëxpliciteerd. Vanuit deze beleidslogica werden de onderzoeksvragen voor het evaluatieonderzoek scherp gesteld. De evaluatiecriteria impact, effectiviteit en efficiëntie werden verruimd naar doelbereik, coherentie, duurzaamheid en proportionaliteit. − Antwoorden op de onderzoeksvragen werden geformuleerd en onderbouwd vanuit volgende bronnen: (i) het subsidiebesluit zelf (In hoeverre leidden de designkenmerken van het subsidiebesluit tot …?), (ii) feitelijke informatie die beschikbaar was vanuit de evaluatie van de verenigingen (bv. samenvatting van de evaluaties van de individuele verenigingen door de begeleidingscommissie) en (iii) een aanvullend gesprek met de afdeling Partnerschappen met Besturen en Maatschappij en met de koepelvereniging BBL. − Aanbevelingen werden geformuleerd en besproken met het dagelijks bestuur bij de opdracht, bestaande uit vertegenwoordigers van de afdeling Partnerschappen met Besturen en Maatschappij en van het Vlaams Planbureau voor Omgeving. Hieronder vatten we de conclusies van het onderzoek samen, vanuit elk van de evaluatiecriteria . Op basis van deze conclusies formuleren we ook de aanbevelingen.

2.1 Resultaten van het evaluatieonderzoek Doelbereik en impact Bij de hervorming van het besluit in 2015 werd als doelstelling voor het besluit voorop gesteld ‘de sector vertrouwen te geven en de verenigingen te stimuleren zich te professionaliseren’. Het bieden van een helder kader met duidelijke, resultaatsgerichte en haalbare indicatoren was daarbij een aandachtspunt. Uit het evaluatieonderzoek is gebleken dat: −

De verenigingen een belangrijke stap hebben gezet in de richting van een meer professionele werking. Tijdens de visitaties werd hier ook gericht rond geëvalueerd, en werden – waar nodig – aandachtspunten geformuleerd. − Alle gesubsidieerde verenigingen voldeden aan de doelstellingen die in het besluit werden opgenomen inzake activiteitsnormen (niveau output). In het licht van de oorspronkelijke doelstellingen van het besluit kan dus gesteld worden dat het doel dat met het subsidiebesluit werd beoogd, bereikt werd. Vooruitkijkend naar de hervorming van het besluit vanaf 2026, en de aandacht die meer op het niveau ‘impact’ zal komen te liggen, werd in het evaluatieonderzoek ook nagegaan in hoeverre de verenigingen reeds impactgericht werken en inzicht verschaffen in de impact die ze bewerkstelligen. Noch op het niveau van het besluit, noch door de individuele verenigingen werden SMART doelstellingen geformuleerd op het niveau van impact (intermediaire outcome en outcome). De verenigingen houden niet //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 5

bij welke impact ze bewerkstelligen en hoe groot die impact is. De evaluatie van de verenigingen in het kader van het verkrijgen van de subsidies is ook nog niet gericht op het in kaart brengen van de impact die bewerkstelligd werd. Tijdens de visitaties werden hoogstens aanbevelingen geformuleerd ten aanzien van meer ‘impactgericht werken’. Een grote extra stap is dus nodig om de overgang te maken naar het (onderbouwen van) bijdragen tot de Vlaamse beleidsdoelstellingen Omgeving1. Effectiviteit Tijdens het onderzoek kon de additionaliteit van de resultaten die de verenigingen boekten (niveau output, niveau impact) - ten opzichte van wat ze zonder subsidies zouden hebben bereikt - niet rechtstreeks eenduidig worden vastgesteld. De hypothesen die gesteld werden in de beleidslogica konden wel onderbouwd worden en maken het aannemelijk dat het Minabesluit wel degelijk tot extra of betere activiteiten heeft geleid, en via deze activiteiten ook aan de Vlaamse beleidsdoelstellingen Omgeving hebben bijgedragen. De subsidies hebben geleid tot: −

−

Extra financiële middelen voor de gesubsidieerde verenigingen. Deze extra financiële middelen, in combinatie met de activiteitsnormen die als voorwaarde voor erkenning aan de verenigingen worden opgelegd en de evaluatie hiervan, stellen de verenigingen in staat (of verplichten ze) om meer / betere activiteiten uit te voeren en zo een grotere impact te bewerkstelligen. Een professionelere werking door de verenigingen. Vanuit de voorwaarden van de subsidie worden verenigingen verplicht / aangemoedigd om planmatiger te werken, vrijwilligers beter te ondersteunen, enzovoort. Deze professionelere werking leidt waarschijnlijk tot het uitvoeren van meer / betere activiteiten om zo een grotere impact te bewerkstelligen.

Efficiëntie Aangezien de effectiviteit van het subsidie-instrument niet eenduidig kon worden vastgesteld, is de vraag naar efficiëntie minder relevant. Evenwel kon tijdens het onderzoek aan de hand van een checklist enige mate van efficiëntie worden vastgesteld. Vanuit de gegevens voor de nieuwe subsidieperiode die in 2022 van start is

gegaan, kon afgeleid worden dat er potentieel een financiële hefboom van een factor 6 gerealiseerd kan worden: € 1 aan Minasubsidies kan tot € 6 aan werkingsmiddelen van de verenigingen oriënteren naar een bijdrage aan de beleidsdoelstellingen Omgeving. Daarnaast wordt er door de ledenverenigingen ook een hefboom gecreëerd vanuit het vrijwilligerswerking. Indien de Vlaamse Overheid de activiteiten die de verenigingen organiseren, zelf zou moeten organiseren, zou ze dus heel wat meer financiële middelen nodig hebben. Coherentie Het besluit laat vandaag geen terugkoppeling toe naar het Vlaamse beleidsniveau zodat het Vlaamse beleid en de verenigen naast elkaar werken. Gebrek aan gecoördineerde inzet van middelen leidt tot mogelijke inefficiënte inzet van middelen (redundantie/overlappingen). Duurzaamheid Omdat de verenigingen nu nog voor onbeperkte tijd worden erkend, was een evaluatie van dit criterium onmogelijk / niet relevant. Het is wel een belangrijk aandachtspunt voor het toekomstig besluit, waarin verenigingen maar voor 5 jaar erkend zullen kunnen worden en daarna opnieuw in concurrentie gesteld zullen worden met andere verenigingen. Proportionaliteit Het drastisch verlagen van de administratieve last en interne beheerskost van de subsidieregeling, was één van de betrachtingen in het besluit in 2016. Uit het evaluatieonderzoek kwam echter naar voor dat de administratieve last, voor de kleinere verenigingen, waarschijnlijk nog steeds te hoog is. Voor grotere verenigingen vormen de activiteiten die aan de basis liggen van de administratieve werklast, minder een knelpunt omdat deze activiteiten (bv. planmatige aanpak) vaak sowieso gedaan worden of omdat ze meer ervaring hebben met rapportering en dergelijke meer. Omdat de impact niet eenduidig kon worden vastgesteld, is ook de proportionaliteit van de beheerkosten die door de overheid worden gedragen onzeker.

De term ‘Vlaamse beleidsdoelstellingen Omgeving’ wordt in dit rapport bedoeld als zijnde de doelstellingen (zo veel mogelijk op niveau ‘outcome’) die

de Vlaamse Overheid vooropstelt, niet het beleid zelf (i.e. de weg om er te geraken).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 6

2.2 Aanbevelingen 2.2.1

Aanbevelingen ten aanzien van het subsidiebesluit Hieronder vatten we de aanbevelingen die we formuleerden voor de ontwikkeling van het toekomstige Minabesluit samen. De aanbevelingen bouwen voort op de evaluatie van en de ervaringen met het huidige subsidiebesluit. Preciseer de ondersteuningsvorm – Alvorens dieper in te gaan op de inhoud van de subsidie is het goed om stil te staan bij de plaats van de subsidie in de ruimere ondersteuningsstrategie voor verenigingen. De verschillende vormen van ondersteuning kunnen gerangschikt worden in functie van hun relatie tot de Vlaamse beleidsdoelstellingen: niet-gebonden subsidie, hybride subsidie, gebonden subsidie, thematische projectoproepen en overheidsopdrachten. Meerdere ondersteuningsvormen kunnen gecombineerd worden in een ondersteuningsmix. Het is daarom van belang om de rol van het Minabesluit binnen de ondersteuningsstrategie scherp te krijgen. Definieer de finaliteit van de ondersteuning – De subsidie kan zich uitsluitend richten op de ondersteuning van de vereniging zonder verplichte bijdrage aan een beleidsdoelstelling (bv. in uitvoering van het Aarhusverdrag) of met het oog op het verzekeren van een bijdrage van de begunstigde verenigingen aan de realisatie van Vlaamse beleidsdoelstellingen Omgeving, of, tenslotte, een combinatie van beide. Expliciteer beleids- en instrumentdoelstellingen en beleidslogica – Indien we het Minabesluit ten dienste willen stellen van de beleidsbeleidsdoelstellingen Omgeving, dan moeten deze beleidsdoelstellingen voldoende concreet geformuleerd zijn (bv. een SMART gedefinieerde daling van broeikasgasemissies). Daarnaast dient ook de inzet van het instrument ter ondersteuning van deze beleidsdoelstelling onderbouwd te worden (documenteren beleidslogica). Ten slotte moet de doelstelling die met het subsidieinstrument beoogd wordt (instrumentdoelstelling) gedefinieerd te worden (bv. SMART gedefinieerde kennisverhoging bij burgers inzake klimaatneutraal bouwen). Vertaal instrumentdoelstellingen naar subsidievoorwaarden en -verplichtingen voor begunstigden – Om de instrumentdoelstellingen te operationaliseren moeten deze doorvertaald worden naar concrete subsidievoorwaarden en -verplichtingen voor de begunstigden. Deze hebben meer bepaald betrekking op de bijdragen tot de beleidsdoelstellingen Omgeving die van de verenigingen verwacht worden. Praktisch kan hiervoor gewerkt worden met gestandaardiseerde of vrij te bepalen bijdragen, dan wel een hybride tussenvorm. Bij de definiëring van de verwachte bijdragen van de verenigingen, kan ook best gepreciseerd worden of het om een resultaats- of inspanningsverbintenis gaat. Voor resultaten die in ruime mate binnen de controle- of invloedsfeer van de vereniging liggen, kan met een resultaatsverbintenis gewerkt worden; in het andere geval is een inspanningsverbintenis meer aangewezen. Stimuleer schaalvergroting – Een schaalvergroting is vooral relevant wanneer men met een forfaitaire subsidie per vereniging werkt. Indien de omvang van de subsidie in functie van de omvang van het resultaat wordt geformuleerd (bv. x euro per 1.000 inwoners die hun nummerplaat inleveren) dan is schaalvergroting an sich minder van belang. Objectiveer de hoogte van de subsidie: gebruik van referentiekosten of referentiebaten – De hoogte van de subsidie kan geobjectiveerd worden door met referentiekosten te werken. Deze kunnen bepaald worden door de beoogde doelstellingen te relateren aan goede praktijken om deze doelstellingen te bereiken (= referentiestrategie) en de kost van deze praktijken (bv. via een Activity Based Costing benadering) te bepalen. De hoogte van de subsidie kan ook in relatie tot de verwachte baten bepaald worden. Vanaf een bepaalde hefboom (via eigen middelen of vrijwilligers) is de exacte kostenbatenverhouding evenwel minder relevant, omdat de hefboom ervoor zorgt dat de baten de kosten altijd overschrijden . Bepaal de basis voor subsidietoewijzing – In plaats van een forfaitaire subsidie in functie van de aard en omvang van de vereniging kan geopteerd worden om de omvang van de subsidie meer af te stemmen op de omvang van de bijdrage van de vereniging aan één of meerdere Vlaamse beleidsdoelstellingen Omgeving. De vergoeding wordt dan gekoppeld aan het aantal ‘eenheden resultaat’ waartoe de vereniging zich verbindt (bv. ‘x euro per 100 additionele inwoners die hun huis tot E-peil A of B renoveren’). Vereis een minimum aan eigen inkomsten van de vereniging – Het voortbestaan van de vereniging is een essentiële (maar onvoldoende) voorwaarde om de duurzaamheid van de subsidieresultaten te kunnen

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 7

waarborgen. Daarom kan het zinvol zijn om een minimum aan eigen inbreng / inkomsten te vereisen, zodat de vereniging niet geheel afhankelijk is van de Minasubsidie. Optimaliseer dekkingsgraad grondgebied – Voor bepaalde beleidsdoelstellingen kan het relevant zijn dat de gesubsidieerde verenigingen het gehele gewest afdekken. Indien dit niet het geval is, kan er - als terugvalpositie - gedacht worden om via een globale dekkingsverplichting op het niveau van de koepelvereniging2 of gebiedsdekkende gewestelijke vereniging te werken. Deze organisatie(s) ontvangen dan een bijkomende subsidie, waarmee ze op zoek kunnen gaan naar relevante partnerverenigingen die de ontbrekende gebieden kunnen afdekken. Garandeer diversiteit aan verenigingen/thema’s – Om een grotere thematische diversiteit aan verenigingen te verzekeren kan men de concurrentie van de verenigingen thematisch organiseren. Hierbij worden in eerste instantie de verschillende verenigingen onderverdeeld per thema aan de hand van hun hoofdactiviteiten (waarbij, desgewenst, ook een multi-themacategorie voorzien kan worden). Vervolgens worden de verschillende organisaties binnen een bepaald thema gerangschikt in functie van hun evaluatiescores. Tenslotte gaat men over tot de toewijzing van de subsidies waarbij telkens de hoogst gerangschikte vereniging binnen een bepaald thema een subsidie wordt toegewezen tot de subsidieenveloppe is uitgeput. Bij wijze van variant kan ook in plaats van een globale enveloppe met individuele enveloppes per thema (thematische subsidie-enveloppes) gewerkt worden. Preciseer professionaliseringsdoelstelling – Vanuit een impact- en efficiëntie-oogpunt lijkt het relevant om de professionalisering ook te richten op de zelfbedruipendheid van verenigingen. Zo kan de ondersteuning na verloop van tijd worden afgebouwd en komen deze middelen beschikbaar voor andere verenigingen. Zo versnellen we de professionalisering van een groter deel van de verenigingen. Bovendien wordt hiermee een essentiële voorwaarde van de duurzaamheid van de subsidieresultaten gerealiseerd, namelijk het verzekeren van het voortbestaan van de vereniging. In deze benadering lijkt het redelijk de professionaliseringsondersteuning tot één à twee vijfjarenperiodes te beperken. Controle van de interne coherentie – De aanbevelingen die hierboven werden uiteengezet laten vaak nog een aantal alternatieve concretiseringsopties open. Sommige van deze opties zijn moeilijk met andere opties te combineren. Om de verenigbaarheid van de concrete aanpassingen aan het toekomstige Minabesluit te waarborgen, is het nuttig om een coherentiecontrole uit te voeren, om zo tot een werkbare oplossing te komen. 2.2.2

Aanbevelingen ten aanzien van een evaluatiekader voor de vijfjaarlijkse evaluatie van het subsidiebesluit Vanuit de conclusies rond evalueerbaarheid en de evaluatie zelf hebben we ook aanbevelingen geformuleerd ten aanzien van het opstellen van een algemeen evaluatiekader voor de vijfjaarlijkse evaluatie van subsidies. Deze aanbevelingen overstijgen het subsidiebesluit dat onderwerp vormde van voorliggend onderzoek, en zijn bijgevolg veel generiek geformuleerd. De aanbevelingen voor de ontwikkeling een algemeen evaluatiekader voor de vijfjaarlijkse evaluatie kunnen als volgt worden samengevat: − −

− −

Vertrek vanuit de generieke evaluatiecriteria voor het vormgeven van het evaluatiekader (zie Figuur 14 op pagina 48). Bij elk van deze evaluatiecriteria horen generiek geformuleerde evaluatievragen. Documenteer de beleidslogica (op niveau van het subsidie-instrument) en preciseer het pad / de paden die belangrijk zijn voor de subsidieontvanger om bij te dragen aan de gestelde doelstellingen van de subsidie. Richt, indien er geen controlegroep voorhanden is, het evalueren van effectiviteit op het onderbouwen van de hypothesen die achter de beleidslogica schuil gaan. Maak een data-acquisitieplan op vooraleer de subsidie wordt uitgeschreven, en preciseer welke gegevens de subsidieontvangers moeten aandragen en welke de subsidieverlener zelf moet bijhouden. Vraag de subsidieontvangers om, op het niveau van de eigen werking, een (eenvoudige) interventielogica uit te tekenen of te schrijven en vraag ze om – indien impact niet in kaart gebracht kan worden – (tussentijds) gegevens bij te houden over input, activiteiten en output.

Om het evaluatiekader te kunnen gebruiken voor een ex post evaluatie van het subsidiebesluit, is het nodig dat ex ante een aantal zaken goed en duidelijk scherp gesteld zijn voorafgaand aan het verstrekken van de subsidies: bv. de noden waaraan het subsidiebesluit wil bijdragen, de instrumentdoelstellingen (niveau

Naar analogie met de centraal georganiseerde dekking van gebieden die niet door energiehuizen worden afgedekt.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 8

waarop ze gesteld worden (activiteiten, output, impact) en SMART formulering), de manier waarop het instrument complementair is aan andere beleidsinstrumenten die ingezet worden rond dezelfde noden, de wijze waarop ernaar gestreefd wordt een duurzaam effect te bewerkstelligen bij de subsidieontvanger.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 9

3 Inleiding Voorliggend rapport is het ontwerp eindrapport van de expertenopdracht ‘Evaluatie van het besluit voor de erkenning en subsidiëring van milieu- en natuurverenigingen in Vlaanderen’. In deze inleiding schetsen we de context van het evaluatieonderzoek en de dubbele doelstelling van het onderzoek. Tevens geven we de leeswijzer voor de rest van het rapport mee.

3.1 Context van het evaluatieonderzoek Voorliggende evaluatie vond plaats in het kader van de opmaak van een nieuw besluit voor de erkenning en subsidiëring van milieu- en natuurverenigingen (en bij uitbreiding ‘ruimteverenigingen’). Men wil, bij de opmaak van dit nieuwe besluit, rekening houden met ervaringen uit het verleden en meer bepaald de impact, effectiviteit en efficiëntie van het huidige besluit (Besluit van de Vlaamse Regering houdende de erkenning en subsidiëring van milieu- en natuurverenigingen van 18 december 2015). Daarnaast moet rekening gehouden worden met de conceptnota ‘Subsidies in goede banen’ (VR 2021 1607 MED.0260/2TER), waarin onder meer gesteld wordt dat er elke vijf jaar een verplichte evaluatie moet gebeuren van bestaande en nieuwe subsidieregelingen. Hetzelfde principe van de periodieke beleidsevaluatie wordt overgenomen in het voorontwerp van decreet tot wijziging van de Vlaamse Codex Overheidsfinanciën (VCO) en zal dus vermoedelijk in de nabije toekomst decretaal verankerd worden 3. In het kader van de voorbereiding van het nieuwe besluit werden ook een aantal suggesties en aandachtspunten aangereikt door de Inspectie van Financiën. Meer bepaald wordt er gevraagd om in het subsidiebesluit de nodige hefbomen voor een impactvoller beleidsinstrument te voorzien (bv. door het accent te verschuiven van output naar outcome / impact) en de resultaten meetbaarder te maken. Deze aandachtspunten sluiten nauw aan bij het voorontwerp van VCO, waarin het principe van een Vlaamse prestatiegebonden begroting wordt vooropgesteld. Het concept ‘prestatiebegroting’ verwijst naar “het gebruik van prestatie-informatie om de begrotingsbeslissing te informeren of op te baseren, of om meer transparantie en verantwoording toe te voegen aan het begrotingsproces”4.

3.2 Voorwerp van de evaluatie Deze evaluatie heeft betrekking op het besluit van de Vlaamse Regering van 18 december 2015 houdende de erkenning en subsidiëring van milieu- en natuurverenigingen (hierna ‘Minabesluit’)5. Het huidige Minabesluit dat de subsidiëring van milieu- en natuurverenigingen regelt, wordt onder meer gekenmerkt door: − − −

Een erkenning van verenigingen op basis van een meerjarenplan of -nota, die voor onbepaalde duur geldt en een subsidieaanvraag die periodiek (5-jaarlijks) moet hernieuwd worden. Een onderscheid tussen verschillende soorten verenigingen (koepelvereniging, gewestelijke ledenverenigingen, gewestelijke thematische verenigingen en regionale verenigingen)6. De toekenning van een forfaitair bepaald subsidiebedrag dat afhangt van het type vereniging.

voor het voorontwerp van decreet tot wijziging van de Vlaamse Codex Overheidsfinanciën (VR 2022 1802 DOC.0186/2BIS): https://beslissingenvlaamseregering.vlaanderen.be/document-view/620F47FED5F0FAFA87AFB06F. 3 Zie

J. Van Wymeersch, N. Thijs en W Van Dooren, Prestatiebegroting als een leer- en lerend systeem: buitenlands ervaringen met het gebruik van prestatie-

informatie, Universiteit Antwerpen, 202x, p12. De definitie komt uit Glossary 2016 OECD Performance Budgetting Survey 5

Dit besluit is decretaal ingebed in het decreet van 29 april 1991 tot vaststelling van de algemene regelen inzake de erkenning en de subsidiëring van de

milieu- en natuurverenigingen zoals gewijzigd door het decreet houdende diverse bepalingen inzake omgeving, natuur en landbouw en energie van 18 december 2015. 6

Voor bepaalde soorten verenigingen wordt een verdere onderverdeling voorzien (bijvoorbeeld regionale vereniging type 1, 2 of 3)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 10

−

Het gebruik van activiteitsnormen (zie bijlage 1 bij het besluit)7. Het betreft hier een overzicht van voornamelijk outputgerichte resultaten, waaruit de verenigingen binnen het vastgestelde kader een selectie maken. De verenigingen moeten dan de door hen gekozen resultaten realiseren en hier periodiek over rapporteren. Het niet-realiseren van de activiteitsnormen kan leiden tot het intrekken van de erkenning van de vereniging. De activiteitsnormen worden in het besluit gedefinieerd als zijnde ‘criteria die een maat zijn voor het draagvlak en de werking van erkende verenigingen, zoals kwantitatief vastgesteld in hoofdstuk 2 van het besluit’. − Een structureel subsidiesysteem dat enkel nieuwe verenigingen toelaat in de mate er ruimte ontstaat in de globale subsidie-enveloppe en in de subsidie-enveloppe van de desbetreffende categorie doordat ‘zittende’ erkende verenigingen hun erkenning verliezen of hun subsidieaanvraag niet hernieuwen. − Een éénmalige starterssubsidie die nieuwe initiatieven wil laten doorgroeien naar een stabiele werking als gewestelijke thematische vereniging. De subsidiëring gebeurt op basis van een plan van aanpak dat de uitbouw van de vereniging beschrijft. In 2015 werden volgende doelstellingen naar voor geschoven8 voor het Minabesluit: “De nieuwe regelgeving voorgesteld in het voorontwerp van besluit […], heeft als doel organisaties te ondersteunen om verder het verschil te maken in de samenleving en de sector vertrouwen te geven en te stimuleren om zich verder te professionaliseren.” Voor de eerste beleidsperiode 2017-2021 werden 14 gewestelijke en 23 regionale milieu- en natuurverenigingen erkend9. Daarnaast ontvingen in de periode 2019-2021 nog 4 verenigingen een eenmalige startsubsidie10.

3.3 Doel van het evaluatieonderzoek Voorliggende evaluatieopdracht is bedoeld om het Minabesluit, zoals het bestaat sinds de beslissing van de Vlaamse Regering van 18 december 2015 en in voege is vanaf 2016, te evalueren op impact, effectiviteit en efficiëntie. De ervaring vanuit deze evaluatieopdracht zal gebruikt worden om (i) aanbevelingen te formuleren voor het nieuwe besluit en ook (ii) aanbevelingen aan te reiken voor de ontwikkeling van een generiek evaluatiekader voor de vijfjaarlijkse evaluatie van subsidie-instrumenten van het beleidsdomein Omgeving. De onderzoeksopdracht had met andere woorden een dubbele doelstelling: − −

Enerzijds, werd gevraagd om na te gaan hoe het huidige subsidiebesluit scoort op impact, effectiviteit en efficiëntie, om aanbevelingen te kunnen formuleren voor de opmaak van een nieuw subsidiebesluit (zie kadertekst hieronder en voor uitgebreidere informatie paragraaf 6.2.1); Anderzijds, werd de vraag gesteld om leerpunten te trekken uit de huidige evalueerbaarheid van het subsidiebesluit op het vlak van de evaluatiecriteria impact, effectiviteit en efficiëntie, om aanbevelingen te kunnen formuleren voor een evaluatiekader voor de vijfjaarlijkse evaluatie van het nieuwe subsidiebesluit, en - bij uitbreiding - eender welk subsidiebesluit vanuit het departement Omgeving.

7 https://omgeving.vlaanderen.be/sites/default/files/atoms/files/Bijlage%201%20bij%20het%20besluit%20van%20de%20Vlaamse%20Regering%20van

%20XXX%20houdende%20de%20erkenning.pdf 8

Bron: nota aan de Vlaamse Regering bij het voorontwerp van besluit van de Vlaamse Regering houdende de erkenning en subsidiëring van milieu- en

natuurverenigingen. 9

https://omgeving.vlaanderen.be/sites/default/files/atoms/files/overzicht%20erkende%20m ilieu-

%20en%20natuurverenigingen%20beleidsperiode%202017-2021_20171208.pdf 10

https://omgeving.vlaanderen.be/sites/default/files/atoms/files/overzicht%20erkende%20milieu -

%20en%20natuurverenigingen%20startsubsidie%202019-2021_20180509.pdf

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 11

De evaluatiecriteria verduidelijkt De oorspronkelijk vooropgestelde evaluatiecriteria voor de evaluatie waren ‘impact’, ‘effectiviteit’ en ‘efficiëntie’. Met het evalueren van de Impact ga je na of de subsidieontvangers een verandering hebben kunnen bewerkstelligen op het niveau ‘intermediaire outcome’ of ‘outcome’ in de beleidsketen. In de context van subsidies aan milieu- en natuurverenigingen betreft dit een impact op niveau van kennis, houding of gedrag van de doelgroep van de activiteiten die de verenigingen organiseren (intermediaire outcome) of een impact op het niveau van veranderingen in leefomgevingsparameters als gevolg van een gewijzigd gedrag van de doelgroep van de activiteiten die de verenigingen uitvoeren (outcome). Er wordt bij het evalueren van de impact nog geen link gemaakt naar de subsidies die verleend werden; dit komt later aan de orde (zie evaluatiecriterium ‘effectiviteit’). Wel hebben we een link gelegd naar het evaluatiecriterium ‘doelbereik’, waarin wordt nagegaan in welke mate de impact die bewerkstelligd wordt ook bijdraagt aan het bereiken van een vooraf vooropgestelde (beleids)doelstelling. Met effectiviteit ga je na of de resultaten die door het totaal van subsidieontvangers werden bewerkstelligd ook (rechtstreeks) het gevolg zijn van het verlenen van de subsidies. Efficiëntie tenslotte doet een uitspraak over het zuinig gebruik van overheidsmiddelen. De vraag wordt gesteld of hetzelfde resultaat niet ook met minder middelen kon worden gerealiseerd. Naast deze evaluatiecriteria werd het besluit ook geëvalueerd op het vlak van ‘coherentie’ (Is het subsidiebesluit coherent met de andere ingezette beleidsinstrumenten die eenzelfde doel nastreven?), ‘duurzaamheid’ (Blijven de resultaten ook voortduren na afloop van de subsidieperiode?) en ‘proportionaliteit’ (Zijn de beheerkosten en administratieve lasten in verhouding tot de impact die bewerkstelligd wordt via de subsidie?).

3.4 Leeswijzer Vooraleer we de evaluatieresultaten weergeven, schetsen we in Hoofdstuk 4 het onderzoekskader voor de onderzoeksopdracht. Vanuit het expliciteren van de beleidslogica werden onderzoeksvragen opgesteld voor het evaluatieonderzoek. Tevens beschrijven we de onderzoeksmethodologie die doorheen de opdracht gevolgd werd. Hoofdstuk 5 geeft de resultaten van het evaluatieonderzoek weer. Voor elk van de afzonderlijke evaluatiecriteria (doelbereik, effectiviteit, efficiëntie, coherentie, duurzaamheid) wordt informatie gegeven uit drie bronnen: − Evaluatie vanuit de designkenmerken van het subsidiebesluit zelf; − Evaluatie vanuit beschikbare gegevens; − Aanvullingen vanuit een gesprek met de administratie en met de koepelorganisatie (BBL). In paragraaf 5.3 vatten we de evaluatieresultaten samen. In Hoofdstuk 6 formuleren we de aanbevelingen op de twee niveaus: (i) voor het verbeteren van het subsidiebesluit (paragraaf 6.1) en (ii) voor het opstellen van een evaluatiekader (paragraaf 6.2).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 12

4 Onderzoekskader voor de evaluatie Vooraleer het eigenlijke evaluatieonderzoek werd aangevat, werd een onderzoekskader opgemaakt met (i) evaluatiecriteria en onderzoeksvragen en (ii) de methodologie voor het evaluatieonderzoek. Dit onderzoekskader is gebaseerd op het volgende uitgangspunt: om zo relevant mogelijke aanbevelingen te kunnen formuleren, werd de evaluatie uitgevoerd vanuit een dubbel perspectief, nl. −

Terugblikkend perspectief: hoe heeft het besluit doorgewerkt in vergelijking met wat men beoogde in 2016? Het doel van de subsidie werd omschreven in de nota aan de Vlaamse Regering, nl. ‘organisaties ondersteunen om verder het verschil te maken in de samenleving en de sector vertrouwen te geven en te stimuleren om zich verder te ’professionaliseren’. Het onderdeel ‘verschil maken in de samenleving’ en ‘professionaliseren’ werd niet verder geëxpliciteerd. Wel werden volgende aandachtspunten vooropgesteld o o o

−

Eenvoud, eenvormigheid en transparantie in de procedure voor erkenning en subsidiëring; Drastische vermindering van administratieve lasten en interne beheerskosten; Een helder kader en duidelijke, resultaatgerichte en haalbare indicatoren.

Vooruitkijkend perspectief: hoe heeft het besluit doorgewerkt in vergelijking met wat men beoogt voor het toekomstige subsidiebesluit (2026 en verder)? Vanuit de Inspectie van Financiën wordt herhaaldelijk gewezen op het feit dat ‘redelijkerwijze verwacht kan worden dat verenigingen die gesubsidieerd worden bijdragen aan het realiseren van de doelstellingen die de overheid nastreeft’. We spreken in het vervolg van dit rapport over bijdragen aan Vlaamse beleidsdoelstellingen Omgeving – of kortweg ‘beleidsdoelstellingen’. Hiermee bedoelen we de doelstellingen die de Vlaamse Overheid zichzelf stelt (zo veel mogelijk op het niveau ‘outcome’), niet de wijze waarop de Vlaamse Overheid deze doelstellingen wenst te bereiken.

Het eerste perspectief maakt het mogelijk uitspraken te doen over de mate waarin het besluit erin slaagt om de resultaten te bereiken die vooropgesteld waren; het tweede perspectief legt aandachtspunten bloot die belangrijk zullen zijn voor het toekomstige besluit (o.m. naar evalueerbaarheid). Beide perspectieven zitten met elkaar verweven in de beleidslogica en de onderzoeksvragen en dus ook in de conclusies van het onderzoek.

4.1 Van beleidslogica naar onderzoeksvragen De beleidslogica is een belangrijk instrument in een beleidsevaluatie. Op basis van documentenonderzoek (o.m. het Minabesluit zelf, maar ook de nota aan de leden van de Vlaamse Regering met betrekking tot het voorontwerp van besluit en werkdocumenten voor het toekomstig besluit) werd een ontwerp beleidslogica uitgetekend, die besproken werd in een diepte-interview met BBL en de administratie (Afdeling Partnerschappen met Besturen en Maatschappij (PBM) van het departement Omgeving). Op basis van dat gesprek werd de beleidslogica bijgesteld. In paragraaf 4.1.1 geven we de beleidslogica schematisch en tekstueel weer. Op basis van deze beleidslogica werden hypothesen geëxpliciteerd en onderzoeksvragen afgeleid. Deze worden weergegeven in paragraaf 4.1.2. 4.1.1

De beleidslogica ontrafeld Een beleidslogica expliciteert de wijze waarop men denkt dat de beleidsingreep (in deze: de subsidies aan de verenigingen) bij zal dragen aan de beleidsdoelstellingen die men vooropstelt met het inzetten van de beleidsingreep. Indien ex ante geen beleidslogica werd opgemaakt, kan ex post (voorafgaand aan de evaluatie) de beleidslogica geëxpliciteerd worden om te gebruiken in het evaluatieonderzoek. Er werd ex ante geen beleidslogica opgemaakt. Daarom werd deze ex post bepaald om de evaluatie te kunnen uitvoeren. −

Het vertrekpunt van de beleidslogica voor het Minabesluit, zijn de subsidies die gegeven worden aan de verenigingen en de voorwaarden die gesteld worden aan de verenigingen voor het verkrijgen van de subsidies;

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 13

−

Het doel van het geven van de subsidies (cfr. ‘vooruitkijkend perspectief’) is de bijdrage die de verenigingen – als gevolg van de subsidies – kunnen leveren aan het (beter) bereiken van de korte- en langetermijn beleidsdoelstellingen rond Omgevingsuitdagingen. Dit kan gezien worden als ‘het verschil maken in de samenleving’ (cfr. ‘terugblikkende perspectief’).

Figuur 1 geeft de logica weer van het geven van subsidies aan de verenigingen en wordt best van boven naar onder gelezen. Figuur 2 geeft weer hoe de verenigingen – door het verkrijgen van de subsidies – meer en beter kunnen bijdragen aan de beleidsdoelstellingen en wordt best van onder naar boven gelezen. De professionalisering van de sector (cfr. ‘terugblikkend perspectief’) is een pad in de beleidslogica waarlangs men wil bekomen dat verenigingen (meer en beter) zullen bijdragen aan het behalen van de Vlaamse beleidsdoelstellingen Omgeving (cfr. vooruitkijkend perspectief’). We bespreken beiden kort in onderstaande paragrafen. Logica van het geven van subsidies aan verenigingen om bij te dragen aan de beleidsdoelstellingen (Figuur 1) De korte- en langetermijn transitie-uitdagingen van het beleidsdomein Omgeving zijn groot en complex. De Vlaamse Overheid beschikt niet over alle hefbomen om alle doelstellingen zelfstandig te realiseren11. Verenigingen beschikken over hefbomen waardoor bepaalde doelstellingen effectiever en efficiënter bereikt kunnen worden. Het gaat onder meer om een diepe verankering in de maatschappij en het beschikken over lokale kennis. De Vlaamse Overheid wil beroep doen op de competenties van de verenigingen om (beter) bij te dragen aan de doelstellingen. Verenigingen worden daarvoor geacht voldoende professioneel te werken; voldoende financiële middelen zijn hiervoor nodig. De structurele ondersteuning vanuit het Minabesluit moet bijdragen tot voldoende financiële middelen voor een professionele werking. De erkenningsvoorwaarden in de subsidie maken dat enkel de verenigingen die relevante activiteiten uitvoeren erkend en dus gesubsidieerd kunnen worden (cfr. Artikel 11 § 3 voor de erkenningsvoorwaarden en de bijlage bij het besluit voor de activiteitsnormen waaraan voldaan moet worden). De subsidievoorwaarden leggen bepaalde werkwijzen op die maken dat de verenigingen professioneler te werk gaan (bv. vertrekkende vanuit visie / missie om een meerjarenplan of -nota op te stellen). De financiële middelen vanuit de Minasubsidies (€ x) vullen de eigen inkomsten aan die de verenigingen halen uit bv. lidgelden of activiteiten (€ y) en vanuit de markt (€ z) door bv. diensten aan te bieden. Hierdoor kunnen middelen van de verengingen als een potentiële hefboom voor de publieke middelen (subsidies) fungeren: via € x subsidies, wordt voor € (x + y + z) werk gemaakt van activiteiten die bijdragen aan het behalen van de beleidsdoelstellingen. Naast de structurele subsidies naar verenigingen, kan de Vlaamse Overheid, vanuit diezelfde motivering, ook beroep doen op andere actoren (bv. lokale overheden, bedrijven, …) (via eventuele subsidies, samenwerkingsverbanden, of andere beleidsinstrumenten) en geeft de Vlaamse Overheid ook projectmatige subsidies aan (onder meer) verenigingen. Dit vormt geen onderdeel van het evaluatieonderzoek. Een tweede complementaire of zelfs alternatieve motivering voor een structurele subsidiëring van verenigingen wordt gevonden in het verdrag van Aarhus. Art. 3, §4 van het verdrag stelt dat een overheid milieu- en natuurverenigingen moet erkennen en ondersteunen. Hoe die ondersteuning vorm moet krijgen, wordt in het verdrag niet nader bepaald. De implementatiegids van het Aarhusverdrag geeft wel aan dat een financiële ondersteuning (naast andere) tot mogelijke ondersteuningsmaatregelen kan gerekend worden12. In haar rapportering over de implementatie van het verdrag van Aarhus verwijst het Vlaamse Gewest expliciet naar het Minabesluit als één van de maatregelen die uitvoering geven aan het hierboven vermelde Art3, §4. In het Minabesluit zelf noch in de toelichting aan de Vlaamse Regering, wordt het Aarhus verdrag niet vermeld.

11 12

Vlaamse Regering 2019 – 2024. Regeerakkoord, p. 153 §2.1. Visie Omgeving. The Aarhus Convention: an implementation guide, 2014, te vinden via https://unece.org/environment-policy/publications/aarhus-convention-

implementation-guide-second-edition

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 14

Het doel van het verdrag van Aarhus is het beschermen van de burgers. Milieu- en natuurverenigingen dragen hiertoe bij door burgers te informeren en door te werken aan een betere omgevingskwaliteit. In dit licht beschouwd, is er vanuit het Aarhusverdrag geen rechtstreekse noch noodzakelijke koppeling tussen de subsidiëring van verenigingen en een bijdrage van deze verenigingen aan de beleidsdoelstellingen van de Vlaamse Overheid. Met andere woorden vindt de subsidiëring van verenigingen een autonome rechtvaardiging – los van enige concrete bijdrage tot Vlaamse beleidsdoelstellingen - in de uitvoering van het Aarhusverdrag.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 15

Figuur 1: Beleidslogica – motivering van het geven van subsidies aan verenigingen om bij te dragen aan de Vlaamse beleidsdoelstellingen

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 16

Explicitering van de mechanismen van hoe subsidies leiden tot betere bijdragen van de verenigingen aan de Vlaamse beleidsdoelstellingen (Figuur 2) De beleidslogica geeft aan hoe het geven van subsidies ertoe kan leiden dat er inderdaad (extra) bijgedragen wordt aan de Vlaamse beleidsdoelstellingen Omgeving. In Figuur 2 worden de hypothesen weergegeven: −

De financiële middelen die de verenigingen krijgen vanuit de subsidies (en de bijhorende voorwaarden voor het verkrijgen van de subsidies), leiden ertoe dat de verenigingen meer / betere activiteiten kunnen organiseren die bijdragen tot het behalen van de beleidsdoelstellingen; − De voorwaarden die opgelegd worden aan het verkrijgen van de subsidies, leiden ertoe dat verenigingen meer professioneel zullen werken (o.m. vertrekkende vanuit missie / visie en lange termijn plan of nota) en zo ook beleidsrelevantere activiteiten zullen uitvoeren. Bovenstaande hypothesen zijn ‘theoretisch’ en worden in de loop van het evaluatieonderzoek getest op basis van beschikbare gegevens. Doelstelling Vanuit Aarhus: bescherming van de burger

Bijdrage aan de Vlaamse beleidsdoelstellingen

Meer, betere (beleids)relevantere activiteiten worden uitgevoerd door verenigingen

Meer financiële middelen (& voorwaarden voor het verkrijgen ervan) maken meer / betere activiteiten mogelijk

Professionelere werking zorgt voor het uitvoeren van (beleids)relevantere activiteiten Meer financiële middelen (& voorwaarden voor het verkrijgen ervan) zorgen voor een professionelere werking bij de verenigingen

PROFESSIONEEL WERKEN: ▪ ▪ ▪ ▪

Aarhus: overheid moet MINA verenigingen erkennen en ondersteunen

Subsidies overheid (& voorwaarden voor het verkrijgen van de subsidies)

Burgers (bv. Lidgelden)

Markt (< competenties)

▪ ▪

Professionale werkkracht(en) Werken vanuit missie / visie, volgens meerjarenplan of –nota Onderzoek en kennisopbouw Deskundigheid gedragsverandering, communicatie, verenigingsleven, … Betere ondersteuning vrijwilligers …

Figuur 2: Beleidslogica – hoe leiden subsidies naar verenigingen (Minabesluit) tot bijdragen aan de Vlaamse beleidsdoelstellingen 4.1.2

Van beleidslogica naar onderzoeksvragen Vooraleer we de onderzoeksvragen oplijsten, expliciteren we hieronder de hypothesen die uit de beleidslogica kunnen worden afgeleid (Figuur 2). Het betreft drie hoofdhypothesen, verbonden aan de drie hoofdevaluatiecriteria (impact, effectiviteit, efficiëntie – zie paragraaf 3.3): − − −

Hypothese 1: de verenigingen dragen met de activiteiten die ze uitvoeren daadwerkelijk bij aan het behalen van de Vlaamse beleidsdoelstellingen Omgeving (impact). Hypothese 2: de subsidies leiden tot meer en een betere bijdrage door de verenigingen aan de Vlaamse beleidsdoelstellingen omgeving (causaliteitsvraagstuk: zonder subsidies zou die bijdrage minder groot zijn - effectiviteit). Hypothese 3: het geven van subsidies aan verenigingen om bij te dragen aan de Vlaamse beleidsdoelstellingen Omgeving is efficiënter dan zelf actie te ondernemen om de doelstellingen trachten te bereiken (efficiëntie).

Vertrekkende vanuit deze drie hoofd-hypothesen werden de onderzoeksvragen opgelijst. In het evaluatieonderzoek werd getracht antwoorden te vinden op deze onderzoeksvragen. Aandacht gaat daarnaast ook naar de evalueerbaarheid van de evaluatiecriteria: Is voldoende objectieve en betrouwbare informatie beschikbaar om de evaluatievragen te beantwoorden? En als niet: Welke aanbevelingen kunnen we dan formuleren naar het toekomstig besluit om de evalueerbaarheid te verhogen? Onderzoeksvragen ‘impact’ Hieronder lijsten we de onderzoeksvragen op die gericht zijn op het in kaart brengen van de impact van het besluit, en dus over de impact die de verenigingen die Minasubsidies hebben ontvangen, hebben

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 17

bewerkstelligd. Indien er doelstellingen worden vooropgesteld rond die impact, zijn dit ook onderzoeksvragen rond ‘doelbereik’. − −

Dragen milieu- en natuurverenigingen bij tot de Vlaamse beleidsdoelstellingen Omgeving en prioriteiten? Tot welke beleidsdoelstellingen dragen milieu- en natuurverenigingen bij? o o o

−

Voldoende breed pallet (< diversiteit verenigingen)? Draagvlak voor het Vlaamse Omgevingsbeleid vs. doorwerking van Vlaams beleid vs. realisatie van Vlaamse omgevingsdoelstellingen vs. bijdrage tot de totstandkoming van Vlaams beleid? Hoe structureel is die bijdrage tot de doelstellingen?

In welke mate dragen milieu- en natuurverenigingen bij tot Vlaamse beleidsdoelstellingen?

Als onderdeel van de evaluatie van de impact peilen we ook naar de innovatie bij de verenigingen

− Zorgen de verenigingen voor vernieuwende oplossingen voor de omgevingsuitdagingen? − Is er een vernieuwende werking binnen de verenigingen? Onderzoeksvragen ‘effectiviteit’ De hoofdonderzoeksvraag rond effectiviteit is de vraag of het subsidie-instrument leidt tot meer en betere bijdragen tot de beleidsdoelstellingen (causaliteitsvraagstuk: Wat is de bijdrage geweest van het geven van subsidies in het behalen van de doelstellingen?). Deze vraag kan in beginsel beantwoord worden door twee groepen uit eenzelfde populatie met elkaar te vergelijken (randomized controlled trial of: semi-wetenschappelijk experiment). In een ex post beleidsevaluatie is het evenwel vaak moeilijk twee vergelijkbare groepen te identificeren (één met en één zonder subsidies), laat staan om te kunnen uitmaken welk aandeel van het behaalde resultaat door de ene groep en welk aandeel van het resultaat door de andere groep wordt bewerkstelligd. Om de effectiviteit van een instrument toch voldoende te kunnen onderbouwen, kan, vertrekkend vanuit de beleidslogica, getracht worden de tussenliggende stappen te onderbouwen. In de beleidslogica zoals weergegeven in Figuur 2 wil dit zeggen dat we onderbouwing trachten te vinden voor het feit dat de subsidies (en voorwaarden die opgelegd worden om subsidies te verkrijgen) ervoor zorgen dat: −

De verenigingen meer middelen ter beschikking hebben om zo meer en betere activiteiten te kunnen uitvoeren; − De verenigingen professioneler kunnen werken en zo beleidsrelevantere activiteiten uitvoeren. De onderzoeksvragen rond het onderbouwen van de effectiviteit van de subsidieregeling, zijn dan ook gericht naar het onderbouwen van deze hypothesen en niet rechtstreeks naar het bewijzen van meer impact als gevolg van de subsidies. − −

Leidt het subsidiereglement (leiden de subsidies) bij de verenigingen tot de mogelijkheid om meer en betere activiteiten uit te voeren en zo meer en beter resultaat te bekomen? Leidt het subsidiereglement (leiden de subsidies) tot een professionelere werking bij de verenigingen en leidt dit ertoe dat de verenigingen beleidsrelevantere activiteiten uitvoeren en zo meer / beter bijdragen tot de beleidsdoelstellingen?

Bij het beantwoorden van deze vragen is het vooral belangrijk stil te staan bij het ‘waarom’ en het ‘hoe’: Hoe komt het dat meer en beter bijgedragen wordt tot de doelstellingen? Wat is de rol geweest van bv. de voorwaarden die opgelegd worden in het subsidiebesluit in het bijdragen tot de doelstellingen? Onderzoeksvragen rond efficiëntie Ook het efficiëntievraagstuk is een lastig vraagstuk om in een ex post beleidsevaluatie te beantwoorden. De hoofdvraag luidt namelijk: Kan het behalen van de beleidsdoelstellingen niet (of: niet met minder middelen) behaald worden via andere beleidsinstrumenten? Of nog, kunnen met een ander beleidsinstrument grotere bijdragen tot de beleidsdoelstellingen behaald worden dan via het ingezette beleidsinstrument? Om deze vragen te beantwoorden, zou de impact van verschillende beleidsinstrumenten vergeleken moeten kunnen worden. Dit is in praktijk (ex post) vaak moeilijk, of blijft theoretisch. Om dit te omzeilen, volgen we twee alternatieve wegen in dit evaluatieonderzoek: (i) via het in kaart brengen van de ‘hefboom’ van de subsidies en (ii) via het nagaan of de subsidiemiddelen ‘efficiënt worden ingezet’. Dit laatste gebeurt via een checklist waarbij verschillende criteria voor het efficiënt inzetten van

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 18

middelen worden afgetoetst. De lijst met criteria werden gedefinieerd vanuit een analyse van factoren die een indicatie kunnen geven van de efficiëntie waarmee middelen worden gezet13: − − −

− −

Concurrentie: Worden de verenigingen in concurrentie met elkaar gesteld bij de subsidieaanvraag? In dit geval kan de overheid ervoor kiezen om die verenigingen te subsidiëren die de grootste impact kunnen bewerkstelligen. Schaalvoordelen: Wordt er bij het verlenen van de subsidies rekening gehouden met schaalvoordelen of worden die aangemoedigd (bv. geografische schaal waarop verenigingen moeten werken, samenwerking door verenigingen, …)? Hefboom: Leidt de subsidie tot het inzetten of heroriënteren van verenigingsmiddelen ter realisatie van de Vlaamse beleidsdoelstellingen Omgeving, m.a.w. is er een hefboomeffect? De hefboom bestaat in het geval van de subsidies in het kader van het Minabesluit uit verschillende componenten: enerzijds een hefboom van de financiële middelen (naast subsidies doen de verenigingen ook beroep op eigen financiële middelen), anderzijds (voor de ledenorganisaties) een hefboom via vrijwilligerswerking. Zuinige besteding: Worden de verenigingen aangemoedigd om zuinig om te gaan met de financiële middelen die ze verkrijgen vanuit de subsidies? Objectivering hoogte subsidie: Wordt de hoogte van de subsidie per (type) vereniging geobjectiveerd op basis van relevante kostenelementen, onder meer met het oog op het vermijden van oversubsidiëring?

Door het Minabesluit aan deze checklist te toetsen kunnen we de inschatting van de efficiëntie van het subsidiebesluit objectiveren. Onderzoeksvragen in het licht van andere evaluatiecriteria Naast impact (doelbereik), effectiviteit en efficiëntie (evaluatiecriteria opgenomen in het bestek) werden in de evaluatie nog andere evaluatiecriteria meegenomen. De criteria en de onderzoeksvragen die leidend zijn geweest voor het onderzoek worden hieronder opgelijst. − − −

Proportionaliteit: Hoe verhouden de administratieve lasten (ten koste van de verenigingen) en de beheerkosten (ten koste van de overheid) zich ten opzichte van de subsidies die ontvangen / gegeven worden of ten opzichte van de impact die bewerkstelligd wordt? Duurzaamheid: Zal de impact van de subsidies ook voort blijven duren wanneer de subsidies wegvallen? Coherentie: Leidt de impact die de verenigingen bewerkstelligen door middel van de subsidies tot een aanpassing van de strategie van de Vlaamse Overheid om de beleidsdoelstellingen te bereiken? Met andere woorden: Is dit subsidie-instrument complementair met het reguliere beleid?

Merk op dat het resultaat van de beoordeling van het effectiviteitscriterium bepalend is voor de relevantie van (de resultaten van) de evaluatie aan de hand van de andere criteria. Zo heeft het weinig zin om de efficiëntie van een subsidie-instrument te evalueren van een instrument dat geen of slechts een zeer beperkte effectiviteit kent. De evaluatie van de overige criteria dienen dus in het licht van de resultaten van de effectiviteitsevaluatie geïnterpreteerd te worden.

4.2 Evaluatiemethodologie De gevolgde methodologie om gegevens te verzamelen voor het beantwoorden van de hierboven opgelijste onderzoeksvragen, wordt schematisch weergegeven in Figuur 3. Er werden indicaties verkregen op drie niveaus die ook in drie opeenvolgende stappen plaatsvonden: −

Indicaties vanuit het subsidiereglement zelf. Welke designkenmerken van het subsidiebesluit leiden tot effectieve, efficiënte werking, enzovoort?

De lijst bouwt verder op een checklist ontwikkeld in het kader van de evaluatie van gewestelijke milieusubsidies aan lokale overheden, in opdracht van de Dienst

beleidsvoorbereiding – en evaluatie van het Departement LNE. A. Gommers, L. Wittebolle, e.a., Eindverslag - Verbetervoorstellen voor subsidies van het beleidsdomein LNE aan lokale overheden op basis van een integrale evaluatie, 2012, Tritel.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 19

−

Indicaties vanuit de feiten. Kan vanuit de beschikbare informatie antwoord gegeven worden op de onderzoeksvragen rond impact, effectiviteit, efficiëntie, enzovoort? − Verdieping van het inzicht bekomen uit vorige stappen middels diepte-interviews met de afdeling Partnerschappen met Besturen en Maatschappij (afdeling PBM) van het departement Omgeving en met de koepelorganisatie BBL. Tijdens het evaluatieonderzoek, en meer bepaald in de stap van het doornemen van de beschikbare informatie om indicaties te vinden voor het beantwoorden van de onderzoeksvragen vanuit de feiten, werd ook aandacht geschonken aan de ‘evalueerbaarheid’ van het huidige subsidiebesluit.

Figuur 3: Schematische weergave evaluatiemethodologie

Hieronder geven we iets meer detail over de gevolgde onderzoeksmethodologie (elk van de stappen). Indicaties vanuit het Minabesluit Voor het beantwoorden van de onderzoeksvragen vanuit het Minabesluit werd uiteraard in eerste instantie vertrokken vanuit de tekst van het Besluit van de Vlaamse Regering van 18 december 2015 houdende de erkenning en subsidiëring van milieu- en natuurverenigingen. Daarnaast werd de analyse van het Minabesluit ruimer gekaderd door volgende documenten: −

Het overzicht van de adviezen van de Inspectie van Financiën op de voorstellen van nieuwe subsidiebesluit. Samenvattend vraagt de Inspectie van Financiën aandacht voor volgende aspecten: o

o o

−

de bepaling van het voorwerp van de subsidie (waarvoor subsidie geven?) en geeft de voorkeur om meetbare resultaten in relatie tot beleidsdoelstellingen, en meer specifieke afspraken inzake de te behalen resultaten in plaats van het werken met gestandaardiseerde activiteitsnormen; de hoogte van de subsidie per (type) vereniging, en meer bepaald de onderbouwing van de hoogte van de subsidie in relatie tot de kosten of de maatschappelijke baten; de evaluatie van het besluit, en meer bepaald een gepaste timing van de evaluatie (voorafgaand aan hernieuwing subsidie), de staving van de bereikte resultaten, kwantitatieve evaluatie als principe met een inhoudelijke evaluatie indien een kwantitatieve evaluatie niet mogelijk is en het vermijden van een al te ‘administratieve’ (Tick the box) benadering bij de evaluatie.

De conceptnota ‘subsidies in goede banen’ Vanuit de conceptnota lijken vooral volgende elementen van belang: o

Het expliciteren van de finaliteit van de subsidie. De conceptnota verwijst naar drie alternatieve finaliteiten: (i) de subsidie wordt toegekend om een kerntaak van de overheid uit te voeren, waarbij de overheid meent dat deze taak ook door derden uitgevoerd kan worden (bv. het verstrekken van onderwijs, zorg voor personen met een handicap), (ii) de subsidie wordt toegekend voor een taak die de overheid belangrijk vindt, maar waarbij zij niet zelf (alleen) als actor wil optreden (bv. de organisatie van culturele evenementen), of (iii) de subsidie geeft het middenveld de mogelijkheid om zich te ontwikkelen, taken op te nemen (bv. subsidies aan natuur- en milieuverenigingen). Het expliciteren van het maatschappelijk doel en de beleidsmatige reden van de subsidie.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 20

o o o

Het gebruik van SMART indicatoren, waarbij kwantitatieve indicatoren het principe uitmaken en kwalitatieve indicatoren eerder de uitzondering (“pas toe of leg uit” regel). Het onderbouwen van het bedrag van de subsidie of de wijze waarop dit bedrag wordt bepaald. De nood aan inhoudelijke en financiële verantwoording over het gebruik van de subsidie door de subsidieontvanger, o.a. met het oog op de detectie van een oversubsidiëring of dubbele subsidiëring. De nood aan proportionaliteit met het oog op administratieve vereenvoudiging - cfr. Nederlands Uniform SubsidieKader waar de ‘bewijslast’ varieert in functie van bedrag.

Indicaties vanuit de feiten Om de antwoorden op de onderzoeksvragen te onderbouwen, werd volgende informatie ter beschikking gesteld vanuit de afdeling PBM van het departement Omgeving: − − − − −

Een evaluatierapport opgemaakt door de administratie, met een samenvatting van de verslagen van de begeleidingscommissie voor elk van de gesubsidieerde verenigingen; Voortgangsrapporten van een selectie van de verenigingen; Evaluatie van de voortgangsrapporten van een selectie van de verenigingen; Verslagen van de begeleidingscommissie van een selectie van de verenigingen; Koepelrapport van BBL ‘Natuur-, milieu- en ruimteorganisaties in Vlaanderen. Omvang, bereik en impact’ met resultaten van een bevraging van BBL naar de verenigingen (2020 – 2021).

Basis voor het beantwoorden van de evaluatievragen was het eerste document (nl. evaluatierapport opgemaakt door de administratie). Hierin komt de evaluatie aan bod van elk van de verenigingen door de begeleidingscommissie14. Op basis van de tekst in dit evaluatierapport werd voor elk van de verenigingen aangeduid in hoeverre ze voldoen aan een aantal criteria die iets zeggen over impact, effectiviteit en efficiëntie. In een tabel werd aangeduid: − − −

Of er indicaties werden gegeven rond bepaalde aspecten horende bij dit evaluatiecriterium; Of de indicaties eerder wijzen op het ‘voldoen’ aan de voorwaarden van het evaluatiecriterium; Of de indicaties eerder wijzen op werkpunten in het kader van dit evaluatiecriterium.

Op basis van deze indicaties kan afgeleid worden in hoeverre er in het kader van het huidige subsidiebesluit reeds voldoende informatie verzameld wordt voor het beantwoorden van de evaluatievragen (evalueerbaarheid – Voor hoeveel verenigingen is er informatie beschikbaar?) en of doelbereik, effectiviteit, efficiëntie van het Minabesluit kan worden onderbouwd op basis van de feiten (In welke mate voldoen de verenigingen waarvoor informatie beschikbaar is?). Daarnaast werd informatie ontvangen vanuit de subsidieaanvraag 2022 – 2026 rond het aandeel financiële middelen dat de verenigingen uit de structurele subsidies halen ten opzichte van het totaal aan financiële middelen waarover ze beschikken (planning). Verdieping van het inzicht Om ontbrekende informatie aan te vullen, de voorlopige conclusies uit het deskonderzoek af te toetsen en eventueel verklaringen aan te reiken werden de voorlopige resultaten een eerste maal besproken met vertegenwoordigers van de afdeling PBM (Diana Leuci en Jonas Van Meirvenne) en werd daarna een diepteinterview gevoerd met de koepelorganisatie BBL (Danny Jacobs en Nick Meeusen). Deze gesprekken vonden plaats op 1 en 3 februari 2022.

Omdat voor één vereniging de evaluatie van de begeleidingscommissie nog niet volledig definitief was, werden in dit samenvattend evaluatierapport

slechts 36 van de 37 gesubsidieerde verenigingen opgenomen. De cijfers die in voorliggend rapport staan weergegeven betreffen met andere woorden gegevens van 36 verenigingen.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 21

5 Evaluatieresultaten Dit hoofdstuk bevat de eigenlijke evaluatieresultaten van het onderzoek. In paragraaf 5.1 geven we eerst feitelijke informatie weer. Paragraaf 5.2 bevat dan de resultaten van het evaluatieonderzoek vanuit elk van de invalshoeken (de designkenmerken van het besluit zelf, de feiten, de aanvulling / verdieping / verklaring vanuit de gesprekken met de administratie en met BBL) en voor elk van de evaluatiecriteria afzonderlijk. In paragraaf 5.3 vatten we de conclusies uit het evaluatieonderzoek samen, zowel inhoudelijk (impact, effectiviteit, efficiëntie, … van het subsidiebesluit) als op vlak van evalueerbaarheid.

5.1 Feitelijke informatie over de gesubsidieerde verenigingen Hieronder geven we voorafgaand aan de evaluatieresultaten enkele feitelijke gegevens weer over de gesubsidieerde verenigingen. −

In de vorige subsidieperiode werden 37 verenigingen gesubsidieerd via het Minabesluit. Het betreft: o 1 koepelvereniging (BBL); o 2 gewestelijke ledenverenigingen; o 11 gewestelijke thematische verenigingen; o 2 regionale verenigingen type 1; o 19 regionale verenigingen type 2; o 2 regionale verenigingen type 3.

−

Naast deze structurele subsidies werden vanaf 2019 ook subsidies verstrekt aan 4 startende verenigingen. Het totale jaarlijkse subsidiebedrag bedroeg circa € 5 miljoen.

−

5.2 Evaluatie op basis van afzonderlijke evaluatiecriteria 5.2.1

Impact (doelbereik) Impact (doelbereik) Omschrijving evaluatie-

Vanuit de Vlaamse Regering wordt gevraagd om meer nadruk te leggen op het realiseren van ‘impact’ via subsidies en ook de evaluatie hier meer op te richten (zie paragraaf 3.1).

criterium

Met het evaluatiecriterium ‘doelbereik’ willen we nagaan in welke mate de gesubsidieerde verenigingen bijdragen aan het bereiken van de Vlaamse beleidsdoelstellingen Omgeving. Het in kaart brengen van de ‘impact’ die ze bewerkstelligen is daarbij van belang. Dit wil zeggen dat we deze evaluatie vooral uitvoeren vanuit een ‘vooruitkijkend perspectief’. Nagegaan wordt:

Evaluatie vanuit de designkenmerken van besluit

het

Tot welke doelstellingen wordt bijgedragen: vnl. draagvlak vs. realisaties vs. doorwerking van beleid vs.

bijdrage aan totstandkoming van beleid / voldoende breed pallet aan doelstellingen / mate van structurele bijdrage / innovatieve oplossingen? In welke mate de verenigingen bijdragen?

Koppeling aan Vlaamse beleidsdoelstellingen Omgeving De subsidie is niet rechtstreekse gekoppeld aan specifieke beleidsdoelstellingen, noch welbepaalde omgevingsthema’s. De toekenning van de subsidie is onafhankelijk van de omvang van de concrete bijdrage aan de beleidsdoelstellingen. De omvang van de bijdrage van de verenigingen kan mogelijk ex ante bepaald worden op basis van meerjarenplan of -nota in het kader van de erkenning op voorwaarde dat er voldoende SMART gedefinieerde resultaten in worden opgenomen. Bij de thematische verenigingen is het iets eenvoudiger om de bijdrage te bepalen.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 22

De subsidie biedt geen garantie voor de inzameling van relevante kwantitatieve informatie om de omvang van de bijdrage tot bepaalde doelstellingen te bepalen. Het bijdragen tot ‘draagvlakcreatie’ voor de beleidsdoelstellingen Omgeving lijkt te algemeen als referentiedoelstelling voor een zinvolle evaluatie. Thematisch diversiteit Het subsidiebesluit biedt geen garanties voor een voldoende thematische diversiteit binnen de groep erkende verenigingen. Zo is het theoretisch mogelijk dat het gros van de erkende verenigingen optreedt rond hetzelfde omgevingsthema. Een beperkte diversiteit is daarenboven moeilijk te remediëren gezien de erkenning voor onbepaalde duur geldt en er met een systeem van gesloten enveloppe wordt gewerkt (hetgeen de toevloed van nieuwe diversifiërende verenigingen sterkt bemoeilijkt). Binnen een bepaalde vereniging is de thematische diversiteit wel enigszins gegarandeerd indien de vereniging activiteitenmodule 4.2 uit de bijlage kiest. Deze module is evenwel optioneel zodat het besluit ook de diversiteit binnen een vereniging niet kan waarborgen. Activiteitsnormen zijn outputgericht De activiteitsnormen geven niet aan in welke mate er draagvlak, doorwerking of een andere bijdrage aan de beleidsdoelstelling wordt gerealiseerd. Er is wel een kwalitatieve evaluatie naar aanleiding van de visitatie. Structurele ondersteuning Het subsidiebesluit garandeert erkende organisaties een structurele financiering, mits aan een aantal voorwaarden wordt voldaan (bv. periodiek herindienen subsidieaanvraag, realiseren van de activiteitsnormen, ...). Aanmoediging tot vernieuwing Organisatorische vernieuwing wordt afgedekt via verschillende modules in cluster 3 (optioneel). Inhoudelijke vernieuwing wordt gegarandeerd via de thematische gewestelijke verenigingen die zich richten op inhoudelijke innovatie / het bedenken van nieuwe oplossingen. Daarnaast laat de starterssubsidie (art.15§2 subsidiebesluit) toe om in te spelen op specifieke thema’s die in de loop van de legislatuur opduiken, aangezien deze niet gebonden is aan een erkenning (waarvoor een anciënniteitsvereiste geldt). Bijdrage totstandkoming beleid Ook de bijdrage tot de totstandkoming van het beleid wordt via cluster 4 voldoende gegarandeerd.

Evaluatie vanuit

Impact

beschikbare gegevens

dat werd opgemaakt door de administratie. Hierover kan met andere woorden geen uitspraak worden gedaan. Wel was hier en daar aandacht voor ‘impactgericht werken’. Deze resultaten bespreken we in de paragraaf hieronder.

De impact van de werking van de verenigingen werd niet in beeld gebracht in het samenvattende evaluatieverslag

Ook in de selectie van doorgenomen voortgangsrapporten werd amper informatie teruggevonden over ‘impact’. Hier en daar (en dan eerder bij de gewestelijke verenigingen en soms onrechtstreeks) werd informatie weergegeven over: -

Het feit dat een bepaald advies of bepaalde informatie doorwerking heeft gekend in het (lokale) beleid; Het feit dat bv. bos of natuur werd aangeplant of aangekocht.

Rapportage was voorts gefocust op de activiteiten die werden uitgevoerd / georganiseerd en op output (bv. aantal deelnemers). Een aantal van de verenigingen hebben specifiek als doel om andere verenigingen of organisaties te ondersteunen. Het weergeven van de impact zou dan al indirect zijn en dus niet gemakkelijk. Op basis van het rapport van de koepelorganisatie kon wel iets afgeleid worden over de diversiteit van de impact. Dit bespreken we meer onderaan in deze kader. Impactgericht werken Om impact in beeld te brengen vanuit het samenvattende evaluatieverslag, werd nagegaan in hoeverre er iets gezegd werd over ‘bijdragen aan de beleidsdoelstellingen Omgeving’, over ‘draagvlak’, over ‘innovatieve oplossingen of werking’ en over ‘beleidsparticipatie’. De resultaten van de analyse zijn weergegeven in Figuur 4. Hieruit blijkt dat: -

De evaluatie via voortgangsverslagen en visitatie tot nu toe niet gericht was op het in kaart brengen van de impact van de verenigingen (lage aantallen verenigingen waarover uitspraken werden gedaan rond impact);

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 23

De impact (ook mede daardoor) nog onvoldoende duidelijk is. Als er iets gezegd wordt over ‘impact’ is het over de impactgedrevenheid van een vereniging, en wordt niet duidelijk aangegeven wat de impact dan inhoudt, op welke omgevingsthema’s ingezet wordt, hoe divers die impact is, enzovoort. De aanbevelingen om meer impactgericht te werk te gaan werden gegeven aan regionale verenigingen type II; de positieve zaken over impactgedrevenheid bij het werken werden gegeven aan een gewestelijke, maar ook aan een regionale vereniging type II.

Uit de selectie van voortgangsrapporten blijkt dat de gewestelijke verenigingen reeds meer gewoon zijn om impactgericht te denken en te werken (bv. in het formuleren van strategische en operationele doelstellingen). Ook bij de gewestelijke verenigingen ontbreekt het echter nog aan SMART geformuleerde impact-doelstellingen (niveau intermediaire outcome of outcome). De indicatoren of de beoogde resultaten blijven nog vaak op het niveau van activiteiten output steken. In geen van de doorgenomen voortgangsrapporten werd er verwezen naar specifieke Vlaamse beleidsdoelstellingen rond bepaalde Omgevingsthema’s.

Figuur 4: Aantal verenigingen waarover in het evaluatierapport gerapporteerd wordt rond impact (verenigingen die voldoende scoren vs. verenigingen waarvoor werkpunten werden opgelijst) – op een totaal van 36 verenigingen Diversiteit van impact Het rapport dat de koepelvereniging BBL heeft opgemaakt geeft inzicht in de diversiteit van impact die door de verenigingen wordt bewerkstelligd. Dit rapport is gebaseerd op een bevraging van de verenigingen die lid zijn van BBL. Niet al deze verenigingen krijgen structurele subsidies vanuit het Minabesluit. De verenigingen die niet gesubsidieerd werden vanuit het Minabesluit werden in onze analyse uitgesloten. Ook dan nog is de diversiteit in impact die de verenigingen bewerkstelligen groot (zie Tabel 1). Tabel 1: Overzicht van omgevingsthema’s waarrond de gesubsidieerde verenigingen werken Bron: rapport BBL

In het rapport van BBL wordt kwalitatief / narratief aangegeven welke impact de verenigingen hebben gerealiseerd. Soms is dit eerder lokaal, soms meer verspreid. De mate waarin de verenigingen bijdragen aan de Vlaamse beleidsdoelstellingen Omgeving werd niet ingeschat. Dit was ook niet de bedoeling van het rapport. Als we redeneren vanuit de eigenheid van de gesubsidieerde verenigingen krijgen we een volgende verdeling (zie Figuur 5): -

In aantallen verenigingen zien we een grote oververtegenwoordiging van verenigingen die zich hoofdzakelijk bezighouden met natuur en biodiversiteit: 23 van de 37 gesubsidieerde verenigingen;

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 24

twee hiervan focussen op het raakvlak tussen landbouw en biodiversiteit. Negen verenigingen focussen op meerdere thema’s – en treden vaak activistisch op naar lokale overheden. Drie (gewestelijke)

verenigingen focussen op het thema duurzaam bouwen en telkens één vereniging op mobiliteit en groene economie. In subsidiebedrag dat aan de verenigingen wordt toegekend, is de oververtegenwoordiging van de verenigingen die werken rond natuur en biodiversiteit iets minder groot, maar nog steeds duidelijk aanwezig.

Innovatie Tijdens de visitatie werd voornamelijk ingegaan op innovatief werken. Bij drie van de zeven verenigingen waarover hier iets werd weergegeven in de samenvatting van de evaluatie door de begeleidingscommissie, blijken hier nog werkpunten te zijn.

Figuur 5: Verdeling van de verenigingen volgens thema uitgaande van de eigenheid van de vereniging: op basis van aantallen (links) en op basis van budget (rechts)

Toevoeging vanuit gesprekken administratie

Impact is tot nu toe geen evaluatiecriterium geweest voor het beoordelen van (de werking van) de verenigingen. De stap om impactgericht werken te introduceren was in 2016 nog te groot, vooral voor de regionale verenigingen. Voor de gewestelijke verenigingen had dit eventueel wel een mogelijkheid geweest. De activiteitsnormen vervangen dit aspect; activiteiten zijn gemakkelijker te ‘meten’, vooral omdat één van de belangrijke doelstellingen

& koepelorganisatie

van het besluit ‘draagvlakvorming’ is. Een nulmeting van draagvlak werd niet uitgevoerd; er kan ook niet van de verenigingen verwacht worden dat ze ‘draagvlak’ meten. Wel was en is het voor de verenigingen de bedoeling om de doelstellingen zo goed mogelijk in termen van impact te formuleren en hier indicatoren aan te koppelen. BBL geeft aan dat 80 à 90 % van de gebruikte indicatoren output indicatoren zijn. Het feit dat er activiteitsnormen werden opgelegd, heeft ertoe geleid dat heel wat (regionale) verenigingen hun strategische doelstellingen hierop heeft geënt. Het was vooral voor de regionale verenigingen ook een hele nieuwe manier van werken, het werken via strategische en operationele doelstellingen. Een stap verder had gezet kunnen worden indien in het besluit in 2016 onderscheid gemaakt zou zijn geweest tussen de gewestelijke en de regionale verenigingen, waarbij impactgericht werken voor de gewestelijke verenigingen echt zou zijn opgelegd en waarbij de activiteitsnormen dan bij deze verenigingen ook (grotendeels of helemaal) weggelaten zouden worden. Verschillende dilemma’s worden echter aangeraakt: -

Vanuit de Inspectie van Financiën en vanuit de conceptnota subsidies wordt aangedrongen op meetbaarheid bij de evaluatie. Daarbij wordt vooral aangedrongen op meetbaarheid van impact. Activiteiten zijn echter veel gemakkelijker meetbaar en dus cijfermatig weer te geven dan impact. Impact rond omgevingsdoelstellingen is vaak op korte termijn niet meetbaar. Daarvoor grijpt men dan toch weer terug naar activiteiten (bv. aantal aanwezigen op bepaalde activiteiten om mate van draagvlakcreatie weer te geven).

Rond de diversiteit van verenigingen en dus ook van impact die gegenereerd wordt, werd aangegeven dat diversiteit ook voor de toekomst belangrijk is. Het besluit van 2016 was er nog op gericht om verenigingen die tot dan beroep konden doen op subsidies, verder te subsidiëren. Met het definiëren van de types verenigingen die subsidies kunnen krijgen (bv. ‘ledenverenigingen’) is de subsidie gericht op een bepaald soort van verenigingen. Meer diversiteit inbrengen in het type impact dat beoogd wordt, blijft een uitdaging. Rond de evaluatie van ‘vernieuwing’ of ‘innovatiegraad’ werd aangegeven dat dit geen doelstelling op zich is, maar ten dienste moet staan van het bewerkstelligen van impact. Men wil verenigingen ertoe aanzetten om zichzelf steeds te verbeteren en in dat kader te zoeken naar nieuwe oplossingen. Uit de visitaties van de

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 25

begeleidingscommissies blijkt dat verenigingen nog te weinig bezig zijn met vernieuwing om effectiever / efficiënter te werken. Vaak werken ze gewoon voort zoals ze al lange tijd werken (business as usual).

Conclusie

Terugkijkend naar de oorspronkelijke doelstellingen van het besluit (met onder meer de duidelijke resultaatsgerichte en haalbare indicatoren – vertaald naar activiteitsnormen), kunnen we besluiten dat het doel van het besluit werd bereikt. In het besluit werden SMART-geformuleerde doelstellingen opgenomen (activiteitsnormen in de bijlage bij het besluit); de verenigingen voldoen allen aan de opgelegde activiteitsnormen. Vooruitkijkend naar de doelstelling voor het nieuwe besluit (meer impactgericht), leiden we vanuit bovenstaande elementen in de evaluatie we af dat: -

Er geen duidelijke en SMART geformuleerde doelstellingen vooropgesteld zijn voor het subsidiebesluit op het niveau ‘impact’. Er is geen zicht op de Vlaamse beleidsdoelstellingen Omgeving waartoe de verenigingen moeten bijdragen omdat de Vlaamse Overheid niet zelf over de juiste hefbomen beschikt om hierrond

voldoende vooruitgang te boeken. Zonder SMART-geformuleerde doelstellingen (op niveau impact) is het evalueren van doelbereik niet mogelijk. De verenigingen nog niet allemaal mee zijn met het formuleren van impact-doelstellingen en indicatoren

en het toewerken naar deze doelstellingen. Een eerste stap is wel gezet en ook tijdens de visitatie werd hier reeds op gewezen. De tijd lijkt ons dus wel rijp om hier meer op in te zetten. De diversiteit van de verenigingen die subsidies krijgen nog een uitdaging vormt.

Het besluit bijdraagt tot de vernieuwing - zowel inhoudelijk als organisatorisch - van verenigingen en ook de bijdrage tot de participatie aan het beleid voldoende geborgd lijkt.

5.2.2

Effectiviteit Effectiviteit Omschrijving evaluatiecriterium

Het evaluatiecriterium ‘effectiviteit’ stelt de vraag naar causaliteit tussen de subsidies en de bewerkstelligde impact. Omdat enerzijds de impact reeds moeilijk vast te stellen was (zie paragraaf 5.2.1), laat staan de relatie tussen de subsidies en de impact, worden in het kader van voorliggende evaluatie volgende vragen op het niveau van activiteiten gesteld: -

Evaluatie vanuit de designkenmerken van het besluit

Kan bewezen worden dat door het beschikbaar stellen van extra financiële middelen (en de voorwaarden die verbonden zijn aan het verkrijgen ervan) extra en/of betere activiteiten worden georganiseerd / gerealiseerd? Kan bewezen worden dat verenigingen door het beschikbaar stellen van extra financiële middelen (en de voorwaarden die verbonden zijn aan het verkrijgen ervan) professioneler kunnen werken en als gevolg daarvan beleidsrelevantere activiteiten uitvoeren?

Geen outcome sturing Effectiviteit is enkel echt te meten in relatie tot voldoende concrete en SMART gedefinieerde doelstellingen. Deze ontbreken echter grotendeels in het besluit, althans op het gewenste niveau van (intermediaire) outcome. Bij gebrek aan welomschreven doelstellingen op dit niveau laten de activiteitsnormen an sich niet toe om na te gaan of het beoogde effect daadwerkelijk werd gerealiseerd. Om in deze context tot enige inschatting van de effectiviteit te kunnen komen, moeten we een aantal hypotheses formuleren over de link tussen de activiteitsnormen en het beoogde resultaat. Bij ontstentenis van validatie van deze hypothesen betreft het resultaat van de evaluatie aan de hand van activiteitsnormen eerder een indicatie of een ‘guestimate’ van de effectiviteit. Professionelere werking Wat de professionalisering betreft lijkt de subsidie voldoende elementen te bevatten die tot een professionele(re) werking kunnen leiden bij de verenigingen, en dit zowel voor wat betreft het design van de erkennings- en subsidievoorwaarden (meerjarenplan en -nota) als de modules onder cluster 3 van de activiteitsnormen, die betrekking hebben op het inzetten op een kwalitatieve werking, netwerkversterking en/of impact verhoging van de werking.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 26

Evaluatie vanuit

Extra / betere activiteiten als gevolg van de subsidies

beschikbare gegevens

activiteitsnormen die opgelegd werden vanuit het subsidiebesluit. Of dit inhoudt dat extra activiteiten worden uitgevoerd in vergelijking met een situatie zonder subsidies kon niet rechtstreeks afgeleid worden uit het beschikbare materiaal. Vanuit de hypothese dat meer financiële middelen (lineair) leidt tot meer / betere activiteiten en vanuit de analyse van het aandeel Minasubsidies ten opzichte van de totale middelen die de

Vanuit de feiten kon enkel worden vastgesteld dat elk van de gesubsidieerde verenigingen voldeed aan de

verenigingen ter beschikking hebben (mediaan-waarden), kunnen we stellen dat de gewestelijke verenigingen als gevolg van de subsidies ca. 20 % meer (of betere) activiteiten kunnen uitvoeren en regionale verenigingen ca. 40 % meer (of betere) activiteiten kunnen uitvoeren in vergelijking met een situatie zonder deze subsidies 15. Professionelere werking Vanuit het samenvattend evaluatierapport van de administratie werden volgende criteria gehanteerd om de professionele werking van de verenigingen te beoordelen: planmatig werken, zelf opvolgen en evalueren, afstemming van de organisatie op de doelstellingen en professionele vrijwilligerswerking. Voor deze laatste moet rekening gehouden worden met het feit dat niet alle verenigingen met vrijwilligers werken. Enkel de types gewestelijke ledenvereniging en de regionale verenigingen type 1 en 2 werken met vrijwilligers. Dit zijn 23 van de 37 gesubsidieerde verenigingen. De resultaten van de analyse zijn weergegeven in Figuur 6. Hieruit blijkt dat: -

De professionele werking tijdens de visitaties meer aan bod kwam dan het impactgericht werken (vergelijk absolute cijfers met Figuur 4);

Vooral het planmatig werken en de capaciteit om zelf op te volgen en te evalueren aan bod kwam in deze evaluaties; Er toch nog bij heel wat verenigingen werkpunten zijn rond deze aspecten van professioneel werken.

Figuur 6: Aantal verenigingen waarover in het evaluatierapport gerapporteerd wordt rond verschillende aspecten van professioneel werken (verenigingen die voldoende scoren vs. verenigingen waarvoor werkpunten werden opgelijst) – op een totaal van 36 verenigingen

Toevoeging

Eenduidig de effectiviteit vaststellen is veel moeilijker voor de structurele subsidies zoals ze voorzien zijn in het

vanuit gesprek administratie

Minabesluit dan voor bijvoorbeeld projectsubsidies. Bij projectsubsidies kan nagegaan worden hoe de verkregen financiële middelen werden gebruikt en welke resultaten werden bewerkstelligd. Dit is onmogelijk bij de structurele subsidies waar de subsidies in de algemene middelen van de verenigingen terecht komen en ze niet

& koepelorganisatie

voor zeer specifieke acties en projecten worden ingezet. In de voortgangsrapporten wordt ook niet altijd aangeduid welke activiteiten werden uitgevoerd met middelen van de subsidies dan wel met anders verkregen financiële middelen. Beide paden uit de beleidslogica werden besproken.

Percentages als mediaanwaarden van de aandelen Minasubsidies zoals begroot door de verenigingen op het totaal van financiële middelen dat ze ter

beschikking denken te hebben voor de subsidieperiode 2022 – 2026.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 27

Er wordt bevestigd dat de financiële middelen meer acties mogelijk maken. Veronderstellen dat dit lineair is, is natuurlijk een grote vereenvoudiging. In de nieuwe aanvraag voor subsidies (periode 2022 – 2026) werd aan verenigingen gevraagd waarvoor ze de financiële middelen zouden inzetten (werkingskosten, personeelskosten, kosten voor huisvesting). De laatste categorie mag hierbij maximaal 10 % van het subsidiebedrag bedragen. De gewestelijke verenigingen geven aan ca. 80 % van de subsidiemiddelen te gebruiken voor personeel, 15 % voor werkingskosten en 5 % voor de huisvesting. Regionale verenigingen geven aan 75 % te zullen besteden aan personeelskosten, 24 % aan werkingsmiddelen en 1 % aan huisvesting. We kunnen er inderdaad van uit gaan dat de bijkomende middelen voor werking en personeel leiden tot extra acties en dus tot extra resultaat. Hiermee wordt ook aangetoond dat minstens een deel van de impact die bewerkstelligd wordt door de verenigingen het rechtstreekse gevolg is van de extra financiële middelen die ter beschikking worden gesteld aan de verenigingen. Rond professionalisering wordt aangegeven dat professionalisering van de sector nog nodig is gebleken in de periode vanaf 2016, vooral bij de regionale verenigingen. Planmatig werken is hierin een belangrijk element geweest. De voorwaarden die aan het verkrijgen van subsidies opgelegd worden, leidden ertoe dat verenigingen meer planmatig te werk zijn gegaan. Het planmatig toewerken naar het bereiken van een bepaalde impact moet ertoe leiden dat die impact ook daadwerkelijk wordt gerealiseerd. Uit de evaluatie door de begeleidingscommissie (zie hierboven) bleek dat er rond het professioneel werken voor sommige verenigingen nog werkpunten werden aangeduid. In de gesprekken met de administratie en met de koepelverenigingen werd dit bevestigd. Het planmatig werken is nog niet voor alle verenigingen ingeburgerd; bij sommige verenigingen werd het meerjarenplan / de meerjarennota opgemaakt, maar belandde daarna in de spreekwoordelijke kast en diende deze niet als werkdocument. Van de gewestelijke verenigingen kan gesteld worden dat ze ondertussen wel reeds voldoende professioneel werken; regionale verenigingen hebben hierrond een leertraject doorlopen en kunnen dit in de toekomst nog verder uitbouwen.

Conclusie

Vanuit de verschillende elementen uit het evaluatieonderzoek kunnen we besluiten dat: -

Effectiviteit niet eenduidig kan worden vastgesteld aangezien er onvoldoende onderbouwing is voor de impact en het doelbereik via de subsidieregeling.

Het evalueren van effectiviteit via de omweg van de onderbouwing van verschillende hypothesen in de beleidslogica een goede manier is gebleken. Zo werd onderbouwing geleverd voor de extra financiële middelen waar verenigingen beroep op konden doen als gevolg van de subsidies en wordt als gevolg van de subsidievoorwaarden een professionele manier van werken gestimuleerd. Het is aannemelijk dat beide aspecten bijdragen tot betere en beleidsrelevantere activiteiten.

5.2.3

Efficiëntie Efficiëntie Omschrijving evaluatiecriterium

Het evaluatiecriterium ‘efficiëntie’ legt de link tussen de uitgegeven financiële middelen en de resultaten die bereikt werden / impact die bewerkstelligd werd. Zoals aangegeven in paragraaf 4.1.2, werd in dit evaluatieonderzoek enerzijds gekeken naar de (financiële) hefboom die bewerkstelligd werd / kon worden via de subsidies en anderzijds naar designkenmerken van het subsidiebesluit die het zuinig gebruik van financiële middelen aanmoedigen of garanderen.

Evaluatie vanuit de design-

Concurrentie stimuleren

kenmerken van het besluit

verenigingen bestaande begunstigden concurrentie aan zouden doen.

Het subsidiebesluit bevat een aantal elementen die de concurrentie tussen verenigingen aanzienlijk beperkt zoals bv. de erkenning voor onbepaalde duur en het gesloten enveloppesysteem die verhinderen dat nieuwe Tussen startende onderneming is in beginsel wel concurrentie mogelijk. Schaalvoordelen stimuleren De minimum omvang van de verenigingen (aantal gemeenten) helpt om een minimum aan efficiëntie te bereiken. Het besluit sluit evenwel geen gebiedsoverlappingen tussen verenigingen uit. Voorts kan de voormelde minimumomvang gekoppeld aan een forfaitaire subsidie ook tot een versnippering leiden. Immers, organisaties die talrijke gemeentes afdekken, zouden hun activiteiten kunnen opsplitsen om in het totaal een groter subsidiebedrag te kunnen ontvangen.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 28

Het subsidiebesluit moedigt aan tot onderlinge samenwerking binnen de eigen vereniging (tussen verschillende afdelingen), maar heeft weinig aandacht voor een samenwerking tussen verschillende erkende verenigingen (bv. gezamenlijke acties, delen van ervaringen/kennis, enzovoort). Zuinig omgaan met middelen Art. 19. van het besluit vergt dat er een ‘boekhouding’ wordt bijgehouden. Dergelijke boekhouding maakt een controle mogelijk en laat toe om manifest inefficiënt gebruik van middelen op te merken en bij te sturen n.a.v. de voortgangsrapporteringen of visitatie. Hefboom Het besluit vereist geen eigen inbreng van middelen of een deel van de benodigde financiële middelen vanuit andere bronnen. Dit betekent dat in beginsel ook een vereniging zonder enigerlei eigen financiële middelen een subsidie kan aanvragen16. In dergelijk geval is er mogelijk geen financiële hefboom (na toekenning van de subsidie kunnen er uiteraard nog bijkomende middelen vergaard worden die dan wel als hefboom kunnen werken). Wel moedigt het besluit een hefboomeffect aan via de inzet van vrijwilligers. Het besluit verplicht verenigingen (uitgezonderd de koepelvereniging, de gewestelijke thematische verenigingen en de regionale verenigingen type 3) om met vrijwilligers te werken. Wijze waarop de hoogte van subsidie bepaald wordt Het subsidiebesluit vermeldt de subsidiebedragen per categorie maar geeft niet aan hoe de hoogte van de subsidie bepaald wordt. Het besluit biedt aldus geen kader voor een objectivering van de hoogte van de subsidiebedragen die aan de verenigingen worden toegekend. Zo kan bijvoorbeeld niet worden nagegaan met welke (kost)elementen rekening wordt gehouden bij de bepaling van de subsidiehoogte. Het subsidiebesluit biedt geen handvaten om oversubsidiëring te vermijden.

Evaluatie vanuit

Hefboom

beschikbare

nieuwe subsidieaanvraag17. Het totale subsidiebedrag over alle verenigingen heen wordt door de verenigingen zelf begroot op ruim € 5 mio. Om de hefboom te berekenen plaatsen we daartegenover het begrote werkingsbudget voor 2022 van de gesubsidieerde verenigingen (in totaal bijna € 31 mio). Hieruit blijkt dat de structurele subsidie over alle verenigingen heen begroot wordt op 16 % van het totaal aan werkingsmiddelen. Een hefboom van een

gegevens

De hefboom werd berekend op basis van de begroting van de verenigingen voor het jaar 2022 in het kader van de

factor 6 wordt met andere woorden verkregen door subsidies te geven aan de verenigingen om de doelstellingen te bereiken. Daarnaast wordt een hefboom verkregen door te werken met vrijwilligers (gewestelijke en regionale ledenverenigingen). Hoeveel vrijwilligers er in totaal worden ingezet door verenigingen die structurele subsidies ontvangen vanuit het Minabesluit is niet duidelijk, en dus ook niet hoe groot deze hefboom is. Aanzetten tot efficiënt werken In hoeverre het subsidiebesluit aanzet tot efficiënt gebruik van middelen door de overheid werd hierboven besproken vanuit de designkenmerken van het besluit. Vanuit de feiten geven we hieronder gegevens weer van het aandeel subsidiemiddelen in de totale werkingsmiddelen per vereniging (Figuur 7). Hierbij hanteren we de hypothese dat een laag aandeel subsidies in vergelijking tot eigen middelen, de verenigingen zelf aanzet tot het zuinig omgaan met de verkregen middelen. Het mediaan percentage middelen verkregen uit Minasubsidies bedraagt voor de gewestelijke vereniging en ca. 20 %, voor de regionale verenigingen ca. 40 %. De totale subsidies (i.e. subsidies Minabesluit + projectsubsidies + …) vormen respectievelijk 54 % en 76 % van de totale financiële werkingsmiddelen van de verenigingen.

Deze situatie is onwaarschijnlijk, daar verenigingen hun subsidies ontvangen na afloop van het subsidiejaar en de kosten met andere woorden moeten

voorschieten. Verenigingen zonder eigen middelen, moeten in dat geval financiële middelen lenen om de verwachte acties te kunnen uitvoeren. 17

In de begroting van de verenigingen werd geen rekening gehouden met de indexering van de subsidies. De percentages die hier staan weergegeven zijn

dus waarschijnlijk iets lager en de hefboom iets hoger dan wat het in werkelijkheid zal zijn.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 29

Figuur 7: Aantal gewestelijke en regionale verenigingen per categorie van aandeel subsidies vanuit het Minabesluit ten opzichte van het totaal van financiële werkingsmiddelen – op een totaal van 37 verenigingen Daarnaast werd er in de samenvattende evaluatie voor een aantal verenigingen eveneens informatie gegeven over de financiële status van de verenigingen. Van de 12 verenigingen waarvoor informatie werd gegeven, waren er vier verenigingen waar er werkpunten werden opgemerkt over dit aspect (Figuur 8). Werkpunten die aangegeven werden gingen over diversificatie van de inkomensbronnen of over het opbouwen van reserves. De verenigingen waarbij financiële werkpunten werden geformuleerd waren allen regionale verenigingen.

Figuur 8: Aantal verenigingen waarover in het evaluatierapport gerapporteerd wordt rond financiële aspecten – op een totaal van 36 verenigingen

Toevoeging vanuit gesprekken

Omdat efficiëntie moeilijk vast te stellen is, werd ingegaan op de hefbomen voor efficiënt gebruik van middelen. Er wordt bevestigd dat de subsidie inderdaad zorgt voor een dubbele hefboom: via eigen financiële middelen en

administratie

via het werken met vrijwilligers. Vooral het werken met vrijwilligers heeft , volgens de koepelorganisatie, een grote impact op de efficiëntie. Hierdoor kunnen de verenigingen meer impact bewerkstelligen dan de Vlaamse Overheid

& koepelorganisatie

zou kunnen doen met (enkel) eigen middelen. De conclusies uit de evaluatie vanuit de designkenmerken van het besluit werden bevestigd. Het betreft onder meer: -

Het feit dat verenigingen voor structurele subsidies nu niet in concurrentie van elkaar worden gesteld, omdat er voldoende middelen zijn om alle aanvragers van subsidies die voldoen aan de voorwaarden ook effectief te subsidiëren. Dit gebeurde wel voor het subsidiëren van startende verenigingen. Bij de evaluatie van de aanvragen werd door een externe commissie nagegaan welke van de verenigingen het beste scoorde.

Het feit dat in het subsidiebesluit onvoldoende gebruik wordt gemaakt van schaalvoordelen. Tijdens de visitatie werd weliswaar aangeraden aan verenigingen om meer samenwerking te zoeken. Het feit dat in het besluit drempels worden gehanteerd naar grootte van de verenigingen is dubbel: enerzijds wordt zo vermeden dat verenigingen die bv. actief zijn in slechts één gemeente, subsidies aanvragen, anderzijds worden verenigingen zo niet aangemoedigd te fusioneren om zo efficiënter te kunnen werken – de helft van hun subsidies zou immers kunnen wegvallen bij fusie tot één vereniging.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 30

Het feit dat het zuinig omgaan met de financiële middelen door de verenigingen aangemoedigd wordt, onder meer ook vanuit de vereiste dat de verenigingen een boekhouding moeten bijhouden en dat controle mogelijk is. Een volgende stap hierin zou kunnen zijn dat externe controle verplicht wordt of dat de boekhouding bij grotere verenigingen verplicht door een boekhouder moet worden opgemaakt. Dit maakt dan deel uit van professionalisering van de verenigingen.

Vanuit de administratie wordt aangegeven dat er nog niet veel gedaan wordt met de financiële informatie van de verenigingen. Een volgende stap zou kunnen zijn dat de gegevens effectief gebruikt worden om uit te zoeken of de middelen niet gebruikt worden waarvoor ze niet bedoeld waren. Om na te gaan of de middelen efficiënt worden ingezet zouden de kosten van bepaalde activiteiten vergeleken kunnen worden met een ‘referentiekost’ voor die activiteit of voor een bepaald resultaat.

Conclusie

De efficiëntie van het subsidie-instrument is vooral te danken aan de financiële hefboom die bekomen wordt via het instrument en via het feit dat de ledenverenigingen werken via vrijwilligers die niet vergoed moeten worden . Deze zaken leiden ertoe dat meer impact gegenereerd kan worden door de verenigingen dan wanneer de Vlaamse Overheid met eigen middelen de resultaten had moeten bereiken.

5.2.4

Coherentie Coherentie Omschrijving

Coherentie van het beleid betekent dat alle onderdelen van het beleid goed op elkaar afgestemd zijn, niet

evaluatiecriterium

tegenstijdig zijn met elkaar en complementair zijn aan elkaar. In deze evaluatie werd gekeken naar de mate waarin de Vlaamse Overheid rekening zou houden / kunnen houden met de resultaten (in termen van impact) die de verenigingen bewerkstelligen met behulp van de subsidies in hun eigen strategie. Rationale hierachter is dat als de verenigingen een deel van de Vlaamse beleidsdoelstellingen Omgeving kunnen realiseren, de Vlaamse Overheid voor deze specifieke doelstellingen minder mensen en middelen moet inzetten en haar beleidsinstrumentarium hierop kan afstemmen.

Evaluatie vanuit de

Het huidige besluit laat niet toe om de doelstellingen (ex ante) en resultaten (ex post) van de verenigingen op een systematische wijze mee te nemen als input voor de opmaak of bijsturing van Vlaams omgevingsbeleid. Tevens

design-

kan bij gebrek aan concrete meetbare doelstellingen die met het subsidiebesluit beoogd worden, de coherentie

kenmerken van het besluit

van de omvang van de beschikbare enveloppe met de subsidiedoelstellingen niet zinvol geëvalueerd worden.

Toevoeging vanuit gesprekken administratie

Vanuit de administratie werd aangegeven dat er weliswaar nog moeilijk rekening kon worden gehouden met de impact die bewerkstelligd wordt door de verenigingen, maar dat voor bepaalde thema’s wel reeds aan de betreffende administratie wordt doorgegeven dat specifieke verenigingen hierrond werken, zodat eventueel contact kan worden opgenomen. Verdere opvolging van wat er met deze informatie gebeurt en of er actie wordt

rond ondernomen, gebeurt momenteel nog niet.

koepel-

organisatie Conclusie

Het besluit laat vandaag geen terugkoppeling toe naar het Vlaamse beleidsniveau zodat het Vlaamse beleid en de verenigen naast elkaar werken. Gebrek aan gecoördineerde inzet van middelen leidt mogelijk tot inefficiënte inzet van middelen (redundantie/overlappingen). De coherentie van het subsidie-instrument kan niet zinvol geëvalueerd worden bij gebrek aan concrete, meetbare doelstellingen (Welke bijdrage tot de Vlaamse beleidsdoelstellingen wordt verwacht vanuit het subsidie-instrument?).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 31

5.2.5

Duurzaamheid Duurzaamheid Omschrijving evaluatiecriterium

Het evaluatiecriterium ‘duurzaamheid’ kijkt naar de impact na de subsidieperiode: Blijft de impact ook zonder subsidie voortduren? Omdat in het huidige subsidiebesluit de erkenning van de verenigingen blijft doorlopen (tenzij de vereniging niet voldoet aan de voorwaarden voor erkenning en er onvoldoende corrigerende maatregelen worden genomen) en de vereniging dus ook opnieuw subsidies kan aanvragen, is deze interpretatie van dit evaluatiecriterium voor voorliggend evaluatieonderzoek niet nuttig en niet meetbaar. Wel kunnen we nagaan welke elementen vanuit de voorwaarden uit het subsidiebesluit mogelijk blijven doorwerken ook na afloop van de subsidies.

Evaluatie vanuit de

Duurzaamheid wordt niet expliciet voorzien in het besluit. Aangezien impact moeilijk vast te stellen is, is het a fortiori gevaarlijk om uitspraken te doen over de doorwerking. Het feit dat er geen vereisten worden gesteld inzake

designkenmerken van het

de eigen bijdrage of de levensvatbaarheid van de vereniging (zonder de subsidie) betekent dat zelfs een korte termijn duurzaamheid niet wordt verzekerd vanuit het subsidiebesluit.

besluit

(mits aan een aantal voorwaarden voldaan wordt) zorgt ervoor dat het probleem van de duurzaamheid zich niet

Het huidige besluit met haar onbeperkte erkenning en mogelijkheid om structureel subsidies te blijven ontvangen acuut stelt. De professionalisering zal in principe ook na het einde van de subsidieperiode nog een tijd doorwerken (bv. planning, procedures, organisatorische ingrepen die de vereniging zich heeft eigen gemaakt).

Toevoeging

Vanuit de administratie werd aangegeven dat het inderdaad moeilijk is om nu de duurzaamheid van de subsidies

vanuit

te evalueren, daar subsidie gegarandeerd is indien de verenigingen erkend zijn.

gesprekken administratie & koepel-

Door voorwaarden op te leggen aan de subsidieontvangers (bv. meerjarenplan of -nota) kan bewerkstelligd worden dat dit ‘een manier van werken’ wordt, die in de toekomst ook zal doorwerken wanneer de subsidies

organisatie

zouden wegvallen. Hiervoor moet het meerjarenplan of -nota wel als werkinstrument worden ingezet bij de verenigingen. Dit is zeker nog niet bij alle gesubsidieerde verenigingen het geval. Voor sommige verenigingen werd deze voorwaarde vooral gezien als een vereiste om subsidies te verkrijgen en werd het meerjarenplan of -nota daarna niet meer gebruikt in de dagdagelijkse werking. De meerwaarde van het planmatig werken zou duidelijk gemaakt moeten kunnen worden aan de verenigingen, zodat ze het daadwerkelijk ook als werkinstrument zullen gebruiken.

Conclusie

Omdat de verenigingen nu nog voor onbeperkte tijd worden erkend, was een evaluatie van dit criterium onmogelijk / niet relevant. Het is wel een belangrijk aandachtspunt voor het toekomstig besluit, waarin verenigingen maar voor 5 jaar erkend zullen kunnen worden en daarna opnieuw in concurrentie gesteld zullen worden met andere verenigingen.

5.2.6

Proportionaliteit Proportionaliteit Omschrijving evaluatiecriterium

Via het evaluatiecriterium ‘proportionaliteit’ gaan we na in hoeverre de administratieve lasten (bij de verenigingen) en de beheerkosten (bij de Vlaamse Overheid) in verhouding staan tot de verleende subsidies of de bekomen resultaten (impact).

Evaluatie vanuit de

Subsidieverlener

design-

realisatie van de Vlaamse beleidsdoelstellingen Omgeving dienen bekeken te worden en de omvang van deze bijdrage niet duidelijk is.

kenmerken van het besluit

De beheerkosten voor de overheid zijn moeilijk te evalueren aangezien deze in het licht van de bijdrage tot de

Subsidieontvanger De administratieve kosten lijken in verhouding tot de ontvangen subsidie. We beschouwen hierbij de administratieve kosten als de additionele werklast (i.e. bovenop de lasten van de reguliere werking van een goed georganiseerde organisatie) die vanuit het besluit aan de begunstigde wordt opgelegd. In die zin zijn een aantal

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 32

zogenaamde administratieve lasten 'no regret' activiteiten, aangezien deze niet enkel relevant zijn om de subsidie te verkrijgen maar ook om de werking van de vereniging (voor zover dat al niet het geval is) te professionaliseren. Het besluit houdt bij het bepalen van de (administratieve) vereisten ook enigszins rekening met de omvang van de vereniging. Zo bijvoorbeeld, wordt van kleinere (regionale) verenigingen geen meerjarenplan, maar een vereenvoudigde versie hiervan in de vorm van een meerjarennota gevraagd.

Toevoeging vanuit gesprekken administratie & koepelorganisatie

Proportionaliteit kan bekeken worden vanuit de kant van de subsidieverlener en vanuit de kant van de subsidieontvanger. Subsidieverlener Momenteel is er geen zicht op de hoogte van de beheerkosten die gepaard gaan met de subsidies. Het strekt dan ook tot aanbeveling om dit te begroten en te vergelijken met andere subsidies die worden verleend (bv. beheerkost / totaal subsidiebedrag dat verstrekt wordt), bv. in vergelijking met de projectsubsidies. In de evaluatie van de Nederlandse milieuverenigingen18 (ook structurele werkingssubsidies), wordt aangegeven dat de beheerkost voor het beheer van de subsidie ca. 1,5 % bedraagt van het uitgekeerde subsidiebedrag. Dit bedrag wordt in de publicatie vergeleken met de beheerkost van andere subsidieregelingen in Nederland, waar de beheerkost al gauw 4 tot 9 % zou bedragen van het uitgekeerde subsidiebedrag. Subsidieontvanger Vanuit de koepelorganisatie wordt aangegeven dat de administratieve last van de subsidies eigenlijk niet proportioneel is, met name voor de regionale verenigingen waarvoor het subsidiebedrag redelijk laag is (€ 70.000, wat overeenkomst met 1 VTE). Alleen al de planopmaak kost hen ca. 1 manmaand. Voor gewestelijke verenigingen is de administratieve last niet zo’n issue. Zij zijn professioneler georganiseerd en bepaalde opgelegde taken zijn voor hen, zoals hierboven wordt gesteld, ‘no regret’ taken.

Conclusie

Vanuit het subsidiebesluit lijkt de additionele werklast voor de subsidieontvanger proportioneel te zijn, al kunnen er problemen optreden voor de kleinere verenigingen. Voor de overheid, als subsidieverstrekker kan vanuit het besluit de proportionaliteit niet worden vastgesteld aangezien de omvang van de beoogde bijdrage tot de Vlaamse beleidsdoelstellingen Omgeving niet duidelijk is. Bij gebrek aan concrete gegevens, kon de proportionaliteit van het besluit niet beoordeeld worden. Het strekt tot de aanbeveling om hier zowel langs de kant van de subsidieverlener als langs de kant van de subsidieontvanger gegevens over bij te houden / te verzamelen.

5.3 Samenvattende conclusies vanuit de evaluatie 5.3.1

Evaluatie van het subsidiebesluit Hieronder vatten we de conclusies van het evaluatieonderzoek samen, met name voor de evaluatiecriteria doelbereik (impact), effectiviteit en efficiëntie, maar ook voor de criteria coherentie, duurzaamheid en proportionaliteit. Doelbereik (impact) De doelstelling van het huidige besluit was om verenigingen meer vertrouwen te bieden en – via extra financiële middelen – de kans te bieden zich te professionaliseren. Duidelijke doelstellingen op het niveau output (activiteitsnormen) werden opgelegd. Beoordeeld vanuit deze doelstellingen kan afgeleid worden dat de verenigingen (i) de doelstellingen die betrekking hebben op de activiteiten behalen en (ii) er een stap gezet is bij de meeste verenigingen in termen van professioneel werken (bv. planmatig werken, diversificatie in financiële middelen, professionele vrijwilligersbegeleiding, enzovoort), hoewel er bij een aantal verenigingen hierrond nog werkpunten zijn.

Bron: Beemer F.A., van der Mark R.C., Pen M. (2003) Subsidieregeling maatschappelijke organisaties en milieu. Visievorming op de ontwikkeling van de

relaties Tussen DGM en maatschappelijke organisaties. Evaluatie.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 33

In de toekomst zou het subsidiebesluit meer moeten inzetten op het bijdragen aan de Vlaamse beleidsdoelstellingen Omgeving (in termen van intermediaire outcome en outcome). In het evaluatieonderzoek werd nagegaan of de verenigingen nu reeds bijdragen aan die Vlaamse beleidsdoelstellingen. Volgende bevindingen zijn hierin belangrijk geweest: −

− −

−

De verenigingen organiseren activiteiten volgens de activiteitsnormen opgenomen in het besluit. De impact van deze activiteiten werd door de verenigingen niet in kaart gebracht. Dit kan meerdere oorzaken hebben: bv. (i) het bewerkstelligen van impact was geen voorwaarde voor het verkrijgen van subsidies en / of (ii) de impact is moeilijk vast te stellen, te meer daar veel verenigingen werken rond educatie en draagvlakvorming (niveau intermediaire outcome). De diversiteit van de impact die door de verenigingen wordt bewerkstelligd, wordt in een publicatie opgemaakt door de koepelvereniging geïllustreerd aan de hand van voorbeelden (narratief, niet kwantitatief). Hoe groot de totale impact is van het besluit, kon tijdens het evaluatieonderzoek dan ook niet worden begroot. Daar de evaluatie van de verenigingen niet gericht is op het aantonen van impact, is hier momenteel geen informatie over beschikbaar. Cijfers over het bereik van de activiteiten die georganiseerd worden, kunnen een indicatie geven over de impact (terugvalpositie op niveau output). Aangezien het subsidiebesluit geen SMART doelstellingen op het niveau impact bevat, kon ook het doelbereik (in termen van impact) niet worden geëvalueerd.

Ondanks het feit dat er nog geen zicht is op de impact die bewerkstelligd wordt door de verenigingen, kwam wel uit het evaluatieonderzoek naar voor dat impactgericht werken bij de verenigingen haar intrede heeft gedaan, zij het al meer bij de gewestelijke dan bij de regionale verenigingen. Dit uit zich echter nog niet in scherpe impact-doelstellingen en het meten van het bereik ervan. Effectiviteit Er kon niet eenduidig bewezen worden dat de resultaten die de verenigingen boekten (minstens dus op het niveau activiteiten en output) additioneel zijn ten opzichte van wat ze zonder subsidies zouden hebben verwezenlijkt en het rechtstreekse gevolg zijn van de subsidies die verkregen worden. De subsidies nemen ca. 15 % in van de totale beschikbare middelen van de verenigingen wat zou kunnen aantonen dat minstens 15 % meer / betere activiteiten kunnen worden uitgevoerd. Daarnaast kon wel aangetoond worden dat de verenigingen professioneel werken of professioneler werken als gevolg van de subsidieverlening. Dit uit zich in het verplichte meerjarenplan / -nota die verenigingen opmaken, een professionelere vrijwilligerswerking bij ledenverenigingen, diversificatie in inkomsten, enzovoort. Uit de evaluatie is gebleken dat nog niet alle verenigingen voldoen aan verschillende criteria die gehanteerd werden om te toetsen of professioneel gewerkt wordt. Zo blijven de meerjarenplannen of nota’s bij sommige verenigingen in de kast liggen, of is er nog verbetering mogelijk op het vlak van ondersteuning van vrijwilligers of op het vlak van inkomstendiversificatie. Efficiëntie Het zuinig omgaan met middelen werd ingeschat vanuit een begroting van de verenigingen van hun financiële middelen voor de subsidieperiode 2022 – 2026. Uit deze begroting blijkt dat de potentiële financiële hefboom die gerealiseerd kan worden een factor 6 bedraagt. Voor elke € 1 subsidie die verleend wordt, kan ca. € 6 werkingsmiddelen van de verenigingen (waaronder ook andere subsidies – bv. projectsubsidies van Vlaamse overheid, maar ook subsidies van lokale overheden, lidgelden, activiteiten die ze organiseren, enzovoort)19 georiënteerd worden om bij te dragen tot de realisatie van Vlaamse beleidsdoelstellingen Omgeving. Naast deze financiële hefboom is er ook de hefboom die door ledenverenigingen gerealiseerd wordt vanuit de vrijwilligerswerking. Dit samen maakt dat, bovenop het feit dat verenigingen beter verankerd zijn in de maatschappij en meer lokale kennis hebben om doelpubliekgerichte activiteiten te organiseren, de Vlaamse Overheid heel wat meer financiële middelen nodig zou hebben om dezelfde activiteiten alleen te organiseren. Coherentie Het besluit laat vandaag geen terugkoppeling toe naar het Vlaamse beleidsniveau zodat het Vlaamse beleid en de verenigen naast elkaar werken. Gebrek aan gecoördineerde inzet van middelen leidt tot mogelijke

Ter vergelijking de subsidies van Screen Flanders aan de audiovisuele sector kennen een hefboom van 1/8: elke 1€ subsidie genereert 8 € aan

audiovisuele uitgaven in het Vlaamse Gewest gerealiseerd. Zie https://www.vlaio.be/nl/nieuws/screen-flanders-haalt-hefboom-van-meer-dan-8

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 34

inefficiënte inzet van middelen (redundantie/overlappingen). De coherentie van de omvang van de beschikbare subsidie-enveloppe met de subsidiedoelstellingen kan niet geëvalueerd worden bij gebrek aan concrete, meetbare doelstellingen. Duurzaamheid Omdat de verenigingen nu nog voor onbeperkte tijd worden erkend, was een evaluatie van dit criteriu m onmogelijk / niet relevant. Het is wel een belangrijk aandachtspunt voor het toekomstig besluit, waarin verenigingen maar voor 5 jaar erkend zullen kunnen worden en daarna opnieuw in concurrentie gesteld zullen worden met andere verenigingen. Proportionaliteit Vanuit het subsidiebesluit lijkt de additionele werklast voor de subsidieontvanger proportioneel te zijn : de administratieve last voor kleinere verenigingen die minder subsidies krijgen, is lager gehouden dan voor de grotere verenigingen. Het beperken van de administratieve last was één van de hoofdbetrachtingen van het besluit in 2015. Toch blijkt uit het gesprek met de koepelvereniging dat juist voor de kleinere verenigingen de administratieve last nog te hoog te zijn. Het besluit slaagt met andere woorden dus niet helemaal in haar opzet om die administratieve last voor alle subsidieontvangers binnen de perken te houden. Voor de overheid, als subsidie verstrekker kan vanuit het besluit de proportionaliteit niet worden vastgesteld aangezien de omvang van de beoogde bijdrage tot de Vlaamse beleidsdoelstellingen Omgeving niet duidelijk is. 5.3.2

Evalueerbaarheid Hieronder vatten we de conclusies rond evalueerbaarheid van de huidige subsidieregeling samen, en dit met betrekking tot elk van de evaluatiecriteria. Het doelbereik, in termen van realisatie van impact, kon niet worden geëvalueerd omwille van meerdere redenen: − −

In het besluit en in de begeleidende nota aan de Vlaamse Regering, werden geen SMART-gedefinieerde doelstellingen geformuleerd in termen van impact, zodat er niet kon worden afgeleid welke impact precies werd beoogd noch kon worden afgetoetst of de beoogde impact werd bereikt. De evaluatie van de verenigingen (beoordeling voortgangsrapporten, visitatie) was niet gericht op het in kaart brengen van de impact van de verenigingen, waardoor dit ook (te) weinig in kaart werd gebracht.

Positief is wel dat het planmatig werken geïntroduceerd werd (via o.m. de opmaak van meerjarenplannen / -nota’s) en dat dit planmatig werken ook aan bod is gekomen in enkele van de visitaties. Het planmatig werken kan als aanknopingspunt dienen voor een meer impactgerichte invulling van het subsidieinstrument. Indien doelbereik uitgedrukt zou worden in termen van activiteiten (Voldeden de verenigingen aan de opgelegde activiteitsnormen?), dan kan geconcludeerd worden dat dit wel evalueerbaar was. Er worden duidelijke doelstellingen voorop gesteld en de verenigingen rapporteren over de activiteiten die ze uitvoeren. De informatie die zo verkregen wordt is voldoende betrouwbaar. Het evalueren van effectiviteit gebeurde tijdens de evaluatie via het aantonen van de hypothesen die aan de beleidslogica ten grondslag lagen: enerzijds de extra / betere activiteiten die mogelijk zijn via extra financiële middelen, anderzijds de professionalisering die zou leiden tot meer, betere en beleidsrelevantere activiteiten. Deze hypothesen bestaan eigenlijk uit twee stappen: − −

De subsidie leidt tot extra middelen voor de verenigingen / professionalisering of professioneel werken; De extra middelen en de professionalisering of het professioneel werken leidt tot meer, betere en beleidsrelevantere activiteiten / resultaten.

De eerste stap in de hypothesen kon op basis van beschikbare data worden geëvalueerd. De tweede stap in de hypothese werd verondersteld op basis van enerzijds de eerste stap en anderzijds het feit dat de verenigingen voldeden aan de activiteitsnormen; de relatie tussen de twee kon echter niet objectief worden geëvalueerd. Voor wat betreft de extra middelen (hefboom) werd bij gebrek aan relevante informatie over de afgelopen periode, beroep gedaan op de begroting van de verenigingen voor de periode die net is gestart. Om effectiviteit (en efficiëntie) af te leiden, moet deze informatie blijvend verzameld worden. //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 35

Voor wat betreft professionalisering merken we op dat er geen vaste set van criteria was om dit te evalueren. Minstens in de samenvattende evaluatie op basis van de visitaties kwamen niet voor alle verenigingen alle – door ons gehanteerde – criteria rond professionalisering of professioneel werken aan bod. De informatie was met andere woorden onvolledig. Het evalueren van efficiëntie op basis van het zuinig gebruik van middelen (door administratie en door de verenigingen) is vooral gebaseerd op het in beeld brengen van de hefboom die gerealiseerd wordt met behulp van de ingezette middelen. Enkel de hefboom in termen van financiële middelen kon in kaart worden gebracht op basis van gegevens uit de subsidieaanvraag voor de periode 2022 – 2026. Voor de voorbije subsidieperiode was deze informatie niet beschikbaar. De tweede hefboom – nl. werken via vrijwilligers – kon niet in kaart worden gebracht. Informatie verzamelen hierover kan de effectieve hefboom die gerealiseerd wordt als gevolg van de subsidies nog beter inschatten. Het evaluatiecriterium duurzaamheid was nog niet relevant om te evalueren voor de voorbije subsidieperiode, omdat verenigingen, eens erkend, steeds opnieuw subsidies kunnen aanvragen en krijgen. Evalueerbaarheid van duurzaamheid van het subsidiebesluit zou willen zeggen dat de subsidieontvangers ook na afloop van de subsidies nog voor een bepaalde tijd opgevolgd worden. Coherentie kon niet worden vastgesteld. Omdat duidelijke gegevens ontbreken vanuit de verenigingen over de impact die ze bewerkstelligen, kan dit ook niet worden doorgegeven binnen de Vlaamse administratie om hier in het eigen beleid mee rekening te houden. Proportionaliteit kon niet geëvalueerd worden op basis van beschikbare data over de voorbije subsidieperiode. Zowel langs de kant van de administratie als langs de kant van de verenigingen werden geen gegevens bijgehouden rond beheerkost en administratieve last.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 36

6 Aanbevelingen In dit hoofdstuk formuleren we, als externe consultant die de evaluatie heeft uitgevoerd, aanbevelingen vanuit de inzichten die we hebben opgedaan tijdens het evaluatieonderzoek. De aanbevelingen betreffen twee aspecten: −

−

Aanbevelingen op het niveau van het subsidiebesluit: Hoe kan het subsidiebesluit verbeterd worden zodat meer impact bewerkstelligd wordt? Sommige van deze aanbevelingen zijn vrij specifiek, terwijl andere eerder als richtlijnen of handvaten worden aangereikt om de opdrachtgever te helpen bij de identificatie en de evaluatie van alternatieve design opties voor het nieuwe Minabesluit. Aanbevelingen op het niveau van een evaluatiekader: Welke lessen trekken we uit de evalueerbaarheid van het vorige subsidiebesluit en hoe kan ervoor gezorgd worden dat een subsidieregeling beter evalueerbaar is?

6.1 Aanbevelingen ten aanzien van het subsidiebesluit In deze paragraaf formuleren we aanbevelingen voor het subsidiebesluit zelf. De aanbevelingen omvatten nog een zekere vorm van keuzemenu; afhankelijk van bepaalde keuzes die gemaakt worden, zijn sommige van de aanbevelingen meer of minder van toepassing. Dit wordt in de tekst mee aangegeven. Bij het formuleren van deze aanbevelingen hebben we ook rekening gehouden met de evalueerbaarheid . Aanbevelingen formuleren waardoor het subsidiebesluit niet of moeilijk evalueerbaar zou zijn is niet aangewezen. We formuleerden 12 aanbevelingen, die achtereenvolgens aan bod komen in de onderstaande paragrafen. 6.1.1

Preciseer de ondersteuningsvorm De ondersteuning van verenigingen kan op verschillende manieren vormgegeven worden. Het is daarom van belang om stil te staan bij deze vormen en te preciseren welke vorm de voorkeur geniet voor het nieuwe subsidiebesluit. We gebruiken het beeld van een ondersteuningscontinuüm om de verschillende vormen van ondersteuning in kaart te brengen op basis van hun relatie tot de Vlaamse beleidsdoelstellingen .

Figuur 9: Ondersteuningscontinuüm

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 37

In dit continuüm treffen we volgende grote categorieën ondersteuningsvormen aan: −

−

Niet-gebonden subsidie: bij een niet gebonden subsidie gebruikt de overheid de subsidie om een bepaalde organisatie te ondersteunen. Hier is de aard van de organisatie en haar activiteiten bepalend voor de keuze van de begunstigde, niet de mogelijke bijdrage aan de Vlaamse beleidsdoelstellingen. De aanname van deze ondersteuning is dat het maatschappelijk doel en de inherente activiteiten van de verenigingen een maatschappelijke meerwaarde bieden zonder dat dit specifiek verband dient te houden met de realisatie van concrete Vlaamse beleidsdoelstellingen. De organisatie kan deze subsidiemiddelen inzetten naar eigen goeddunken. De subsidiëring van verenigingen als een vorm van ondersteuning in uitvoering van het Aarhusverdrag vormt hiervan een voorbeeld. Hier primeert de uitvoering van een verdragsverplichting. Gebonden subsidie: In dit geval is de subsidie gekoppeld aan de verplichting van de begunstigde om bij te dragen aan één of meerdere Vlaamse beleidsdoelstellingen. Binnen deze groep kan men nog een onderscheid maken tussen de subsidies waarvan de gevraagde bijdrage in de vorm van een inspanningsverbintenis dan wel als resultaatsverbintenis gedefinieerd zijn. In beide gevallen kan dezelfde beleidsdoestelling worden vastgesteld, maar zal de evaluatie van de uitvoering van de verplichting om bij te dragen op een andere manier plaatsvinden: in beide gevallen is het realiseren van het beoogde resultaat doorslaggevend: bij resultaatsverbintenis is het resultaat de enige maatstaf terwijl bij een inspanningsverbintenis bij ontstentenis van het beoogde resultaat, kan teruggegrepen worden naar de inspanning (de activiteiten) die door de begunstigde werd gedaan om het resultaat te bereiken. Indien de begunstigde zich naar redelijkheid heeft ingespannen om die te realiseren dan voldoet hij aan de subsidievoorwaarden. Mogelijk is er ook sprake van hybride tussenvormen waarin kenmerken van beide voormelde subsidievormen gecombineerd worden.

Naast deze subsidievormen kan een vereniging ook op andere manieren voor hun bijdragen aan de Vlaamse beleidsdoelstellingen vergoed worden : −

−

Thematische projectoproepen kunnen ook middelen naar de verenigingen sluizen die bijdragen tot de doelstellingen van de Vlaamse overheid. Projectoproepen werken rond een bepaald beleidsthema of -vraagstuk en kunnen tevens de verwachte impact vaststellen. De thematische projectoproepen in het kader van het Horizon Europe programma van de EU vormen een goed voorbeeld van dergelijke projectoproepen. Een projectoproep biedt een vereniging de gelegenheid om vanuit zijn eigenheid een projectvoorstel in te dienen dat bijdraagt aan de realisatie van beleidsdoelstellingen die met de thematisch projectoproep worden nagestreefd. Thematische oproepen kunnen in functie van het beleidsthema / de beleidsdoelstelling beperkt worden tot verenigingen of voor een ruimere groep opengesteld worden. Indien de finaliteit van de overheid erin bestaat om beleidsdoelstellingen te realiseren dan lijkt het logisch dat sommige oproepen niet uitsluitend aan de verenigingen worden voorbehouden. Overheidsopdrachten (aanbestedingen, offertevragen, enzovoort): hierin wordt het concreet beoogde resultaat vastgesteld in het bestek van de overheidsopdracht, mogelijk ook met een aanduiding van de verwachte activiteiten. Al zit de overheid hier aan het stuur, dit belet niet dat de verenigingen vanuit hun eigenheid in principe ook kunnen deelnemen aan een overheidsopdracht, alleen of in consortium met andere partners. Afhankelijk van de selectievoorwaarden kan de groep die tot een bepaalde overheidsopdracht wordt toegelaten, verruimd of beperkt worden. Bepaalde overheidsdopdrachten kunnen met verenigingen in het achterhoofd opgesteld worden.

Naarmate we in het continuüm vorderen, wordt de invulling van de bijdrage tot de Vlaamse beleidsdoelstellingen meer door de Vlaamse overheid bepaald. Verschillende ondersteuningsvormen kunnen in de praktijk ook naast elkaar bestaan. In het beste geval volgt deze co-existentie uit een ondersteuningsstrategie (intentioneel aspect) waarin ondersteuningsvormen worden gecombineerd in een optimale ondersteuningsmix (zie Figuur 10). Daarom wordt het Minabesluit – of enigerlei ander concreet ondersteuningsinstrument – best niet uitsluitend op zichzelf beschouwd, maar in de ruimere ondersteuningsstrategie gekaderd. Zo bijvoorbeeld kan een ondersteuning van de professionalisering van verenigingen via het Minabesluit er ook toe leiden dat verenigingen beter kunnen inspelen op projectoproepen en overheidsopdrachten (complementariteit).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 38

Figuur 10: Ondersteuningsstrategie doorvertaald naar ondersteuningsmix

6.1.2

Definieer de finaliteit van de ondersteuning Grosso modo kan de ondersteuning van verenigingen vanuit twee perspectieven bekeken worden 20: − −

De subsidiëring wordt gebruikt om verenigingen (beter) te laten bijdragen aan de Vlaamse beleidsdoelstellingen Omgeving. De subsidiëring is dan afhankelijk van de bijdragen aan de beleidsdoelstellingen. We spreken van een gebonden steun. De subsidiëring wordt gebruikt om uitvoering te geven artikel 3 §4 van het Aarhusverdrag. Tegenover deze subsidie staat geen enkele verplichte bijdrage aan Vlaamse beleidsdoelstellingen (niet gebonden ondersteuning).

Rekening houdend met deze twee opties kan het Minabesluit overeenkomstig verschillende modellen worden vormgegeven: Unieke focus In dit geval richt de subsidie zich uitsluitend op de uitvoering van het Aarhusverdrag óf de reali satie van (welbepaalde) Vlaamse beleidsdoelstellingen Omgeving. De subsidie richt zich uitsluitend op uitvoering van het Aarhusverdrag In dit geval staat de Minasubsidie uitsluitend ten dienste van de uitvoering van art 3, §4 van het Aarhusverdrag. In dit geval lijkt het zinvol om de ondersteuning te richten op de professionalisering van de organisaties, met het oog het versterken van de interne organisatie inclusief de zelfbedruipendheidsdoelstelling (zie verder paragraaf 6.1.11). Op deze wijze kan de financiële ondersteuning na verloop van tijd worden stopgezet, en kunnen de vrijgekomen subsidiemiddelen elders worden ingezet.

De conceptnota ‘Subsidies in goede banen’ verwijst naar drie redenen voor de toekenning van een subsidie: 1) De subsidie wordt

toegekend om een kerntaak van de overheid uit te voeren, waarbij de overheid meent dat deze taak ook door derden uitgevoerd kan worden (b.v. het verstrekken van onderwijs, zorg voor personen met een handicap), 2) De subsidie wordt toegekend voor een taak die de overheid belangrijk vindt, maar waarbij zij niet zelf (alleen) als actor wil optreden (bv. de organisatie van culturele evenementen), 3) De subsidie geeft het middenveld de mogelijkheid om zich te ontwikkelen, taken op te nemen (bv. subsidies aan natuur - en milieuverenigingen).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 39

De subsidie richt zich uitsluitend op de realisatie van (welbepaalde) Vlaamse beleidsdoelstellingen Omgeving In dat geval wordt de subsidie gericht op SMART gedefinieerde specifieke beleidsdoelstellingen. De subsidie wordt hier gekoppeld aan de realisatie van meetbare resultaten op impact niveau (intermediaire outcome of outcome) of – indien dit niet mogelijk of haalbaar is – op basis van de evaluatie van realisatie van resultaten in voorgaande schakels van de effectketen die tot de beoogde impact leidt. Het accent ligt in deze subsidie op het beoogde resultaat. De professionele werking of professionalisering van de verenigingen wordt an sich niet via deze subsidie ondersteund maar wordt via een afzonderlijke subsidie of andere ondersteuningsvorm (zie hierboven) afgedekt. Bij wijze van alternatief kan gekozen worden om geen afzonderlijke financiële ondersteuning voor de professionalisering te voorzien, ervan uitgaand dat de ondersteuning in het kader van het Aarhusverdrag ook via niet-financiële ondersteuning mogelijk is (bv. coaching nieuwe verenigingen) en/of dat via de subsidiëring van de realisatie van de Vlaamse beleidsdoelstellingen voldoende middelen ter beschikking worden gesteld om een professionalisering te bekostigen. Dubbele focus Hier combineert de subsidie de ondersteuning in functie van bijdragen aan de Vlaamse beleidsdoelstellingen met de ondersteuning van verenigingen in uitvoering van het Aarhusverdrag. De subsidie kan dan in twee luiken worden opgebouwd: −

−

Een eerste luik is toegespitst op de professionalisering (inclusief zelfbedruipendheidsdoelstelling) en kan desgevallend maar één- of tweemaal (voor een vijfjarenperiode) worden aangevraagd (zie verder paragraaf 6.1.11). Een tweede luik richt zich dan op de bijdrage tot de realisatie van Vlaamse beleidsdoelstellingen Omgeving. Enkel voor dit tweede luik worden specifieke resultaatsgebonden bijdragen geformuleerd (zie verder paragraaf 6.1.4).

In de conceptnota21 wordt de subsidie uit het Minabesluit aangehaald als voorbeeld van een subsidie die wordt toegekend om ‘het middenveld de mogelijkheid te geven zich te ontwikkelen, taken op te nemen’. In deze zin begrepen is er geen rechtstreekse link met concrete overheidstaken22 of Vlaamse beleidsdoelstellingen Omgeving. Door deze subsidie zullen de verenigingen wel in staat worden gebracht om ‘taken op te nemen’, zonder dat het ‘opnemen van welbepaalde taken’ an sich de reden voor de subsidie uitmaakt. 6.1.3

Expliciteer beleids- en instrumentdoelstellingen en beleidslogica Beleidsinstrumenten worden ingezet om bepaalde doelstellingen te kunnen bereiken. Dit geldt ook voor het beleidsinstrument subsidie: de effectiviteit van dit instrument dient in eerste instantie geëvalueerd te worden in het licht van de doelstelling(en) waarvoor het wordt ingezet. Voor het Minabesluit kan deze doelstelling afhankelijk van de focus de bijdrage tot de beleidsdoelstellingen Omgeving inhouden dan wel de professionalisering van de sector, dan wel beiden. We onderscheiden de beleidsdoelstellingen die zich doorgaans op impactniveau bevinden (bv. daling van de CO2 emissies) van de instrumentdoelstellingen die betrekking hebben op het resultaat dat met het subsidie-instrument wordt beoogd (bv. kennisverhoging bij burgers inzake duurzaam bouwen). Bij voorkeur moet al in de begeleidende Nota aan de Vlaamse regering bij het Besluit verduidelijkt worden: (i) voor welke beleidsdoelstellingen het beleidsinstrument ‘subsidies’ wordt ingezet, en (ii) de wijze waarop het subsidie-instrument tot de realisatie van deze doelstellingen wordt verondersteld bij te dragen (beleidslogica). Zo vermijden we dat ex post (bij de evaluatie van het subsidie-instrument) de oorspronkelijke doelstellingen en de gevolgde logica gereconstrueerd moeten worden. Opgelet: indien we de beleids- of instrumentdoelstellingen onvoldoende specifiek (de S in SMART) definiëren, bijvoorbeeld ‘aan draagvlak bouwen voor het Vlaamse omgevingsbeleid’ dan is een echte

conceptnota ‘Subsidies in goede banen’ (VR 2021 1607 MED.0260/2TER)

Cf. de eerste tweede redenen die in de conceptnota ‘Subsidies in goede banen’ als mogelijk reden voor de toekenning van een subsidie worden

aangehaald.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 40

evaluatie niet echt zinvol aangezien elke bijdrage aan het ruim gedefinieerde draagvlak (ongeacht of er een draagvlakprobleem was of niet) als de realisatie van de beoogde draagvlakcreatie kan aanzien worden. Beter is het dan om op basis van een omgevingsanalyse na te gaan rond welke omgevingsthema’s zich draagvlakproblemen voordoen (nulmeting) om vervolgens hierrond een doelstelling op instrumentniveau te definiëren. Ter illustratie kan bijvoorbeeld verwezen worden naar een SMART-gedefinieerde doelstelling “draagvlakcreatie inzake modal shift” waarbij binnen de subsidieperiode 10% verbetering ten opzichte van de nulmeting als doelstelling wordt vooropgesteld. De (nul)meting kan hier gebeuren aan de hand van een bevraging van burgers. 6.1.4

Vertaal instrumentdoelstellingen naar subsidievoorwaarden en -verplichtingen voor begunstigden Om de instrumentdoelstellingen te kunnen realiseren en naderhand te kunnen evalueren aan de hand van de vastgestelde set van criteria uit het evaluatiekader (effectiviteit, efficiëntie, proportionaliteit, duurzaamheid en coherentie) moeten de doelstellingen op instrumentniveau hun doorvertaling vinden in de subsidievoorwaarden en -verplichtingen opgelegd aan de begunstigden. De subsidievoorwaarden en -verplichtingen houden verband met de gebonden aard van de subsidie, en hebben meer bepaald betrekking op de bijdragen tot de beleidsdoelstellingen Omgeving die van de verenigingen verwacht worden. Praktisch kan hiervoor gewerkt worden met: −

Gestandaardiseerde bijdragen, waarbij de Vlaamse overheid een menu aan bijdragemogelijkheden aan de verenigingen aanbiedt, inclusief gestandaardiseerde indicatoren voor de opvolging en evaluatie van de realisatie van de bijdragen uit dit keuzemenu. Dit betekent bijvoorbeeld dat in het keuzemenu een ‘draagvlakdoelstelling voor mobiliteit’ kan worden opgenomen die betrekking heeft op de realisatie van de modal shift (% van de bevolking dat gunstig staat tegenover een model shift) en die vastgesteld wordt op basis van een bevraging bij aanvang van de subsidieperiode (nulmeting). Of met: −

Vrij te bepalen bijdragen, waarbij de verenigingen een voorstel van bijdragen formuleren en, in overleg met de administratie, indicatoren bepalen om deze te kunnen opvolgen en evalueren. In beide opties kunnen de verenigingen vanuit hun eigenheid kiezen aan welke beleidsdoelstellingen Omgeving zij willen bijdragen, zij het in het eerste geval beperkt tot het aangeboden keuzemenu. Naarmate het aantal opties in het aangeboden keuzemenu aan gestandaardiseerde bijdragen toeneemt, komt de gestandaardiseerde aanpak in de buurt van de aanpak waarin de bijdragen vrijelijk door de verenigingen kunnen worden voorgesteld. De gestandaardiseerde benadering werkt de vergelijkbaarheid en objectiveerbaarheid van de bijdragen van de verenigingen in de hand. Deze benadering lijkt bovendien efficiënter en meer voorspelbaar doordat bijvoorbeeld de monitoring van bepaalde bijdragen op een gestandaardiseerde wijze wordt georganiseerd. Daarnaast maakt een gestandaardiseerde aanpak de terugkoppeling naar het Vlaamse beleid eenvoudiger. Daartegenover staat dat de alternatieve aanpak (iets) meer mogelijkheden tot variatie biedt, en ook een betere aanpassing aan de specifieke context en kenmerken van elke vereniging toelaat. Naast twee voormelde werkwijzen kan een derde, hybride werkwijze worden overwogen waarbij een meer beperkt keuzemenu door de Vlaamse overheid worden aangereikt (top down) en de verenigingen daarnaast complementaire of alternatieve bijdragen kunnen voorstellen (bottom up). Merk op dat bij de definiëring van de bijdragen die van de begunstigde verwacht worden, ook best gepreciseerd wordt of het om een resultaats- of inspanningsverbintenis gaat. In het eerste geval voldoet de begunstigde enkel aan zijn verplichting als hij het vooropgestelde resultaat bereikt. In het tweede geval kan ook zonder realisatie van het beoogde resultaat aan de verplichting zijn voldaan, indien de begunstigde aantoont dat hij zich naar redelijkheid heeft ingespannen om het beoogde resultaat te bereiken. In de praktijk is het verschil tussen beide verbintenissen sterk afhankelijk van een aantal factoren, zoals de schakel in de effectketen waarop de verbintenis betrekking heeft, de wijze waarop het resultaat of de inspanning dient bewezen te worden, en het verschil in gevolg dat aan de niet realisatie van de verbintenis wordt gegeven (bv. geheel of gedeeltelijke opschorting of terugvordering van uitbetaling subsidie). Bij de keuze voor een inspanningsverbintenis of resultaatsverbintenis wordt best gekeken naar de controleen invloedsfeer van diegene die een bepaald resultaat moet bereiken (zie ook Figuur 16). Voor resultaten die geheel of in ruime mate binnen de controle- of invloedsfeer van de vereniging liggen, kan met een //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 41

resultaatsverbintenis gewerkt worden. Immers, er wordt dan vanuit gegaan dat de vereniging voldoende grip heeft op alle factoren die het bereiken van het resultaat kunnen beïnvloeden. Indien het resultaat zich in ruime mate buiten de controleen invloedsfeer van de vereniging bevindt dan zal doorgaans een inspanningsverbintenis meer gepast zijn. Immers, als het bereiken van het beoogde resultaat afhankelijk is van vele externe factoren waarop de vereniging geen vat heeft, dan kan deze laatste – naar redelijkheid – enkel geacht worden haar best te doen om bij te dragen aan het beoogde resultaat. Hoewel resultaten op outputniveau vaker geheel binnen de controle of invloedsfeer van de vereniging vallen dan resultaten op (intermediaire) outcomeniveau, is dit niet steeds het geval. Zo bijvoorbeeld kan een (her)bebossingsresultaat (outcome) perfect binnen de controleen invloedsfeer van een natuurvereniging liggen. Het realiseren van een modal shift resultaat ligt dan weer een stuk buiten de invloedsfeer van een vereniging. In de praktijk betekent dit dat men in functie van het beoogde resultaat dient vast te stellen of we met een inspannings- of een resultaatsverbintenis te maken hebben. Indien er meerdere resultaten beoogd worden, dient dit voor elk resultaat afzonderlijk te gebeuren. 6.1.5

Stimuleer schaalvergroting Het huidig minimum aantal gemeenten waarbinnen verenigingen actief moeten zijn, kan behouden blijven (selectiecriterium) maar een hoger aantal gemeenten kan worden meegenomen bij de evaluatie van de ingediende aanvragen (toekenningscriterium). In een toekenningsproces dat voldoende concurrentie toelaat wordt de schaalvergroting dan een competitief voordeel. Een alternatieve oplossing kan er in bestaan dat men slechts 1 subsidie per organisatie toestaat en dat bv. de entiteiten die behoren tot eenzelfde moederorganisatie als één entiteit worden beschouwd (criteria nader te definiëren). Bijkomend kan bij de bepaling van referentiekosten (zie paragraaf 6.1.6) rekening worden gehouden met de schaalvoordelen van een grote(re) organisatie. Kleinere organisaties die deze schaalvoordelen niet genieten, zullen dus een kleiner deel van hun kosten door de subsidie kunnen dekken. Merk op dat een schaalvergroting voornamelijk relevant is wanneer men met een forfaitaire subsidie per vereniging werkt. Indien de omvang van de subsidie in functie van de omvang van het resultaat wordt geformuleerd (bv. x euro per ha extra bos of per 1.000 inwoners die hun nummerplaat inleveren) dan is schaalvergroting an sich minder van belang. Immers, de schaalvergroting heeft dan geen invloed op de efficiëntie van de subsidie: de overheid betaalt steeds dezelfde som voor het resultaat (de vereniging draagt het inefficiëntierisico zelf).

6.1.6

Objectiveer de hoogte van de subsidie: gebruik van referentiekosten of referentiebaten De hoogte van de subsidie kan geobjectiveerd worden door met referentiekosten te werken. Praktisch kunnen deze referentiekosten bepaald worden door de beoogde doelstellingen te relateren aan goede praktijken om deze doelstellingen te bereiken (= referentiestrategie) en de kost van deze praktijken (bv. via een Activity Based Costing benadering) te bepalen. Om te vermijden dat de begunstigden automatisch en uitsluitend de goede praktijken die voor de referentieberekening gebruikt werden zouden herhalen en we aldus (weer) in een output gerichte (tick the box) uitvoering zouden terechtkomen, kan men ervoor opteren om: −

−

De goede praktijken enkel als voorbeeld van een mogelijke uitvoeringsstrategie om de doelstelling(en) te bereiken, aan de begunstigden mee te geven en hen ook niet af te rekenen op de uitvoering van de activiteiten, maar wel op het bereiken van het resultaat. Dit moet de begunstigden doen nadenken over de relevantie van de betreffende goede praktijk in hun concrete context, en kan hen ertoe aanzetten om zelf alternatieve - meer effectieve of efficiënte - praktijken in te zetten om de beoogde doelstelling te bereiken. Bij wijze van alternatief kunnen de goede praktijken uitsluitend voor de berekening van de referentiekosten worden gebruikt, en voor het overige niet aan de begunstigden als mogelijke referentiestrategie meegedeeld worden. Deze benadering dwingt de begunstigden om zelf een strategie te ontwikkelen om de doelstellingen te bereiken, maar ontzegt men tegelijk hen de informatie over de goede praktijken en de gunstige invloed hiervan op de kwaliteit van de doelrealisatie.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 42

Merk op dat minstens in theorie de hoogte van de subsidie ook in relatie tot baten kan bepaald worden. De baten kunnen bijvoorbeeld bepaald worden aan de hand van de kosten die de overheid zou moeten dragen indien ze hetzelfde resultaat zonder de verenigingen zou moeten realiseren (voor zover dit al mogelijk is). De bepaling van kosten van alternatieve opties is doorgaans niet eenvoudig. Daarnaast is het ook belangrijk om te stellen dat vanaf een bepaalde hefboom de exacte kostenbatenverhouding sowieso minder relevant lijkt, omdat de hefboom (via eigen middelen of vrijwilligers) er voor zorgt dat de baten de kosten altijd overschrijden. In dat geval lijkt de bepaling van de subsidiehoogte in relatie tot de baten minder relevant, en volstaat het om te werken met referentiekosten. 6.1.7

Bepaal de basis voor subsidietoewijzing In het huidige besluit wordt de subsidie op forfaitaire wijze vastgesteld in functie van de aard en omvang van de vereniging. De omvang van de bijdrage is an sich niet bepalend voor de hoogte van de subsidie. In een meer impactgerelateerde aanpak kan men de subsidie relateren aan de omvang van de bijdrage en een vergoeding voorzien voor het bekomen resultaat. De vergoeding wordt dan gekoppeld aan een aantal ‘eenheden resultaat’. Bijvoorbeeld een vergoeding van ‘x euro per 100 additionele inwoners die hun huis tot E-peil A of B renoveren’ of ‘x euro per 100 inwoners die hun nummerplaat inruilen tegen een openbaar vervoer abonnement’. Merk op dat: −

−

− −

6.1.8

deze aanbeveling verenigbaar is met het gebruik van referentiekosten, indien de referentiekosten worden vastgesteld per eenheid impact die gerealiseerd wordt, bv. referentiekosten voor ‘x euro per 100 additionele inwoners die hun huis tot E-peil A of B renoveren’. een (efficiënter) alternatief erin kan bestaan om de verenigingen zelf een voorstel van eenheidskost te laten formuleren, eventueel met als maximum het bedrag van de referentiekost en het voorgestelde bedrag mee te nemen bij de evaluatie van de subsidieaanvraag in het selectieproces (aanmoediging concurrentie). er met voorschotten kan gewerkt worden op basis van de gekwantificeerde (tussentijdse) resultaten waartoe de vereniging zich verbindt. het voorgaande voornamelijk van toepassing is indien de subsidie verenigingen wil doen bijdragen aan Vlaamse beleidsdoelstellingen. Indien de subsidie uitsluitend vanuit de verplichtingen uit het Aarhusverdrag wordt gemotiveerd, dan kan de subsidie geobjectiveerd worden door deze bijvoorbeeld te koppelen aan het aantal leden van de vereniging of het aantal inwoners van het gebied dat door de vereniging wordt afgedekt.

Vereis een minimum aan eigen inkomsten van de vereniging Omdat de onbeperkte erkenning verdwijnt in het nieuwe subsidiebesluit en ook een vijfjaarlijkse evaluatie wordt voorzien, wordt de vraag naar de duurzaamheid belangrijker. Vaak zal het voortbestaan van de vereniging een essentiële (maar an sich onvoldoende) voorwaarde zijn om de duurzaamheid van de subsidieresultaten te kunnen waarborgen. Een mogelijke oplossing kan erin bestaan om een minimum aan eigen inbreng / inkomsten als vereiste te voorzien zodat de basiswerking van de vereniging nooit (geheel) afhankelijk wordt van subsidies. Merk op dat dit tegelijkertijd ook bijdraagt tot het creëren van een hefboom, hetgeen de efficiëntie van het subsidie-instrument dan weer verbetert.

6.1.9

Optimaliseer dekkingsgraad grondgebied Een partiële of wisselende geografische dekking maakt de integratie van de mogelijke bijdrage van de verenigingen aan de Vlaamse beleidsdoelstellingen Omgeving in het Vlaamse beleid moeilijk. Indien bijvoorbeeld draagvlak moet gecreëerd worden (bv. rond een modal shift doelstelling) dan moet de overheid bijkomende beleidsinstrumenten inzetten om een totale gebiedsdekking te realiseren, indien de begunstigde verenigingen slechts en gedeeltelijk dekking kunnen verzorgen of de gewestelijke dekking niet overal even kwalitatief kan gerealiseerd worden. Dit is omslachtig. In de veronderstelling dat de verenigingen net worden ingeschakeld omdat zij over bepaalde troeven beschikken, is dit ook weinig effectief/efficiënt.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 43

Mogelijk kan een oplossing gevonden worden via een globale dekkingsverplichting op het niveau van de koepelvereniging23 of gebiedsdekkende gewestelijke thematische of ledenverenigingen. De koepelvereniging of gewestelijke vereniging ontvangt dan een bijkomende subsidie, waarmee het op zoek kan gaan naar relevante verenigingen die de ontbrekende gebieden kunnen afdekken. De relevantie van zo’n globale dekking(sverplichting) moet per doelstelling onderzocht worden. Bepaalde doelstellingen kunnen slechts voor bepaalde delen van het Vlaams gewest relevant zijn en moeten dan ook niet onder de globale dekkingsverplichting gebracht worden. 6.1.10

Garandeer diversiteit aan verenigingen / aan bijdragen tot beleidsdoelstellingen Omgeving Uit de evaluatie van het Minabesluit bleek dat een groot deel van de begunstigde verenigingen uit dezelfde thematische hoek afkomstig zijn (in casu, natuurbescherming) terwijl andere Omgevingsthema’s (bijvoorbeeld rond mobiliteit) eerder uitzonderlijk op de lijst van de begunstigden voorkwamen . Om een grotere thematische diversiteit aan verenigingen te verzekeren kan men de concurrentie van de verenigingen thematisch organiseren. Hierbij worden in eerste instantie de verschillende verenigingen onderverdeeld per thema (waarbij ook een multi-thema categorie voorzien kan worden) aan de hand van hun hoofdactiviteiten. Vervolgens worden de verschillende organisaties binnen een bepaald thema gerangschikt in functie van hun scores op de evaluatie. Tenslotte, gaat men over tot de toewijzing van de subsidies waarbij telkens de hoogst gerangschikte vereniging binnen een bepaald thema een subsidie wordt toegewezen tot de subsidie-enveloppe is uitgeput (zie Figuur 11).

START

Thema 1

Thema 2

Thema 3

Thema 4

Thema 5

Vereniging 1.1

Vereniging 2.1

Vereniging 3.1

Vereniging 4.1

Vereniging 5.1

Vereniging 1.2

Vereniging 2.2

Vereniging 3.2

Vereniging 4.2

Vereniging 5.2

Vereniging 1.3

Vereniging 3.3

Vereniging 4.3

Vereniging 5.3

Vereniging 1.4

Vereniging 3.4

Vereniging 4.4

Vereniging 1.5

Vereniging 3.5

Vereniging 4.5

STOP

Vereniging 1.6

Vereniging 4.6

(subsidie-enveloppe opgebruikt)

Vereniging 1.7

Vereniging 4.7

Vereniging 1.8

Figuur 11 : Verzekeren van thematische diversiteit aan verenigingen

Merk op dat indien voor een meer impactgerichte subsidiëring geopteerd wordt, men een alternatieve benadering kan gebruiken om rechtstreeks een voldoende diversiteit aan bijdragen tot beleidsdoelstellingen te verzekeren, in plaats van via de omweg van een thematische diversiteit aan verengingen. In dit geval kunnen individuele enveloppes voor een beperkt aantal thematische doelstellingen vastgesteld worden (bv. een 5-tal). Deze kunnen gelijkmatig of in functie van het thema en het beoogde resultaat worden aangepast. De verenigingen worden dan uitgenodigd om hun voorstel van bijdrage tot de thematische doelstelling van hun keuze mee te delen. Deze bijdragevoorstellen worden geëvalueerd en binnen elke thematische beleidsdoelstelling gerangschikt in functie van hun score. In dit geval ontvangen de best gerangschikte voorstellen binnen een bepaald thematische beleidsdoelstelling een subsidie tot aan uitputting van de thematische subsidie-enveloppe. Voor de thematische beleidsdoelstellingen waarvan de

Naar analogie met de centraal georganiseerde dekking van gebieden die niet door energiehuizen worden afgedekt.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 44

enveloppe ook na bediening van alle voorstellen, nog een overschot vertoont, wordt dit overschot aan de andere thematische beleidsdoelstellingen ter beschikking gesteld of doet men een extra oproep rond dit thema. Merk op dat in dit geval ook de nood aan een erkenning van verenigingen kan laten varen en men daarnaast de subsidie kan openstellen aan een ruimere groep dan enkel de huidige verenigingen.

Figuur 12: Verzekeren van de diversiteit aan gesubsidieerde voorstellen

Het gebruik van deze toewijzigingsbenaderingen veronderstelt dat er een voldoende groot aantal subsidieaanvragen wordt ingediend, zodat de subsidieverlener ook daadwerkelijk een keuzemogelijkheid heeft. Dit veronderstelt dat er ook een actief communicatie- en promotiebeleid rond de subsidie gevoerd zal worden. Een aanpassing van het subsidiebesluit zal dus waarschijnlijk ook een wijziging van de communicatie rond de subsidie vergen. Tot op heden was dit minder van belang aangezien het Minabesluit slechts een beperkte concurrentie toeliet. 6.1.11

Preciseer professionaliseringsdoelstellingen Het is aannemelijk dat een professionele organisatie een betere of grotere bijdrage tot de Vlaamse omgevingsdoelstellingen kan leveren. Professionalisering van de verenigingen vormt in dit opzicht een legitieme doestelling. Deze ‘professionalisering’ kan op verschillende manieren ingevuld worden. Deze kan zich richten op een verbetering van de kwaliteit van de ‘dienstverlening’ en/of op de interne organisatie van de vereniging, waaronder het financiële beheer van de organisatie. Indien men ervan uit gaat dat een professionele organisatie zelfbedruipend dient te zijn, dan is de finaliteit van de ondersteuning bereikt, en de ondersteuning op dit vlak overbodig vanaf het moment dat de organisatie zelf in het leeuwendeel van de middelen die nodig zijn voor haar basiswerking kan voorzien. Deze eigen middelen kunnen bestaan uit lidgelden en inkomsten uit een dienstverlening aan derden, waaronder projectsubsidies voor de Vlaams overheid, projecten met EU steun, enzovoort. Een alternatief kan erin bestaan om het accent te leggen op de professionalisering van de dienstverlening en/of de interne werking, zonder dit aan een zelfbedruipendheidsdoelstelling te koppelen. In dat geval zal waarschijnlijk een meer structurele ondersteuning op de lange termijn nodig zijn. Vanuit een impact- en efficiëntie-oogpunt lijkt het relevant om de professionalisering ook te richten op de zelfbedruipendheid van verenigingen. Zo kan de ondersteuning na verloop van tijd worden afgebouwd en komen deze middelen beschikbaar voor andere verenigingen. Zo versnellen we de professionalisering van een groter deel van de verenigingen. Bovendien wordt hiermee een essentiële voorwaarde van de //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 45

duurzaamheid van de subsidieresultaten gerealiseerd, namelijk het verzekeren van het voortbestaan van de verenigingen. In deze benadering lijkt het redelijk de professionaliseringsondersteuning tot één à twee vijfjarenperiodes te beperken. 6.1.12

Controle van de interne coherentie De aanbevelingen die hierboven werden uiteengezet, laten vaak nog een aantal alternatieve concretiseringsopties open. Sommige van deze opties zijn moeilijk met andere opties te combineren. Om de verenigbaarheid van een concrete combinatie van opties te waarborgen is het aangeraden om een coherentiecontrole uit te voeren, om zo tot een werkbaar geheel te komen. Tabel 2 hieronder biedt – uitsluitend ter illustratie – een voorbeeld van dergelijke combinatie van concretiseringopties voor aanbevelingen tot een coherent geheel. Hierin illustreren we hoe keuzes voor de concretisering van bepaalde aanbevelingen doorwerken in de concretisering van andere aanbevelingen. Zo bijvoorbeeld bepaalt het werken met een set van 5 beleidsdoelstellingen, onder meer het bijdragekeuzemenu en de nood aan het vaststellen van een subsidie per resultaatseenheid. Tabel 2: Voorbeeld – Concretisering aanbevelingen tot een coherent geheel Aanbevelingen

VOORBEELD Concretisering aanbevelingen tot een coherent geheel

Preciseer de ondersteuningsvorm

Hybride subsidie: een deel ongebonden en een deel gebonden ondersteuning

Definieer de finaliteit

Zowel ondersteuning in het kader van Aarhusverdrag (ongebonden gedeelte van de

van de ondersteuning

ondersteuning) als bijdrage tot Vlaamse beleidsdoelstellingen Omgeving (gebonden gedeelte van de ondersteuning)

Expliciteer beleids- en

Vijf SMART gedefinieerde beleidsdoelstellingen Omgeving voor de periode 2022-2026: waaronder, bij wijze van voorbeeld, volgende modal shift doelstelling: - tegen 2030 wagengebruik doen dalen met 30% tegenover 2022 (beleidsdoelstelling) - tegen 2026 realiseert (=draagt bij) het subsidie instrument een reductie van 5% van het wagengebruik tegenover 2022 (subsidiedoelstelling) Er wordt met een keuzemenu gewerkt (1 keuze voor elk van de 5 beleidsdoelstellingen). De modal shift doelstelling wordt naar volgende bijdrage/verbintenis vertaald: - bijdrage- of resultaatseenheid 100 inwoners die afstand doen van eigen wagen. Vereniging bepaalt zelf tot hoeveel eenheden het zich zal verplichten (eventueel kan dit geplafonneerd worden); - subsidiebedrag: x euro per 100 inwoners die zich van hun wagen ontdoen; - vaststelling van realisatie van het resultaat: bewijs van inlevering van nummerplaat gekoppeld aan een intentieverklaring van de betrokken inwoner dat hij/zij binnen de 2 jaar geen nieuwe nummerplaat zal aanvragen; - type verbintenis: inspanningsverbintenis want de doelstelling ligt gedeeltelijk buiten controle – en invloedsfeer van de vereniging.

instrumentendoelstell ingen en beleidslogica 4.

Vertaal instrumentendoelstellingen naar subsidievoorwaarden en -verplichtingen voor begunstigden

Stimuleer schaalvergroting

Hier niet van belang want er wordt geen forfaitair bedrag per vereniging betaald; er wordt met resultaateenheden gewerkt.

Objectiveer de

Er wordt gewerkt op basis van referentiekosten. Hiervoor vertrekken we vanuit de activiteiten en goede praktijken die redelijkerwijze tot de realisatie van een resultaatseenheid kunnen leiden, bijvoorbeeld de gemiddelde kostprijs van een informatiecampagne om 1 resultaatseenheid (100 inwoners die zich van hun wagen ontdoen) te realiseren. De subsidie per resultaatseenheid wordt op 20% van de referentiekost bepaald om rekening te houden met het hefboomeffect van de vereniging (inzet eigen middelen van de vereniging en vrijwilligerswerking). Per resultaatseenheid die bereikt wordt, ontvangt de vereniging 100% van het subsidiebedrag; voor de eenheden die niet bereikt werden, ontvangt de vereniging 60% indien de inspanning voldoende werd bewezen. Er wordt met voorschotten gewerkt op basis van gerealiseerde mijlpalen/resultaten.

hoogte van de subsidie: gebruik van referentiekosten of referentiebaten 7.

Bepaal de basis voor subsidietoewijzing

Vereis een minimum

Van de verenigingen wordt verwacht dat ze aantonen dat ze hun vaste kosten integraal met eigen

aan eigen inkomsten

inkomsten kunnen afdekken, OF in aanmerking komen voor de ondersteuning van

van de vereniging

professionalisering (zie verder).

Optimaliseer

Voor regio's die onvoldoende zijn afgedekt ontvangt de koepelorganisatie middelen om een aantal

dekkingsgraad grondgebied

resultaatseenheden te realiseren. Het ambitieniveau wordt hier vastgesteld op basis van het gemiddeld aantal resultaatseenheden dat over het gedekte grondgebied wordt gerealiseerd. De koepelorganisatie kan zelf of via ledenverenigingen in niet afgedekte gebieden dit resultaat

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 46

Aanbevelingen

VOORBEELD Concretisering aanbevelingen tot een coherent geheel bereiken. In dit laatste geval kan de koepelorganisatie de ontvangen subsidie gebruiken om deze ledenverenigingen te vergoeden.

10.

11.

Garandeer diversiteit

Per thematische beleidsdoelstelling wordt een afzonderlijke enveloppe vastgesteld en de

aan verenigingen / bijdragen tot thematische doelstellingen

verenigingen dienen een voorstel van bijdrage in. Deze voorstellen worden per thematische doelstelling geëvalueerd en de hoogstgerangschikte voorstellen per thematisch doelstelling worden gesubsidieerd totdat de subsidie-enveloppe opgebruikt is.

Preciseer professionaliseringsdoelstellingen

Verenigingen die over onvoldoende eigen middelen beschikken, ontvangen éénmalig een ondersteuning gedurende 5 jaar die hen in staat moet stellen te professionaliseren en onder meer zelfbedruipend te worden.

Tenslotte, indien de subsidie erop gericht is om verenigingen te doen bijdragen tot de Vlaamse beleidsdoelstellingen, dan moet deze ‘bijdrage’ vanuit coherentieoogpunt met het beleid van de Vlaamse overheid verenigbaar zijn. Zo bijvoorbeeld, gesteld dat de overheid beslist om vooral in te zetten op kernenergie (= overheidsbeleid) om haar emissiereductiedoelstelling te bereiken dan kunnen verenigingen die rechtstreeks tegen kernenergie ageren, moeilijk ondersteund worden zonder het overheidsbeleid te hypothekeren. De acties van de verenigingen ondermijnen het overheidsbeleid, en brengen mogelijk zelfs de realisatie van de beleidsdoelstelling in het gedrang (door stand-still/blokkering). Hier tegenover staat dat verenigingen die zich – in het aangehaalde voorbeeld – inzetten voor hernieuwbare energie, vanuit coherentieoogpunt wel ondersteund kunnen worden. Dit omdat de activiteiten van deze verenigingen niet rechtstreeks indruisen tegen het overheidbeleid (kernergie en hernieuwbare energie sluiten elkaar niet per definitie uit) en bijdragen tot de realisatie van de beleidsdoelstellingen. Uiteraard kunnen verenigingen die geheel in lijn zijn met het overheidsbeleid ook ondersteund worden. Om, enerzijds, verenigingen de vrijheid te bieden om zelf te bepalen hoe zij tot de Vlaamse beleidsdoelstellingen willen bijdragen, en, anderzijds, vanuit coherentieoogpunt er voor te zorgen dat de acties van de gesubsidieerde verenigingen (minstens) geen afbreuk doen aan het Vlaamse beleid, kan een verenigbaarheidstoets worden ingesteld. Deze toets kan bij de erkenning worden toegepast bij de analyse van de meerjarenplannen en -nota’s. Zo’n verenigbaarheidstoets kan achterwege worden gelaten indien de subsidie louter in het kader van de uitvoering van de verplichtingen uit het Aarhusverdrag wordt ingesteld. Immers, de activiteiten van de verenigingen dienen in dat geval niet per se verenigbaar te zijn met het overheidsbeleid: de bescherming van de belangen van de burgers staat hier centraal.

6.2 Aanbevelingen ten aanzien van een evaluatiekader voor de vijfjaarlijkse evaluatie van subsidies Vanuit het evaluatieonderzoek, en vooral vanuit de inzichten die opgedaan werden ten aanzien van evalueerbaarheid van het subsidiebesluit, formuleren we hieronder aanbevelingen ten aanzien van een evaluatiekader voor de vijfjaarlijkse evaluatie van subsidies. In paragraaf 6.2.1 geven we het kader weer dat gebruikt kan worden voor het opstellen van een evaluatiekader; in paragraaf 6.2.2 formuleren we aanbevelingen per evaluatiecriterium. In paragraaf 6.2.3, tenslotte, formuleren we aanbevelingen met betrekking voor de daadwerkelijke dataverzameling (data-acquisitie). 6.2.1

Kader voor het opstellen van een evaluatiekader Het schema van De Peuter et al. (2007) vormt een goed kader om een evaluatiekader samen te stellen (Figuur 13). Alle evaluatiecriteria komen hierin terug. In het kader van voorliggende opdracht en om duidelijk te maken dat er nog verschillende niveaus zitten in het blokje ‘geobserveerde effecten’, hebben we dit schema herwerkt naar een schema dat gebruikt kan worden voor alle subsidies van het beleidsdomein Omgeving (Figuur 14).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 47

Figuur 13: Schematische weergave evaluatiecriteria in een beleidslogica Bron: De Peuter B., De Smedt J., Bouckaert G. (2007) Handleiding beleidsevaluatie. Deel 1 – Evaluatiedesign en Management

Figuur 14: Bijgewerkt schema evaluatiecriteria voor het opstellen van een evaluatiekader voor subsidieregelingen

In het subsidie-instrument onderscheiden we input, processen en output, maar ook bij de subsidieontvanger kan dit onderscheid gemaakt worden: input (nl. subsidies en andere inkomsten), activiteiten en output. Uiteindelijk leidt de output van de subsidieontvanger tot intermediaire outcome (in termen van kennis, houding en gedrag van de doelgroep van de activiteiten van de subsidieontvanger) en tot outcome (bv. wijzigingen in de leefomgevingskwaliteit). Het bewerkstelligen van deze (intermediaire) outcome is het eigenlijke doel van het subsidie-instrument. We lichten hieronder de evaluatiecriteria kort toe: −

Relevantie: via dit evaluatiecriterium wordt nagegaan of de doelstellingen van het subsidie-instrument tegemoet komen aan maatschappelijke noden en behoeften.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 48

−

Interne coherentie: dit evaluatiecriterium geeft informatie weer over de mate waarin strategische en operationele doelstellingen een samenhangend geheel vormen. Specifiek in het kader van subsidieverlening is het nuttig na te gaan in hoeverre de subsidies complementair zijn aan andere overheidsingrepen bij het bereiken van bepaalde beleidsdoelstellingen en er dus in het Vlaamse Overheidsoptreden rekening wordt gehouden met de resultaten (impact) die bewerkstelligd worden door de subsidieontvangers. − Externe consistentie: via dit evaluatiecriterium wordt nagegaan in welke mate de doelstellingen compatibel zijn met doelstellingen binnen andere beleidsvelden. De criteria doelbereik, effectiviteit, efficiëntie en duurzaamheid linken de geobserveerde effecten – en wel die op het niveau van (intermediaire) outcome (of dus: impact) – met het subsidie-instrument: −

−

6.2.2

Het evaluatiecriterium doelbereik geeft aan in welke mate de doelstellingen van het subsidieinstrument werden bereikt. Het vergelijkt met andere woorden de impact (intermediaire outcome en outcome) met de doelstellingen die ook in termen van impact werden geformuleerd. Doelbereik kan ook in termen van output worden geformuleerd: het vergelijken van de verwezenlijkte output met de output-doelstellingen. Effectiviteit geeft weer in welke mate de geobserveerde effecten toe te schrijven zijn aan de subsidie. Dit evaluatiecriterium stelt de vraag naar causaliteit: in welke mate is hetgeen gerealiseerd wordt door de subsidieontvanger het gevolg van de subsidies. Efficiëntie tenslotte geeft de verhouding weer tussen de geobserveerde effecten en de input (in mensen en middelen, door de subsidieverlener). Effectiviteit is een voorwaarde om van efficiëntie te spreken. Indien de causaliteit tussen de geobserveerde effecten en de subsidie niet kan worden vastgesteld, kan men ook niet spreken van efficiënt inzetten van mensen en middelen. Duurzaamheid bekijkt de mate waarin de effecten blijven bestaan na het beëindigen van het beleid. In het kader van een subsidie-instrument wil dit dus zeggen dat gekeken wordt naar de evolutie van de effecten na afloop van het subsidieprogramma.

Aanbevelingen voor het evaluatiekader vanuit de conclusies van het evaluatieonderzoek Hieronder formuleren we aanbevelingen voor elk van de evaluatiecriteria voor de opmaak van een evaluatiekader. We formuleren de aanbevelingen generiek zodat ze kunnen worden gebruikt in het opmaken van een evaluatiekader voor eender welk subsidie-instrument van het departement Omgeving. Relevantie Het evalueren van de relevantie is een praktijk die ex ante plaatsvindt, i.e. bij de voorbereiding van een nieuw subsidiebesluit. Eigenlijk draait het erom om op basis van de maatschappelijke noden en behoeften, relevante doelstellingen voor het subsidiebesluit vast te stellen (zie ook eerder, paragraaf 6.1.3). Het vaststellen van de maatschappelijke noden en behoeften gebeurt dus best voorafgaand aan de nieuwe periode van de subsidieregeling en kan een oefening zijn die voor het hele beleidsdomein Omgeving tegelijk wordt uitgevoerd (cfr. Omgevingsanalyse naar aanleiding van een nieuwe regeringsvorming). Belangrijk hierbij zijn volgende vragen: − − −

Welke zijn de belangrijke omgevingsuitdagingen die we tijdens deze beleidsperiode willen aanpakken? Welke doelstellingen stellen we onszelf met betrekking tot deze omgevingsuitdagingen? Welke van deze uitdagingen kunnen we als Vlaamse Overheid niet alleen aanpakken? Of welke van deze uitdagingen kunnen op een efficiëntere wijze door andere actoren aangepakt worden? Welke actoren buiten de Vlaamse Overheid hebben specifieke hefbomen in handen, waardoor ze de uitdagingen wel of efficiënter kunnen aanpakken? Welke drempels houdt hen tegen om dit al zelf te doen?

Op basis van deze vragen en het inzicht in de belangrijkste omgevingsuitdagingen, kunnen specifieke doelstellingen voor een subsidiebesluit naar actoren die kunnen bijdragen aan het bereiken van de beleidsdoelstellingen rond specifieke omgevingsuitdagingen worden opgesteld. Relevante doelstellingen zijn dan doelstellingen die op het niveau van ‘impact’ (intermediaire outcome of outcome) worden geformuleerd, en die zo SMART mogelijk worden geformuleerd. Eens dit protocol werd gevolgd, kunnen we stellen dat de relevantie van het subsidiebesluit is bewezen. Ex post moet dit niet meer geëvalueerd worden, maar kan – ter voorbereiding van een volgende periode van subsidies – nagegaan worden of de maatschappelijke noden en behoeften, zoals in het begin van de subsidieperiode werden opgesteld, nog even prangend zijn. Misschien zijn sommige noden en behoeften //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 49

gelenigd en moet daar niet meer rond gewerkt worden, misschien zijn er nieuwe noden en behoeften bijgekomen. Doelbereik Indien de doelstellingen van het subsidiebesluit, zoals hierboven wordt aanbevolen, zo SMART mogelijk en liefst op het niveau van impact geformuleerd zijn, is het mogelijk om ex post na te gaan in welke mate deze doelstellingen ook echt bereikt werden. Dit wil zeggen dat de evaluatie van de subsidieontvangers ook voldoende gericht moet zijn op de impact die ze bewerkstelligen. Drie vragen zijn hier leidend: − − −

Welke impact werd bewerkstelligd door de subsidieontvangers? Hoe groot is de impact die bewerkstelligd werd? In welke mate draagt de impact die bewerkstelligd is bij tot het bereiken van de vooropgestelde doelstellingen?

Om de evaluatie impactgericht te laten plaatsvinden, is het nodig dat de subsidieontvanger inzicht heeft en geeft in de impact die hij bewerkstelligt en bij het begin van de subsidieverlening ook weet dat hij dit inzicht zal moeten geven (bv. in een voortgangsrapportage). Voor bepaalde omgevingsonderwerpen is dit gemakkelijker dan voor andere. Belangrijk is dat de subsidieontvanger al van bij de subsidieaanvraag nadenkt over de impact die hij verwacht te kunnen bewerkstelligen. Dit kan bv. door de subsidieontvanger te vragen om een interventielogica op te stellen die de (veronderstelde) relatie weergeeft tussen de acties die de subsidieontvanger plant te ondernemen en hoe hij denkt dat deze acties zullen leiden tot de gewenste impact. Impact in termen van omgevingsdoelstellingen zijn echter vaak niet op korte termijn zichtbaar. In het beste geval kan na een subsidieperiode van 5 jaar aangegeven worden wat de impact is geweest. Tussentijds, en als de impact te moeilijk te meten is, moet gezocht worden naar een terugvalpositie. De ‘interventielogica’ waarvan hierboven sprake is in deze een nuttige tool. Net zoals in een beleidslogica (opgesteld voor het instrument subsidie en vanuit het standpunt van de administratie), wordt het pad (of de paden) uiteengerafeld vanaf het punt van het ontvangen van de subsidies tot aan de impact die wordt beoogd: Welke verandering brengen de subsidies met zich mee, binnen de organisatie, in de activiteiten die worden uitgevoerd, in de output die bereikt kan worden en zo voort tot de impact die bewerkstelligd kan worden? Bij het opstellen van de interventielogica kan voor elk van de stappen in de paden worden aangegeven hoe ‘veel’ men verwacht te bereiken. Indien na afloop van de subsidieperiode de impact (nog) niet meetbaar is, kan afgedaald worden via die interventielogica naar een stap eerder (bv. van outcome naar intermediaire outcome of van intermediaire outcome naar output). Deze gegevens zijn ook nuttig in het zoeken naar verklarende factoren waarom men als subsidieontvanger al dan niet de beoogde impact heeft kunnen realiseren. Effectiviteit Voor het bewijzen van effectiviteit, verwijzen we naar de effectiviteitsladder (Figuur 15). In deze ladder wordt aangegeven hoe de effectiviteit (causaal verband tussen de waargenomen effecten en de subsidie) het best bewezen / onderbouwd kan worden. Onomstotelijk bewijs kan enkel indien een semi-wetenschappelijk experiment benadering kan worden toegepast (hoogste sport van de ladder), bv. door een groep die geen subsidies ontvangt te vergelijken met een groep de wel subsidies ontvangt en/of (gecombineerd met) een nulmeting en een meting na afloop van de subsidieperiode. Deze benadering is vaak niet mogelijk. Toch hoeft dan niet afgestapt worden van het zoeken naar onderbouwing voor effectiviteit. De beleidslogica (opgemaakt door en vanuit het standpunt van de administratie) is op dat moment een belangrijk instrument. Voor elk van de onderliggende hypothesen van de beleids- en interventielogica kan (i) onderbouwing gezocht worden in de feiten, i.e. bij de subsidieontvangers zelf, (ii) kan nagegaan worden of de hypothesen die gesteld worden plausibel (aannemelijk) zijn en (iii) kan nagegaan worden of er elders reeds bewijs van werd geleverd (bv. in wetenschappelijke literatuur).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 50

Figuur 15: Effectiviteitsladder

De tweede hoogste sport van de ladder verdient de voorkeur indien de semi-experimentbenadering niet mogelijk is. Het strekt tot aanbeveling dat de administratie bij de voorbereiding van het subsidiebesluit een beleidslogica uittekent en expliciteert welke drempels men denkt op te lossen door het geven van de subsidies en hoe dit ertoe kan leiden dat de subsidieontvanger bijdraagt aan het behalen van de vooropgestelde doelstellingen. Eens de beleidslogica is opgesteld, kan nagegaan worden welke elementen zeker aanwezig moeten zijn in de evaluatie (en dus in de rapportage van de subsidieontvanger naar de administratie). Dit kan in het toekennen van de subsidies aan de subsidieontvanger meegegeven worden (bv. via een template voor rapportage – zie ook verder in paragraaf 6.2.3). Efficiëntie We herhalen hier dat een beleidsinstrument slechts efficiënt kan zijn indien eerst de effectiviteit werd aangetoond. In het evaluatiekader moet aandacht gaan naar het verzamelen van gegevens rond zuinig omgaan met middelen. Indien de subsidies niet 100 % van de kost van de subsidieontvanger bedragen, kan ervan uitgegaan worden dat de middelen zuinig worden ingezet: −

Vanuit de kant van de administratie: een hefboom wordt gecreëerd – met minder middelen wordt hetgeen bereikt dat de Vlaamse Overheid enkel zou kunnen bereiken met meer middelen; − Vanuit de kant van de subsidieontvanger: indien de subsidieontvanger deels eigen middelen gebruikt om de beoogde impact te bereiken, zal hij gemakkelijker zuinig omgaan met middelen dan wanneer de subsidies 100 % bedragen. In het evaluatiekader moet met andere woorden plaats zijn voor het begroten van de hefboom (per subsidieontvanger, zodat dit geaggregeerd kan worden naar het totaal over het subsidie-instrument – zie ook verder in paragraaf 6.2.3). Coherentie In de evaluatie moet geïdentificeerd kunnen worden of er een feedback loop is naar de activiteiten / strategie van de Vlaamse Overheid. Wordt er rekening gehouden met de resultaten die behaald worden door de subsidieontvangers bij het vastleggen van de strategie voor de overheid zelf? Dit kan (i) ex ante, na het toekennen van de subsidies en op basis van beoogde impact zoals door de subsidieontvangers aangegeven en (ii) ex post om het eigen beleid bij te sturen of te bevestigen. De subsidieverlener moet zich zo organiseren dat dit mogelijk is en nadien ook zo dat gegevens hierover verzameld kunnen worden. De coherentie betekent eveneens dat de omvang van de globale subsidie-enveloppe wordt afgestemd op het resultaat dat men met het subsidie-instrument wil bereiken. Om de coherentie tussen doelstellingen en financiële middelen na te gaan, kan gekeken worden naar de wijze waarop de globale subsidie-enveloppe wordt berekend, en welke factoren hierbij in rekening worden gebracht. Het lijkt hier zinvol om na te gaan of er een (kosten)afweging plaatsvond tussen de inzet van alternatieve instrumenten om hetzelfde resultaat te bereiken.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 51

Duurzaamheid Ex ante (i.e. bij de voorbereiding van een nieuwe subsidieperiode) moet nagegaan worden of de subsidie afgestemd is op de vijfjarige looptijd van de subsidies, met de vraag of de subsidieontvangers de gerealiseerde resultaten na vijf jaar al dan niet kunnen voortzetten. Om duurzaamheid ex post te meten, zou in het evaluatiekader plaats voorzien moeten worden om de subsidieontvangers bv. vijf jaar na afloop van de subsidieperiode waarin ze subsidies ontvingen, opnieuw te bevragen (met dezelfde indicatoren als bij de ex post evaluatie na afloop van de subsidieperiode – nl. in eerste instantie gericht op de impact die ze realiseerden- of via een korte gerichte vragenlijst). Om de duurzaamheid van de effecten te kunnen verklaren, is het ook aangewezen om in de interventielogica van de verenigingen af te dalen en ook onderliggende elementen op te volgen (kwalitatieve evaluatie). Proportionaliteit Voor proportionaliteit moeten gegevens bijgehouden worden rond: − −

De beheerkost (kant van de administratie); De administratieve last (kant van de subsidieontvanger).

Voor deze laatste kan gevraagd worden aan alle subsidieontvangers om in de rapportage weer te geven hoeveel mandagen / -maanden werden gespendeerd aan de verschillende handelingen die te maken hebben met de subsidie (aanvraag, rapportering, evaluatie, enzovoort) of kan er voor gekozen worden om dit steeksproefgewijze te doen of zelfs om te werken via een referentiekost voor elk van deze handelingen . 6.2.3

Dataverzameling in kader van evaluatie Hieronder geven we nog aanbevelingen voor het daadwerkelijk verzamelden van informatie om de evaluatie van een subsidie na afloop van de vijfjaarlijkse subsidieperiode te kunnen uitvoeren . Dit kan een kader vormen voor het opmaken van een data-acquisitieplan. Belangrijk is dat de subsidieverlener dit dataacquisitieplan reeds opgemaakt heeft bij de lancering van de subsidie zodat de verplichtingen rond rapportage hierop kunnen worden afgestemd. We formuleren hieronder eerst enkele generieke punten, om dan in te zoomen op het Minabesluit. Generiek – geldend voor alle subsidie-instrumenten Een essentieel punt bij het beoordelen van subsidies, is het zicht krijgen op de ‘impact’ van de subsidie en dus op de impact die de subsidieontvanger weet te bewerkstelligen. Zowel bij doelbereik als bij effectiviteit staat het in kaart brengen van die impact centraal. Voor de andere evaluatiecriteria (efficiëntie, coherentie, duurzaamheid en proportionaliteit) geldt dat als de effectiviteit niet kan worden aangetoond, er geen sprake kan zijn van een positieve beoordeling: een subsidie-instrument kan niet efficiënt zijn als het niet effectief is, noch kan het instrument dan proportioneel, duurzaam of coherent zijn. Zoals hierboven reeds werd gesteld is het zichtbaar / meetbaar maken van ‘impact’ niet zo evident en geven we mee dat voldoende gegevens voorhanden moeten zijn als ‘terugvalpositie’ voor het geval de impact (nog) niet meetbaar is. In Figuur 16 geven we een eenvoudige interventielogica weer voor een subsidieontvanger. We onderscheiden hierin 3 niveaus voor het verzamelen van de gegevens: − −

−

Het niveau van input en activiteiten die de subsidieontvanger organiseert. Hier heeft de subsidieontvanger volledige controle over. Gegevens hiervoor bijhouden en doorgeven aan de subsidieverlener zou gemakkelijk moeten zijn. Het niveau van output (bv. bereik dat men gerealiseerd heeft door middel van activiteiten die gerealiseerd werden). De subsidieontvanger kan dit beïnvloeden (bv. via campagnes van bekendmaking van de activiteiten), maar niet helemaal controleren. Ook hiervoor kunnen gemakkelijk gegevens verzameld worden en bijgehouden / doorgegeven worden aan de subsidieverlener. Het niveau impact (intermediaire outcome en outcome). Het betreft de gevolgen van de activiteiten en de output die men realiseerde. Dit is het niveau waarin we geïnteresseerd zijn, maar dit is dus vaak moeilijker te meten. Indien blijkt dat de meetbaarheid te moeilijk is, kan teruggevallen worden op gegevens rond de output of zelfs de activiteiten.

Het niveau van ‘controle’ van de subsidieverlener op de verschillende schakels in de effectketen is ook belangrijk om te beslissen of de subsidie verleend zal worden via een resultaats- dan wel een inspanningsverbintenis (zie paragraaf 6.1.4).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 52

Figuur 16: Impactketen voor individuele subsidieontvangers

Op dit generieke niveau formuleren we de aanbevelingen om voor elk van de schakels in de impactketen, informatie te laten aandragen door de subsidieontvangers, bv. in hun voortgangsrapport, eindrapportage, enzovoort, maar op een zo eenvoudig mogelijke manier (bv. getallen over bereik ten opzichte van wat beoogd werd, gecombineerd met korte ‘narratieven’ in de lijn van de interventielogica die aantonen dat de impact (al dan niet) bewerkstelligd wordt via het bereik dat bereikt werd). De informatie kan dan door de subsidieverlener over alle subsidieontvangers worden geaggregeerd tot totalen voor het hele subsidie-instrument en extra informatie die beschikbaar is bij de subsidieverlener kan hieraan toegevoegd worden, zodat voldoende informatie beschikbaar is voor het beantwoorden van de belangrijkste evaluatievragen. Specifiek voor het subsidie-instrument Minabesluit In Figuur 17 geven we, specifiek voor het subsidie-instrument Minabesluit, een aanzet van de informatie die verzameld zou moeten worden om de verschillende evaluatiecriteria in te vullen. We werken aan de hand van de interventielogica voor de individuele subsidieontvanger, maar geven eveneens aan welke informatie de Vlaamse Overheid moet verzamelen en / of moet aggregeren vanuit de informatie die aangebracht wordt door de subsidieontvangers. Dit overzicht is niet volledig, maar maakt duidelijk hoe te werk kan worden gegaan om er zeker van te zijn dat de juiste en voldoende gegevens verzameld worden om de evaluatie correct te kunnen uitvoeren.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 53

Figuur 17: Aanzet tot oplijsting gegevensverzameling over de verschillende schakels in de impactketen heen door zowel subsidieontvanger als subsidieverlener //////////////////////////////////////////////////////////////////////////////////////////////////////////////// 54

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 55

//////////////////////////////////////////////////////////////////////////////////////////////////////////////// 56