Issuu

ADVIES NR 7 Analyserapport

////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

CONCEPTUEEL KADER VOOR HET OPSTELLEN VAN KPIâ€™S IN FUNCTIE VAN BELEIDSDOELEN ANALYSERAPPORT MEI 2019 ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

www.vario.be

De Vlaamse Adviesraad voor Innoveren en Ondernemen (VARIO) adviseert de Vlaamse Regering en het Vlaams Parlement over het wetenschaps-, technologie-, innovatie-, industrie-, en ondernemerschapsbeleid. De raad doet dit zowel op eigen initiatief als op vraag. VARIO werd bij besluit opgericht door de Vlaamse Regering op 14 oktober 2016. VARIO werkt onafhankelijk van de Vlaamse Regering en de partijen in het werkveld. De voorzitter en de negen leden van VARIO zetelen in eigen naam: Lieven Danneels (voorzitter)

Koen Vanhalst

Dirk Van Dyck (plaatsvervangend voorzitter)

Vanessa Vankerckhoven

Katrin Geyskens

Marc Van Sande

Wim Haegeman

Reinhilde Veugelers

Johan Martens

Hilde Windels

Het secretariaat is gevestigd in Brussel: Koolstraat 35 1000 Brussel +32 (0)2 553 24 40 info@vario.be www.vario.be

CONCEPTUEEL KADER VOOR HET OPSTELLEN VAN KPIâ€™S IN FUNCTIE VAN BELEIDSDOELEN ANALYSERAPPORT MEI 2019

COLOFON Ontwerp: Vlaamse Overheid/VARIO Mei 2019 Alle publicaties zijn gratis te downloaden via www.vario.be of via https://www.vlaanderen.be/nl/publicaties Coverfoto ÂŠ www.shutterstock.com

AUTEURSRECHT Alle auteursrechten voorbehouden. Mits de bronvermelding correct is, mogen deze uitgave of onderdelen van deze uitgave worden verveelvoudigd, opgeslagen of openbaar gemaakt zonder voorafgaande schriftelijke toestemming van VARIO. Een correcte bronvermelding bevat in elk geval een duidelijke vermelding van organisatienaam en naam en jaartal van de uitgave.

INHOUD Analyse ter ondersteuning van het advies ........................................................................................................................... 1 1.

Opstellen van Key Performance Indicators In Vlaanderen

1.1. 1.2.

Langetermijnstrategie en doelstellingen van de Vlaamse Regering Indicatoren voor wetenschap en innovatie

1 4

1.3. 2.

KPI’s en parameters Vlaamse instrumenten/structuren/actoren/programma’s Europese Commissie - monitoring, evaluatie en impact van W&I-beleid

9 15

2.1. 2.2.

Monitoring Evaluatie

15 16

2.3. 3.

Impactmeting Benchmark oefening

18 19

3.1. 3.2.

Horizon 2020 en Horizon Europe Nederland – wetenschapsbeleid

19 22

Bijlage 1: Vizier 2030 ......................................................................................................................................................................... 27 Bijlage 2: Overzicht KPI’s ................................................................................................................................................................ 30 Bibliografie .............................................................................................................................................................................................. 36

ANALYSE TER ONDERSTEUNING VAN HET ADVIES Ter ondersteuning van het advies “Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelen” werd een analyse uitgevoerd van bestaande kaders voor het opstellen van KPI’s (Key Performance Indicators). Het eerste hoofdstuk van dit analyserapport bevat een overzicht van de huidige ‘state-of-play’ in Vlaanderen m.b.t. het opstellen van KPI’s en outputparameters. Daarbij wordt gekeken naar de langetermijnstrategie van de Vlaamse Regering. Vervolgens wordt aangehaald welke rol de VRWB en daarna de VRWI reeds hebben gespeeld bij het opvolgen van doelstellingen specifiek voor wetenschap en innovatie. Tot slot volgt een samenvatting van de KPI- en outputparameter-setting op het niveau van Vlaamse instrumenten/structuren/actoren/programma’s. Hoofdstuk 2 bevat informatie over monitoring, evaluatie en impact van het wetenschaps- en innovatiebeleid van de Europese Commissie. In hoofdstuk 3 wordt een beperkte benchmark oefening gemaakt voor het lopende Horizon 2020 en het toekomstige Horizon Europe programma van de EU en voor wetenschap in Nederland (Balans van de Wetenschap, 2018). In bijlage 1 wordt uit Vizier 2030 een selectie opgenomen van doelstellingen en indicatoren m.b.t. levenslang leren, wetenschap en innovatie. Bijlage 2 geeft een overzicht van bestaande KPI’s voor de SOC’s (strategische onderzoekscentra), speerpuntclusters en het nieuwe beleidsplan Artificiële Intelligentie (AI). Ter ondersteuning van het analyserapport werd deskresearch uitgevoerd. De analyse en het advies werden door VARIO voorbereid in zijn vergaderingen van 12 maart, 17 april en 21 mei 2019. Het advies werd schriftelijk goedgekeurd op 28 mei 2019.

OPSTELLEN VAN KEY PERFORMANCE INDICATORS IN VLAANDEREN

KPI’s moeten slim gezet worden; het beleid moet duidelijke doelstellingen formuleren waaraan dan KPI’s gekoppeld worden. Zoals aangegeven in het conceptueel kader in het advies, moet dat gebeuren op drie niveaus: (1) Vlaamse Regering, (2) beleidsdomeinen en (3) instrumenten/structuren/actoren/programma’s. In dit hoofdstuk gaan we dieper in op wat er momenteel bestaat/in gebruik is op deze niveaus en wat de sterke en zwakke punten ervan zijn.

1.1.

Langetermijnstrategie en doelstellingen van de Vlaamse Regering

Het beleid is verantwoordelijk voor het opmaken van een langetermijnstrategie met daaraan gekoppeld doelstellingen, middelen, tijdsdimensie en monitoring-tools. In het verleden werden door de Vlaamse Regering reeds verschillende strategische oefeningen gemaakt zoals bv. Vlaanderen in Actie (ViA) en Pact 2020, een nieuw toekomstpact voor Vlaanderen met 20 doelstellingen, opgemaakt in 2009.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 28.05.2019 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen Pagina 1 van 38

Eind 2015 kwam de VN-resolutie ‘Transforming our world: the 2030 agenda for sustainable development’1 tot stand. Daarbij werd vertrokken vanuit de uitdagingen en kansen voor onze wereld vandaag. Het resultaat is 17 duurzame-ontwikkelingsdoelstellingen (SDG’s) die samen een geïntegreerd, ondeelbaar en universeel actieplan voor vrede, mensen, planeet, welvaart en partnerschap vormen. De VN 2030-agenda voor duurzame ontwikkeling roept de lidstaten op om werk te maken van de implementatie van de SDG’s. Vlaanderen maakte in 2016 daarom een SDG-implementatie-agenda2: -

Stap 1: Ontwikkeling van een duidelijke langetermijnvisie afgestemd op de SDG’s Stap 2: Vertalen naar een Vlaams SDG-kader en definiëring van Vlaamse 2030-doelstellingen Stap 3: Implementeren van de 2030-doelstellingen ▪ Analyseren van de doelafstanden ▪ Bepalen en uitvoeren van remediërende acties ▪ Ondersteunen van goede praktijken Stap 4: Ontwikkelen van een aangepast monitorings- en rapporteringsysteem Stap 5: Integreren van de SDG’s in de interne werking, het management en de instrumenten van de overheidsinstellingen Stap 6: Samenwerking met de steden, gemeenten en provincies Stap 7: Voeren van een aangepast belanghebbendenmanagement en aangaan van nieuwe partnerschappen.

Een aantal stappen uit deze agenda werden al gezet. Stap 1: In 2016 werd Visie 20503 – een langetermijnstrategie voor Vlaanderen – uitgewerkt. Deze visie is afgestemd op de SDG’s van de VN. Om de doelstellingen van Visie 2050 te laten slagen moet de Vlaamse Regering werken aan zeven transitieprioriteiten: circulaire economie, slim wonen en leven, industrie 4.0, levenslang leren, samen leven in 2050, mobiliteit en energietransitie. Stap 2: Vanuit de twee kaders (VN-resolutie en Visie 2050) stelde Vlaanderen eind 2018, begin 2019 ‘Vizier 2030 - een 2030 doelstellingenkader voor Vlaanderen’ op4. Vizier 2030 biedt de vertaling van de VN SDG’s naar een Vlaams kader en Vlaamse 2030-doelstellingen. Meer specifiek werden er 48 Vlaamse 2030doelstellingen opgesteld, met een label volgens de 17 SDG’s en gegroepeerd onder een aantal grotere dimensies: (1) voor een inclusieve samenleving; (2) via een nieuwe economie; (3) binnen de ecologische grenzen van de planeet; (4) met een open en wendbare overheid in partnerschap. Stap 4: Vizier 2030 bevat ook een daarop aangepast monitoring- en rapporteringsysteem. De huidige indicatorenset bestaat uit 84 unieke indicatoren, waarvan negen zogenaamde ‘dashboard’-indicatoren die een globaal beeld per dimensie geven (Tabel 1). De keuze van indicatoren is gebaseerd op kwaliteit, meetbaarheid, relevantie en internationale vergelijkbaarheid, met een sterke voorkeur voor reeds bestaande indicatoren. In bijlage 1 wordt een selectie van doelstellingen en indicatoren opgenomen ter illustratie.

https://sustainabledevelopment.un.org/post2015/transformingourworld Mededeling aan de Vlaamse Regering - Implementatie van Sustainable Development Goals in Vlaanderen (VR 2016 2810 MED.0419/1). 3 https://www.vlaanderen.be/vlaamse-regering/visie-2050 4 VR 2019 0504 DOC.0431/20802 DOC.0130/2 1

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 2 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen

28.05.2019

Tabel 1: Monitoringsysteem Vizier 2030 – ‘Dashboard’ indicatoren Dimensies

‘Dashboard’ indicatoren

Personen in Vlaanderen met een risico op armoede of sociale uitsluiting Aandeel van de bevolking in (zeer) goede gezondheid Voor een inclusieve Deelname aan hoger onderwijs naar scholingsgraad moeder, naar samenleving geslacht Aandeel 18-24-jarigen dat geen kwalificatie heeft van het niveau SO en geen onderwijs of opleiding meer volgt Werkzaamheidsgraden, werkloosheidsgraden, gemiddelde effectieve uittredeleeftijd Via een nieuwe economie Productiviteitsgroei, naar sector 3%-norm (GERD) Binnen de ecologische Biodiversiteitsindex grenzen van de planeet Aspecten van imago: transparantie, efficiëntie, samenwerken, Met een open en wendbare vernieuwend, voortdurend verbeteren, klantgerichtheid, overheid in partnerschap toegankelijkheid en betrouwbaarheid Bron: Vizier 2030: Een 2030-doelstellingenkader voor Vlaanderen (VR 2019 0504 DOC.0431/2)

Het beleidsdocument ‘Vizier 2030: een 2030-doelstellingenkader voor Vlaanderen’ stelt het volgende m.b.t. de implementatie en opvolging (Stap 3): “Door de SDG’s als basis te hanteren voor het 2030-

doelstellingenkader, zetten we stappen om de verkokering in het beleid tegen te gaan en te werken vanuit een meer integrale visie. Deze integrale en transversale benadering trekken we ook door richting implementatie. De aanloop naar de nieuwe legislatuur vormt een geschikt moment om hiertoe een aantal elementen aan te reiken. De eigenlijke implementatie van Vizier 2030 zal immers uitgewerkt worden in de beleidsdocumenten bij aanvang van de volgende regeerperiode”. In het beleidsdocument wordt tevens aangegeven dat de opvolging via twee sporen zal gebeuren: 1)

De klassieke monitoring via de indicatorenset biedt een overzichtelijke weergave met een globale stand van zaken van het 2030-doelstellingenkader en een indicatieve status van individuele doelstellingen. 2) Bij aanvang van de nieuwe legislatuur, wanneer de beleidsinformatie wordt opgemaakt i.k.v. de beleids-en begrotingstoelichting (BBT), zal er per beleidsveld worden voorzien in een koppeling met Vizier 2030.

Box 1: Sterkte-zwakte analyse Vizier 2030 + Een langetermijnstrategie met doelstellingen + Er zijn indicatoren gekoppeld aan de doelstellingen + De indicatoren werden gekozen op basis van kwaliteit, meetbaarheid, relevantie en internationale vergelijkbaarheid, met een sterke voorkeur voor reeds bestaande indicatoren + Internationaal gekaderd - Te groot aantal doelstellingen (zowel strategisch als meer operationeel) - Geen prioritering van doelstellingen; mogelijke tegenstrijdigheden in doelstellingen - Onduidelijk voor indicatoren of het gaat over input-, output-, resultaat- of impactindicatoren - Sommige indicatoren bevatten een duidelijke target, andere niet - Linken tussen doelstellingen en beleidsdomeinen zijn te eng; te weinig domeinoverschrijdend en transversaal - De SDG-implementatie-agenda bevat alleen informatie over monitoring. Over evaluatie of impact van de langtermijndoelstellingen wordt niets vermeld

1.2.

Indicatoren voor wetenschap en innovatie

In het verleden werden door de VRWB5 en de VRWI6 reeds een kader en instrumentarium uitgewerkt voor het monitoren van het W&I-beleid (wetenschap en innovatie). Zowel de VRWB als de VRWI vertrokken daarvoor vanuit beleidsdoelstellingen; respectievelijk het Innovatiepact en relevante beleidsdocumenten zowel op het niveau van de Vlaamse Regering als voor het beleidsdomein EWI. Naast deze kaders van de VRWB en de VRWI omvat het Vlaams Indicatorenboek tevens een verzameling van beleidsindicatoren rond wetenschap, technologie en innovatie. 1.2.1.

VRWB-kernindicatoren

In 2003 werd de VRWB door het kabinet van toenmalig minister Dirk Van Mechelen gevraagd om de evaluatie en opvolging van het Innovatiepact7 voor te bereiden, en in het bijzonder om een instrumentarium uit te werken voor de kwantitatieve evaluatie van het Innovatiepact. De opzet van de oefening was “om die indicatoren te selecteren die zinvol zijn om de sterktes en zwaktes van het

innovatiebeleid in Vlaanderen te monitoren, rekening houdend met de verschillende fases in het innovatietraject”.8 Hierbij werd de volgende stappen gevolgd.

Stap 1: Maatstaven of indicatoren werden gekoppeld aan een systemische analyse van de tekst van het Innovatiepact. “Een deductieve of systemische analyse betekent dat de tekst wordt geanalyseerd in

termen van input-activiteiten-output-effecten ten aanzien van het gehele innovatietraject en dit in een context van doelstellingen en omgevingsfactoren ’(zie Figuur 1). Daarbij werd per artikel nagegaan in Vlaamse Raad voor Wetenschapsbeleid – een voorganger van VARIO. Vlaamse Raad voor Wetenschap en Innovatie – voorganger van VARIO. 7 De twee kerndoelstellingen van het Innovatiepact zijn (1) de 3%-norm voor de O&O-uitgaven en (2) waaraan en hoe moeten de middelen besteed worden, welk omgevingsklimaat is daarvoor nodig. 8 VRWB (2004) Aanbeveling 22 Innovatiepact: Referentie-instrumentarium voor de kwantitatieve evaluatie. 5 6

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 4 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen

28.05.2019

welke mate de omschreven doelstellingen en engagementen meetbaar zijn en welke indicator deze het best benadert.” (meer informatie over evaluatie en input-activiteiten-output-effecten in hoofdstuk 2). Figuur 1: VRWB-aanpak deductieve/systemische analyse van de tekst van het Innovatiepact

Bron: VRWB (2004) Aanbeveling 22 Innovatiepact: Referentie-instrumentarium voor de kwantitatieve evaluatie (door Prof. Geert Bouckaert, Instituut voor de Overheid, KU Leuven, lid van de toenmalige commissie Begroting en Financiën van de VRWB).

Het resultaat was een zeer uitgebreide indicatorenlijst. De volgende bemerkingen werden toen gemaakt: -

Niet alle uit te voeren acties (door de verschillende innovatie-actoren) zijn te vertalen in meetbare indicatoren. Er zijn niet voor alle indicatoren actuele cijfers beschikbaar voor Vlaanderen. Sommige indicatoren moeten nog ontwikkeld worden.

Stap 2: Om tot een voor Vlaanderen onmiddellijk hanteerbaar referentie-instrumentarium te komen, werd een selectie gemaakt van de uitgebreide indicatorenlijst (cfr. stap 1) op basis van onderstaande criteria: -

Meetbaarheid voor Vlaanderen; Internationaal vergelijkbaarheid; Zoveel mogelijk aansluitend bij de bestaande statistieken; Evenwichtige vertegenwoordiging van indicatoren: ▪ Evenwicht tussen indicatoren die input, activiteiten/processen, output en effect/impact meten van het innovatieproces.

▪

Evenwicht tussen de indicatorencategorieën (1) menselijk potentieel, (2) het creëren van nieuwe kennis, (3) overdracht en toepassing van kennis, en (4) innovatiefinanciering, output en -markten. Evenwicht tussen indicatoren m.b.t. de verschillende innovatie-actoren: universiteiten en hogescholen, onderzoeksinstellingen, bedrijven, overheid…

Het resultaat was een lijst met 11 prioritaire kernindicatoren. Daarnaast werden ook nog secundaire indicatoren opgesteld, die vaak afgeleid zijn van de prioritaire kernindicatoren en/of deelaspecten ervan omvatten. Tevens werd een lijst met gewenste indicatoren opgenomen, die op dat moment nog niet bestonden. Meer specifiek betrof het indicatoren rond: de (1) doorstroom van doctoraatsonderzoek naar technologie, (2) mobiliteit tussen onderzoeksinstellingen en industrie, (3) toegevoegde waarde gecreëerd door spin-offs en (4) aantal werknemers dat opleiding volgt in ondernemingen. We merken op dat het meten van deze topics momenteel nog altijd een discussiepunt is en er nog hiaten bestaan. Op vraag van toenmalig viceminister-president Fientje Moerman werd deze lijst van 11 prioritaire kernindicatoren in 2005 aangevuld met een indicator die de fiscale gunstmaatregelen voor onderzoek en ontwikkeling (O&O) kan monitoren en Vlaanderen ook op dit vlak internationaal kan positioneren.

Tabel 2: Overzicht 11+1 VRWB-kernindicatoren Type indicator

Indicator categorie

Financiële middelen Input Menselijk potentieel Overdracht en toepassing van Activiteiten/ kennis intern in processen Vlaanderen Innovatiefinanciering Creëren van nieuwe Output/ kennis prestaties Innovatieoutput en markten Op het vlak van Effecten/ menselijk potentieel impact Op economisch vlak Fiscaliteit in (extra) O&O-beleid

Kernindicatoren GERD: ‘Gross Expenditure on R&D’ (of BUOO: Bruto Binnenlandse Uitgaven voor Onderzoek en Ontwikkeling), uitgedrukt als % van het bbpr (ook wel de O&O-intensiteit genoemd) GBAORD: ‘Government Budget Outlays or Appropriations on R&D’ (of overheidskredieten voor O&O) uitgedrukt als % van het bbpr Totaal O&O-personeel in % van de beroepsbevolking Nieuwe W&T-gediplomeerden (leeftijdsgroep 20-29 jaar) Totaal aantal innoverende bedrijven (% van aantal bedrijven in de industrie- en dienstensector) Investering van risicokapitaal in hightech-sectoren (% van het bbp) Aantal aangevraagde EPO-octrooien met Vlaamse uitvinder/miljoen inwoners Nieuwe producten (% van de totale omzet van de industriële en diensten bedrijven) Tewerkstellingsgraad in medium-hightech en hightech industrie; in hightech diensten (uitgedrukt in % totale beroepsbevolking) Groei van het Bruto Binnenlands Product (bbp) Exportaandeel van de hightech sectoren in Vlaanderen ß-index: indicator voor de fiscale O&O-stimuli

Bron: VRWB (2004) Aanbeveling 22 Innovatiepact: Referentie-instrumentarium voor de kwantitatieve evaluatie.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 6 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen

28.05.2019

Van 2005 tot 2011 vulde de VRWB, en later de VRWI, tweejaarlijks de 11+1 VRWB-kernindicatoren in en bekeek hun evolutie doorheen de tijd9. De scores voor Vlaanderen werden waar mogelijk uitgezet ten opzichte van de groep Europese landen die historisch, economisch en innovatief sterk presteerden, het EU-27 gemiddelde, de Verenigde Staten enz. Op basis van deze analyses werden adviezen geformuleerd in functie van een performant Vlaams innovatiebeleid. De extra-indicator i.v.m. fiscaliteit werd in 2011 niet meer opgenomen. 1.2.2.

VRWI/VARIO-indicatoren

Omwille van grondige wijzigingen in het innovatielandschap en op het vlak van indicatoren zelf, werd in 2014 een update van het indicatorenset uitgevoerd door de opvolger van de VRWB, de VRWI. Er werd een volledig nieuw concept uitgewerkt op basis van de volgende principes: Principe 1: Doorvoeren van een systematische koppeling met de Vlaamse beleidsdoelstellingen inzake wetenschap en innovatie. Hierbij werden de o.a. de volgende beleidsdocumenten en acties geconsulteerd: Vlaanderen in Actie, Pact 2020, Regeerakkoord 2009-2014, Beleidsnota W&I Beleidsnota Economie 20092014 enz. Daarbij werden vier doelstellingen geĂŻdentificeerd om een topregio te worden: -

Voldoende middelen voor W&I; Beschikbaarheid van hooggekwalificeerd menselijk kapitaal; Kenniscreatie als fundament voor innovatie; Een performant en kennisintensief economisch weefsel.

Principe 2: De indicatorenset werd beperkt tot de eerder klassieke welomlijnde W&I-indicatoren. Er werd bewust gekozen om geen brede outcome indicatoren op te nemen. Principe 3: Er werd ook voor de eerste keer een meta-kwaliteitsanalyse aan de voorgestelde indicatorenset gekoppeld. Er werd nagegaan in welke mate de geselecteerde indicatoren beantwoordden aan de volgende criteria: internationale vergelijkbaarheid, frequentie, betrouwbaarheid en validiteit (meet de indicator het onderliggend concept zoals vermeld in de corresponderende beleidsdoelstellingen?). Principe 4: De indicatorenset liet toe om thematisch te verfijnen en in te zoomen op specifieke aspecten van het wetenschaps- en innovatiebeleid. Het resultaat was een set van 50-tal indicatoren ingedeeld volgens de vier doelstellingen. Er werden 15 kernindicatoren uitgelicht, die samen zo representatief mogelijk zijn voor de vier hoofddoelstellingen en toelaten om deze nauwgezet te monitoren.

VRWB Advies 24 (2005). Opvolging Vlaams Innovatiepact. Eerste invulling kernindicatoren; VRWB Advies 113 (2007). Begroting Wetenschap en Innovatie 2007; VRWB Advies 131 (2009). Begroting, Wetenschap en Innovatie 2009; VRWI Advies 160 (2011). Kernindicatoren 2011. 9

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 28.05.2019 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPIâ€™s in functie van beleidsdoelstellingen Pagina 7 van 38

Tabel 3: Overzicht 15 VRWI/VARIO-kernindicatoren Hoofddoelstelling 1. Voldoende middelen voor W&I 2. Beschikbaarheid van hooggekwalificeerd menselijk kapitaal

3. Kenniscreatie als fundament van innovatie

4. Een performant en kennisintensief economisch weefsel

Kernindicator 1. GERD als % bbp 2. GBAORD als % bbp 3. Percentage diploma’s in wiskunde, wetenschappen en technologie in het hoger onderwijs ten opzichte van alle diploma’s hoger onderwijs 4. Nieuwe doctoraatshouders (ISCED 6) per 1.000 inwoners in de leeftijdscategorie 25-34 jaar 5. Totaal O&O-personeel per 1.000 beroepsbevolking 6. Vlaamse publicatie-output in SCIE-bestand per 10.000 inwoners 7. MOCR/MECR (Mean Observed Citation Rate/Mean Expected Citation Rate) 8. Deelnametoelage EU-Kaderprogramma in functie van bbp en in functie van aantal inwoners, en verfijnd naar de uitvoeringssector 9. Internationale co-publicaties per 10.000 inwoners 10. Aandeel buitenlandse onderzoekers onder nieuwe doctoraathouders aan Vlaamse universiteiten 11. Totaal aantal innoverende bedrijven (% van aantal bedrijven in de industrie- en dienstensector) 12. High growth innovative enterprises 13. Aantal aangevraagde EPO-octrooien en toegekende USPTO-octrooien met Vlaamse uitvinder en aanvrager per miljoen inwoners evenals de aangevraagde PCT-octrooien met Belgische uitvinder en aanvrager per miljoen inwoners 14. HERD en GOVERD: privaat gefinancierd 15. Intern innoverende kmo’s (% van aantal kmo’s in de industrie- en dienstensector)

Bron: VRWI (2014) Advies 197 Nieuwe VRWI-indicatorenset.

Deze 15 kernindicatoren worden tweejaarlijks gerapporteerd in het Vlaams Indicatorenboek, sinds de omvorming van de VRWI tot VARIO onder de noemer VARIO-kernindicatoren. 1.2.3.

Vlaams Indicatorenboek

Het Vlaams Indicatorenboek bevat beleidsindicatoren die de ontwikkeling van het Vlaams potentieel inzake wetenschap, technologie en innovatie in kaart brengen. Sinds 1999 wordt het Vlaams Indicatorenboek om de twee jaar uitgebracht onder de coördinatie van het interuniversitair Expertisecentrum Onderzoek en Ontwikkelingsmonitoring (ECOOM). Sinds 2017 gebeurt dit via een online platform10. De editie van 2017 was de voorlopig laatste en bestaat uit zeven hoofdstukken, waarvan de eerste vijf de hoofddoelstellingen van het EWI-beleid weerspiegelen: 10

https://www.vlaamsindicatorenboek.be/

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 8 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen

28.05.2019

Innovatiehub Vlaanderen De middelen voor O&O Het menselijk potentieel WTI-performantie (wetenschap, technologie, innovatie) De internationale dimensie De 15 VARIO-kernindicatoren Dossiers (relevant cijfermateriaal of recent onderzoek over specifieke thema’s)

Box 2: Sterkte-zwakte analyse indicatoren voor wetenschaps- en innovatiebeleid + Voor de selectie van kernindicatoren door de VRWB/VRWI werd vertrokken van (strategische) beleidsdoelstellingen. + De indicatorensets werden opgesteld op basis van zinvolle criteria. + Er was/is regelmatige monitoring en rapportering. + VRWB-kader: evenwicht tussen indicatoren binnen het innovatieproces die respectievelijk input, activiteiten/processen, output en effect/impact meten. - Er is geen koppeling tussen de doelstellingen van het beleidsdomein EWI en de langetermijnstrategie van de Vlaams Regering - Op het niveau van het beleidsdomein EWI is er geen duidelijke afbakening van de doelstellingen met daaraan gekoppeld KPI’s. - Er is geen of onvoldoende afstemming tussen het beleidsdomein EWI en andere beleidsdomeinen - De indicatorenselectie is ‘data-driven’: afhankelijk van beschikbare data, i.f.v. vergelijkingen met internationale data. De destijds geïdentificeerde problemen bij de monitoring van specifieke topics bestaan vandaag nog grotendeels. - Ondanks de beschikbaarheid van de nodige monitoring tools, vond een evaluatie van het beleid op basis van de vooropgestelde indicatoren niet plaats.

1.3.

KPI’s en parameters Vlaamse instrumenten/structuren/actoren/programma’s

Destijds pionierde de Vlaamse Regering met een systeem van output-gedreven financiering. De publieke financiering van actoren in Vlaanderen (bv. universiteiten, SOC’s, speerpuntclusters, innovatieve bedrijfsnetwerken) is afhankelijk van de output die ze genereren. Deze wordt bepaald aan de hand van KPI’s en outputparameters waarbij wetenschap en innovatie sterk doorwegen. Een kritische opmerking uit de systemische evaluatie van (fundamenteel) onderzoek luidde11: “In het

afsprakenkader tussen de Vlaamse Overheid en de O&O-actoren en/of ten aanzien van financieringsinstrumenten (FWO, IOF, SOC’s…) wordt gewerkt met een verschillend KPI-kader, zonder overkoepelende structuur.”

van der Beken, W., De Coen, A., van Hoed, M., Goffin, K. en Mertens, K. (2018). Systeemevaluatie van de financiering van (fundamenteel) onderzoek. Managementsamenvatting. IDEA Consult voor het Departement EWI. 11

Het is belangrijk om een onderscheid te maken tussen outputparameters en KPI’s: -

1.3.1.

Outputparameters zijn specifiek voor Vlaanderen waar ze gebruikt worden voor de verdeelsleutel van de BOF-middelen tussen universiteiten en IOF-middelen tussen Universitaire Associaties. De outputparameters zijn een aantal vaste variabelen waarvan de waarde op regelmatige basis wordt berekend, gekoppeld aan de voorbije prestaties op een selectie van punten (output en resultaten). De outputparameters dienen louter ter verdeling van een gesloten enveloppe middelen; er wordt vooraf geen target aan gekoppeld. Voor andere kennisactoren en instrumenten in Vlaanderen gebeurt de monitoring en evaluatie (en toekenning van financiering) aan de hand van het behalen van KPI’s. Een KPI is een indicator waar ook een target/doelstelling aan gekoppeld is. Een KPI is een middel om de vooruitgang en de kwaliteit te meten. Het is een op voorhand overeengekomen maatstaf die het prestatieniveau van een kritische activiteit weergeeft. Belangrijk is dat KPI’s een tool zijn en geen doel op zich. Ze moeten helpen om doelstellingen te bereiken. KPI’s SOC’s

Een strategisch onderzoekscentrum moet aan een aantal vereisten voldoen. Kort samengevat betreft het excellentie, kritische massa, passen in het wetenschaps-en innovatiebeleid en valorisatie. De Vlaamse Regering stelt binnen de beschikbare begrotingskredieten een jaarlijkse toelage (of subsidie) ter beschikking van de strategische onderzoekscentra. Er wordt tevens met de Vlaamse Regering een meerjarig convenant (beheersovereenkomst – meestal voor vijf jaar) opgesteld waarin wederzijdse rechten en plichten in het kader van de subsidie worden opgenomen. Een belangrijk element in deze convenanten is de regels voor de meting en opvolging van de strategische en operationele doelstellingen van de SOC12, met andere woorden de KPI’s. De KPI’s verschillen tussen de SOC’s, maar de sets bestaan meestal uit een mix van indicatoren m.b.t. excellentie, impact en hefboom. Een gedetailleerd overzicht van de KPI’s is opgenomen in bijlage 2. 1.3.2.

Excellentie: bv. publicaties, citaties (en octrooien) Impact13: bv. industriële inkomsten, spin-offs, inkomsten uit samenwerking, partnerschappen Hefboom-effect: bv. inkomsten uit internationale programma’s, globale hefboom, industriële hefboom. KPI’s clusters14

Clusterorganisaties faciliteren een netwerk van bedrijven - actief in een bepaald domein - die door middel van onderlinge samenwerking en samenwerking met kennisinstellingen hun competitiviteit wensen te verhogen. Clusterorganisaties kunnen voor de uitvoering van hun rol als facilitator financieel ondersteund worden door de Vlaamse overheid. Het Vlaams clusterbeleid onderscheidt twee types van clusters, de speerpuntclusters en de innovatieve bedrijfsnetwerken (IBN). Speerpuntclusters zijn grootschalige initiatieven die aansluiten bij belangrijke strategische domeinen voor Vlaanderen. Innovatieve

Decreet betreffende de organisatie en financiering van het wetenschaps-en innovatiebeleid van 30 april 2009 art. 30, 32 en 33 §3. Er is discussie mogelijk of de impactindicatoren zoals opgenomen in de convenanten niet eerder resultaatindicatoren zijn. 14 Voor meer informatie, zie ook het analyserapport van het VARIO-advies 6 ‘Waardecreatie door samenwerking’ (maart 2019). 12 13

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 10 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

bedrijfsnetwerken zijn kleinere initiatieven die vaak bottom-up ontstaan vanuit bedrijven die willen inzetten op een specifiek domein dat hen kansen heeft om hun competitiviteit te verhogen. Elke speerpuntcluster heeft een clusterpact waarin KPI’s opgenomen werden. De streefwaarden worden jaarlijks voor het einde van het voorafgaande werkingsjaar geactualiseerd in functie van de beschikbare geoormerkte middelen. Verschillende types indicatoren worden gemeten (meer details in bijlage 2): -

Output: bv. aantal projecten, partners… Impact: bv. bijkomend gerealiseerde omzet/tewerkstelling bij de lid-bedrijven, investeringen, export… Effecten/hefboom: bv. aantal opgestarte projecten tussen bedrijven en kennisinstellingen, samenwerking met minstens drie ondernemingen…

Ook voor de innovatieve bedrijfsnetwerken worden de vooropgestelde strategie en de hiermee verbonden doelstellingen en gewenste resultaten opgevolgd via een set van indicatoren en bijhorende streefwaarden. Die worden door het IBN zelf voorgesteld in zijn aanvraag. Er wordt een onderscheid gemaakt tussen outputindicatoren, resultaat- en impactindicatoren. -

1.3.3.

Voor elk IBN-project wordt een streefwaarde opgenomen voor de volgende, verplichte programma-specifieke indicatoren: aantal actieve ondernemingen binnen de cluster, aantal nieuwe actieve ondernemingen binnen de cluster en aantal samenwerkingsinitiatieven. Daarnaast moeten voor elk IBN-project minstens een aantal project-specifieke indicatoren worden opgenomen voor zowel de opbouw van het ecosysteem als het onderling doen samenwerken van actoren in het ecosysteem. KPI’s impulsprogramma’s (beleidsplannen)

Recent werden een aantal beleidsplannen goedgekeurd; Artificiële Intelligentie (AI)15 en Cybersecurity16. -

“Generalistische, transformerende technologieën met toepassingen in alle domeinen, zoals artificiële intelligentie, hebben een ontegensprekelijke impact op onze maatschappij, economie en arbeidsmarkt. De wereldwijde opmars van AI is een onderdeel van de brede digitaliseringsbeweging, die de motor vormt achter de vierde industriële revolutie. Deze evolutie heeft tot gevolg dat ook Vlaanderen een strategie nodig heeft om het gebruik van AI te verduurzamen en de vele kansen ervan optimaal te benutten in alle domeinen van de economie en samenleving. Het Beleidsplan Artificiële intelligentie, op 22 maart 2019 goedgekeurd door de Vlaamse Regering, bestaat uit drie delen die elkaar aanvullen en versterken; onderzoek, praktische toepassingen en omkadering op het vlak van opleiding, bewustmaking en ethische vragen. Als Vlaanderen een weerbare digitale economie wil uitbouwen, zijn investeringen in cyberveiligheid nodig. Daarom keurde de Vlaamse Regering op 22 maart 2019 een beleidsplan goed rond cybersecurity. Het plan bestaat uit drie delen die elkaar aanvullen en versterken; onderzoek, praktische toepassingen bij bedrijven en opleiding.”

Een overzicht van de doelstellingen samen met de KPI’s voor het beleidsplan Artificiële Intelligentie is opgenomen in bijlage 2. 15 16

https://www.vlaio.be/nl/andere-doelgroepen/vlaams-beleidsplan-artificiele-intelligentie https://www.vlaio.be/nl/andere-doelgroepen/vlaams-beleidsplan-cybersecurity

1.3.4.

Outputparameters: BOF

Voor de financiering van het fundamenteel onderzoek en het strategisch basisonderzoek zijn de Bijzondere Onderzoeksfondsen (BOF), naast het FWO, het belangrijkste financieringskanaal voor de Vlaamse universiteiten. Elke universiteit krijgt haar aandeel uit de totale gesloten BOF-enveloppe op basis van haar aandeel in de zogenaamde BOF-sleutel. Daarna verdelen de universiteiten zelf de verworven BOF-middelen intern op basis van intra-universitaire competitie. De werking van de BOF is vastgelegd in het BOF-besluit van 2012 dat herzien werd in 2019. Waar in het BOF-besluit van 2012 het accent in de BOF-sleutel vooral lag op excellentie (Tabel 4), zijn nu (internationale) samenwerking tussen universiteiten en interdisciplinariteit toegevoegd aan deze verdeelsleutel (Tabel 5). De parameter voor interdisciplinariteit moet nog uitgewerkt worden en zal vanaf 2024 ook in de sleutel opgenomen worden. De nieuwe verdeelsleutel heeft als doel meer nadruk te leggen op resultaten i.p.v. input door het verwijderen van de diplomaparameter en meer te sturen naar kwalitatieve resultaten dan naar kwantiteit. De oude en de nieuwe sleutel verschillen niet alleen in de parameters zelf maar ook in de gewichten die aan de parameters worden vastgehangen. Vanaf 2019 wordt via de BOF jaarlijks 220 miljoen euro tussen de universiteiten verdeeld17. De nieuwe verdeling bestaat voor de helft uit een vaste forfait die voor vijf jaar vastgeklikt wordt en voor de helft uit een jaarlijkse afweging met de nieuwe sleutel. De forfait wordt berekend op het gemiddelde aandeel dat de universiteiten in de vorige vijf jaar haalden. Dit maakt de overgang niet te bruusk en zorgt ervoor dat de universiteiten toch kunnen rekenen op een vorm van basiscontinuïteit en creëert dus stabiliteit.

Tabel 4: Oude BOF-sleutel Luik Structureel luik (A)

Parameter Het procentuele aandeel van iedere universiteit in de diplomaparameter A1 (BA-MA-diploma's)* Het procentuele aandeel van iedere universiteit in de diplomaparameter A2 (PhD-diploma's)* Het procentuele aandeel van iedere universiteit in de diversiteits parameter A3 (% vrouwen) Bibliometrische luik B1. Aandeel in het aantal publicaties SCIE, SSCI, AHCI, CPCI-S en CPCI-SSH (B) B2. Aandeel in het aantal publicaties VABB-SHW B3. Aandeel in het totaal aantal citaties (van publicaties die in parameter B1 worden meegenomen) Bron: Korlaar, L., Bongers, F. en Groot Beumer, T. (2018). Managementsamenvatting. Dialogic voor het Departement EWI. *niet meer opgenomen vanaf 2019

Evaluatie

van

Bijzondere

% 60

Onderzoeksfondsen.

In 2018 was dat nog 185 miljoen euro.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 12 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

Tabel 5: Nieuwe BOF-sleutel Luik

Parameter

Structureel luik (A) Vaste forfait

Gemiddelde aandeel in de vorige vijf jaar

Bibliometrische luik (B)

Beleidsaccenten (C)

B1. Aandeel in het aantal publicaties SCIE, SSCI, AHCI, CPCI-S en CPCI-SSH B2. Aandeel in het aantal publicaties VABB-SHW B3. Aandeel in het totaal aantal citaties (van publicaties die in parameter B1 worden meegenomen) C1. Het procentuele aandeel van iedere universiteit in de diplomaparameter A2 (PhD-diploma's) C2. Citatiedistributieparameter* C3. Hefboomparameter* C4. Internationale samenwerkingsparameter* C5. (vanaf 2024) Interdisciplinariteitsparameter* C6. Diversiteitsparameter

% % Frequentie (vanaf (2019) herziening 2024) Vijfjaarlijk 50,00 50,00 s 10,50

10,50

4,50

7,50

9,00

8,25

10,00 3,75 3,75 0,00 1,00

9,25 3,50 3,50 2,00 1,00

Jaarlijks

Bron: https://www.ewi-vlaanderen.be/nieuws/nieuwe-verdeelsleutel-universitaire-financiering en BOF-besluit 2019 (VR 2019 0103 DOC.0290/4BIS) * nieuw t.o.v. 2012

In het nieuwe BOF-besluit wordt een integrale rapportering omtrent de BOF-middelen via het FRISplatform ingevoerd. Het gaat hier zowel om een verbreding als een verdieping van de huidige rapportering zodat er meer transparantie komt omtrent het gebruik van de BOF-middelen. Een laatste belangrijke toevoeging in het nieuwe BOF-besluit zijn de universitaire projecten. Dit nieuwe type projecten waarvoor tweejaarlijks 20 miljoen euro voorzien zal worden, heeft tot doel de samenwerking tussen de vijf Vlaamse universitairen binnen de BOF-middelen te bevorderen. 1.3.5.

Outputparameters: IOF

Het industrieel onderzoeksfonds (IOF) is “een intern bestemmingsfonds voor Universitaire Associaties

waarvan de middelen worden aangewend voor strategisch basisonderzoek en toegepast wetenschappelijk onderzoek. De doelstellingen van een IOF zijn, op korte tot middellange termijn, de wisselwerking tussen de associatie en het bedrijfsleven stimuleren en een portefeuille van toepassingsgerichte kennis op te bouwen. Op middellange tot lange termijn moet IOF-financiering resulteren in de betere afstemming van het strategisch basisonderzoek en toegepast wetenschappelijk onderzoek op de economische behoeften en de toepassing en valorisatie van de opgebouwde portefeuille van kennis in het bedrijfsleven”.18

https://www.ewi-vlaanderen.be/wat-doet-ewi/excellerend-onderzoek/financiering-van-onderzoek/industrieel-onderzoeksfonds

De verdeling van de middelen over de verschillende associaties is gebaseerd op een verdeelsleutel die zes outparameters omvat: doctoraten, publicaties en citaties, industriële contractinkomsten, Europese contractinkomsten, octrooien en spin-offbedrijven. Volgens de evaluatie van het IOF in 2018 zijn deze parameters beperkt in hun capaciteit om valorisatie te meten19. Binnen de associatie worden de middelen intern verdeeld, na gemotiveerd advies door een IOF-raad en middels een open oproep.

Box 3: Sterkte-zwakte analyse m.b.t. indicatoren op niveau van de instrumenten/structuren/ actoren/programma + KPI’s en outputparameters leiden tot meer excellentie + Dankzij de outputparameters in de BOF- en IOF-sleutel is er een geobjectiveerd model om financiële middelen te verdelen tussen de instellingen, deels op basis van prestaties - Het W&I-instrumentarium bevat veel instrumenten/structuren/actoren/prograrmma’s, maar de koppeling met de overkoepelende EWI-doelstelling is niet altijd duidelijk. Er wordt ook niet afgetoetst of er voor alle doelstellingen instrumenten zijn. - Het is niet altijd duidelijke wat de prioritaire doelstellingen zijn van een instrument/ structuur/actor/programma, bv. excellentie is doelstelling van universiteiten en SOC’s maar is deze doelstelling even prioritair voor beide? - Er bestaan geen duidelijke doelstellingen en KPI’s voor instrumenten. Niet voor alle doelstellingen zijn er KPI’s en vice versa (bv. SBO). - Er is geen coherent systeem voor het opstellen van KPI’s (cfr. systeemevaluatie financiering fundamenteel onderzoek) - Betrokken partijen stellen mee eigen KPI’s en outputparameters op. - Er zijn wel individuele evaluaties van instrumenten en structuren maar geen of maar beperkte systeemevaluaties. - Idem voor impactanalyses.

Enzing, C., Ploeg, M., van Barneveld, J. en Fikkers D.J. (2013). Evaluatie van de Industriële Onderzoeksfondsen en de interfaceactiviteiten. Managementsamenvatting. Technopolis group voor het Departement EWI. 19

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 14 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

EUROPESE COMMISSIE - MONITORING, EVALUATIE EN IMPACT VAN W&IBELEID

Op EU-niveau maken monitoring, evaluatie en impact een belangrijk onderdeel uit van het wetenschapsen innovatiebeleid. Daarbij gebruikt men de aanpak van een ‘intervention logic’, waarin een onderscheid wordt gemaakt tussen verschillende elementen (Figuur 2)

Figuur 2: De verschillende componenten in het schema van de ‘intervention logic’ -

Objectieven: beleidsdoelen, wat men met de beleidsinterventie wil bereiken in functie van geïdentificeerde noden. Input: materiële, ‘human capital’ en/of financiële middelen die rechtstreeks worden gebruikt voor de uitvoering van een beleidsinterventie. Activiteiten: ondernomen acties of werk waarbij inputs omgevormd worden tot specifieke outputs. Output: wat rechtstreeks via de interventie wordt gerealiseerd. Outputs komen over het algemeen op korte tot middellange termijn tot stand. Resultaten (outcome): geven meer directe, korte tot middellange termijn veranderingen in een situatie. Impact: definieert in grote lijnen de bredere maatschappelijke, economische en ecologische cumulatieve veranderingen over een langere periode; positief en negatief, direct en indirect, bedoeld en onbedoeld.

Bron: Op basis van European Commission (2017). Commission Staff Working Document. Better Regulation Guidelines.

2.1.

Monitoring

Monitoring genereert gegevens over het traject naar het bereiken van (beleidsdoelen) in de tijd, op een continue en systematische manier. Het helpt eventuele problemen te identificeren en aan te pakken en genereert tegelijkertijd data voor toekomstige evaluaties en impactanalyses.20 Voor het opvolgen van beleid is het belangrijk om de juiste gegevens ter beschikking te hebben en dus de juiste indicatoren te gebruiken. Een indicator is een maatstaf die toelaat het traject richting bereiken van (beleids)doelen op te volgen (zowel de input, activiteiten, output, resultaten als impact). Het is een

European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020.

specifieke, waarneembare en meetbare prestatie of verandering die een signalerende functie heeft 21. Drie belangrijke punten zijn: 1) Een goed monitoringsysteem omvat alle onderdelen van de interventie (zie Figuur 2). 2) Een goed monitoringsysteem linkt de doelstellingen van het beleid met de effecten over verschillende termijnen, en al dan niet direct aan het beleid te linken (Figuur 2). Aan elk niveau van effecten wordt een indicator vastgehangen22: ‐ Outputindicatoren hebben betrekking op de specifieke ‘deliverables’ rechtstreeks gelinkt aan de interventie. ‐ Resultaatindicatoren komen overeen met de onmiddellijke effecten van een interventie specifiek gelinkt aan de directe betrokkenen (korte termijn en middellange termijn). ‐ Impactindicatoren hebben betrekking op de beoogde effecten van de interventie in termen van impact op de bredere economie/maatschappij verder dan die direct gelinkt aan de interventie (lange termijn). Het is belangrijk dat een indicator een duidelijke definitie en duidelijke meeteenheid heeft. Daarnaast moet duidelijk zijn welke databron gebruikt zal worden voor het opstellen van de indicator en wat de ‘baseline’ is (nulmeting) zodat het mogelijk is om een evolutie te zien. Belangrijk is om het niveau van de indicator mee te geven; input, output, resultaat of impact. Er worden voor indicatoren niet altijd streefdoelen – ‘targets’ - gezet, maar als dit wel zo is dan moet er een duidelijke tijdslijn zijn voor het behalen van de streefdoelen en moeten er numerieke waardes aan gekoppeld zijn. Als er aan een indicator een duidelijke numerieke target is gekoppeld, spreken we van een Key Performance Indicator. 3) Er moet duidelijkheid zijn over wie de nodige gegevens zal verzamelen en wie ze zal aanleveren.

2.2.

Evaluatie

Evaluaties zijn een instrument voor het beleid om meer te weten te komen over het functioneren van de interventies en om de werkelijke prestaties ervan te beoordelen in vergelijking met de oorspronkelijke verwachtingen. Bij een evaluatie wordt nagegaan of het gevoerde beleid min of meer succesvol is geweest bij het bereiken van de beleidsdoelstellingen en of dat gebeurd is tegen een minimum van kosten. Waren er andere, onbedoelde of onverwachte veranderingen? Er wordt verder gekeken dan wat er is gebeurd, naar waarom iets is gebeurd en, indien mogelijk, vooral hoeveel er als gevolg daarvan is veranderd.23 Een evaluatie moet naar het bredere perspectief kijken en een onafhankelijke en objectieve beoordeling van de situatie geven op basis van het beschikbare bewijsmateriaal. In het algemeen zijn evaluaties pas zinvol nadat er voldoende tijd is verstreken om de wijzigingen te kunnen identificeren en/of meten. Het doel van evaluaties is om beleidsmakers op regelmatige tijdstippen relevante informatie te geven ter voorbereiding van nieuwe initiatieven of herziening van bestaande initiatieven.

European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020. European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020. 23 European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020. 21

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 16 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

Evaluatie is een ‘evidence-based’ oordeel over de mate waarin een bestaande interventie voldoet aan de volgende elementen, verbonden aan verschillende componenten van de ‘intervention logic’ (Figuur 3): -

Effectiviteit: Welke vooruitgang is geboekt bij de verwezenlijking van de doelstellingen? Waarom, of en hoe houden deze veranderingen verband met de interventie? Efficiëntie: Er moet in detail gekeken worden naar zowel de kosten als de baten van de interventie aangezien ze gelinkt zijn aan verschillende stakeholders. Het is belangrijk om te identificeren welke factoren de kosten/baten veroorzaken en hoe deze gerelateerd zijn aan de interventie. Relevant gegeven de noden: in welke mate voldoen de vooropgestelde objectieven (nog altijd) aan de behoeften en problemen? Coherent: Er moet gekeken worden hoe de interventie intern werkt maar ook hoe de interventie interageert met andere interventies met gelijkaardige objectieven maar ook met het breder beleid en internationale verplichtingen. Toegevoegde waarde: Welke additionele toegevoegde waarde wordt gecreëerd t.o.v. interventies geïnitieerd op andere niveaus (zowel publiek als privaat).

Figuur 3: De verschillende elementen van een evaluatie - ‘intervention logic’

Bron: Op basis van European Commission (2017). Commission Staff Working Document. Better Regulation Guidelines.

Ook de OESO heeft een aantal criteria geformuleerd die relevant zijn bij de evaluatie van programma’s of projecten24. Deze zijn zeer gelijklopend met de Europese Commissie. -

2.3.

Relevantie: De mate waarin de steun is afgestemd op de prioriteiten en het beleid van de doelgroep, de ontvanger en de donor. Effectiviteit: Een maatstaf voor de mate waarin een steunactiviteit de doelstellingen bereikt Efficiëntie: Efficiëntie meet de output - kwalitatief en kwantitatief - in relatie tot de input. Zijn de gewenste resultaten bereikt met een minimum aan kosten? Impact: De positieve en negatieve veranderingen die een interventie, direct of indirect, al dan niet opzettelijk, met zich meebrengt.

Impactmeting

Impact verwijst naar bredere, cumulatieve veranderingen over een langere periode. Bij impact wordt gekeken naar de laatste ‘schakel’ van effecten. Het betreft langetermijneffecten waarop andere/externe factoren evenals andere beleidsvelden en -initiatieven ook een invloed hebben. Zoals hierboven vermeld omvat impact dus zowel positieve als negatieve, direct als indirecte veranderingen. Bij het monitoren van de impact van onderzoek en innovatie op Europees niveau wordt vaak een onderscheid gemaakt tussen de wetenschappelijke, maatschappelijke en economische impact25: -

Wetenschappelijke impact: gerelateerd aan de ondersteuning van de ontwikkeling en verspreiding van nieuwe kennis, vaardigheden, technologieën en oplossingen voor mondiale uitdagingen. Maatschappelijke impact: gerelateerd aan de versterking van de rol van onderzoek en innovatie bij de ontwikkeling, ondersteuning en uitvoering van beleid en de ondersteuning van de invoering van innovatieve oplossingen in de industrie en in de samenleving om mondiale uitdagingen aan te pakken. Economische impact: gerelateerd aan het bevorderen van alle vormen van innovatie, inclusief baanbrekende innovatie, en het versterken van het gebruik innovatieve oplossingen op de markt.

Het is echter ook mogelijk om andere vormen van impact mee op te nemen zoals bv. milieu-impact. De focus van een impactmeting wordt vaak gelegd op de ex-post meting: wat is de impact en wie zal er hierdoor beïnvloed worden? Impactbeoordelingen kunnen echter ook ex-ante uitgevoerd worden. Daarbij wordt een schema uiteengezet dat het probleem, de onderliggende oorzaken, de doelstellingen en een reeks beleidsopties om het probleem aan te pakken, met elkaar verbindt. De beoordelingen moeten de waarschijnlijke gevolgen van de opties toelichten, wie de gevolgen ervan zal ondervinden en hoe deze zullen worden aangepakt26. Daarbij worden verschillende beleidsopties naast elkaar bekeken en biedt de impactbeoordeling informatie over welke beleidsoptie de voorkeur geniet (m.b.t effectiviteit, efficiëntie, coherentie en proportionaliteit). Daarbij geven de resultaten van een ex-ante impactbeoordeling ook inzicht in welke gegevensbehoeften er zijn voor het uitvoeren van toekomstige monitoring en evaluatie.

OECD (2002). Glossery of Key Terms in Evaluation and Results Based Management. Paris, OECD Publications. European Commission (2018). Monitoring the impact of EU Framework Programmes. Expert Report written bij Peter van den Besselaar, Ramon Flecha, Alfred Radauer. 26 European Commission (2017). Commission Staff Working Document. Better Regulation Guidelines. 24

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 18 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

BENCHMARK OEFENING

3.1.

Horizon 2020 en Horizon Europe

Horizon 2020 is het Europese subsidieprogramma voor Onderzoek en Innovatie in Europa27. Horizon 2020 is een vlaggenschipinitiatief van de EU in het kader van de Europa 2020-strategie, gericht op het verbeteren van de mondiale concurrentiepositie van Europa. Horizon 2020 moet de economie rechtstreeks stimuleren en onze wetenschappelijke en technologische grondslag en ons industrieel concurrentievermogen voor de toekomst veiligstellen, met daarbij de belofte van een slimmere, duurzamere en inclusievere samenleving. Horizon 2020 omvat een grote verscheidenheid aan instrumenten en initiatieven die samen financiering geven over de hele innovatieketen, zowel aan individuen als organisaties, en ook aan samenwerkingsverbanden. Zowel de doelstellingen als instrumenten van Horizon 2020 maken het tot een zinvolle vergelijking voor het Vlaamse EWI-beleid. Als kerndoelstellingen (horizontaal, overkoepelend) van Horizon 2020 zijn klimaatactie en duurzame ontwikkeling relevant voor alle gebieden van het programma. Van de middelen voor het Horizon 2020 programma moet 35% naar onderwerpen gaan verband houdend het klimaat gaan, 60% naar onderwerpen verband houdend met duurzame ontwikkeling28. Horizon 2020 is het eerste kaderprogramma waarin KPI’s29 (wettelijk) werden vastgelegd vóór het van start ging, met targets die aan het einde van het programma moeten zijn gehaald. Dit zorgt voor een solide en coherente basis voor het monitorings- en evaluatiesysteem van het programma en legt ook meer de nadruk op het meten van de resultaten en effecten ervan. ‐

‐

Er zijn 23 KPI’s gedefinieerd voor de drie hoofdpijlers van het programma, ‘Excellent Science’, ‘Industrial Leadership’ en ‘Societal Challenges’, en de andere lijnen ‘Spreading Excellence and Widening Participation’, ‘Science with and for Society’ en de ‘Joint research Centres’ samen. In de tabel hieronder worden als voorbeeld de KPI’s voor ‘Excellent Science’ opgenomen. Daarnaast zijn er nog 14 overkoepelende indicatoren die jaarlijks worden gerapporteerd in de ‘Annual Horizon 2020 Monitoring Report’. Hierin wordt onder meer het aandeel in de totale financiering van topics m.b.t. klimaatacties en duurzame ontwikkeling opgenomen. Tot slot zijn er aparte KPI’s voor het ‘European Institute of Innovation and Technology’ (EIT) en het ‘Research and Training Programme of the European Atomic Energy Community (2014-2018)’.

Van de in totaal 55 KPI’s en overkoepelende indicatoren houden er 27 verband met input en activiteiten, 28 met output, resultaten en impact. Er wordt echter niet per indicator aangegeven aan welke stap in de ‘intervention logic’ hij is te linken (zie hoofdstuk 2). De KPI’s worden ook niet (expliciet) verbonden aan hogere doelstellingen.

Horizon 2020 is de opvolger van het Zevende Kaderprogramma (KP7) en loopt van 2014 tot en met 2020. https://ec.europa.eu/research/participants/docs/h2020-funding-guide/cross-cutting-issues/climate-sustainable-development_en.htm 29 European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020. 27

Tabel 6: Horizon 2020 KPI’s voor ‘Excellent Science’ Key performance indicator

Definition of the indicator

ERC – Percentage of publications from ERC funded projects which are among the top 1% highly cited

The index of ERC funded publications that are among the top 1% highly cited publications

Type of data required

Baseline at the start of Horizon 2020 (latest available)

Target at the end of Horizon 2020

Publication metadata from ERC funded projects and benchmark data on publications among top 1%

[new approach under Horizon 2020]

1.8

Publications from FET funded projects (DOI: The percentage of 25 Digital Object Identifiers); FET – Publications in publications published [new approach publications Journal impact peer-reviewed high in the top 10% impact under Horizon per €10 benchmark (ranking) impact journals ranked journals at 2020] million data to be collected by FET level funding commercially available bibliometric databases FET – Patent 1 patent applications and Number of patent Patent application [new approach application patents awarded in applications; Number number; Awarded under Horizon per €10 Future and of awarded patents patent number 2020] million Emerging at FET level funding Technologies Nationality and gender Number of of the researcher; researchers country of origin of the Marie Skłodowskaundertaking researcher; country, legal Curie actions – international mobility 65, 000 status and activity type 50,000 Crosssector and under the Marie researchers of the host organisation, researchers crosscountry Skłodowska-Curie (out of legal status and activity (2007-2013), out circulation of actions. Number of which type of the employing of which 20% researchers, researchers 25,000 PhD organisation prior to the PhD including PhD undertaking mobility candidates) Marie Skłodowska-Curie candidates between academic actions. Enrolment of a and non-academic researcher in a PhD sectors programme Research 1) Number of Nationality and gender 20, 000 22, 000 Infrastructures researchers who have of the researcher; additional researchers Number of physical or remote country of origin of the researchers during FP7 researchers who access to research researcher; country, legal during

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 20 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

have access to research infrastructures through support from Horizon 2020

infrastructures; 2) status and activity type Number of of the employing researchers who have organisation access to research einfrastructures (Number of actual users divided by maximum possible number)

Horizon 2020

Bron: European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020.

Figuur 4: Horizon Europe key scientific impact pathways indicators

Bron: European Commission (2018). A New Horizon for Europe. Impact Assessment of the 9th EU Framework Programme for Research and Innovation.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// 28.05.2019 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPIâ€™s in functie van beleidsdoelstellingen Pagina 21 van 38

Momenteel wordt het nieuwe kaderprogramma, Horizon Europe30, voorbereid. Daarbij trekt men lessen uit de evaluaties van de vorige kaderprogramma’s (volgens het schema voor evaluaties in hoofdstuk 2): ‐ ‐

Er zijn te veel doelstellingen, en gebrekkige links tussen hogere doelstellingen en meer concrete technische doelstellingen. Instrumenten zijn niet expliciet ontworpen om bepaalde doelstellingen te bereiken. Het is andersom: de uitdagingen worden zo gedefinieerd dat ze aansluiten bij de bestaande instrumenten. Het resultaat is ‘catch all’-instrumenten waarmee men alle problemen wil aanpakken en alle soorten belanghebbenden tevredenstellen.

Voor het nieuwe programma, Horizon Europe worden er daarom specifieke doelstellingen voor het programma als geheel (niet per onderdeel of instrument) gedefinieerd om de samenhang en de verbanden tussen de onderdelen van het programma te verbeteren. Samen met meer focus op transversaliteit tussen disciplines, sectoren en beleidsmaatregelen, meer aandacht voor synergiën en convergenties met andere programma’s en een reeks andere maatregelen, moet dit de impact van Horizon Europe nog groter maken dan voor Horizon 2020. De KPI’s uit Horizon 2020 blijven behouden voor Horizon Europe, maar worden verder gestroomlijnd en meer gespecificeerd zodat ze het hele programma bedekken. Indicatoren die verband houden met input en activiteiten worden nog steeds verzameld maar vallen niet langer onder de ‘performance indicators’. KPI’s worden gezet op het niveau van het gehele programma in functie van zijn doelstellingen. De KPI’s worden ingedeeld in negen ‘key impact pathways’, drie voor wetenschappelijke, drie voor maatschappelijk en drie voor economische impact, met telkens korte-, middellange- en langetermijnindicatoren, voor een nauwkeurigere rapportering in de tijd. Als voorbeeld geven we hieronder de ‘Key scientific pathways’ voor wetenschappelijke impact (Figuur 4). Onderdelen van het programma kunnen specifieke indicatoren krijgen maar die worden niet meer wettelijk vastgelegd. Met deze aanpassingen is het opzet van het programma verbeterd t.o.v. de voorgaande en volgt het duidelijk meer de principes van de ‘intervention logic’.

3.2.

Nederland – wetenschapsbeleid

Om te monitoren hoe de Nederlandse wetenschap zich ontwikkelt stelden de Koninklijke Nederlandse Academie van Wetenschappen (KNAW), de Adviesraad voor Wetenschap, Technologie en Innovatie (AWTI) en het Rathenau Instituut in 2016 een eerste ‘Balans van de Wetenschap’ op31. Een tweede editie werd uitgebracht door het Rathenau Instituut in 201832. De basis is de ‘Wetenschapsvisie 2025, keuzes voor de toekomst’33, een visietekst door de Nederlandse regering opgesteld in 2014, waarin drie ambities voor de ontwikkeling van de wetenschap centraal staan: -

Nederlandse wetenschap van wereldformaat Wetenschap met maximale impact De Nederlandse wetenschap is een broedplaats voor talent

European Commission (2018). A New Horizon for Europe. Impact Assessment of the 9th EU Framework Programme for Research and Innovation. AWTI, KNAW en Rathenau Instituut, Balans van de Wetenschap (2016). Den Haag, Rathenau Instituut. 32 Koens, L., A. Vennekens, R. Hofman, N. van den Broek-Honingh en de Jonge, J. (2018). Balans van de Wetenschap 2018. Den Haag, Rathenau Instituut. 33 25 november 2014. Kamerstukken II, 2014-2015, 29 338, nr. 141. 30 31

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 22 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

‘In de Balans van de Wetenschap’ werd er bewust voor gekozen deze ambities te volgen. Het document bracht in kaart hoe ver het Nederlandse wetenschapssysteem al stond ten opzichte van de drie ambities en of het de goede richting uitging om ze te realiseren voor 2025. Daarmee bood het een kader om de effectiviteit van het Nederlands wetenschapsbeleid zichtbaar te kunnen maken. De ‘Balans van de Wetenschap’ vertaalde de ambities van de Wetenschapsvisie 2025 hiertoe in een aantal beleidsdoelen en bijbehorende indicatoren die laten zien of die doelen worden gehaald. Vervolgens werden de drie ambities ontleedt in specifiekere beleidsdoelen. Deze werden dan vertaald in acties, instrumenten (bronnen) en meetbare indicatoren, met behulp van de methode van een doelenboom34 (bv. Figuur 5). Deze methode is specifiek geschikt om beleid op systeemniveau te bekijken, met doelstellingen op verschillende beleidsniveaus, en verschillenden actoren, beleidsniveaus en -domeinen die samen de doelstellingen moeten realiseren. Een doelenboom laat toe om expliciete verbindingen te leggen tussen de (algemene) ambities enerzijds en de meer operationele (meetbare) criteria anderzijds. De methode maakt zichtbaar in welke mate het lukt het beleidsdoel te behalen en laat toe gericht bij te sturen waar nodig. In 2016 werd een nulmeting uitgevoerd door voor de meeste beleidsdoelen een reeks indicatoren te benoemen en te kwantificeren. Er werden een aantal criteria opgezet bij het selecteren van de indicatoren die de ambities van het wetenschapsbeleid operationaliseren: -

“Meet de indicator dat wat wordt bedoeld met begrippen als kwaliteit, impact, talent of met voorwaarden en processen die daarvoor nodig zijn? Wordt de indicator gebruikt en geaccepteerd als goede indicator om te meten wat gemeten moet worden? Is de indicator meetbaar, zijn de gegevens beschikbaar en zijn de gegevens ook over een langere periode beschikbaar?”

In 2018 werd een update van de cijfers door het Rathenau Instituut opgesteld waarbij gebruik gemaakt werd van het in 2016 ontwikkelde denkkader; met centraal de drie ambities voor de ontwikkeling van de wetenschap (afkomstig uit de wetenschapsvisie opgemaakt in 2014). Hieronder wordt kort het proces en de indicatoren voor de eerste ambitie ‘Nederlandse wetenschap van wereldformaat’ beschreven. 3.2.1.

Illustratie: Nederlandse wetenschap van wereldformaat

Specifiek voor ‘Nederlandse wetenschap van wereldformaat’ werden vier beleidsdoelen geformuleerd: -

Nederlands onderzoek moet in de breedte hoogstaand zijn (hoogvlakte) en wereldleider in specifieke gebieden (pieken). Het Nederlands onderzoek moet goed ingebed zijn in de internationale dynamiek van wetenschap. Er moet voldoende (financiële) ruimte zijn voor vrij en ongebonden onderzoek. Alleen dan kunnen onderzoekers inderdaad grensdoorbrekend wetenschappelijk onderzoek doen. Nederlandse onderzoekers moeten goede toegang hebben tot nationale en internationale faciliteiten. Voortgang in de wetenschap gaat sterk gepaard met de ontwikkeling van infrastructuur, en zonder toegang tot deze ‘state-of-the-art’ faciliteiten verliezen onderzoekers hun internationale positie.

In de ‘Balans van Wetenschap’ van 2016 werd een doelenboom gedefinieerd als ”een conceptueel model waarmee doelen van overheid of organisaties kunnen worden gekoppeld aan beleidsinstrumenten en geoperationaliseerd tot meetbare criteria .”. 34

Figuur 5: Doelenboom ambitie ‘Nederlandse wetenschap van wereldformaat’

Bron: Koens, L., A. Vennekens, R. Hofman, N. van den Broek-Honingh en de Jonge, J. (2018). Balans van de Wetenschap 2018. Den Haag, Rathenau Instituut.

Vervolgens werden per beleidsdoel een aantal acties opgesteld die genomen moeten worden om de beleidsdoelstelling te behalen. Aan deze acties worden een aantal instrumenten gekoppeld zoals rankings en onderzoeksvisities. Vervolgens worden ze geoperationaliseerd tot meetbare criteria; of de acties tot de gewenste staat leidt wordt gemeten via specifieke indicatoren (zie Tabel 7).

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 24 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

Tabel 7: Beschrijving ‘indicatoren’ ambitie Nederlandse wetenschap van wereldformaat Aantal ‘top 100 meldingen’ internationale rankings: 2.1.1. Positie Nederlandse universiteiten op rankings

2.1.2. Kwaliteit van wetenschap beoordeeld

van

Nederlandse

universiteiten

‐ ARWU (Shanghai) ‐ Leiden CWTS ‐ THE ‐ QS World Resultaten van de onderzoeksvisitaties (Standaard Evaluatie Protocol): ‐ ‐ ‐ ‐

Wetenschappelijke kwaliteit Wetenschappelijke productiviteit Relevantie Levensvatbaarheid

https://www.rathenau.nl/nl/wetenschap-cijfers/werking-van-dewetenschap/onderzoeksevaluaties/scores-van-onderzoeks-evaluaties Citatie impact en specialisatie Nederland per onderzoeksgebied, publicaties 2.1.3. Nationaal portfolio 2012-2015. van onderzoeksgebieden (Bron: CWTS and Web of Science/Clarivate Analytics) Percentages onderzoekers met één subsidie, twee subsidies en meer dan twee excellentiesubsidies en het aandeel van de excellentiefinanciering dat 2.1.4. Financiering van zij ontvangen excellentie Aandeel ERC-beurzen voor onderzoekers aan Nederlandse instellingen in vergelijking met het gemiddelde aandeel voor participerende landen in de ERC. Nederlandse deelname aan Europese Kaderprogramma’s: ‐ ‐ 2.2. Internationale copublicaties/deelname Horizon 2020

‐ ‐ ‐

totaal budget KP (miljard euro) gemiddeld KP budget per lidstaat per jaar (miljoen euro in lopende prijzen) projecten met een Nederlandse coördinator als percentage van alle projecten in het KP Aandeel voor Nederlandse onderzoekers (%) % EU-inkomsten voor Nederland t.o.v. Nederlandse overheidsfinanciering

(Bron: CWTS/Web of Science, Clarivate Analytics) R&D-uitgaven door overheid ten opzichte van R&D-uitgaven van bedrijven 2.3.1. Overheidsuitgaven als percentage van het BBP in 2015 (%). (Bron: OESO/MSTI) instellingen fundamenteel Overheidsuitgaven aan instellingen voor fundamenteel onderzoek 2010onderzoek 2018 (mln. Euro). (Bron: TWIN-database) 2.3.2. Besteding Invloed van matching op besteding eerste geldstroommiddelen voor rijksbijdrage en matching onderwijs en onderzoek aan universiteiten en umc’s.

2.4. Investeringen in onderzoeksinfrastructuur 2.4. Budget internationale faciliteiten/ aantal ESFRIinitiatieven

Multinationale onderzoeksinfrastructuur waaraan Nederland deelneemt. Bv. ESA, EURATOM, CERN, JRC, EMBL… ESFRI-infrastructuur (Landmarks) waar Nederland coördinator is of lid (2018)

Bron: Op basis Koens, L., A. Vennekens, R. Hofman, N. van den Broek-Honingh en de Jonge, J. (2018). Balans van de Wetenschap 2018. Den Haag, Rathenau Instituut.

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 26 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

BIJLAGE 1: VIZIER 2030 Vizier 2030 biedt de vertaling van de VN Sustainable Development Goals naar een Vlaams kader en Vlaamse 2030-doelstellingen. Meer specifiek werden er 48 Vlaamse 2030-doelstellingen opgesteld, met een label volgens de 17 SDG’s. In Tabel 8 wordt een selectie opgenomen uit deze 48 Vlaamse 2030-doelstelling; de focus ligt hierbij op levenslang leren, wetenschap en innovatie. Deze doelstellingen zullen ook gemonitord worden. De voorgestelde indicatoren werden mee opgenomen in onderstaande tabel. Daarnaast wordt ook de specifieke SDG meegegeven: ‐ ‐ ‐ ‐

SDG 4: Verzeker gelijke toegang tot kwaliteitsvol onderwijs en bevorder levenslang leren voor iedereen SDG 8: Bevorder aanhoudende, inclusieve en duurzame economische groei, volledige en productieve tewerkstelling en waardig werk voor iedereen SDG 9: Bouw veerkrachtige infrastructuur, bevorder inclusieve en duurzame industrialisering en stimuleer innovatie SDG 12: Verzeker duurzame consumptie- en productiepatronen

Tabel 8: Selectie doelstellingen en indicatoren rond levenslang leren, wetenschap en innovatie SDG's

Strategische doelstellingen VIZIER 2030

Indicatoren

SDG 4 SDG 8

11. Tegen 2030 zijn opleidingen bij opleidingsverstrekkers (buiten onderwijs) gericht op zowel levenslang als levensbreed leren, door een solide basis van kennis, vaardigheden en attitudes aan te bieden waardoor (naast de competenties) ook de wendbaarheid en de maatschappelijke participatie van lerenden bevorderd worden

SDG 4

13. In 2030 volgen drie keer zoveel volwassenen formeel of non-formeel onderwijs als vorming als in 2015.

SDG 4

17. In 2030 erkent Vlaanderen als lerende samenleving competenties en kwalificaties, waar ze ook verworven zijn.

Aandeel dat deelneemt aan levenslang leren, naar geslacht, leeftijd, opleidingsniveau (EU/ET 2020-indicator; o.b.v. LFS; ook mogelijkheden op basis van AES) PIAAC (Programme or the International Assessment of International Competencies) onderzoek naar de taalkundige en numerieke vaardigheden van volwassenen. Aandeel volwassen dat in de voorbije vier weken onderwijs of opleiding volgde, naar geslacht, leeftijd, opleidingsniveau, internationale vergelijking (o.b.v. LFS, EU/ET2020-indicatoren); op basis van LFS/AES met 12 maanden referentieperiode Deelname aan volwassenonderwijs: profielen van participatie naar geslacht, hoogst behaald diploma en werksituatie Indicatoren rond (1) EVC elders verworven competenties (2) EVK elders verworven kwalificaties

SDG 8 SDG 9

19. Tegen 2030 garandeert Vlaanderen voor Algemene kredietvoorwaarden voor kmo's een gelijke toegang tot hulpbronnen, ondernemingen (Belgische data Bank Lending land, kennis, financiële diensten, kapitaal en Survey) markten, zodat ze toegevoegde waarde kunnen bieden en tewerkstelling generen.

SDG 8

21. Tegen 2030 is groei van het BBP per capita in Vlaanderen minstens in stand gehouden en is daarbij een verdere ontkoppeling gerealiseerd tussen de economische groei enerzijds en het grondstoffenverbruik en de milieu-impact anderzijds.

Groei BBP/capita Eco-efficiëntie: BBP uitgezet ten opzichte van energiegebruik, watergebruik, productie van huishoudelijk en bedrijfsafval, emissie naar de lucht van broeikasgassen, verzurende stoffen en fijn stof, emissie naar het water van stikstof

SDG 8

22. Tegen 2030 komt Vlaanderen tot een Werkzaamheidsgraden, werkloosheidsgraden, volledige tewerkstelling en behoort gemiddelde effectieve uittredeleeftijd - EAK Vlaanderen tot de top van Europa inzake werkzaamheidsgraad met langere loopbanen en meer werkbare jobs

SDG 8 SDG 12

23. Tegen 2030 heeft Vlaanderen de transformatie gemaakt naar een polyvalente economie, die op een duurzame en competitieve manier welvaart en tewerkstelling creëert en die ondernemingen aanmoedigt om duurzame praktijken aan te nemen. 24. Tegen 2030 verhoogt Vlaanderen het aantal kennisgedreven buitenlandse investeringen in Vlaanderen, die ook tewerkstelling generen en neemt de export, het aantal exporterende bedrijven evenals het exportaandeel buiten Europa toe. 25. Tegen 2030 is in Vlaanderen de ondernemerschapscultuur breed gedragen, stijgt het aantal starters en neemt het aantal snelgroeidende ondernemingen sterk toe.

Geharmoniseerde competitiviteitsindicator

26. Tegen 2030 is Vlaanderen koploper in de digitale economie en maatschappij, ondersteund door een volledige uitgerolde state-of-the-art digitale infrastructuur.

Aandeel bedrijven dat ‘big data’ analyseert vanuit op het even welke bron Downloadsnelheid van vaste internetconnectie bij ondernemingen Aan te vullen met aantal relevante aspecten van de DESI-index over bedrijven

SDG 8

SDG 8 SDG 9

Loonkostenhandicap t.o.v. onze 3 voornaamste buurlanden/handelspartners (DU, Fr, NL.) Loonkost per eenheid product

O&O bestedingen van buitenlandse entiteiten in Vlaanderen (Onder voorbehoud) Uitvoerratio, uitgesplitst binnen en buiten de EU Oprichting van bedrijven Snelgroeiende bedrijven Ondernemerschapscultuur

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 28 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

SDG 9

SDG 4 SDG 8

28. Tegen 2030 heeft de Vlaamse industrie een belangrijk aandeel in de economie en is de aanpassing van de Vlaamse industrie, die zich toespitst op innovatieve goederen en diensten met een hoge toegevoegde waarde, een feit. 29. Tegen 2030 is de vertraging van de productiviteitsgroei ongedaan gemaakt en scoren we hoger dan het Europese gemiddelde

Industrie (aandeel in BTW en WG)

30. Op korte termijn groeit de besteding aan onderzoek en ontwikkeling naar 3% van het BBP, waarbij het aantal onderzoeks- en ontwikkelingswerkers sterk toeneemt, en daarna verbeteren we onze relatieve positie ten opzichte van de top van Europa 31. In 2030 voeren alle ondernemingen en organisaties een strategisch competentiebeleid.

3% norm (GERD)

Aandeel innovatieve bedrijven (CIS-enquête). Na te gaan of gegevens beschikbaar zijn per sector Omvang arbeidsproductiviteit, in industrie en totale economie. Na te gaan of per sector mogelijk is. Productiviteitsgroei, naar sector O&O personeel Overheidskredieten innovatie (EWI)

voor

wetenschap

Gemiddeld aantal opleidingsdagen per VTE werknemer, regionale beschikbaarheid wordt nagegaan High performance Work Practices indicator

Bron: Extract uit ‘Vizier 2030: Een 2030-doelstellingenkader voor Vlaanderen’ (VR 2019 0504 DOC.0431/2)

BIJLAGE 2: OVERZICHT KPI’S In Tabel 9 en Tabel 10 wordt een overzicht gegeven van de KPI’s van de SOC’s en clusters. Er worden geen targets mee opgenomen in onderstaande tabellen. De beheersovereenkomsten bevatten deze specifieke targets wel.

Tabel 9: Overzicht KPI’s SOC’s Flanders Make

Imec

VIB

Onderzoeksexcellentie KPI1.1: publicaties in internationale peer reviewed tijdschriften KPI1.2: publicaties in internationale wetenschappelijke conferenties KPI1.3: Omzet in Europese deelname Regionale impact KPI2.1: Technologische benutting KPI2.2: bereik in de directe doelgroep KPI2.3: Industriële inkomsten KPI2.4: Industrieel bereik Hefboom: KPI3.1: globale hefboom KPI3.2: industriële hefboom KPI3.3: Strategische samenwerking Synergie: KPI4.1: aantal ‘cross-initiative’ projecten KPI4.2: disseminatiebereik KPI4.3: gemeenschappelijke publicaties (min. 2 core labo’s) Uitmuntendheid KPI1: aantal ‘peer reviewed’ publicaties KPI2: Octrooien: aantal eerste indieningen KPI3: Aantal doctorandi Regionale impact KPI4: Aantal nieuwe spin-offs KPI5: Incubatiewerking KPI6: Inkomsten uit samenwerking met ondernemingen uit de regio KPI7: Partnerships met entiteiten uit de regio Hefboomwerking KPI8: Inkomsten uit internationale programma’s KPI9: Hefboomwerking ICON Wetenschappelijke excellentie KPI1: aantal publicaties in hogerangtijdschriften KPI2: aantal publicaties in toptijdschriften KPI3: citatie-impact Onderwijs

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 30 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

VITO

KPI4: aantal doctorandi Technologietransfer en valorisatiestrategie KPI5: aantal ingediende en gepubliceerde reguliere octrooiaanvragen KPI6: aantal nieuwe licentieovereenkomsten en samenwerkingsovereenkomsten met industriële partners KPI7: VIB discovery science KPI8: aantal start-ups KPI9: Internationale inkomsten KPI10: Industriële inkomsten Economische impact (Geen info beschikbaar)

Bron: Beheersovereenkomst tussen de Vlaamse overheid en de respectievelijke SOC’s Flanders Make, imec en VIB

Tabel 10: Overzicht KPI’s Speerpuntclusters KPI-C1: Aantal gesubsidieerde projecten Catalisti KPI-C2: Aantal toegekende subsidies Duurzame chemie en KPI-C3: Aantal bedrijfspartners in de gesubsidieerde projecten kunststoffen KPI-C4: Aantal samenwerkingen tussen onderzoekspartners KPI-C5: cofinanciering van bedrijven in de gesubsidieerde projecten in M€ KPI-C6: cofinanciering van bedrijven in de gesubsidieerde projecten in % KPI hefboomwerking: KPI-O11: Aantal gerealiseerde waardeketens (product niveau) KPI-O8: aantal gesteunde investeringsdossiers Strategisch Initiatief KPI1: Aantal projecten gestart per jaar Materialen (SIM) KPI2: Aantal kmo’s betrokken bij projecten KPI3: Industriële bijdrage in projecten (%) KPI4: Aantal octrooi-aanvragen KPI5: Hefboomwerking: aantal opgestarte samenwerkingsinitiatieven per jaar tussen bedrijven en kennisinstellingen (buiten geoormerkt budget) KPI6: Hefboomwerking: aantal opgestarte samenwerkingsinitiatieven per jaar tussen bedrijven en kennisinstellingen (buiten geoormerkt budget) KPI7: Hefboomwerking: aantal internationale projecten met betrokkenheid van clusterleden opgestart per jaar KPI8: Hefboomwerking: bijdrage kennisinstellingen tot SIM thema’s (aantal projecten). Flux50 KPI-C1: Aantal gesubsidieerde projecten Energie KPI2-C2: Aantal toegekende steun KPI-C3: Aantal bedrijfspartners in de gesubsidieerde projecten KPI-C4: Aantal samenwerkingen tussen onderzoekspartners KPI-C5: Cofinanciering van bedrijven in gesubsidieerde projecten

KPI-C6: Aantal opgestarte trajecten VIL Empowering logistics

Flanders Food AgriFood

Output indicatoren: KPI1: Aantal unieke actieve ondernemingen binnen de cluster KPI2: Aantal nieuwe actieve ondernemingen binnen de cluster ten overstaan van vorige werkingsjaar KPI3: Percentage unieke actieve kmo’s binnen de cluster KPI4: Aantal start-up in logistiek KPI5: Aantal regionale samenwerkingen KPI6: Aantal internationale samenwerkingen Effect indicatoren: KPI7: Aantal valorisatie en implementatie cases door ondernemingen KPI8: Aantal partner matchings (buiten geoormerkt budget) KPI9: Opgestarte projectmatige samenwerkingen met minstens 3 ondernemingen KPI10: Tevredenheid stakeholders Impact indicatoren: KPI11: Bijkomende gerealiseerde omzet bij de lid-bedrijven in Vlaanderen (M€) KPI12: Bijkomende gerealiseerde tewerkstelling in de transport en logistieke sector in Vlaanderen (in VTE) KPI13: Ondertekening duurzaamheidscharter/MVO door clusterleden Output indicatoren: KPI1: Aantal unieke ondernemingen die jaarlijks bijdragen (upfront) KPI2: Aantal unieke actieve ondernemingen binnen de cluster KPI3: Aantal unieke nieuwe actieve ondernemingen binnen de cluster KPI4: Percentage actieve kmo’s binnen de cluster KPI5: Aantal regionale samenwerkingen (in het kalenderjaar) KPI6: Aantal internationale samenwerkingen (in het kalenderjaar) Effect indicatoren: KPI7: Aantal lopende samenwerkingsprojecten met minstens 3 unieke ondernemingen (incl. internationale projecten) KPI8: Aantal unieke ondernemingen die deelnemen aan minstens één samenwerkingsproject KPI9: Aantal unieke ondernemingen die deelnemen aan minstens één internationaal project (cross-border) KPI10: Aantal unieke ondernemingen die deelnemen aan minstens één project binnen het ecosysteem (cross-border) KPI11: Aantal unieke ondernemingen die kennis verkrijgen via andere activiteiten dan samenwerkingsprojecten KPI12: Tevredenheid van de stakeholders en leden KPI13: Aantal nieuwe gedeelde infrastructuur bedoeld voor innovatie, opgericht in samenwerking met Flanders’ FOOD KPI14: Aantal valorisatie- en implementatiecases door ondernemingen

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 32 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

Impact indicatoren: KPI15: Omzet van de Vlaamse voedingsindustrie (MEUR) KPI16: Bijkomende omzet van de actieve ondernemingen (MEUR) KPI17: Bijkomende tewerkstelling binnen de actieve ondernemingen (VTE) KPI18: Investeringen door de Vlaamse voedingsindustrie (MEUR) KPI19: Aandeel van export in omzet van de Vlaamse voedingsindustrie KPI20: Verhoging van effectiviteit en efficiëntie van innovatietrajecten bij actieve ondernemingen Blauwe cluster Innovatieve en KPI’s Blauwe cluster zijn beschikbaar duurzame clusterpact/steunovereenkomst met VLAIO economische golfslag op zee

bijlage

van

het

Bron: Clusterpacten ‐ Clusterpact speerpuntcluster Chemie en Kunststoffen, 2017 ‐ Clusterpact speerpuntcluster Strategisch Initiatief Materialen, 2017 ‐ Clusterpact speerpuntcluster Energie, 2017 ‐ Clusterpact speerpuntcluster VIL, 2017 ‐ Clusterpact speerpuntcluster AgriFood, 2018 ‐ Clusterpact De blauwe cluster, 2018

Tabel 11: Overzicht KPI’s beleidsplan Artificiële Intelligentie Luik 1: het versterken van top AI-strategisch basisonderzoek in Vlaanderen KPI’s worden gemeten per ‘challenges’ en voor het volledige AI-programma. De budgetten gealloceerd aan de uitdagingen zullen worden gebaseerd op de realisatie van de KPI’s en het strategisch belang en potentieel van impact. Enkele KPI’s die nog verder worden verfijnd in de operationele opvolging van het programma: -

bijkomende internationale funding op programma-activiteiten die hefboomwerking van de Vlaamse funding realiseren; aantal industriële samenwerkingen; aantal start-ups; aantal publicaties in internationale top-journals en de aanwezigheid op topconferenties (inclusief Invited papers, tutorials, workshops die visibiliteit geven aan de activiteiten van het programma) en deelname aan standaardisatie-comités gericht op de activiteiten van het programma; aantal projecten die doorstarten op de programmaresultaten met Vlaamse stakeholders in de implementatie fase van het programma; aantal onderzoekers die een job aannemen in de Vlaamse industrie; aantal Baekeland-PhD’s; aantal Proof-of-Concepts gegenereerd in het programma die beantwoorden aan een specifieke uitdaging in een toepassingsdomein.

Luik 2: implementatie in het Vlaamse bedrijfsleven

Figuur 6: Aanzet KPI’s vanuit de stakeholders

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 34 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

In Figuur 6 wordt een voorstel van KPI’s opgemaakt door de betrokken stakeholders weergegeven. Bij de verdere verfijning van inzet van instrumenten kunnen deze KPI’s nog wijzigen. Ze worden ter illustratie mee opgenomen, maar zijn niet definitief, wel onderbouwd. Na de herverdeling van middelen die in de nota voorgesteld wordt, en licht afwijkt van de tabel, zal de inzet van specifieke instrumenten verder uitgeklaard worden en zal de tabel (in Figuur 6) verder vorm krijgen. Luik 3: Flankerend beleid gericht op bewustmaking, opleiding en ethische omkadering (nog geen info beschikbaar) Bron: Quaternota aan de Vlaamse Regering - Vlaams Beleidsplan Artificiële Intelligentie (VR 2019 2203 DOC. 0318/1QUATER)

BIBLIOGRAFIE VRWB-, VRWI- en VARIO-adviezen ‐ ‐ ‐ ‐ ‐ ‐ ‐ ‐

VRWB (2004) Aanbeveling 22 Innovatiepact: Referentie-instrumentarium voor de kwantitatieve evaluatie VRWB Advies 24 (2005). Opvolging Vlaams Innovatiepact. Eerste invulling kernindicatoren. VRWB Advies 113 (2007). Begroting Wetenschap en Innovatie 2007. VRWB Advies 131 (2009). Begroting, Wetenschap en Innovatie 2009. VRWI Advies 160 (2011). Kernindicatoren 2011. VRWI advies 153ter (2011). De 1%-norm voor O&O: invulling groeipad. VRWI Advies 197 (2014). Nieuwe VRWI-indicatorenset. VARIO-advies 6 ‘Waardecreatie door samenwerking’ (maart 2019).

Documenten van de Vlaamse overheid ‐ ‐ ‐ ‐ ‐

‐

Vizier 2030: Een 2030-doelstellingenkader voor Vlaanderen (VR 2019 0504 DOC.0431/2) https://www.vlaanderen.be/vlaamse-regering/visie-2050 BOF-besluit 2019 (VR 2019 0103 DOC.0290/4BIS) Quaternota aan de Vlaamse Regering - Vlaams Beleidsplan Artificiële Intelligentie (VR 2019 2203 DOC. 0318/1QUATER) Decreet betreffende de organisatie en financiering van het wetenschaps-en innovatiebeleid van 30 april 2009 art. 30, 32 en 33 §3. Mededeling aan de Vlaamse Regering - Implementatie van Sustainable Development Goals in Vlaanderen (VR 2016 2810 MED.0419/1) Beheersovereenkomsten tussen de Vlaamse overheid en de SOC’s ▪ ▪ ▪

‐

Beheersovereenkomst tussen de Vlaamse overheid en Flanders Make Beheersovereenkomst tussen de Vlaamse overheid en imec Beheersovereenkomst tussen de Vlaamse overheid en VIB

Clusterpacten van de speerpuntclusters ▪ ▪ ▪ ▪ ▪ ▪

Clusterpact speerpuntcluster Chemie en Kunststoffen, 2017 Clusterpact speerpuntcluster Strategisch Initiatief Materialen, 2017 Clusterpact speerpuntcluster Energie, 2017 Clusterpact speerpuntcluster VIL, 2017 Clusterpact speerpuntcluster AgriFood, 2018 Clusterpact De blauwe cluster, 2018

Evaluaties voor Vlaanderen ‐ ‐

Aerts K. en D. Czarnitzki (2006). The impact of public R&D-funding in Flanders, IWT Studie 54, Brussel. Durinck, E. G. Jans en Steurs, G. (2012). Impact van de IWT-bedrijfssteun bij de Vlaamse ondernemingen. Verslag van de studie uitgevoerd door Idea consult, IWT-Studie 72.Enzing, C.,

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 36 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

‐ ‐ ‐

‐ ‐

Ploeg, M., van Barneveld, J. en Fikkers D.J. (2013). Evaluatie van de Industriële Onderzoeksfondsen en de interfaceactiviteiten. Managementsamenvatting. Technopolis group voor het Departement EWI. den Hertog, P., van der Beken, W., Bongers, F. en Erven, B. (2016). Systeemevaluatie van imec, VIB and iMinds. Managementsamenvatting. IDEA Consult & Dialogic voor het Departement EWI. Biggar Economics (2017). The Economic Contribution of the Flemish Universities. A report to VLIR. Bongers, F., van Kerkhof, D., van Hoed, M., Desmedt, E. en Korlaar, L. (2017). Systeemevaluatie (van de actoren) Wetenschapscommunicatie. Managementsamenvatting. IDEA Consult & Dialogic voor het Departement EWI. Korlaar, L. , Bongers, F. en Groot Beumer, T. (2018). Evaluatie van de Bijzondere Onderzoeksfondsen. Managementsamenvatting. Dialogic voor het Departement EWI. van der Beken, W., De Coen, A., van Hoed, M., Goffin, K. en Mertens, K. (2018). Systeemevaluatie van de financiering van (fundamenteel) onderzoek. Managementsamenvatting. IDEA Consult voor het Departement EWI.

Nederlandse documenten ‐ ‐ ‐

25 november 2014. Kamerstukken II, 2014-2015, 29 338, nr. 141. AWTI, KNAW en Rathenau Instituut, Balans van de Wetenschap (2016). Den Haag, Rathenau Instituut. Koens, L., A. Vennekens, R. Hofman, N. van den Broek-Honingh en J. de Jonge (2018). Balans van de wetenschap 2018. Den Haag, Rathenau Instituut.

Europese Commissie en OESO ‐

‐ ‐ ‐

European Commission (2015). Horizon 2020 Indicators: Assessing the Results and Impact of Horizon 2020.European Commission (2017). Commission Staff Working Document. Better Regulation Guidelines. European Commission (2018). A New Horizon for Europe. Impact Assessment of the 9th EU Framework Programme for Research and Innovation. European Commission (2018). Monitoring the impact of EU Framework Programmes. Expert Report written bij Peter van den Besselaar, Ramon Flecha, Alfred Radauer. OECD (2002). Glossery of Key Terms in Evaluation and Results Based Management. Paris, OECD Publications.

Websites ‐ ‐ ‐ ‐ ‐

https://ec.europa.eu/research/participants/docs/h2020-funding-guide/cross-cuttingissues/climate-sustainable-development_en.htm https://rio.jrc.ec.europa.eu/en/stats/key-indicators https://sustainabledevelopment.un.org/post2015/transformingourworld https://www.ewi-vlaanderen.be/nieuws/nieuwe-verdeelsleutel-universitaire-financiering https://www.ewi-vlaanderen.be/nieuws/vlaanderen-lanceert-langdurig-investeringsprogrammavoor-co2-neutraliteit

‐ ‐ ‐ ‐

https://www.ewi-vlaanderen.be/wat-doet-ewi/excellerend-onderzoek/financiering-vanonderzoek/industrieel-onderzoeksfonds https://www.vlaamsindicatorenboek.be/ https://www.vlaio.be/nl/andere-doelgroepen/vlaams-beleidsplan-artificiele-intelligentie https://www.vlaio.be/nl/andere-doelgroepen/vlaams-beleidsplan-cybersecurity

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Pagina 38 van 38 VARIO ANALYSERAPPORT NR 7: Conceptueel kader voor het opstellen van KPI’s in functie van beleidsdoelstellingen 28.05.2019

Dit analyserapport is voorbereid door de VARIO-staf: Annelies Wastyn (redactie, onderzoek en analyse) Veerle Linseele (redactie, onderzoek en analyse) Danielle Raspoet (redactie)

Vlaamse Adviesraad voor Innoveren en Ondernemen Koolstraat 35 1000 Brussel +32 (0)2 553 24 40 info@vario.be www.vario.be