SAMENVATTING ONDERZOEK
ONDERZOEK I.K.V.
× VIONA STEUNPUNT WSE
Capita Selecta Recent Arbeidsmarktonderzoek in Vlaanderen TITEL:
HET RENDEMENT VAN OPLEIDINGEN IN HET BELEIDSDOMEIN ‘WERK’
Auteur(s): Katleen De Rick, Deni Mazrekaj, Kristof De Witte
1.
Korte samenvatting van het onderzoek (abstract)
Het Vlaams Regeerakkoord benadrukt het belang van competentie-ontwikkeling. Competentie-ontwikkeling moet er ten eerste voor zorgen dat mensen (gelijke) toegang krijgen tot de arbeidsmarkt en ten tweede dat werknemers lange en werkbare loopbanen hebben. Uiteindelijk moet door een hogere toegankelijkheid van de arbeidsmarkt en door de langere loopbanen een stijging komen van de werkzaamheidsgraad. Via het Beleidsdomein Werk wordt een breed gamma van opleidingen aangeboden aan werkzoekenden, werknemers en ondernemers. De aanbieders zijn in dit geval VDAB en SYNTRA Vlaanderen. De overheid heeft er belang bij om inzicht te hebben in de effectiviteit en efficiëntie van de opleidingen, om te kunnen beslissen over het al dan niet verder gaan met het gevoerde beleid (en op welke manier). De realiteit is echter zo dat we op dit moment weinig weten over de effectiviteit en efficiëntie van opleidingen in het domein Werk. Om de rendementsmetingen te kunnen verbeteren, is er ten eerste inzicht nodig in hoe rendement tot uiting komt, of met andere woorden in het concept ‘rendement’. Ten tweede moet het rendement op een betrouwbare en geldige manier gemeten worden. Ook efficiëntiemetingen dienen doordacht opgezet te worden. Dergelijke rendementsmetingen moeten leiden tot aanknopingspunten voor verbetering: wat werkt en wat werkt niet? Dit rapport is bedoeld om de overheid en de aanbieders van opleidingen in het beleidsdomein Werk inzicht te geven in het meten van de effectiviteit en efficiëntie van opleidingen. Eerst bieden we inzicht in het rendement van opleidingen. Rendement kan bekeken worden vanuit verschillende perspectieven (de persoon die de opleiding gevolgd heeft, het bedrijf dat personen die opleiding gevolgd hebben rekruteert of wil rekruteren, de overheid en de samenleving). Daarna gaan we in op de rendementsmetingen die nu uitgevoerd worden door VDAB en door SYNTRA Vlaanderen. We zien dat de huidige rendementsmetingen beperkt zijn. Door op een gepaste manier gebruik te maken van goede methoden voor effectiviteits- en efficiëntie-analyse kan met de beschikbare data veel meer inzicht gekregen worden in het rendement van de opleidingen dan nu het geval is. Dit rapport geeft een overzicht van de beschikbare methoden. De kwaliteit van rendementsmetingen hangt ook samen met de kwaliteit van de data. Aangezien zowel VDAB als SYNTRA Vlaanderen systematisch data verzamelen, loont het de moeite om de kwaliteit van de beschikbare data te verbeteren. Naargelang de interesse van overheid en aanbieders kan het ook relevant zijn om bijkomende gegevens te registreren. De kwaliteitsaspecten die in het oog moeten worden gehouden bij registratie en dataverzameling worden eveneens behandeld. Omdat het interessant kan zijn om (ad hoc) bijkomende data te verzamelen om een aantal aspecten van rendement op een meer diepgaande manier te bekijken, geven we ook zicht op indicatoren en meetinstrumenten die hiervoor gebruikt kunnen worden. Het opzetten van een goede effect- of efficiëntiemeting vereist dat op een systematische manier een aantal keuzes gemaakt worden. Hiervoor bieden we een stappenplan. Het rapport eindigt met een aantal globale aanbevelingen om ervoor te zorgen dat er een goed fundament is voor rendementsmetingen.
1
Key words: opleiding, rendement, VDAB, SYNTRA Vlaanderen, meten, statistische analyse, concepten, stappenplan
2.
Doelen van het onderzoek
Het doel van de studieopdracht is drieledig: 1) Inzicht geven in het concept ‘rendement van opleidingen’ 2) Een overzicht geven van de mogelijkheden die er zijn om effectiviteit en efficiëntie te meten 3) Opstellen van een model om effectiviteits- en efficiëntiemetingen op te zetten
Verduidelijking van kernbegrippen + op welke wijze deze aansluiten bij de gangbare internationale definitie(s) + typisch Vlaamse begrippen en structuren
3.
Methoden en data (voor meer methodologische toelichting kan je het kaderstuk gebruiken)
Eerst werd het concept ‘rendement van opleidingen’ uitgediept op basis van wetenschappelijke literatuur, en dit vanuit verschillende perspectieven: het perspectief van de lerende, het perspectief van het bedrijf, het perspectief van de overheid en het perspectief van de brede samenleving. Vervolgens werd nagegaan welke rendementsmetingen op dit moment al gebeuren bij VDAB en bij SYNTRA Vlaanderen. Hiervoor werden in beide organisaties professionals geconsulteerd die een goed zicht hebben op dataverzameling, monitoring en onderzoek. Daarna werd op basis van methodologische literatuur een overzicht gemaakt van analysetechnieken om effectiviteit en efficiëntie van opleidingen te meten. Elke techniek werd geïllustreerd met een mogelijke toepassing voor VDAB of voor SYNTRA Vlaanderen. Omdat de kwaliteit van de data van groot belang is, werd ook een overzicht gemaakt van de voorwaarden waaraan de data moeten voldoen. Voor een aantal vormen van rendement die complex zijn, zochten we in het wetenschappelijk (beleidsgericht) onderzoek naar voorbeelden van goede instrumenten die bij effect- en efficiëntiemetingen gebruikt kunnen worden. Tot slot werd een stappenplan ontwikkeld aan de hand waarvan een effect- en/of efficiëntiemeting kan worden opgezet.
2
3
Methodische toelichting (bijvoorbeeld type van survey: statistische technieken)
4.
Bevindingen
Conceptualisering van ‘rendement van opleidingen’ De effecten van opleidingen kunnen worden gemeten aan de hand van meerdere benaderingen. In de wetenschappelijke literatuur wordt doorgaans het onderscheid gemaakt tussen drie economische benaderingen: een micro-economische benadering, een meso-economische benadering en een macro-economische benadering. In de micro-economische benadering worden de effecten gemeten op het niveau van het individu. Welke baten zijn waarneembaar bij de directe begunstigden van bepaalde beleidsmaatregelen? In het geval van opleidingen gaat het over de effecten die zichtbaar zijn bij de deelnemers aan de opleiding. Daarnaast hebben we in dit geval ook nog effecten op een mesoniveau, namelijk het niveau van de bedrijven die eveneens ‘begunstigden’ zijn van de beroepsopleidingen in het beleidsdomein Werk. Ten slotte bestudeert de macro-economische benadering of de effecten die gemeten worden op het micro- en het mesoniveau ook bijdragen tot effecten op bijvoorbeeld het niveau van de samenleving (zoals een verhoging van de werkzaamheidsgraad). Niettegenstaande er al veel onderzoek is gebeurd over het rendement van opleidingen kan men niet zeggen dat er algemeen aanvaarde conceptuele modellen zijn. In de wetenschappelijke literatuur is er soms ook controverse over hoe concepten moeten worden gedefinieerd, en vaak worden verschillende termen gebruikt voor hetzelfde begrip of worden met hetzelfde begrip toch fundamenteel andere zaken bedoeld. Uiteindelijk kwamen we tot de volgende ‘inventaris’ van vormen van rendement: Rendement voor de deelnemer aan de opleiding: Menselijk kapitaal: Verwerven van competenties, kennis en vaardigheden Behalen van kwalificaties Participeren aan andere opleidingen Economisch kapitaal: Deelname aan arbeid (ondernemerschap, reguliere tewerkstelling, gesubsidieerde of ondersteunde tewerkstelling) Een job die match met de competenties Goede (of betere) arbeidsvoorwaarden (loon, arbeidscontract, opleidingsmogelijkheden)
4
Loopbaankapitaal: Loopbaancompetenties (motievenreflectie, kwaliteitenreflectie, arbeidsmarktexploratie, loopbaansturing en netwerken) Aanpassingsvermogen Rendement voor de bedrijven: Invulling van vacatures en jobcreatie Goede match tussen vacature en werknemer Verhoogde productiviteit en winstgevendheid Verhoogd rendement van de investering in opleiding in het bedrijf Verhoogde concurrentiekracht en innovatievermogen Rendement voor de samenleving: Markteffecten (toename van de werkzaamheidsgraad, lager werkloosheidspercentage, meer evenredige arbeidsdeelname, afname van de openstaande vraag naar arbeidskrachten, toename van de omvang van het arbeidsaanbod, toename van de totale werkgelegenheid, loonvorming, macro-economische productie en economische groei) Niet-markteffecten (betere gezondheid, welbevinden en kwaliteit van leven, burgerschap en wenselijk sociaal gedrag) Specifieke overheidseffecten (belastinginkomsten, meer bijdragen voor de sociale zekerheid, meer inkomsten uit consumptie van goederen en diensten, vermindering van uitgaven voor bijvoorbeeld werkloosheidsuitkeringen of gezondheidszorg)
5
4.
Bevindingen (vervolg)
Huidige metingen van het rendement van opleidingen in het domein Werk VDAB en SYNTRA Vlaanderen focussen zich vooral op gegevensverzameling rond drie concepten: uitstroom naar werk en ondernemerschap, tevredenheid van de cursisten, en de kosten van de opleidingen. Twee problemen doen zich voor. Aan de ene kant, zijn deze gegevens vooral nuttig voor de meting van de micro-economische effecten, namelijk rendementen voor de deelnemer aan de opleiding zelf. Niettemin kan de meting van andere rendementen, namelijk rendementen voor bedrijven en voor de samenleving, tot interessante conclusies leiden. Aan de andere kant zijn de metingen van VDAB en SYNTRA Vlaanderen slechts beschrijvend. Ze proberen rendementen weer te geven, maar houden geen rekening met factoren zoals bijvoorbeeld kenmerken van de opleiding, kenmerken van de cursist, en de socio-economische omgeving die deze rendementen kunnen vertekenen. Bijgevolg kan er niet gesproken worden van oorzakelijke verbanden wat ertoe kan leiden dat VDAB en SYNTRA Vlaanderen verkeerde conclusies uit de cijfers trekken. Adequate technieken voor analyse van effectiviteit en efficiëntie Bij het meten van rendementen maken we een onderscheid tussen effectiviteit en efficiëntie. Met effectiviteit doelen we op de mate waarin er bepaalde rendementen behaald worden. Met efficiëntie doelen we op de mate waarin middelen ingezet worden om rendementen te verkrijgen. Effectiviteit heeft met andere woorden betrekking op de uitkomst van het proces, en efficiëntie op het proces zelf. De verschillende methoden om de effectiviteit te meten kunnen worden gerangschikt op basis van hun bewijskracht. We maken een onderscheid tussen vier soorten van onderzoek: beschrijvend onderzoek, correlationeel onderzoek, quasi-experimenteel onderzoek, en experimenteel onderzoek. De eenvoudigste vorm van onderzoek met het minst bewijskracht is beschrijvend (descriptief) onderzoek, waarbij fenomenen worden beschreven, maar niet verklaard. Bijgevolg kunnen we met beschrijvend onderzoek geen causale verbanden aantonen. Bij het correlationeel onderzoek gaan we verder dan het louter beschrijven van fenomenen, maar proberen we ze ook te verklaren. Er worden expliciet data verzameld over factoren die voor vertekening kunnen zorgen. Vervolgens wordt in een tweede stap voor deze variabelen gecontroleerd in specifieke modellen. Bijgevolg worden effecten geïnterpreteerd netto van de effecten van andere factoren. Naargelang de specifieke codering van de variabele waarin we geïnteresseerd zijn, kunnen we drie methoden onderscheiden, namelijk de lineaire regressie (continue afhankelijke variabele), de logistische regressie (binaire afhankelijke variabele) en duurmodellen (afhankelijke variabele stelt een duur voor). Hoewel correlationeel onderzoek een goede manier is om het verband tussen variabelen te kwantificeren, is dit verband niet noodzakelijk oorzakelijk (ook causaal genoemd). Als correlationeel onderzoek een significant verband oplevert tussen twee variabelen, kunnen drie mechanismen een rol spelen: causaliteit (variabele A beïnvloedt variabele B), omgekeerde causaliteit (variabele B beïnvloedt variabele A), en het effect van mediërende variabelen die niet geobserveerd zijn (variabele C beïnvloedt zowel variabele A als variabele B). Bijgevolg is enige voorzichtigheid nodig bij het interpreteren van deze resultaten. Deze tekortkomingen van het correlationeel onderzoek worden grotendeels opgelost door quasi-experimentele technieken. In deze technieken wordt de steekproef verdeeld in twee groepen, namelijk een experimentele groep die een bepaalde interventie ondergaat, en een controlegroep die heel gelijkaardig is aan de experimentele groep, maar deze interventie niet ondergaat. De toewijzing van individuen aan de verschillende groepen is echter niet volledig willekeurig. De onderzoeker maakt gebruik van de zogenaamde natuurlijke experimenten om de groepen in te delen. Meer specifiek worden bij een natuurlijk experiment de groepen ingedeeld door toevallige omstandigheden die niet door de individuen zelf kunnen worden gecontroleerd, zoals bijvoorbeeld elementen uit de regelgeving of populatieveranderingen. We onderscheiden vijf technieken: Regression Disontinuity Design (RDD): bij RDD gebeurt de toewijzing van individuen aan een experimentele en een controlegroep op basis van een bepaald omslagpunt of discontinuïteit (bijvoorbeeld geven van bijlessen op basis van een slaagpercentage op het eindexamen van 50%). Zo kunnen we individuen net boven (experimentele groep) of net beneden (controlegroep) de discontinuïteit met elkaar kunnen vergelijken. Difference-in-Differences (DiD): Bij DiD zijn we op zoek naar trendbreuken. Een trendbreuk is bijvoorbeeld een beleidsmaatregel die wordt ingevoerd of afgeschaft. We bestuderen het effect van de interventie door de uitkomst van de individuen na de trendbreuk (experimentele groep) te vergelijken met de uitkomst van de individuen voor de trendbreuk (controlegroep). Dit is het zogenaamde eerste verschil (first difference). Niettemin is het mogelijk dat de uitkomst zou stijgen of dalen ongeacht de interventie. Om dit op te lossen, gebruiken we een additionele controlegroep. Dit zijn individuen die gelijkaardig zijn aan de individuen die de interventie hebben gekregen, alleen hebben ze de interventie nooit gekregen. Ook voor deze controlegroep vergelijken we de uitkomst van de individuen na de trendbreuk met de uitkomst van de individuen voor de trendbreuk. Dit is het zogenaamde tweede verschil (second difference). Het vergelijken van het eerste verschil met het tweede verschil geeft de zogenaamde verschil-in-verschillen analyse (difference-in-differences).
6
4.
Bevindingen (vervolg)
Matching: matching is een quasi-experimentele methode die op basis van waarneembare kenmerken van individuen een controlegroep probeert te simuleren. We zoeken dus voor ieder individu dat de interventie heeft gekregen, een zo gelijkaardig mogelijk individu dat de interventie niet heeft gekregen. Instrumentele Variabelen (IV): via IV proberen we om het vertekende (endogene) deel van een correlatie te verwijderen zodat enkel het causale deel overblijft. De endogeniteit kan voortkomen uit zelfselectie, omgekeerde causaliteit en verborgen variabelen. Gegeven dat de interventie endogeen is (bijvoorbeeld door zelfselectie), proberen we in de IV-methode een andere variabele te vinden (die noemen we een ‘instrument’) die sterk samenhangt met de interventie, maar die niet door de observatie zelf wordt bepaald. Vervolgens gebeurt de schatting in twee stappen (Two-Stage Least Squares - 2SLS). In de eerste stap schatten we het effect van het instrument op de interventie. Op die manier wordt het endogene deel van de correlatie verwijderd. In de tweede stap schatten we het werkelijk effect van de behandeling op de uitkomst. Combinaties: ieder quasi-experimentele methode krijgt te kampen met een aantal tekortkomingen. Bijgevolg proberen onderzoekers om de beperkingen van één methode te neutraliseren door het te combineren met een andere methode bijvoorbeeld door matching te combineren met Difference-in-Differences (matched DiD), DiD te combineren met RDD (DiD RDD), of IV te combineren met DiD (IV DiD). Een belangrijke tekortkoming van quasi-experimenteel onderzoek is het niet volledig willekeurig toewijzen van observaties (bv. individuen, opleidingen) aan een experimentele en een controlegroep. De onderzoeker maakt immers gebruik van natuurlijke experimenten. Hierbij wijst een externe partij, anders dan de onderzoeker, de observaties toe aan de twee groepen. Hoewel dit een goede benadering is voor het willekeurig toewijzen van observaties, is deze procedure vaak niet volledig willekeurig. Deze tekortkoming wordt opgevangen door experimenteel onderzoek. Bij een gerandomiseerd experiment worden observaties door de onderzoeker zelf willekeurig toegewezen aan een experimentele en een controlegroep. Door deze randomisatie zijn beide groepen gelijkaardig op alle observeerbare en niet-observeerbare kenmerken buiten de gekregen interventie. Bijgevolg kunnen we het bekomen effect volledig aan de interventie toeschrijven. Bovendien is dit effect oorzakelijk, waardoor experimenteel onderzoek over het sterkste bewijskracht beschikt. Daarom wordt een gerandomiseerd experiment (Randomized Control Trial - RCT) als de gouden standaard beschouwd in het onderzoek. Voor efficiëntieanalyse onderscheiden we twee technieken: Data Envelopment Analysis (DEA) en Stochastic Frontier Analysis (SFA). Het startpunt bij beide methoden is het definiëren van een input en een output. Inputs zijn typisch de middelen, terwijl outputs de resultaten zijn. Vervolgens schatten we een grens van ‘best practices’ of de potentiële output die een individu gegeven de input zou kunnen behalen. Ten slotte bepalen we de inefficiëntie. Deze kan op twee manieren worden gedefinieerd. Enerzijds kunnen we vaststellen dat een individu een hogere output zou kunnen behalen met dezelfde input (outputoriëntatie). Anderzijds kunnen we vaststellen dat een individu dezelfde output kan behalen met minder input (inputoriëntatie). Het grote voordeel van DEA is dat het gebaseerd is op zeer weinig assumpties (niet-parametrisch). Het nadeel echter is dat het geen rekening houdt met meetfouten en dat het moeilijker is om te controleren voor omgevingsvariabelen. Beide problemen kunnen worden opgelost door SFA. Aan de andere kant is het grote nadeel van SFA dat het zeer veel assumpties veronderstelt (parametrisch). Indicatoren en instrumenten voor het meten van complexe vormen van rendement Om effectiviteits- en efficiëntiemetingen te kunnen doen, is het nodig dat er goede gegevens beschikbaar zijn. Om van goede kwaliteit te zijn moeten de data aan de volgende voorwaarden voldoen: ze moeten geldig zijn en betrouwbaar, de metingen moeten nauwkeurig zijn en het meetniveau zo hoog mogelijk. Voor het meten van complexe vormen van rendement (bijvoorbeeld omdat ze multidimensionaal zijn), is het aangewezen om meetinstrumenten te gebruiken die daarmee rekening houden en uit verschillende indicatoren bestaan die gezamenlijk de complexiteit van het betreffende concept zo goed mogelijk proberen te vatten. In wetenschappelijk (beleidsgericht) onderzoek zijn verschillende van dergelijke instrumenten terug te vinden, al is niet altijd de validiteit in dezelfde mate op een systematische manier getoetst. Het model voor effect- en efficiëntiemetingen Het opzetten van effect- en efficiëntiemetingen kan – ongeacht wat men precies wil meten – telkens verlopen volgens een vast model waarbij op basis van wat men wil meten en de data die men heeft, een aantal beslissingen genomen worden. Bijgevolg hebben we een stappenplan ontwikkeld die een gestructureerde manier biedt om een effect- en/of efficiëntiemeting aan te pakken. Aan de hand van deze stappen kan worden bepaald wat het voorwerp van de effectof efficiëntiemeting is, het niveau van evaluatie en de aard van analyse is (bijvoorbeeld correlatie, causaliteit). Het stappenplan bestaat uit 3 sequentiële fases: 1) bepalen van het voorwerp van de effect- of efficiëntiemeting, 2) selectie van de benodigde data, 3) bepalen van de gepaste analysemethode op basis van een aantal criteria. Bij elke fase horen verschillende stappen en elke stap is belangrijk voor goede rendementsmetingen.
7
5.
Conclusies en beleidsimplicaties
We kwamen tot de conclusie dat leerrendement een multidimensionaal concept is dat vanuit verschillende perspectieven bekeken kan worden. De rendementsmetingen die VDAB en SYNTRA Vlaanderen tot nu toe uitvoeren zijn echter beperkt. Er is nochtans een heel gamma aan analysetechnieken beschikbaar die gebruikt kunnen worden om zowel effectiviteit van opleidingen als de efficiëntie ervan te gaan meten. Om die analysetechnieken op een goede manier in te zetten, is het wel nodig dat ook de kwaliteit van de data bewaakt wordt en dat indien nodig met degelijke meetinstrumenten bijkomende gegevens verzameld worden. We formuleren de volgende aanbevelingen voor dataverzameling en voor analyse: Aanbevelingen voor dataverzameling 1. Zet administratieve gegevensverzameling zo op dat ze zo veel mogelijk bruikbaar is voor effect- en efficiëntiemetingen. Zorg ervoor dat de gegevens zodanig geregistreerd worden zodat ze vlot bruikbaar zijn als variabelen in rendementsmetingen. Hou bijvoorbeeld rekening met het meetniveau van de variabelen. Zorg ervoor dat cruciale effecten die gemakkelijk geregistreerd kunnen worden ook systematisch bijgehouden worden. Zorg ervoor dat van elk gegeven duidelijk is wat ermee bedoeld wordt. Documenteer de databank en neem definities, antwoordmogelijkheden, etc. op in een codeboek. Stem verschillende databanken waar mogelijk op elkaar af: gebruik dezelfde naam voor dezelfde variabele, gebruik dezelfde definitie, gebruik dezelfde antwoordmogelijkheden, … Anticipeer op mogelijke koppeling van databanken en stimuleer koppeling van databanken. 2. Verzamel gegevens op beredeneerde tijdstippen Bekijk welke gegevens het best ongoing verzameld worden, welke gegevens via momentmetingen bijgehouden kunnen worden en welk moment dan het meest geschikt is, … Wat het laatste betreft, moet men er bijvoorbeeld rekening mee houden dat de meting gebeurt op het moment dat het effect zich inderdaad heeft kunnen manifesteren, maar dat de tijd tussen interventie en effect ook niet zo lang is dat het moeilijk wordt om het effect nog aan de interventie te kunnen relateren. Zorg voor nulmetingen zodat (de omvang van) het effect van interventies ook goed geïnterpreteerd kan worden.
Aanbevelingen voor analyse 1. Begin bij innovaties in opleidingen met een kleinschalige opzet, zodat effectiviteit en efficiëntie zo goed mogelijk getest kunnen worden. Pas als de maatregelen bewezen zijn, kunnen ze op grotere schaal uitgezet worden. Als maatregelen direct voor alle observaties gelden, is het onmogelijk om hun effectiviteit goed te toetsen. 2. Geef de voorkeur aan effectmetingen die het mogelijk maken om een effect ook daadwerkelijk aan een interventie toe te schrijven. Onderzoeksdesigns zitten best steeds zo hoog mogelijk in de kennispiramide. Op die manier kunnen de uitkomsten als causale relaties geïnterpreteerd worden, eerder dan als correlaties. Ga na of het opzetten van een experiment mogelijk is om zo veel mogelijk factoren onder controle te kunnen houden. 3. Voor er een innovatie wordt opgezet, is er een voormeting vereist. Enkel via een voormeting kunnen initiële verschillen in de populatie achterhaald worden.
8
5.
Conclusies en beleidsimplicaties (vervolg)
Volledige referentie van onderzoeksrapport(en) of paper(s) en andere sleutelpublicaties van het hier samengevatte onderzoek De Rick, K., Mazrekaj, D., De Witte, K. (2016). Het rendement van opleidingen in het beleidsdomein ‘Werk’. Een conceptuele analyse en de ontwikkeling van een meetmodel. Leuven: KU Leuven.
9