Voorstel voor een studie-opdracht in het kader van het Vlaams Programma Strategisch Arbeidsmarktonderzoek VIONA-oproep oktober 2015
Leerrendement van opleidingen in het beleidsdomein Werk: een conceptuele analyse en ontwikkeling van een meetsysteem Inschrijver: Katholieke Universiteit Leuven – vertegenwoordigd door KU Leuven Research & Development en optredend op verzoek van HIVA - Onderzoeksinstituut voor Arbeid en Samenleving en Leuven Economics of Education Research (LEER) Handtekening van de inschrijver:
Paul Van Dun Algemeen directeur
Prof. dr. ir. Koenraad Debackere Gedelegeerd bestuurder
Voor akkoord:
20/11/2015 Prof. dr. Emmanuel Gerard Directeur HIVA Offerteverzoek: Departement Werk en Sociale Economie, Vlaamse overheid
Inhoud
1. 2. 3.
Titel van het onderzoeksproject 4 Promotoren 4 Omschrijving van het studieproject 5 3.1 Behoefte aan een omvattend model om leerrendement te meten 5 3.2 Hoe komen tot een omvattend meetmodel? 5 3.2.1 Conceptualiseren van centrale begrippen 6 3.2.2 Operationaliseren 7 3.2.3 Kiezen van methoden voor effectiviteits- en efficiĂŤntieanalyse 7 3.3 Plan voor de uitvoering van de opdracht 8 3.4 Beleidsrelevantie 10 4. Gedetailleerd tijdschema 11 5. Financieel plan per kalenderjaar Fout! Bladwijzer niet gedefinieerd. 6. Valorisatie en bekendmaking van de onderzoeksresultaten 12 7. Onderzoeksteam 13 7.1 Katleen De Rick (HIVA) 13 7.2 Prof. Dr. Kristof De Witte (LEER) 15 Bijlage 1: Referenties 18
3
1. Titel van het onderzoeksproject
Leerrendement van opleidingen in het beleidsdomein Werk: een conceptuele analyse en ontwikkeling van een meetsysteem. 2. Promotoren
Naam: Functie: Instelling: Onderzoekseenheid: Contactadres: Telefoonnummer: E-mail:
Katleen De Rick Onderzoeksleider Onderzoeksgroep Arbeidsmarkt HIVA - Onderzoeksinstituut voor Arbeid en Samenleving Onderzoeksgroep Arbeidsmarkt en Onderwijs Parkstraat 47 (postbus 05300), B-3000 Leuven 016 32 31 22 katleen.derick@kuleuven.be
Naam: Functie: Instelling: Onderzoekseenheid:
Prof. Dr. Kristof De Witte Hoofddocent aan KU Leuven -- Bijzonder Hoogleraar aan Maastricht University KU Leuven & Maastricht University LEER: Leuven Economics of Education Research & TIER: Top Institute for Evidence Based Education Research Naamsestraat 69, B- 3000 Leuven 016 32 66 56 kristof.dewitte@kuleuven.be
Contactadres: Telefoonnummer: E-mail:
4
3. Omschrijving van het studieproject 3.1 Behoefte aan een omvattend model om leerrendement te meten
Het Vlaamse beleid zet in het kader van activerend arbeidsmarktbeleid hoog in op competentieversterkende acties, onder meer door opleidingen aan te bieden die maximaal inspelen op de huidige en toekomstige noden van de arbeidsmarkt. Binnen het beleidsdomein Werk zijn er 2 aanbieders actief: Syntra Vlaanderen en VDAB. De overheid wil dat deze opleidingen renderen en dat dit gepaard gaat met een optimale allocatie van de middelen. Evidence betreffende effectiviteit en betreffende efficiëntie zijn dus belangrijke elementen voor de beleidsvoering, op verschillende momenten in de beleidscyclus. Objectieve metingen van effectiviteit en efficiëntie vereisen het volgende: 1) weten waarnaar te kijken als men het rendement van opleidingen wil kennen (= conceptuele helderheid), 2) weten wat de geschikte indicatoren zijn en welke data men hiervoor nodig heeft (= adequate operationalisering), en 3) weten welke analyses geschikt zijn om effectiviteit en efficiëntie te meten (= betrouwbare en valide meettechnieken). Wat het eerste cruciale element betreft, zijn er een aantal specifieke problemen: - Rendement van opleiding is al vaak geoperationaliseerd (zie o.a. onderzoek van De Rick e.a., 2014; De Rick e.a., 2011; Bollens e.a., 2009; Struyven e.a., 2012.), maar altijd voor een specifieke onderzoeksvraag. De operationalisering verschilt naargelang de begunstigde (individu, bedrijf, overheid, maatschappij; met subgroepen; bv. werkzoekenden, werknemers, leerplichtige jongeren, sectoren, KMO’s, …), het doel van de beleidsmaatregel (participatie aan opleiding op zich, verwerven van competenties, kwalificeren, (duurzaam) werk vinden, de inzetbaarheid van de persoon verbeteren, ...), het tijdstip van manifestatie van het rendement: onmiddellijk (verwerven van een kwalificatie), zes maanden na de opleiding (is men aan het werk of niet), ongoing (wordt de aangeleerde competentie toegepast). Met andere woorden: leerrendement is tot nu toe altijd partieel geconceptualiseerd. Een comprehensieve conceptualisering van leerrendement is nog niet beschikbaar. - Efficiëntie evalueren vraagt dat men de opbrengsten van opleidingen kan relateren aan de gemaakte kosten. De vraag is wat allemaal moet worden ingecalculeerd als ‘kost’, en dit rekening houdend met de verschillende partijen (individu, werkgevers, overheid). Ook al zijn er al een aantal studies gebeurd (Bollens, 2003; Bollens, 2004; Sels e.a., 2000), een comprehensief overzicht van ‘kosten’ en hoe ze te meten is niet beschikbaar. - Zicht hebben op rendement en kosten is echter niet voldoende. Het is ook belangrijk om zicht te hebben op mediërende factoren. De praktijk toont aan dat er grote rendementsverschillen zijn tussen (op zich soms gelijkaardige) opleidingen: sommige opleidingen kennen bv. een hoge uitstroom naar werk, andere opleidingen een lage uitstroom. Dat die laatste opleidingen beter niet georganiseerd zouden worden zou een overhaaste conclusie zijn. De relatie tussen input (kosten die men doet) en de output (het rendement) kan in het geval van opleidingen bijvoorbeeld in belangrijke mate gemediëerd worden door de kwaliteit van de opleiding (Dochy e.a., 2015) (het niveau van de opleiding is misschien niet hoog genoeg, is de inhoud misschien niet aangepast aan de vraag op de arbeidsmarkt, de didactiek laat te wensen over,… ). Als men zicht heeft op de kwaliteit van de opleidingen, dan heeft men mogelijk aanknopingspunten om te remediëren wanneer opleidingen niet de beoogde effecten bereiken of wanneer de kosten en de baten niet in evenwicht zijn. De vraag is ook hier wat precies gevat moet worden wanneer men de kwaliteit van de opleidingen wil kennen. Het gebrek aan conceptuele helderheid maakt dat er ook geen goede inventaris is van adequate operationaliseringen en betrouwbare en valide meetmodellen. Kortom, de overheid heeft voor de beleidsuitvoering een omvattend (meet)model nodig om het rendement van opleidingen in het Beleidsdomein Werk te berekenen, maar dat is er niet. Er is evenmin een synthese van de componenten om daar toe te komen. 3.2 Hoe komen tot een omvattend meetmodel?
Om tot een degelijk omvattend meetmodel te komen is het volgende vereist: 1) inzicht in de centrale begrippen, 2) kennis van de vereisten van operationalisering en 3) inzicht in analysetechnieken. In deze paragraaf geven we hierop een eerste zicht.
5
3.2.1
Conceptualiseren van centrale begrippen
Voor deze studie zijn verschillende concepten cruciaal: leerrendement voor individuen (1a), leerrendement voor bedrijven (1b), leerrendement voor de overheid (1c), leerrendement voor de maatschappij (1d), kosten voor individuen (2a), kosten voor bedrijven (2b), kosten voor de overheid (2c), en opleidingskwaliteit (3). In de studie-opdracht zullen deze concepten in detail uitgewerkt worden op basis van de wetenschappelijke literatuur (zie §3.3). In deze paragraaf geven we een eerste zicht op de veelomvattendheid van de concepten. 1a. Leerendement voor het individu: Het begrip “leerrendement” (return on learning) wordt gehanteerd in de onderwijsliteratuur om de meetbare effecten van een bepaalde leeractiviteit of opleiding op een leerling of cursist te duiden, bijvoorbeeld in termen van verworven (generieke of specifieke) competenties. Op het einde van een opleiding kunnen kwalificaties uitgereikt worden, een andere vorm van leerrendement. Het is ook mogelijk om rendement breder te bekijken en verder te gaan dan de rechtstreekse uitkomsten: een opleiding kan ook effect hebben op het psychologisch kapitaal van de persoon (self-efficacy, zelfvertrouwen, zie ook Struyven & Heylen, 2013; Gelderblom e.a., 2007), motivatie om werk te vinden, op de loopbaancompetenties (Akkermans e.a., 2013; Law e.a., 2002) en de inzetbaarheid (employability) (Vanhercke e.a., 2014), op het werkzoekgedrag (kwaliteit en kwantiteit) (Vansteenkiste e.a., 2004), op de arbeidspositie (duurzaamheid en werkbaarheid van de job) en arbeidsvoorwaarden (bv. loon, type contract), op de verdere persoonlijke/professionele ontwikkeling, op sociale participatie. 1b. Rendement voor de werkgevers: een grotere beschikbaarheid van human capital (kennis en vaardigheden die direct nuttig zijn (Becker, 1975), de capaciteit om zich aan te passen aan vernieuwingen (Schultz, 1975), positieve houding tegenover werk en wat daarbij komt kijken (Bowles & Gintis, 1976), wat leidt tot een grotere productiviteit, een lagere rekruteringskost (een goede opleiding heeft een goede signaalfunctie), betere match tussen werknemer en vacature wat mogelijk leidt tot hogere retentie, minder opleidingskosten of mogelijkheid om gerichter te investeren in opleiding die dan ook weer beter rendeert, mogelijk mindere loonkost indien de aanwerving na de opleiding gepaard gaat met een subsidie van de loonkost, minder openstaande vacatures in totaal, mogelijk ook creatie van nieuwe jobs, … 1c. Rendement voor de overheid: dalende werkloosheidscijfers, bijdrage aan aansluiting van de competenties op de vraag van de werkgevers, besparen op uitkeringen en een toename zien in de inkomstenbelastingen, … (TNO & SEO, 2008, de Koning, 2005) 1d. Maatschappelijk rendement: ook op het brede maatschappelijk niveau kunnen opleidingen uiteindelijk bijdragen tot positieve effecten, zoals afname van de sociale ongelijkheid, betere gemiddelde gezondheid en welzijn, meer sociale cohesie (TNO & SEO, 2008; Nicaise e.a., 1995). 2a: Kosten voor het individu: inschrijvingsgeld en materiaalkosten, vervoerskosten, tijd, indirecte kosten (bv. voor kinderopvang terwijl men een opleiding volgt), opportuniteitskosten (terwijl men een opleiding volgt, kan men geen job aannemen), … (Bollens, 2003; Bollens, 2004; Sels e.a., 2000). 2b. Kosten voor de werkgevers: kosten van begeleiding op de werkvloer bij werkplekleren (mentor, productiviteitsverlies,…), overleg met het opleidingscentrum, onbeschikbaarheid van personen in opleiding voor de arbeidsmarkt, … (Bollens, 2012; De Rick, 2011). 2c. Kosten voor de overheid: kosten van personeel en infrastructuur, promotionele activiteiten, regie en beheer, monitoring, professionaliseringskosten voor de opleiders, … (Bollens, 2003) 3.Kwaliteit van de opleiding: inhoud van de opleiding (overeenstemming met de vraag op de arbeidsmarkt, inhoudelijke coherentie, omvang, …) en niveau van de opleiding (overeenstemming met het niveau gevraagd op de arbeidsmarkt (De Rick e.a., 2008), professionaliteit en expertise van de opleiders, trainers en mentoren, flankerende activiteiten (bv. reflectie op stage en werkplekleren; studiebegeleiding, intake en oriëntatie, … ), mate van High Impact Learning (Dochy e.a., 2015)… Deze lijst is lang en wellicht zelfs niet-exhaustief. Dat betekent dat er ook een degelijke selectie gemaakt moet worden van de meest relevante (deel)concepten. Hiervoor kan gesteund worden op de beleidskaders en de wetenschappelijke literatuur.
6
3.2.2
Operationaliseren
3.2.3
Kiezen van methoden voor effectiviteits- en efficiëntieanalyse
Operationaliseren is de activiteit waarbij gekozen wordt hoe een kenmerk (bv. een bepaalde vorm van rendement) gemeten kan worden. In veel gevallen is er niet een juiste methode, maar zijn er meerdere opties. Dan komt het erop aan om te weten wanneer men voor welke optie kiest. In sommige gevallen zijn pragmatische redenen doorslaggevend (de goedkoopste meting, een reeds beschikbare meting, de minst tijdsintensieve meting). In andere gevallen wordt gekozen voor vergelijkbaarheid, met bv. gegevens die eerder in de tijd verzameld werden, met gegevens die op andere eenheden (bv. andere opleidingsaanbieders) betrekking hebben of met internationale gegevens. Een goede operationalisering leidt tot betrouwbare en valide metingen. Belangrijk hierbij is de verhouding tussen micro- en macro-effectiviteit. Microeffectiviteit heeft betrekking op de effectiviteit op het niveau van individuen en bedrijven. Macroeffectiviteit heeft betrekking op het rendement op niveau van de overheid en voor maatschappij. Macroeffectiviteit is voor een belangrijk deel gebaseerd op micro-effectiviteit: door prestatie-indicatoren op microniveau te aggregeren krijgt men zicht op de prestaties op macroniveau. De kwaliteit van de operationalisering op microniveau kan dus doorwegen op de kwaliteit van de gegevens op macroniveau. Tot slot is het belangrijk om bij het operationaliseren al rekening te houden met de vereisten van de analysetechnieken die men wil gebruiken.
Zorgvuldige evaluatie van interventies genereert evidentie die kan worden gebruikt bij het vaststellen van de wenselijkheid van de interventies en voor het optimaliseren ervan. Evidence based zijn interventies met een bewezen positieve (kosten)effectiviteit. De studie zal een overzicht bieden van statistische evaluatiemodellen om de (kosten)effectiviteit én de efficiëntie van kosten en investeringen in kaart te brengen. Hier geven we een eerste inkijk. 1: Methoden voor effectiviteits- en efficiëntieanalyse: Een eerste component om te komen tot een meetmodel zijn de methoden voor effectiviteits- en efficiëntie-analyse. Met effectiviteit doelen we op de mate dat er bepaalde rendementen behaald worden. Kosteneffectiviteit relateert de maatregelen vervolgens aan de gemaakte kosten. Naargelang de beschikbare gegevens, de specifieke situatie en de gekozen uitkomstmaat, kan uit meerdere evaluatiemethodes de geschikte gekozen worden. De verschillende methoden delen we in volgens de ‘De kennispiramide’. Hierin zijn er bovenin de hardste vormen van bewijs over wat er werkt in opleidingen. Bovenaan staat bijvoorbeeld het experiment met randomisatie. Dit bestaat meestal uit quasi-experimenteel onderzoek, waarbij natuurlijke implementatievarianten van beleid op hun effecten worden vergeleken. Daarnaast zijn er ook metingen via verschil-in-verschillen-methode, matching, duurmodellen en kwalitatief onderzoek 1. Efficiëntie-analyse vraagt dat men de opbrengsten van opleidingen kan relateren aan de gemaakte kosten. Dat betekent dat men bruto-opbrengsten moet kunnen onderscheiden van netto-opbrengsten. Beleidsmakers hebben behoefte aan een overzicht van mogelijkheden voor dergelijke analyses. Populaire en goed hanteerbare methodes zijn ‘Data Envelopment Analysis’, ‘Free Disposal Hull’ en ‘Stochastic Frontier Analysis’. Deze methodes schatten een grens van ‘best practices’ en kijken naar de tekorten in rendement volgens de gegeven kosten (output-oriëntatie), of de mate waarin de kosten gereduceerd worden voor het bereiken van een gegeven rendement (input-oriëntatie). Met deze kaders is het ook mogelijk om opleidingscentra en opleidingen (met vergelijkbare kenmerken) met elkaar te vergelijken 2. Deze modellen zijn om meerdere redenen aantrekkelijk: 1) Er wordt geen voorkennis verondersteld over het exacte verloop van de relatie tussen inputs (voorbeeld budget/tijd) en outputs (voorbeeld rendement); 2) Er is geen prijsinformatie nodig over de uitkomsten voor rendement; 3) Er wordt rekening gehouden met uitbijters en kenmerken van instellingen en 4) meerdere inputs en outputs kunnen tegelijkertijd opgenomen worden. 1 In deze studie-opdracht ligt de focus op kwantitatieve meetmodellen, maar we zullen ook aandacht hebben voor de materies waarbij kwalitatief onderzoek meer gepast kan zijn (Pitcher, 2002). 2 Bijvoorbeeld: Elk opleidingscentrum of opleiding krijgt een efficiëntiescore. De best scorende krijgt een score van 100%. Een lagere score betekent dat men met hetzelfde budget hogere rendementen zou kunnen bereiken, of anders gezegd, hetzelfde rendement kan bereiken met minder geld. Dan is er verbeteringsmarge (zie ook Haelermans & De Witte, 2012).
7
Tot slot zijn er efficiëntiemodellen waarin een kostenbenadering mogelijk is (bv. de minimale kost per cursist zoeken om de maximale rendementen te bekomen (zie Haelermans, De Witte en Blank, 2012 voor verdere uitleg)). 2: Methoden voor het berekenen van bruto- en netto-effecten: Een tweede component zijn de methodes om bruto- en netto-effecten te berekenen. Bruto-effecten zijn het resultaat van effecten van beleid en effecten van externe factoren (SEO, 2008). Netto-effecten zijn de toegevoegde waarde van de inzet van beleid op het behalen van de beleidsdoelstellingen. Het netto-effect is gelijk aan het bruto-effect gecorrigeerd voor externe factoren. Voor elk van de besproken effectiviteits- en efficiëntieanalysemethoden zullen we aangeven hoe er van de bruto-effecten naar de netto-effecten gerekend kan worden (zie ook Bollens, 2007). 3: Methoden voor het berekenen van externe effecten: Naast de effecten die direct meetbaar zijn, en die direct beoogd worden, kunnen er ook neveneffecten of externe effecten zijn: substitutie/verdringing (de uitkeringsgerechtigde wordt aan werk geholpen maar dit leidt ertoe dat een (andere) werknemer zijn baan verliest of dat andere werkzoekenden geen baan kunnen vinden, zie bv. Gheldof & Lamberts, 2000)), effecten op loonvorming (opleiden kan het aantal arbeidskrachten vergroten waardoor de loonvoet daalt), spill-over effecten (effecten op andere markten, bijvoorbeeld de private opleidingsmarkt), herverdelingseffecten (macro-economisch blijft de participatie op de arbeidsmarkt gelijk, maar wordt niet steeds dezelfde groep getroffen door werkloosheid, wat beleidsmatig relevant kan zijn (SEO, 2008)). 4: Rekening houden met mediërende variabelen: De kenmerken van het individu, het opleidings- en begeleidingssysteem en de arbeidsmarkt interageren op een complexe wijze met elkaar (o.a. Akerlof & Kranton, 2001; Devins & Hogarth, 2005)). Zoals eerder aangehaald is op het vlak van effectiviteit en efficiëntie de kwaliteit van de opleiding een belangrijke mediërende variabele. Er zijn echter nog andere factoren die maken dat er geen lineaire relatie is tussen opleiding en rendement (bv. conjunctuur, rekruteringsgedrag van werkgevers t.a.v. bepaalde groepen, de werkloosheidsval, het feit dat individuen niet alleen een gebrek aan competenties hebben, maar ook geconfronteerd worden met problemen op andere levensdomeinen, de combinatie van pleiding met andere interventies, …). De vierde component om tot het meetmodel te komen is met andere woorden een overzicht van mediërende variabelen. 3.3 Plan voor de uitvoering van de opdracht
Het eindresultaat van deze opdracht is een meetmodel, gebaseerd op adequate conceptualisering en operationalisering van de centrale begrippen. Hieronder beschrijven we de verschillende stappen in de uitvoering van de opdracht die daartoe leiden. Stap 2, 3 en 4 worden hier voor de duidelijkheid van elkaar onderscheiden. In de praktijk voeden deze stappen elkaar en zullen ze niet zo strikt van elkaar te onderscheiden zijn. Stap 1: Focus kiezen
De studie is bedoeld om de overheid een instrument te geven om de opleidingen binnen het Beleidsdomein Werk te evalueren op efficiëntie en effectiviteit. Het gaat om de opleidingen die aangeboden worden via Syntra Vlaanderen en via VDAB. Deze opleidingen zijn geen homogeen geheel. We zullen rekening moeten houden met diversiteit op het vlak van: - doelgroepen: werkzoekenden, werknemers, ondernemers, leerplichtige jongeren (duaal leren), … - finaliteit van de opleiding: tewerkstelling als werknemer, werken als ondernemer - vorm van de opleiding: in een opleidingscentrum, webleren, met of zonder werkplekleren tijdens de opleiding, wel of niet gevolgd door stage/IBO/…, groepsleren, … - organisatie van de opleidingen: korte of lange opleidingen, gehanteerde methoden, opleiding al dan niet in samenwerking met onderwijs (tweedekansonderwijs of bacheloropleidingen), al dan niet uitbesteed via tenders, … - vraag op de arbeidsmarkt: mate waarin de opleiding gericht is op knelpuntberoepen 3
3 Kenmerken hangen vaak ook samen. Bijvoorbeeld: een opleiding die toeleidt naar een beroep waarvoor al een grote arbeidsreserve bestaat, zal VDAB eerder via webleren aanbieden.
8
Het rendement en de efficiëntie kan aan de ene kant niet voor elk type van opleiding op exact dezelfde manier gemeten worden, aan de andere kant is ook niet voor elk type opleiding een fundamenteel andere meting noodzakelijk. We stellen voor om samen met de opdrachtgever een focus te kiezen, op basis van bijvoorbeeld doelgroep (werkzoekenden en leerlingen in het duaal leren) en type opleiding (opleidingen met een werkcomponent in de opleiding en opleidingen gevolgd door een vorm van leren op de werkplek, zoals stage). Voor de gekozen opleidingen wordt het meetmodel grondig uitgewerkt. Voor andere opleidingen wordt aangegeven op welke punten het meetmodel eventueel dient te worden aangepast. Stap 2: Conceptuele analyse
Werkwijze: De conceptuele analyse van de drie grote componenten (leerrendement, kosten en investeringen, kwaliteit) wordt gebaseerd op de wetenschappelijke literatuur. Bij internationale literatuur gaan we na of de conceptualisering ook voor de Vlaamse context relevant is. We organiseren toetsingsgesprekken met sleutelfiguren binnen VDAB, Syntra Vlaanderen en het Departement Werk, verantwoordelijk voor (de regie van) opleidingen en opleidingsbeleid. Bronnen: beleidsteksten + Vlaams en internationaal beleidsgericht/wetenschappelijk onderzoek + persoonlijke consultatie van wetenschappers Stap 3: Operationalisering
Werkwijze: Eerst inventariseren we bestaande indicatoren en meetinstrumenten. We beoordelen ze op hun bruikbaarheid in de Vlaamse context. Vervolgens gaan we na of ze beschikbaar zijn in databanken met Vlaamse gegevens: VDAB-data, data van Syntra, KSZ, NBB, LFS, …. Zo ja, dan beoordelen we de kwaliteit. Zo niet of indien niet van goede kwaliteit, dan bekijken we of de indicator kan worden gecreëerd op basis van wel beschikbare data. Indien dat niet kan, dan geven we aan wat de overheid zou kunnen doen. Wat meetinstrumenten betreft, zoeken we in de eerste plaats naar gevalideerde vragenlijsten en bekijken we de beschikbaarheid van Nederlandstalige instrumenten. ‘Zuinige’ instrumenten (korte vragenlijsten) (die gemakkelijk te implementeren zijn of te integreren in ander onderzoek) genieten de voorkeur. De meest geschikte operationaliseringen worden gebundeld. Bronnen: bestaande datasets, rendementsstudies (Vlaams en internationaal); gesprekken met sleutelfiguren binnen de overheid, VDAB en Syntra, bevoegd voor dataverzameling en – monitoring; consultatie van wetenschappelijk onderzoekers (bv. Steunpunt Werk). Stap 4: Ontwikkelen van het meetmodel
Werkwijze: Op basis van de resultaten van stap 3 en de beschikbare statistische methoden, stellen we een meetmodel op (en eventueel varianten). Voor elk model bespreken we in detail welke gegevens nodig zijn, hoe de modellen precies geschat moeten worden en wat de interpretatie van de resultaten is. Bronnen: statistische onderzoeksmethoden + resultaten van stap 3 Stap 5: Samenstelling van een compendium
Het is belangrijk dat het resultaat van de opdracht praktisch bruikbaar is. Daarom wordt in de laatste stap alles gebundeld in een compendium: - Hoofdstuk 1:Het beleidskader van de opdracht- Overzicht van de beleidsdoelen en onderlinge verhouding + aanvulling op basis van wetenschappelijke literatuur over rendement. - Hoofdstuk 2: Concepten: Toegankelijke en gebruiksvriendelijke definities van concepten en deelconcepten; met overzicht van relevante literatuur voor wie meer in de diepte wil kijken. - Hoofdstuk 3: Indicatoren en meetinstrumenten: Een overzicht van indicatoren en (eenvoudige) bevragingsinstrumenten + indicatie van de beschikbaarheid van de gegevens (welke databank? met welke periodiciteit gemeten?) Eventuele optimalisering mogelijk en hoe? “Fiches” met een vaste structuur maken dat de nodige informatie snel teruggevonden kan worden. - Hoofdstuk 4: Het model voor effectiviteits- en efficiëntiemetingen. Een dergelijk model bestaat uit verschillende onderdelen: 1) meten van rendement, 2) het meten van kosten, 3) het aan elkaar relateren van rendement en kosten en 4) zichtbaar maken en verrekenen van factoren zoals kwaliteit van de opleiding. Dit hoofdstuk geeft een overzicht van meetmethoden, hun waarde en hoe en wanneer ze toe te passen 9
+ indicatie van werkwijze: opnemen in de gewone werking van VDAB, Syntra of overheid, in periodieke peilingen die men zelf kan organiseren of via uit te besteden evaluaties. Stap 6: Organisatie van een workshop voor evaluatieverantwoordelijken en –medewerkers
Het eindresultaat van deze studie-opdracht is een compendium. De voornaamste doelgroep zijn de personen bij de overheid, Syntra Vlaanderen en VDAB, belast met ontwerp van evaluatie, uitbesteding, dataverzameling en –analyse. We organiseren een workshop van een dag met hen, om het compendium voor te stellen en hen te leren werken met dit instrument. Dit is een essentieel onderdeel van de valorisatie van de opdracht (zie ook §6). Ongoing: Overleg met de opdrachtgever en stakeholders
- Consultatie van stakeholders: Stakeholders uit het Departement Werk, VDAB en Syntra Vlaanderen (opleidingsverantwoordelijken, stafmedewerkers regie, dataverantwoordelijken, verantwoordelijken voor monitoring... ) zullen regelmatig worden geconsulteerd. Bedoeling: toetsing van het onderzoekswerk op bruikbaarheid en relevantie. - Overleg met de opdrachtgever: 1) Scherpstellen van de onderzoeksopdracht; 2) bespreking van de conceptualisering; 3) Bespreking van de operationalisering en het meetmodel; 5) Bespreking eindversie van het compendium en de organisatie van de workshop. 3.4 Beleidsrelevantie
Het onderzoek maakt het de overheid mogelijk om (zelf of via uitbesteding) de effectiviteit en de efficiëntie van beroeps- en ondernemersopleidingen aangeboden door VDAB en Syntra Vlaanderen te meten en de resultaten ervan te gebruiken bij de beleidsvoering en beleidsvragen te beantwoorden. (Zoals: Welke effecten worden bereikt en welke niet, en dit voor verschillende actoren, voor verschillende opleidingen, …? Wat betekent dit voor de arbeidsmarktgerichtheid van de opleidingen? Is het zinvol om als overheid zelf beroepsopleidingen te organiseren? Hoe kunnen de middelen optimaal gealloceerd worden? Welke rol speelt de kwaliteit van de opleidingen en waar zijn er mogelijkheden voor optimalisatie? Welke aspecten van kwaliteit zijn in het bijzonder belangrijk voor een kwaliteitssysteem? Wat kan men leren uit de bestaande opleidingen voor nieuwe of te vernieuwen opleidingen (bv. het duaal leren bij Syntra Vlaanderen)?) Met objectieve gegevens ontstaat dan “evidence” wat leidt tot een sterker beleid om de strategische doelen betreffende het vormings- en opleidingsaanbod te realiseren (Beleidsnota Werk, Economie, Wetenschap en Innovatie 2014-2019).
10
4. Gedetailleerd tijdschema
Voor dit project voorzien we een doorlooptijd van ruim 10 maanden te starten vanaf de opstart van het project in december 2015. De onderzoekers werken in parallel en concentreren zich op de onderdelen waar zij expert in zijn. Elke deliverable bestaat telkens uit een bundeling en integratie van hun werk. Op die manier zullen alle resultaten ter beschikking staan van de opdrachtgever tegen de zomer van 2016 en zal een cruciaal onderdeel van de valorisatie gebeurd zijn in oktober 2016. FASE
Dec 2015
Opstart van het project en eerste overleg met stuurgroep voor stap 1
O1
Jan 2016
Feb 2016
Ma 2016
April 2016
Mei 2016
Juni 2016
Juli 2016
Aug 2016
Sept 2016
Okt 2016
Stap 2a: Conceptualisering ‘Leerrendement’ Stap 2b: Conceptualisering ‘Kosten en investeringen // financiële baten’ Stap 2c: Conceptualisering ‘Kwaliteit van opleidingen’ Overleg: Tussentijds overleg met de stuurgroep: presentatie concepten + beslissingen in functie van de operationalisering
D1/ O2
Stap 3: operationalisering van de concepten Stap 4: ontwikkeling van het meetmodel Overleg: Overleg met de stuurgroep: bespreking van de operationalisering en het meetmodel
D2/ O3
Stap 5: Finale afwerking compendium + voorbereiding en organisatie workshop (stap 6)
D3
Stap 6: Valorisatie: workshop
V
Noot: Een gearceerde cel stemt niet noodzakelijk overeen met een voltijds gefinancierde onderzoeksmaand.
D1: Deliverable 1: Rapport met beleidskader en conceptualisering van de centrale begrippen D2: Deliverable 2: Rapport met de operationalisering en meetmodel (incl. varianten) D3: Deliverable 3: Finale versie van het compendium O1-O2-O3: overleg met de stuugroep V: valorisatie-activiteit Consultatie van stakeholders/experten gebeurt ongoing, in functie van de noden van de studie-activiteiten. Opmerking mbt. valorisatie: - publicaties m.b.t. het project, eventuele lezingen,... vallen buiten de projectperiode (na finale goedkeuring van het volledige project door de opdrachtgever) - bekendmaking van de resultaten van het project (bv. op de eigen websites) gebeurt in overleg met de opdrachtgever
11
5. Valorisatie en bekendmaking van de onderzoeksresultaten De valorisatie omvat: 1. Publicatie van een compendium, omvattende de conceptualisering van de centrale begrippen, de operationalisering en informatie over de beschikbare en wenselijke data, een meetmodel en aanbevelingen voor de uitvoering. Dit compendium zal gefundeerd zijn in de wetenschappelijke literatuur, maar de resultaten zullen zo gepresenteerd worden dat het een toegankelijk en gebruiksvriendelijk document wordt, waarbij rekening gehouden wordt met de doelgroep (in de eerste plaats de overheid, maar ook de aanbieders zelf (Syntra Vlaanderen en VDAB)). 2. Workshop voor de personen betrokken bij het meten en opvolgen van het rendement van opleidingen (Departement Werk, regie VDAB, regie Syntra) en mogelijk andere relevante actoren (te bespreken met de opdrachtgever). 3. Er zal ook een samenvatting opgeleverd worden in het Nederlands en in het Engels die de overheid kan gebruiken voor de bekendmaking van dit project. 4. Daarnaast zullen de onderzoekers ingaan op vragen van de opdrachtgever, VDAB en Syntra om de resultaten van het onderzoek te presenteren op bijeenkomsten georganiseerd door deze partijen. (Gedeeltes uit) de resultaten van het onderzoek zullen gepubliceerd worden in vaktijdschriften gericht op mensen uit wetenschap, beleid en praktijk (zoals Over.Werk en de breed gelezen reeks ‘Leuven Economische standpunten’ aandacht aan geschonken worden). 5. Het onderzoeksproject op zich zal bekendgemaakt worden via kanalen zoals de HIVA-website en – nieuwsbrief, en de LEER-website.
12
6. Onderzoeksteam
Voor de uitvoering van deze onderzoeksopdracht wordt een onderzoeksteam samengesteld met medewerkers van het HIVA en LEER, zodat verschillende relevante disciplines bij elkaar gebracht worden (economie, sociologie, pedagogie). Hieronder stellen we de onderzoeksverantwoordelijken kort voor. 7.1 Katleen De Rick (HIVA)
Katleen De Rick (master in de sociale wetenschappen, optie sociologie, KU Leuven) is sinds 2003 onderzoeksleider aan het HIVA –KU Leuven in de onderzoeksgroep ‘Arbeidsmarkt’ en daarnaast ook in de onderzoeksgroep ‘Onderwijs en levenslang leren’. Daarvoor was zij zes jaar wetenschappelijk medewerker aan het interfacultair onderzoeksinstituut LUCAS (KU Leuven). Zij heeft ruime ervaring in beleidsonderzoek, in opdracht van o.a. het Departement WSE en het Departement Onderwijs & Vorming. Veel van het onderzoek was evaluatieonderzoek, zowel met betrekking tot processen (ook kwaliteit) als met betrekking tot effecten (waaronder rendement van opleidingen). Recente voorbeelden hiervan zijn de effectmetingen in het kader van de ongoing evaluatie van het operationeel programma 2007-2013 van het Vlaams ESF-agentschap (o.a. over het rendement van opleidingen voor werknemers in bedrijven, over het effect van persoonlijke ontwikkelingsplannen), de evaluatie van de nietuitstroom naar werk in VDAB-opleidingen die toeleiden naar knelpuntberoepen (waarin ook componenten van leerrendement en de kwaliteit van opleidingen werden opgenomen), het rendement van horecaopleidingen in het secundair onderwijs op de arbeidsmarkt tijdens de eerste vijf jaar na schoolverlaten (resultaten eind 2015 beschikbaar). In een aantal onderzoeksopdrachten werden concepten van arbeidsmarktbegrippen uitgewerkt (‘leerklimaat’, ‘afstand tot de arbeidsmarkt’, ‘loopbaancompetenties’, ‘persoonlijke arbeidsmarktgerichte ontwikkeling’, … ) en van opleidingsgerelateerde concepten (kwaliteit van de opleiding, rendement van de opleiding, kwaliteit van leren op de werkplek). In een aantal opdrachten werd de conceptualisering ook omgezet naar een meetsysteem (indicering in de vernieuwde loopbaanbegeleiding, monitoring van de participatie aan levenslang leren) of werden de begrippen geoperationaliseerd voor survey-onderzoek (effecten van bedrijfsopleidingen voor de werknemers, effecten van VDABopleidingen op de werkzoekenden). Verschillende onderzoeksopdrachten gingen over de aansluiting tussen onderwijs/opleidingen en de arbeidsmarkt, vaak via een sectorale benadering (ook in opdracht van de sectoren zelf – o.a. FVB, IPV en Cevora). Sinds 2004 is zij een van de promotoren van het Steunpunt Studie- en schoolloopbanen, binnen de onderzoekslijnen die betrekking hebben op de overgang van school naar werk en in het bijzonder met betrekking tot loopbaan- en competentieontwikkeling. Hierin wordt onder meer gekeken naar het rendement van het volgen van diverse types van opleiding. De positie van kansengroepen is een rode draad doorheen haar werk (bv. m.b.t. laaggeschoolde volwassenen (in het algemeen en werkenden in het bijzonder), jongeren uit het (deeltijds) beroepsonderwijs, allochtonen). Doorheen het onderzoek verwierf zij kennis van de beschikbare databanken met Vlaamse gegevens en internationale databanken. Een aantal recente onderzoeken maakten haar ook vertrouwd met de data(units) van VDAB en Syntra Vlaanderen (o.a. de studie naar de effecten van de VDAB-opleidingen, de studie over de loopbaanbegeleiding, de evaluatie van het decreet leren en werken, de evaluatie van het rendement van horeca-opleidingen). Katleen De Rick wordt regelmatig (ook internationaal) geconsulteerd als expert, bijvoorbeeld recent door de OESO (in het kader van de review over “local job creation” (2014) de VET-review ‘Learning for jobs’, (2011)), en eerder ook bijvoorbeeld door het Federaal Planbureau (‘Toekomstverkennende oefening inzake duurzame ontwikkeling’ m.b.t. onderwijs en arbeidsmarkt, 2011-2012). Zij is ook lid van een aantal werkgroepen bij Syntra Vlaanderen betreffende het duaal leren.
13
Haar onderzoek vindt zijn neerslag in rapporten, samenvattingen, artikels in peer-reviewed tijdschriften, artikels voor beleids- en praktijkgerichte tijdschriften, hoofdstukken in boeken, papers op congressen, lezingen e.d.. Voor een volledige lijst zie https://lirias.kuleuven.be/cv?u=u0010498 . Binnen het HIVA in zijn geheel is er al een lange traditie van onderzoek op het vlak van de effectiviteit en efficiëntie van (beroeps-)opleidingen en onderwijs. Relevante recente onderzoeksprojecten
- De effectiviteit van VDAB-opleidingen gericht op knelpuntberoepen. Opdrachtgever: Departement Werk (VIONA). (75k) - Ontwikkeling van een indiceringsinstrument voor het systeem van loopbaanbegeleiding. ESF-project, in samenwerking met VDAB. (99k) - Bouwstenen voor de vernieuwde loopbaanbegeleiding: indicering en monitoring van effecten. Opdrachtgever: Departement Werk (VIONA). (60k) - Evaluatie van het decreet leren en werken. Opdrachtgever: departement onderwijs. (200k) - Subsidies voor bedrijfsopleidingen als impuls voor kansengroepen. Evaluatie in het kader van de ongoing evaluatie ESF Vlaanderen 2007-2013. Opdrachtgever: ESF. (85k) - Persoonlijke ontwikkelingsplannen in Vlaanderen: effectmeting. Opdrachtgever: ESF. (104k) - Persoonlijke ontwikkelingsplannen in Vlaanderen: conceptontwikkeling. Opdrachtgever: ESF. (80k) - De rol van het onderwijs en knelpuntberoepen. Opdrachtgever: Departement Onderwijs & Vorming. (80k) - De betekenis van het deeltijds onderwijs voor de bediendensector. Opdrachtgever: CEVORA. - Steunpunt Studie- en schoolloopbanen, onderzoeksdomein 4, onderzoekslijn 3. Opdrachtgever: Vlaamse overheid. Relevante publicaties
- De Rick, K. (2015). De duur van een loopbaanbegeleiding: bepalende factoren en beoordeling. Analyse in het kader van het ESF-proefproject "Verlengde tijdsduur", 49 pp. Leuven: HIVA (KU Leuven). - De Rick, K., Groenez, S. (2015). De vragenlijst 'Loopbaancompetenties' in het ESF-Proefproject 'Verlengde Tijdsduur', 22 pp. Leuven: HIVA (KU Leuven). - De Rick, K. (2013). Maatwerk in de vernieuwde loopbaanbegeleiding: extra uren bovenop het basispakket, maar voor wie?. Over.werk. Tijdschrift van het Steunpunt WSE, 23 (3), 52-59. - De Rick K. (2012) ‘8,12,16, bepalen van het aantal uur loopbaanbegeleiding’, VIONA-onderzoek 2012. Leuven: HIVA-KU Leuven. - De Rick, K., Van Itterbeeck, K. (2012). ESF-subsidies: impact op de deelname van kansengroepen aan bedrijfsopleidingen?. Over.werk. Tijdschrift van het Steunpunt WSE, 22 (1), 87-93. - De Rick, K., Drieghe, L., Jacobs, L., De Cuyper, P. (2014). Het persoonlijk ontwikkelingsplan: een effectief arbeidsmarktinstrument? Een analyse van drie cases. Over.werk. Tijdschrift van het Steunpunt WSE, 24, (2), 27-35. - Jacobs, L., De Rick, K., De Cuyper, P. (2012). Opleidingen tijdens tijdelijke werkloosheid: drempels en kritische succesfactoren. Over.werk. Tijdschrift van het Steunpunt WSE, 1 (2012), 105-112. - De Cuyper P., De Rick K., Gonzalez-Garribay M. (2012), Persoonlijke ontwikkelingsplannen in Vlaanderen: conceptontwikkeling. Leuven: HIVA (KU Leuven). - De Rick, K., Van Itterbeeck, K. (2011). Subsidies voor bedrijfsopleidingen als impuls voor kansengroepen. Evaluatie in het kader van de ongoing evaluatie ESF Vlaanderen 2007-2013. Leuven: HIVAK.U.Leuven. 14
- De Rick, K. (2011). Alternerend leren in het voltijds en deeltijds beroepsonderwijs: experiment met een nieuw concept. Lessen uit het ESF EQUAL-project JANUS. Leuven: HIVA-K.U.Leuven. - Jacobs, L., De Cuyper, P., De Rick, K. (2011). Naar een hogere opleidingsdeelname tijdens periodes van inactiviteit. Drempels en kritische succesfactoren voor opleidingsdeelname tijdens tijdelijke werkloosheid in kaart gebracht. Leuven: HIVA-KU Leuven. - De Rick, K. (2011). Werkervaring voor leerlingen uit de deeltijdse leersystemen: motieven en ervaringen van werkgevers. Capita selecta uit Vlaams arbeidsmarktonderzoek, 57-61 pp. Brussel: Vlaamse overheid, Departement Werk en Sociale Economie. - Knipprath, H., De Rick, K. (2011). “Is het wat je weet, of is het wie je kent?”. Een literatuurstudie naar de relatie tussen sociaal kapitaal, levenslang leren en werken. SSL-rapport nr. SSL/OD2/2010.22, 81 pp. Leuven: Steunpunt SSL. - De Rick, K., Vermaut, H. (2009). De betekenis van het deeltijds onderwijs voor de bediendensector, 118 pp. Brussel: Cevora. - Saliën, K., De Rick, K., Baert, H. (2008). Kwalificaties en leeractiviteiten in de loopbaan van jongvolwassenen: Status Quaestionis. SSL/0D2/2008.03, 87 pp. Leuven: Steunpunt SSL. - Vermeersch, L., De Rick, K. (2008). Lifelong Learning 2010 - subproject 4. SMEs and the participation of workers in formal learning. Case studies: Belgium (Flemish Community), 92 pp. Leuven: HIVAK.U.Leuven. - De Rick, K. (2007). De bouwnijverheid: een sector op zoek naar gekwalificeerde werknemers. In: Vlaamse Onderwijsraad, Tertiair onderwijs. Een verkenning. Leuven/Apeldoorn: Garant, 65-76. - De Rick, K., Vanhoren, I., Op den Kamp, H., Nicaise, I. (2006). Het lerend individu in de kennismaatschappij. 's Hertogenbosch: CINOP. - Op den Kamp, H., Bollens, J., De Rick, K., Baert, H. (2004). Levenslang en levensbreed leren in Vlaanderen: ontwikkeling van een monitoringsinstrument, 60 pp. Leuven: HIVA-K.U.Leuven. 7.2 Prof. Dr. Kristof De Witte (LEER)
Prof. dr. Kristof De Witte is hoofddocent aan de KU Leuven (onderzoeksgroep ‘Leuven Economics of Education Research’) en bijzonder hoogleraar aan de Universiteit Maastricht (onderzoeksgroep ‘Top Institute for Evidence Based Education Research’). De Witte is verder een geaffilieerd onderzoeker aan het CESifo onderzoeksnetwerk. De onderzoeksinteresses van Kristof De Witte liggen in vroegtijdig schoolverlaten, performantiemeting, evaluatieonderzoek, en onderwijseconomie. Hij publiceerde zijn werk in tientallen hoog aangeschreven internationale tijdschriften zoals ‘The Economic Journal’, ‘Journal of Urban Economics’ en ‘European Journal of Operational Research’. Hij is een co-editor van het tijdschrift ‘International Transactions in Operational Research’, en een lid van het adviesteam van het tijdschrift ‘international Journal of Productivity Management and Assessment Technology’. Prof. De Witte is extern reviewer van centrale eindexamens bij het Nederlandse CITO en won diverse wetenschappelijke prijzen met zijn onderzoek. De Witte leidt de de nieuwe onderzoeksgroep LEER (Leuven Economics of Education Review) van de faculteit economie en bedrijfswetenschappen. Door onderwijs ook met een economische invalshoek te bekijken, ontstaan complementaire en innovatieve invalshoeken van de meer traditionele pedagogisch, psychologisch en onderwijskundige invalshoek. Een volledig CV kan gevonden worden op www.econ.kuleuven.be/kristof.dewitte of via www.econ.kuleuven.be/drc/leer. 1. Ervaring met soortgelijke projecten Kristof De Witte is aan TIER en KUL (co)promotor van diverse nationale en Europese projecten. Deze projecten focussen zich zowel op kwantitatieve en kwalitatieve vraagstukken, als op literatuuroverzichten. Eerder projectonderzoek: 15
• • • • • • • • • • •
Horizon 2020 – EDEN: Economics of Education Network - Twinning project with KU Leuven, Maastricht University, Politecnico di Milano and University of Budapest (01-01-2016 – 31-12-2018). O&O – Onderzoek naar organisatievormen van schoolbesturen en hun impact op het beleidsvoerend vermogen op scholen (Promotor, 2015-2017, 164k euro)OBPWO – Evaluatieonderzoek decreet leren en werken. Flemish Ministry of Education (Co-promotor, 2014). School of Education – Binnenklasdifferentiatie voor en door studenten in de lerarenopleiding (Co-promotor, 2014-2016; 150k euro) The efficiency and effectiveness of Computer-Assisted instruction in math education. Dutch Ministry of Education, Culture and Science (Promotor, 2013-2014; 40k euro) Expert for ‘Review Commission Dutch Higher Education’ (www.rcho.nl). Detachment to Dutch Ministry of Education, Culture and Sciences (2011-…; 150k euro) Life long learning - Education and Gender - www.education-and-gender.eu (Comenius funding European Commission – Co-promotor, 1/10/2011-30/09/2014; 383k euro) Effect of school closures in city of Amsterdam (project for Dutch Ministry of Education, Culture and Sciences – Promotor, 2011; 25k euro). Levenslang leren, Blended werktrajecten en multicampusonderwijs – ‘Life long learning, blended learning and multicampus education’ (project for Onderwijsontwikkelingsfonds Associatie KU Leuven -- Co-promotor, 2011; 130k euro) Evaluation of active truancy policy on early school leaving (project for Limburgs Voortgezet Onderwijs – Promotor, 2011; 10k euro) Influence of selective migration on educational attainments (project for Municipality of Almere – Promotor, 2011; 10k euro) Influence of selective migration on labour market outcomes (project for Province of Flevoland – Promotor, 2010; 10k euro)
Relevante publicaties: • De Witte, K. and Lopez-Torres, L. (2015). Efficiency in Education. A review of literature and a way forward. Documents de treball d’economia de l’empresa – Working paper series Universitat Autonoma de Barcelona. 15/01, pp. 40. Journal of Operational Research Society. In press. •
Asatryan, Z. and De Witte, K. (2015). Direct democracy and local government efficiency. European Journal of Political Economy 39, 58-66.
•
Haelermans, C. and K. De Witte (2015). Does residential social mobility improve educational outcomes? Evidence from the Netherlands. Social Science Research 52, p. 351-369.
•
Balezentis, T. and De Witte, K. (2015). One- and multi-directional conditional efficiency measurement - Efficiency in Lithuanian Family Farms. European Journal of Operational Research 245 (2), 612-622.
•
Cabus, S. and De Witte, K. (2015). The Effectiveness of Active School Attendance Interventions to Tackle Dropout in Secondary Schools -- A Dutch Pilot Case. Empirical Economics 49 (1), p 65-80.
•
Cabus, S. and De Witte, K. (2015). Does Unauthorized School Absenteeism Accelerates the Dropout Decision? -- Evidence from a Bayesian Duration Model. Applied Economics Letters 22 (4), p. 266-271.
•
Van Klaveren, C. and De Witte, K. (2015). Football to Improve Math and Reading Performance. Education Economics 23 (5), 577-595.
16
•
De Witte, K., Geys, B., and Solondz, C. (2014). Public Expenditures, Educational Outcomes and Grade Inflation: Theory and Evidence from a Policy Intervention in the Netherlands. Economics of Education Review. 40, 152–166.
•
De Witte, K., Nicaise, I., Lavrijsen, J., Van Landeghem, G., Lamote, C. and Van Damme, J. (2013). The impact of institutional context, education and labour market policies on early school leaving: a comparative analysis of EU countries. European Journal of Education 48 (3). 331-345.
•
Haelermans, C. and De Witte, K. (2012). The role of innovations in secondary school efficiency – Evidence from a conditional efficiency model. European Journal of Operational Research 223, 541-549.
•
Cabus, S. and De Witte, K. (2012), Naming and shaming in a fair way. On disentangling the influence of policy in observed outcomes. Journal of Policy Modeling 34, 767-787.
•
Haelermans, C., De Witte, K. and Blank, J. (2012), On the allocation of resources for secondary education schools. Economics of Education Review 1 (5), 575-586.
•
De Witte, K. and Van Klaveren, C. (2012), Comparing students by a matching analysis – on early school leaving in Dutch cities. Applied Economics 44 (28), 3679-3690.
•
De Witte, K. and Geys, B. (2011), Evaluating Efficient Public Good Provision: Theory and Evidence from a Generalised Conditional Efficiency Model for Public Libraries. Journal of Urban Economics 69 (3), 319-327.
•
Cherchye, L., De Witte, K., Ooghe, E. and Nicaise, I. (2010), Equity and Efficiency in Private and Public Education: a nonparametric comparison. European Journal of Operational Research 202 (2), 563-573.
17
Bijlage 1: Referenties
Akerlof G.H. & Kranton R. E. (2001), The economics of education: some lessons from sociology. S.l Akkermans, J., Schaufeli, W.B., Brenninkmeijer, V., Blonk, R.W.B. (2013) The role of career competencies in the Job Demands — Resources model. Journal of Vocational Behavior 83 (2013) 356–366. Becker, Gary S. Human Capital: A Theoretical and Empirical Analysis, with Special Reference to Education. 2d ed. New York: Columbia University Press for NBER, 1975. Bollens J. (2003), De financiering van het levenslang leren, 250 pp. Bollens J. (2004), De kosten & baten van deelname aan arbeidsmarktgerelateerde opleiding vanuit het perspectief van de deelnemer. Leuven: HIVA (KU Leuven). Bollens (2007), De meting van de effectiviteit van arbeidsmarktprogramma's, WSE Report. Bollens, J. (2012), De kosten-effectiviteit van het activerend arbeidsmarktbeleid, Leuven: Steunpunt WSE. Bowles, Samuel, and Herbert Gintis. 1976. Schooling in Capitalist America: Education Reform and the Contradictions of Economic Life. New York: Basic Books Inc. pp. 131–132, 147 Cörvers F., Dupuy A., Dijksman S., Golsteyn B. & Hensen M. (2004), Methodiek arbeidsmarktprognoses en –indicatoren 2003-2008 (ROA-W-2004/2). Maastricht: ROA. Vanhercke, D., De Cuyper, N., Peeters, E., De Witte, H. (2014). Defining perceived employability: A psychological approach. Personnel Review, 43 (4), 592 - 605. De Cuyper, P., De Rick, K., & González Garibay, M. (2012). Persoonlijke ontwikkelingsplannen: concept en implementatie. Lessen uit wetenschap en praktijk. Leuven: HIVA-KU Leuven. De Koning, J. (2005). Actief arbeidsmarktbeleid: effectiever dan vaak wordt aangenomen. SEOR Working Paper 2005/1. Rotterdam: SEOR. De Rick, K. (2011). Werkervaring voor leerlingen uit de deeltijdse leersystemen: motieven en ervaringen van werkgevers. Capita selecta uit Vlaams arbeidsmarktonderzoek, 57-61 pp. Brussel: Vlaamse overheid, Departement Werk en Sociale Economie. De Rick, K., Lamberts, M., De Weerdt, Y, Juchtmans, G., Van den Broeck, G. (2008). Knelpuntberoepen wegwerken: wat kan het onderwijs eraan doen?. Leuven: HIVA (KU Leuven). De Rick, K., & Van Itterbeeck, K. (2011). Subsidies voor bedrijfsopleidingen als impuls voor kansengroepen. Evaluatie in het kader van de on-going evaluatie ESF Vlaanderen 2007-2013. Leuven: HIVA-KU Leuven. Descy P. & Tessaring M. (2001), Training and learning for competence. Second report on vocational training research in Europ: executive summary. Luxembourg: Office for Official Publications of the European Communities. Devins D. & Hogarth T. (2005), ‘Employing the unemployed: some case study evidence on the role and practice of employers’. Urban Studies, 42 (2), p. 245-256.
Dochy, F., Berghmans, I, Koenen, A.K. (2015). High impact learning. Utrecht: Lemma/Boom. Gangl M. (2002), ‘Changing labour markets and early career outcomes: labour market entry in Europe over the past decade’. Work, employment and society, 16 (1), p. 67-90. Gelderblom A., de Koning J. (2007). Effecten van “zachte” kenmerken op de re-integratie van de WWB, WW en AO Populatie. Rotterdam: SEOR.
18
Gheldhof, E. & Lamberts, M. (2000). Werving en selectie van laaggeschoolden: oorzaak van of oplossing voor verdringing op bedrijfsniveau. Leuven: HIVA. Hodkinson P. & Sparkes A.C. (1997), ‘Careership: a sociological theory of career decision making’. British Journal of Sociology in Education, 18 (1), 29-44). Kanfer, R., Wanberg, C.R., & Kantrowitz, T.M. (2001). Job search and employment: A personality– motivational analysis and meta-analytic review. Journal of Applied Psychology, 86(5), pp. 837-855. Law B., Meijers F. & Wijers G. (2002), ‘New perspectives on career and identity in the contemporary world’, British Journal of Guidance and Councelling, 30 (4), 431-449. Nicaise, I., Bollens, J., Dawes, L., Laghaei, S., Thaulow, I., Verdié, M. & Wagner, A. (1995). Pitfalls and dilemmas in labour market policies for disadvantaged groups – and how to avoid them. Journal of European Social Policy, 5(3), pp. 199-217. Pitcher, J. (2002). Policies and Programmes to Address Disadvantage among Young People: Issues for Evaluation Evaluation October 1, 2002 8: 474-495 Sels L, Bollens J, Buyens D. (2000). Twintig lessen over het bedrijfsopleidingsbeleid in Vlaanderen. Leuven: HIVA (KU Leuven). Schultz, T.W. (1975), The Value of the Ability to Deal with Disequilibria, Journal of Economic Literature, Vol. 13, No. 3 (Sep., 1975), pp. 827-846. Struyven, L., Groenez, S., Van Parys, L. & Heylen, V. (2012). Interventies voor de trajectbegeleiding van werkzoekenden: waartoe leiden ze op langere termijn? Rapport voor de impact evaluatie van het ESF Vlaanderen 2007-2013. Leuven: HIVA-KU Leuven. Struyven, L. & Heylen, V. (2010). Zachte kenmerken van werkzoekenden als drempel voor activering. Over.werk. Tijdschrift van het Steunpunt WSE (2), 90-95. TNO & SEO (2008), Handboek meetmethoden voor effectiviteit van activerend arbeidsmarktbeleid op persoonsniveau. S.L.. Vansteenkiste, M., Lens, W., De Witte, S., De Witte, H., & Deci, E.L. (2004). The’why’ and ‘why not’ of job search behaviour: their relation to searching, unemployment experience, and well-being. European Journal of Social Psychology, 34(3), 345-363. doi:10.1002/ejsp.202
19