Test Begrijpend Lezen Secundair Onderwijs (TBLSO) Christel Van Vreckem en Annemie Desoete
Handleiding
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 3
21/12/2022 15:20
Uitgeverij Academia Press Coupure Rechts 88 9000 Gent België www.academiapress.be Uitgeverij Academia Press maakt deel uit van Lannoo Uitgeverij, de boeken- en multimediadivisie van Uitgeverij Lannoo nv. isbn 978-94-014-8855-6 d/2022/45/390 nur 840 Christel Van Vreckem & Annemie Desoete Test Begrijpend Lezen. Voor het eerste tot het vierde middelbaar. Gent, Academia Press, 2023, 132 p. Eerste druk, 2023 Vormgeving cover: Keppie & Keppie Illustraties cover: Merel Eyckerman Vormgeving binnenwerk: Jurgen Leemans Zetwerk binnenwerk: Banananas © Christel Van Vreckem, Annemie Desoete & Uitgeverij Lannoo nv, Tielt Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze ook, zonder voorafgaande schriftelijke toestemming van de uitgever.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 4
21/12/2022 15:20
Inhoudstafel 1. Woord vooraf
7
2. Doelstelling test
9
3. Achtergrond en verantwoording
11
4. Opbouw en samenstelling van de test
17
5. Psychometrische waarde
19
6. Testafname en instructies
35
7. Scoring en interpretatie van de TBLSO
37
8. Testen en normtabellen
41
9. Tekst: ‘Lina’ s eigen koers’
43
10. Antwoordsleutel ‘Lina’s eigen koers’
45
11. Scoreformulier TBLSO ‘Lina’s eigen koers’
51
12. Normtabellen
59
13. Tekst: ‘Anticavia-actieplan’
75
14. Antwoordsleutel ‘Anticavia-actieplan’
77
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 5
21/12/2022 15:20
15. Scoreformulier TBLSO ‘Anticavia-actieplan’
83
16. Normtabellen
91
Referentielijst 107 Bijlagen 109
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 6
21/12/2022 15:20
1. Woord vooraf In Vlaanderen is er al geruime tijd behoefte aan een Vlaamse test begrijpend lezen voor jongeren uit het secundair onderwijs, op basis van recente en lokale normen. De Test Begrijpend Lezen Secundair Onderwijs (TBLSO) is gebaseerd op evidencebased principes. Een grondige literatuurstudie gecombineerd met praktijkervaring leidde tot het ontstaan van het onderstaande instrument. Het ontwikkelen van dit instrument was een arbeidsintensief proces waaraan heel wat mensen hun steentje bijdroegen. De eerste versie van de Test Begrijpend Lezen Secundair Onderwijs kwam tot stand via een aantal bachelorproeven die gemaakt werden in de opleiding Logopedie van de Arteveldehogeschool uit Gent. Hierbij waren de volgende oud-studenten, collega-lesgevers, logopedisten en anderen uit het werkveld betrokken. Studenten die aan dit project meewerkten in het licht van hun bachelorproef zijn Laura Baeke, Leonie Bourguillioen, Fien Cooremans, Emma De Brabandere, Linsey De Medts, Liselotte Derck, Lize-Lore De Vleesschauwer, Britney De Vloo, Charlotte Gelaesen, Candice Gruyaert, Anaïs Haesbrouck, Moirha Hollemans, Giel Loenders, Hanne Mostinckx, Celeste Sissau, Julie Van Daele, Lotte Van den Branden, Saffron Vanelslander, Stefanie Van Geit, Jana Van Gijseghem, Chloë Vanlerberghen, Aurélie Verbrugghe en Caro Waterloos. Collega’s die via het begeleiden van de bachelorproef betrokken waren, zijn Katrien De Brouwer, Els Desomer en Tine Vanden Hoof. Collega’s uit de adviescommissie van het project Praktijkgericht Wetenschappelijk Onderzoek (PWO) zijn Barbara Axters, Annemie De Bondt, Katrien De Brouwer, Ine De Clerck, Els Desomer, Tine Vanden Hoof, Ruth Vanderswalmen, Kaat Waermoes. Collega’s die feedback gaven op de test zijn Barbara Axters, Annemie De Bondt, Katrien De Brouwer, Els Desomer, Tine Vanden Hoof, Ruth Vanderswalmen, Kaat Waermoes. Uiteindelijk willen we ook alle betrokkenen uit de scholen van de verschillende onderwijsnetten die de afname van de testen mogelijk maakten, hartelijk bedanken.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 7
21/12/2022 15:20
8
test begrijpend lezen | handleiding
De uiteindelijke afwerking van de test werd mogelijk dankzij een PWO-project aan Arteveldehogeschool in Gent dat van 1 september 2019 tot 31 augustus 2021 liep en gesubsidieerd werd door de Vlaamse Overheid.
Christel Van Vreckem en Annemie Desoete
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 8
21/12/2022 15:20
2. Doelstelling test De test is bedoeld om de begrijpend leesvaardigheden van jongeren uit het 1ste tot 4de jaar secundair onderwijs te objectiveren aan de hand van verhalende teksten via meerkeuzevragen. Na de afname van de test kunnen we een kwantitatieve beoordeling maken. De vragen: ‘Scoort deze jongere sterk, leeftijdsadequaat, zwak, klinisch…?’ en ‘Heeft deze jongere een achterstand voor begrijpend lezen en zo ja, hoe groot is die achterstand?’ kunnen beantwoord worden in het licht van de ‘classificerende diagnostiek’. Een jongere die problemen heeft met technisch lezen (of met juist en voldoende vlot lezen), maar gemiddeld tot sterk scoort voor begrijpend lezen, heeft een andere aanpak nodig dan een jongere die zowel met technisch als met begrijpend lezen problemen heeft. Daarnaast kan de testleider ook een kwalitatieve analyse van de begrijpend leesvaardigheid maken in het licht van de handelingsgerichte diagnostiek. Vanuit deze grondige foutenanalyse kunnen we een geïndividualiseerd behandelplan opstellen of de juiste adviezen geven. Ten slotte geven de antwoorden op de metacognitieve schalen ons extra informatie voor de aanpak (Depessemier & Andries, 2009; Tops et al., 2014). De test kan diagnostisch gebruikt worden voor zowel individueel onderzoek als voor een klassikale afname en analyse.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 9
21/12/2022 15:20
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 10
21/12/2022 15:20
3. Achtergrond en verantwoording Met het oog op effectief begrijpend leesonderwijs en remediëring stellen Merchie et al. (2019) vijf didactische sleutels centraal, namelijk de sleutel Functionaliteit, Leesmotivatie, Interactie, Transfer en Strategie-instructie (Merchie et al., 2019). Alle sleutels zijn even belangrijk. Met deze test brengen we een van die vijf sleutels in kaart, namelijk begrijpend leesstrategieën die de lezer al dan niet bewust gebruikt om de betekenis van een tekst te vatten of om een mentaal model van de tekst te creëren (Van Ammel, 2021). De indeling in begrijpend leesstrategieën naar het model van De Paepe et al. (2004), die we bij de Test Begrijpend Lezen voor het Secundair Onderwijs gebruiken, is dezelfde als die in de Vlaamse Test Begrijpend Lezen (Van Vreckem et al., 2016). Het model van De Paepe et al. (2004) focust op het begrijpen van (complexe) woorden, zinnen in teksten, paragrafen, de volledige tekst en het verder redeneren op basis van de inhoud van de tekst. Om die doelen te bereiken, zet de lezer bewust of onbewust een aantal begrijpend leesstrategieën in. Het model van Merchie et al. (2019) hanteert een iets andere indeling: het deelt de begrijpend leesstrategieën in cognitieve en metacognitieve leesstrategieën in. Voor een overzicht van elk model en voor een vergelijking verwijzen we naar de onderstaande tabellen.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 11
21/12/2022 15:20
12
Tabel 1
test begrijpend lezen | handleiding
Model van De Paepe et al. (2004) Verbaal begrip = geschreven taal begrijpen op microniveau of op woord- en zinsniveau
Interpretatie of leggen van relaties op meso- en macroniveau
Woorden Betekenisnuances Betekenis morfologisch bepaald Betekenis syntactisch bepaald Zinnen Voegwoorden, anafora of verwijswoorden in één zin Beeldspraak Interpretatie op meso- of paragraafniveau Op basis van voorkennis: • causale inferenties of oorzaak-gevolgrelaties begrijpen; • logische inferenties of logisch denken op basis van tekstkennis en gebruikmaken van voorkennis. Informatie in een tekst verbinden of ‘brugrelaties’ Anaforische inferenties of verwijswoorden begrijpen
Extrapolatie: Verder denken over de tekst na het lezen van de tekst
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 12
Interpretatie op macro- of op tekstniveau Analyse en synthese Voorspellen Toepassen
21/12/2022 15:20
achtergrond en verantwoording
Tabel 2
13
Cognitieve en metacognitieve leesstrategieën uit het model van Merchie et al. (2019) Cognitieve strategieën
Metacognitieve strategieën
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 13
• • • • • • •
Vragen stellen Tekstinhoud visualiseren via een schema, voorstelling of prent Verbinding maken met voorkennis Samenvatten Tekststructuur herkennen (voegwoorden ‘zoals’, ‘omdat’…) Tekstoriëntatie en leesdoelen stellen Begrip bewaken en verhelderen
21/12/2022 15:20
14
Tabel 3
test begrijpend lezen | handleiding
Het model van De Paepe et. al (2004) vergeleken met het model van Merchie et al. (2019), dat getoetst kan worden in de TBLSO Model De Paepe et al. (2004)
Model Merchie et al. (2019): effectieve begrijpend leesdidactiek in het basisonderwijs
Verbaal begrip = geschreven taal begrijpen op microniveau of op woorden zinsniveau Woordniveau: woordbetekenissen afleiden uit de context, complexe woorden analyseren
Metacognitieve strategie Begrip bewaken en verhelderen: actieve herstelstrategieën inzetten op woordniveau, zoals woordbetekenissen afleiden uit de context, complexe woorden analyseren
Zinsniveau: voegwoorden in samengestelde zinnen interpreteren, verwijswoorden koppelen aan woorden waarnaar verwezen wordt in zinnen uit de tekst
Cognitieve strategie Tekststructuur herkennen • Voegwoorden ‘zoals’, ‘omdat’… begrijpen in zinnen • Verwijswoorden koppelen aan woorden waarnaar verwezen wordt (antecedenten) in zinnen uit de tekst Cognitieve strategieën • Verbinding maken met voorkennis • Tekstinhoud van een paragraaf visualiseren via een schema, voorstelling of prent
Interpretatie op meso- of paragraafniveau Op basis van voorkennis: • causale inferenties of oorzaakgevolgrelaties begrijpen ‘Waarom?’, ‘Hoe komt het dat…?’; • logische inferenties of logisch denken op basis van de inhoud van de tekst en de voorkennis. Interpretatie op meso- of paragraafniveau • Informatie in een tekst verbinden of ‘brugrelaties’ • Anaforische inferenties of verwijswoorden begrijpen, verwijswoorden koppelen aan woorden waarnaar verwezen wordt (antecedenten) binnen een paragraaf Interpretatie op macro- of op tekstniveau Analyse en synthese
Cognitieve strategieën • Tekststructuur herkennen • Verwijswoorden koppelen aan woorden waar naar verwezen wordt (antecedenten) • Tekstinhoud visualiseren via een schema, voorstelling of prent Cognitieve strategieën • Tekstinhoud visualiseren via een schema, voorstelling of prent • Samenvatten • Tekststructuur herkennen, signaalwoorden als ‘Ten eerste…’ herkennen
Extrapolatie Verder denken over de tekst na het lezen van de tekst (na het lezen)
Het resultaat op de Test Begrijpend Lezen Secundair Onderwijs mondt uit in een score, in een ‘leesproduct’ (Van Ammel et al., 2021). Om te weten of een jongere al dan niet een leesstrategie bewust of geautomatiseerd toepast, raden we aan om zijn redenering hardop te laten verantwoorden, om hardopdenkprotocollen toe te passen. Op die manier krijgen we niet alleen zicht op het resultaat of het product van het begrijpend lezen, maar ook op het leesproces.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 14
21/12/2022 15:20
achtergrond en verantwoording
15
Observeren en navragen of jongeren hun leesbegrip tussentijds bewaken en of ze gerichte herstelstrategieën toepassen tijdens het lezen, en op welke manier ze dat doen, levert waardevolle informatie op. Observaties als ‘Leest een jongere stukken tekst opnieuw?’ en ‘Gaat een jongere gericht op zoek naar antwoorden?’ verschaffen ons aanvullende informatie. Ook expliciete vragen stellen over het aanpakgedrag van een jongere tijdens het lezen, zoals ‘Hoe ben je te werk gegaan bij vraag x?’, is zeer zinvol. Via de hardopdenkprotocollen kunnen we ‘een plan van aanpak’ bij een gelezen tekst en bij het oplossen van de vragen in kaart brengen, vooraleer de lezer start met lezen (activeert hij zijn voorkennis, leest hij bijvoorbeeld de titel, hoe pakt hij het oplossen van de vragen aan…?), evenals de manier waarop de jongere zijn aanpak monitort en zijn problemen met tekstbegrip oplost (‘de lezer als hersteller’) (Van Ammel, 2021). Ook aanvullende observaties van bijvoorbeeld de manier waarop jongeren samen in de klas aan geschreven opdrachten werken, al dan niet in de les Nederlands, geven extra informatie en passen binnen de visie van ‘Breed evalueren’. Naast een product- en procesgericht beeld van de begrijpend leesvaardigheid, is het noodzakelijk om ook de leesmotivatie in kaart te brengen. Gesprekken met de jongeren en het gebruik van leesmotivatievragenlijsten dragen bij aan een brede beeldvorming van de jongere(n). De afname van een test mag nooit leiden tot een testresultaat alleen, maar moet de aanzet zijn van effectief handelen op maat van een klas, een groep, een individu. Met de Test Begrijpend Lezen Secundair Onderwijs meten we een selectie van metacognitieve en cognitieve leesstrategieën die tijdens het lezen op woord-, zins- of tekstniveau toegepast moeten worden. We focussen meer bepaald op verbaal begrip en op het interpreteren of het maken van inferenties of afleidingen op paragraaf(logische, causale en anaforische inferenties) en op tekstniveau. De lezer maakt soms gebruik van zijn voorkennis en van informatie uit de tekst om de juiste afleidingen te maken (o.a. bij causale en logische inferenties) of legt een relatie tussen verschillende elementen in de tekst (o.a. bij anaforische inferenties). Na het lezen meten we extrapolatie. Verder in de handleiding (bij het deel ‘Scoren en interpreteren’) zijn deze verschillende begrijpend leesstrategieën meer in detail beschreven. Het gebruik van deze test sluit aan bij een handelingsgerichte visie bij de beoordeling van begrijpend leesvaardigheden, met de bedoeling om op basis van objectieve testresultaten (en aanvullende gegevens) adequaat op maat van de jongeren te handelen. We gaan aan de hand van een test met meerkeuzevragen na hoeveel juiste antwoorden jongeren geven op inhoudsvragen bij één tekst die peilen naar de beheersing van enkele metacognitieve en cognitieve leesstrategieën en hoe ze zich daarmee verhouden ten aanzien van de normgroep. Die manier van evalueren richt
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 15
21/12/2022 15:20
16
test begrijpend lezen | handleiding
zich in eerste instantie op de uitkomst of het resultaat van het lezen (Merchie et al., 2019; Van Ammel, 2021). Een foutenanalyse maakt het mogelijk om doelgericht te handelen op basis van de testresultaten. We voegen ook een metacognitieve schaal toe. Zo weten we hoe de jongere zichzelf inschat voor begrijpend leesvaardigheden. In deze test stelden we vragen op bij de teksten die niet specifiek cultureel bepaald zijn, om alle jongeren zo veel mogelijk gelijke kansen te geven.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 16
21/12/2022 15:20
4. Opbouw en samenstelling van de test De TBLSO is genormeerd en op psychometrische waarde onderzocht met behulp van een crosssectioneel onderzoek. De test bestaat uit een verhalende tekst, een vragenboekje met niet-geheugenvragen en een antwoordsleutel. Er zijn twee paralleltesten. De testleider heeft de keuze welke tekst hij bij een eerste test afneemt. Uit een korte bevraging blijkt dat jongens eerder de voorkeur geven aan de tekst ‘Anticavia-actieplan’. Elk verhaal is kort om de leesinspanning van de jongeren te beperken. Op die manier verhoogt de validiteit van de test. We meten namelijk begrijpend lezen en niet technisch lezen. Bij elk verhaal horen 28 meerkeuzevragen met telkens 4 antwoordmogelijkheden, waaronder • vijf verbaalbegripsvragen die peilen naar het taalbegrip in de context van de tekst of die de vaardigheid om complexe woorden te analyseren toetsen; • vijf logische inferentievragen die het logisch redeneren aan de hand van informatie uit de tekst en voorkennis nagaan; • vijf causale inferentievragen die het inzicht in oorzaakgevolgrelaties toetsen; • vijf anaforische inferentievragen die peilen naar het begrip van anaforen of verwijswoorden; • vijf interpretatievragen op macroniveau die het tekstbegrip op tekstniveau toetsen; • drie extrapolatievragen die toetsen of een lezer een vervolg bij het verhaal kan verzinnen of de lezer de inhoud van de tekst kan toepassen in een andere situatie (De Paepe et al., 2004).
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 17
21/12/2022 15:20
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 18
21/12/2022 15:20
5. Psychometrische waarde Normgroep en normering In de literatuur stellen onderzoekers als eis dat voor een test die gebruikt wordt voor belangrijke beslissingen op individueel niveau als verwijzing naar het buitengewoon onderwijs, de steekproef minstens driehonderd proefpersonen moet bevatten om de kwalificatie ‘voldoende’ te krijgen en vierhonderd voor de kwalificatie ‘goed’. Bij testen voor minder belangrijke beslissingen op individueel niveau, zoals therapieindicatie of het bepalen van de evolutie, zijn de aantallen respectievelijk tweehonderd en driehonderd (Evers et al., 2010). In deze test zijn per normperiode en per studierichting minstens tweehonderd jongeren in de steekproef opgenomen. Het ging om jongeren uit scholen van het gewoon secundair onderwijs (1ste graad en 2de graad aso en tso), waarbij volledige klassen werden onderzocht in het gemeenschapsonderwijs of GO (24,2%; streefcijfer 22,5%), gesubsidieerd vrij onderwijs of GVO (69,8%; streefcijfer 72,1%) en het gesubsidieerd officieel onderwijs of het gemeentelijk onderwijs en het provinciaal onderwijs (6,0%; streefcijfer 7,6%). Wat betreft de urbanisatiegraad volgde zo’n 46,6% van de jongeren les in de rand van een grote stad of op het platteland (streefcijfer 43,7%), terwijl 53,4% van de jongeren naar school ging in een grote stad (streefcijfer 56,3%). Het ging om volledige klassen in het westen (West-Vlaanderen 16,0%; streefcijfer 17,13%), oosten (Limburg 11,7%; streefcijfer 13,22%) en midden van Vlaanderen (Oost-Vlaanderen, Antwerpen, Vlaams-Brabant: 72,3%; streefcijfer 69,65%). De thuistaal van de jongeren verschilde. Het betrof jongeren die enkel Nederlands spraken thuis 73,1% (streefcijfer 74,11%). Jongeren die aan het normeringsonderzoek deelnamen, kregen hiervoor een schriftelijke toestemming van hun ouders en gaven bovendien zelf de toestemming om deel te nemen aan deze studie. Daarnaast vroegen we via zelfrapportage of de jongere meertalig opgevoed is, een leerjaar overgedaan heeft of dyslexie heeft.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 19
21/12/2022 15:20
20
test begrijpend lezen | handleiding
De testen werden collectief afgenomen. Het normeringsonderzoek ving aan in september 2019 en eindigde in juni 2022. In deze tabel staat meer informatie over de proefgroep die de tekst ‘Lina’s eigen koers’ las. Tabel 4
Proefgroep voor de Test Begrijpend Lezen ‘Lina’s eigen koers’ Leerjaar en studierichting
n
Geen Nederlands als thuistaal
Eén jaar overgedaan
Dyslexie
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso Totaal
691 439 408 315 216 381 2451
83 119 23 13 23 89 350
63 7 148 96 8 88 410
43 26 39 42 14 54 218
In de onderstaande tabel staat informatie over de proefgroep en over het aantal deelnemende scholen. Tabel 5
Proefgroep en aantal deelnemende scholen voor de Test Begrijpend Lezen ‘Lina’s eigen koers’ Leerjaar en studierichting
n
Meisjes
Jongens
Aantal klassen
Aantal scholen
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso Totaal
691 439 408 315 216 381 2450
342 249 238 116 98 156 1199
349 190 170 199 118 225 1251
32 19 27 26 19 26 149
7 5 10 10 10 7 49
In deze tabel staat meer informatie over de proefgroep die de tekst ‘Anticaviaactieplan’ las.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 20
21/12/2022 15:20
psychometrische waarde
Tabel 6
21
Proefgroep voor de Test Begrijpend Lezen ‘Anticavia-actieplan’ Leerjaar en studierichting
n
Meertalig opgevoed
Eén jaar overgedaan
Dyslexie
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso Totaal
693 453 406 313 214 381 2460
83 120 23 13 23 95 357
64 11 146 95 8 91 415
43 23 39 42 14 56 217
In de onderstaande tabel staat informatie over de proefgroep en over het aantal deelnemende scholen. Tabel 7
Proefgroep en aantal deelnemende scholen voor de Test Begrijpend Lezen ‘Anticavia-actieplan’ Leerjaar en studierichting
n
Meisjes
Jongens
Aantal klassen
Aantal scholen
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso Totaal
693 453 406 313 214 381 2460
342 253 237 128 98 156 1214
351 200 169 185 116 225 1246
32 27 27 26 19 25 156
7 6 12 13 10 7 55
Verschillen tussen jongens en meisjes Om na te gaan of jongens en meisjes significant verschilden van elkaar op het vlak van begrijpend lezen, vergeleken we de scores op beide leestesten gedurende twee jaar (longitudinaal) voor de jongeren die twee keer deelnamen aan de normeringsstudie. We vonden telkens dat meisjes beter scoorden dan jongens. Voor de beschrijvende gegevens (gemiddelde M, standaarddeviatie SD, evenals betrouwbaarheidsintervallen (BI)) verwijzen we naar de onderstaande tabel.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 21
21/12/2022 15:20
22
Tabel 8
test begrijpend lezen | handleiding
Vergelijking scores jongens en meisjes gedurende twee jaar Jongens
Meisjes
Effectsizes
‘Lina’s koers’ Tijdstip 1 F (1,1427) = 18.43 16.81 M 36.35; p < .001; ŋ² = .02 [18.09; 18.79] [95% betrouwbaarheidsinterval] [16.38; 17.22] (4.77) (5.37) SD ‘Lina’s koers’ Tijdstip 2 F (1,538) = 20.69 18.22 M 30.42; p < .001; ŋ² = .05 [20.17; 21.21] [95% betrouwbaarheidsinterval] [17.53; 18.95] (4.78) (5.61) SD ‘Cavia’ Tijdstip 1 F (1,1427) = 20.35 18.53 M 48.09; p < .001; ŋ² = .03 [19.94; 20.72] [95% betrouwbaarheidsinterval] [18.10; 18.88] (4.68) (5.37) SD ‘Cavia’ Tijdstip 2 F (1,653) = 23.50 22.29 M 12.46; p < .001 ; ŋ² = .02 [23.07; 23.90] [95% betrouwbaarheidsinterval] [21.74; 22.79] (4.03) (4.71) SD Noot: Tijdstip 1 = 1ste en 3de jaar secundair onderwijs; Tijdstip 2 = 2de en 4de jaar secundair onderwijs)
We zien dus dat meisjes op het vlak van begrijpend lezen systematisch beter presteren, vergeleken met jongens. Afzonderlijke normen voor jongens en meisjes of gendergerelateerde betrouwbaarheidsintervallen lijken aangewezen als de afzonderlijke groepen (meisjes/jongens) voldoende groot zijn. We zien ook dat jongeren, zowel meisjes als jongens, na twee jaar onderwijs positief geëvolueerd zijn voor begrijpend lezen. Een jaar meer onderwijs- of instructietijd krijgen, is effectief voor beide groepen.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 22
21/12/2022 15:20
psychometrische waarde
23
Verschillen tussen de opleidingsniveaus Om na te gaan of jongeren van het aso en tso significant verschilden van elkaar op het vlak van begrijpend lezen, vergeleken we de scores op beide leestesten bij jongeren die gedurende twee jaar deelnamen aan de normeringsstudie. We vonden telkens dat in deze steekproef jongeren van het aso beter scoorden dan jongeren van het tso. Voor de beschrijvende gegevens (gemiddelde M, standaarddeviatie SD, evenals en de betrouwbaarheidsintervallen (BI)) verwijzen we naar de onderstaande tabel. Tabel 9
Vergelijking scores jongeren aso en tso gedurende twee jaar ASO ‘Lina’s koers’ 3de jaar so M [95% betrouwbaarheidsinterval] SD ‘Lina’s koers’ 4de jaar so M [95% betrouwbaarheidsinterval] SD ‘Cavia’ 3de jaar so M [95% betrouwbaarheidsinterval] SD ‘Cavia’ 4de jaar S0 M [95% betrouwbaarheidsinterval] SD
TSO
Effectsizes
18.53 [18.15; 18.87] (4.89)
16.25 [15.83; 16.70] (5.21)
F (1,1426) = 70.35; p < .001; ŋ² = .05
20.34 [19.79; 20.92] (4.98)
18.73 [17.90; 19.56] (5.62)
F (1,517) = 11.47; p = .001; ŋ² = .02
20.24 [19.93; 20.53] (4.70)
18.25 [17.83; 18.66] (5.29)
F (1,1426) = 55.43; p < .001; ŋ² = .04
23.38 [22.93; 23.79] (4.31)
22.41 [21.77; 23.03] (4.52)
F (1,600) = 6.09; p = .014; ŋ² = .01
We zien dat jongeren uit het aso systematisch significant beter presteren, vergeleken met jongeren uit het tso, en dit voor beide testen/teksten. Jongere leerlingen scoren systematisch lager dan jongeren die een jaar ouder zijn in beide richtingen. We kunnen de normen van jongere leerlingen dus niet zomaar gebruiken voor jongeren die een jaar meer instructie kregen. Afzonderlijke normen voor aso en tso lijken dus aangewezen als de afzonderlijke normgroepen (aso/tso) voldoende groot zijn. We zien ook dat jongeren na twee jaar onderwijs, zowel in aso als in tso, positief geëvolueerd zijn voor begrijpend lezen. Een jaar meer onderwijs- of instructietijd krijgen, is effectief voor beide groepen.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 23
21/12/2022 15:20
24
test begrijpend lezen | handleiding
Gaat het om cultuurfaire normen? Zijn er verschillen tussen Nederlandstalige en meertalige participanten in dit normeringsonderzoek? Om na te gaan of jongeren die enkel Nederlands spreken op het vlak van begrijpend lezen significant verschilden van jongeren die naast het Nederlands nog een of meerdere talen thuis spreken (hier verkort ‘meertalig opgevoed’ genoemd), vergeleken we de scores op beide leestesten gedurende twee jaar. We vonden telkens dat jongeren die enkel Nederlands spreken, significant beter scoorden dan meertalig opgevoede jongeren. Voor de beschrijvende gegevens (gemiddelde M, standaarddeviatie SD, evenals de betrouwbaarheidsintervallen (BI)) verwijzen we naar de onderstaande tabel. Tabel 10
Vergelijking scores jongeren met thuistaal Nederlands en meertalig opgevoede jongeren gedurende twee jaar Nederlands talige thuistaal ‘Lina’s koers’ 3de jaar so M [95% betrouwbaarheidsinterval] SD ‘Lina’s koers’ 4de jaar so M [95% betrouwbaarheidsinterval] SD ‘Cavia’ 3de jaar so M [95% betrouwbaarheidsinterval] SD ‘Cavia’ 4de jaar so M [95% betrouwbaarheidsinterval] SD
Meertalig opgevoed
Effectsizes
18.26 [17.89; 18.63] (4.73)
15.49 [14.74; 16.27] (5.21)
F (1,739) = 43.19; p < .001; ŋ² = .05
20.38 [19.89; 20.85] (5.12)
17.56 [16.56; 18.58] (5.44)
F (1,499) = 28.29; p = .001; ŋ² = .05
20.06 [19.65; 20.45] (4.61)
17.69 [16.94; 18.38] (5.04)
F (1,737) = 32.96; p < .001; ŋ² = .04
23.68 [23.28; 24.04] (3.85)
21.07 [20.21; 21.97] (5.21)
F (1,596) = 43.41; p < .001; ŋ² = .07
Bij het interpreteren van de resultaten op het vlak van begrijpend lezen moeten we dus zeker rekening houden met het verschil tussen jongeren met enkel Nederlands als thuistaal en jongeren die meertalig opgevoed worden. We merken ook dat zowel jongeren die thuis enkel Nederlands spreken als jongeren die thuis een of meer andere talen spreken, op eenzelfde test beter presteren één jaar later. Een jaar meer onderwijs- of instructietijd krijgen, is effectief voor beide groepen. Het verschil tussen beide groepen werd bovendien ook bevestigd in een pilootstudie waar we bij een selectie van de normgroep de prestaties op het vlak van begrijpend
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 24
21/12/2022 15:20
psychometrische waarde
25
lezen van jongeren die meertalig of eentalig waren opgevoed, vergeleken met de prestaties van jongeren die even oud waren maar dyslexie hadden. Hieruit bleek dat jongeren met dyslexie niet significant verschilden van beide groepen, maar dat eentalig Nederlandssprekende jongeren het significant beter deden wat betreft begrijpend lezen, vergeleken met hun meertalig opgevoede leeftijdsgenoten (F (2,299) = 8.93; p < .006; ŋ2 = .06).
Interpretatie van ruwe scores Het percentiel geeft aan welke rangorde een jongere inneemt op een schaal van 100. Een percentiel is een afgeleide score die aangeeft hoeveel procent van de jongeren van de normgroep een resultaat lager dan of gelijk aan een ruwe score behaalt. Een percentiel 1 wil zeggen dat op honderd jongeren deze jongere het zwakst presteert, of met andere woorden: 1% van de jongeren behaalt een ruwe score gelijk aan of lager dan de behaalde ruwe score. Scoren onder percentiel 10 op deze test is een indicatie voor remediëring of voor redelijke aanpassingen. Een percentiel kan in een zone worden omgezet. Een vaardigheidszone geeft een grof beeld van de plaats van de jongere ten opzichte van de volledige normgroep. De zone geeft geen indicatie die verder specificeert waar de jongere zich binnen die zone bevindt. Zone D en E vormen samen de zwakste 25%. In de onderstaande tabel staan de percentielen en hun overeenkomstige zones met bijbehorende omschrijving als richtlijn. Tabel 11
Interpretatievenster
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 25
Percentiel
Zone
Kwalificatie
pc. 75-100 pc. 51-74 pc. 26-50 pc. 10-25 < pc. 10
A B C D E
Zeer goede score Leeftijdsadequate - leerjaaradequate score Leeftijdsadequate - leerjaaradequate score Subklinische tot zwakke score Klinische score
21/12/2022 15:20
26
test begrijpend lezen | handleiding
Betrouwbaarheid Inleiding Onder de term ‘betrouwbaarheid’ verstaan we dat hetzelfde resultaat van de meting opnieuw verkregen wordt bij herhaalde testing. Heel wat externe factoren kunnen de testresultaten beïnvloeden, zoals omstandigheden waarbij een jongere zich al dan niet (meer of minder) fit voelt, enzovoort. De betrouwbaarheid van een test wordt dus gemeten om consistente scores te krijgen onafhankelijk van de setting en onafhankelijk van de persoon die de test afneemt (Carpenter & Paris, 2005). Het effect van dergelijke factoren kan geminimaliseerd worden (maar nooit geneutraliseerd) door de afname van de test zoveel mogelijk te standaardiseren. Indien men afwijkt van de standaardisatie, wordt het resultaat steeds onbetrouwbaar, ongeacht de kwaliteit van de test die men gebruikt. De betrouwbaarheid van deze test werd nagestreefd door gestandaardiseerde instructies te gebruiken voor de afname en uniforme antwoorden te voorzien in de antwoordsleutel. Betrouwbaarheid van de test We berekenden de interne consistentie met de Cronbachs alfa. De Cronbachs alfa is een coëfficiënt die steunt op de interne consistentie van de test. De interne consistentie van een test geeft aan in welke mate de opgaven van een test onderling samenhangen in statistische zin. Concreet betekent dit dat Cronbachs alfa hoger wordt naarmate de correlaties tussen de items en het totale resultaat hoger zijn. Vaak stellen onderzoekers als eis dat voor een test die gebruikt wordt voor belangrijke beslissingen, zoals verwijzing naar het buitengewoon onderwijs, de betrouwbaarheidscoëfficiënt minimaal .80 moet zijn om de kwalificatie ‘voldoende’ te krijgen en ≥ .90 voor de kwalificatie ‘goed’. Bij testen voor minder belangrijke beslissingen, zoals het bepalen of therapie voor een bepaalde vaardigheid al dan niet noodzakelijk is of bepalen van de evolutie, krijgen de betrouwbaarheidscoëfficiënten vanaf .70 een score ‘voldoende’ en een score van ≥ .80 de kwalificatie ‘goed’ (Evers et al., 2000). We berekenden de betrouwbaarheidscoëfficiënt voor de verschillende normperiodes van de TBLSO, namelijk voor het 1ste, 2de, 3de en 4de jaar secundair onderwijs en per studierichting.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 26
21/12/2022 15:20
psychometrische waarde
27
In de volgende tabellen geven we informatie over de betrouwbaarheid en betrouwbaarheidsintervallen voor de verschillende leeftijdsgroepen en studierichtingen (aso en tso). Tabel 12
Betrouwbaarheidscoëfficiënt voor de TBLSO voor de jongeren van het 1ste t.e.m. 4de jaar secundair onderwijs (aso en tso) voor de Test Begrijpend Lezen ‘Lina’s eigen koers’ Leeftijdsgroep en studierichting
Betrouwbaarheid van de test Cronbachs alfa
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso
.80 .84 .81 .80 .93 .77
De betrouwbaarheidscoëfficiënten (Cronbachs alfa) voor de test ‘Lina’s eigen koers’ zijn voor het 1ste, het 2de, het 3de jaar aso, het 3de jaar tso en het 4de jaar aso goed en voldoende voor het 4de jaar tso. Tabel 13
Betrouwbaarheidscoëfficiënt voor de TBLSO voor de jongeren van het 1ste t.e.m. 4de jaar secundair onderwijs (aso en tso) voor de Test Begrijpend Lezen ‘Anticavia-actieplan’ Leeftijdsgroep en studierichting
Betrouwbaarheid van de test Cronbachs alfa
1ste jaar 2de jaar 3de jaar aso 3de jaar tso 4de jaar aso 4de jaar tso
.82 .79 .79 .83 .76 .76
De betrouwbaarheid (Cronbachs alfa) voor de test ‘Anticavia-actieplan’ is goed voor het 1ste en het 3de jaar tso, voldoende voor het 2de en 3de jaar aso en voor het 4de jaar aso en tso. In een pilootstudie werd de test-hertestbetrouwbaarheid nagegaan in het licht van de testconstructie. Er werden 198 jongeren op twee verschillende meetmomenten met een tussentijd van zes weken onderzocht op het vlak van begrijpend lezen (de helft met de ene test, de andere helft met de andere test) als indicatie voor de testhertestbetrouwbaarheidsindicatie. De correlatie tussen de score op de totale test op beide meetmomenten was r = .91 voor beide testen (p < .001).
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 27
21/12/2022 15:20
28
test begrijpend lezen | handleiding
Betrouwbaarheidsintervallen Het is uiteraard niet mogelijk om iedereen (of de volledige populatie) te onderzoeken op begrijpend lezen. Daarom wordt het aantal jongeren (de steekproef) beperkt om normen te bepalen. Deze steekproef wordt zo samengesteld dat ze voldoende representatief is voor de populatie. De vraag die dan rijst, is in welke mate een schatting van de populatie op basis van een steekproef betrouwbaar of nauwkeurig is. Dit kan men berekenen aan de hand van een betrouwbaarheidsinterval. Een betrouwbaarheidsinterval wordt berekend uit de steekproefgegevens. Het is een gebied van waarden dat een gegeven hoge waarde heeft om de ware populatiewaarde te omvatten. De onder- en bovengrens van een betrouwbaarheidsinterval worden de betrouwbaarheidsgrenzen genoemd. Een betrouwbaarheidsinterval bestaat dus uit een onder- en bovengrens, waarbij, indien het onderzoek zou worden overgedaan met een nieuwe (aselecte) steekproef, we mogen verwachten dat 95% van de intervallen de parameter M (het gemiddelde) zullen bevatten. We weten dan met 95% zekerheid dat M in het betrouwbaarheidsinterval ligt. Alle verkregen resultaten, met name normscores of percentielen, zijn relatief. Ze kunnen beïnvloed zijn door meetfouten en/of toevallige omstandigheden. De volgende betrouwbaarheidsintervallen zorgen voor een schatting van de grenzen waarbinnen de ‘werkelijke’ normscore ligt, met een gekozen waarschijnlijkheid van 90% of 95%. Voor het gemiddelde (M), de standaarddeviatie (SD) en het betrouwbaarheidsinterval (BI) van de Test Begrijpend Lezen ‘Lina’s eigen koers’ verwijzen we naar de volgende tabel.
Sec-Onderwijs_Test_Begrijpend_Lezen_v7.indd 28
21/12/2022 15:20