Issuu

Handleiding voor het testen van teksten bij de doelgroep Stappenplan en methode s voo r gebruikerste ste n

TeamTaaladvies

‘Elk commercieel bedrijf zet geen enkel product in de markt zonder er eerst uitgebreid met gebruikerspanels over te praten. Wij maken een website en denken: daar zit de burger op te wachten. Dat weten we helemaal niet! Dus vraag het aan die burger!’ ERWIN KOSTERS productmanager DigiD, Logius op de website Gebruiker Centraal

C H EI NCHKO L IUST D

p. 4

INLEIDING

1 DE VOORDELEN VAN EEN GEBRUIKERSTEST

2 STAPPENPLAN VOOR GEBRUIKERSTESTEN

6 6

2 VOORBEREIDING VAN EEN GEBRUIKERSTEST

3 UITVOERING VAN EEN GEBRUIKERSTEST

4 TEKSTEN REVISEREN NA EEN GEBRUIKERSTEST

VOOR JE BEGINT

3 METHODES VOOR GEBRUIKERSTESTEN

1 GUERILLATEST

2 TERUGVRAAGMETHODE

3 HARDOPLEESMETHODE

4 HARDOPWERKMETHODE

5 PLUS-MINMETHODE

6 INTERVIEW

7 SCHRIFTELIJKE VRAGENLIJST

8 FOCUSGROEPSGESPREKKEN

LITERATUUR

INLEIDING

Er zijn verschillende manieren om na te gaan of een tekst heerlijk helder is. Je kunt de tekst zelf evalueren aan de hand van een checklist, je kunt de begrijpelijkheid ervan laten analyseren door speciale software of je kunt de tekst laten beoordelen door taal- of communicatiedeskundigen. Al die methodes geven inzicht in de kwaliteit van een tekst, maar uiteindelijk kan alleen met hulp van de beoogde lezers worden vastgesteld of een tekst echt werkt zoals hij bedoeld is. Door een tekst voor te leggen aan de doelgroep, neem je de proef op de som: is de tekst effectief vanuit het perspectief van de bedoelde lezers? In overheidsorganisaties is het vaak nog geen vaste praktijk om teksten zoals brieven, brochures, formulieren of websites vooraf te testen bij de doelgroep. De gevolgen daarvan kunnen groot zijn: mensen vinden niet gemakkelijk de informatie die ze nodig hebben, ze begrijpen een tekst niet goed, of lezen hem zelfs niet, of ze volgen instructies verkeerd op. Kortom: je bereikt niet de doelen die je met de tekst beoogt. Er bestaan heel veel adviezen over het schrijven van heldere teksten, maar over het testen van teksten bij de doelgroep zijn weinig praktische handleidingen te vinden. Die leemte willen we vullen met deze brochure. We focussen op methodes voor eenvoudige, kleinschalige gebruikerstesten die je zelf kunt uitvoeren. Want ook als je een tekst aan een beperkt aantal testpersonen voorlegt, kan dat heel waardevolle feedback opleveren, die je helpt om de tekst te verbeteren. Zo vergroot je de kans op geslaagde communicatie. We hopen dat deze gids je kan inspireren om je doelgroep te betrekken bij het ontwerpen en herschrijven van teksten.

VO O R D E L E N

De voordelen van een gebruikerstest Een gebruikerstest organiseren kost moeite, maar het levert je ook heel wat op:

Betere teksten Gebruikerstesten zijn een heel krachtig middel om meer zekerheid te krijgen over de effectiviteit van een tekst. Je vergroot de kans dat de tekst de doelen bereikt die je beoogt. De kans stijgt dat je lezers de informatie begrijpen, dat ze overtuigd zijn van je boodschap, dat ze in staat zijn om bepaalde handelingen uit te voeren of dat ze een bepaald gedrag vertonen. Aan de andere kant wordt de kans kleiner dat de tekst onbedoelde of ongewenste effecten heeft. Kortom, door een gebruikerstest uit te voeren, vergroot je de kans op geslaagde communicatie. Daar bewijs je in de eerste plaats je lezers een dienst mee: zij zijn meteen geholpen met heldere informatie. Ze hoeven je tekst niet drie keer te lezen voor ze hem begrijpen, of contact op te nemen met je organisatie om meer uitleg te krijgen. Ze krijgen daardoor meer vertrouwen in de zender van de communicatie. Maar ook je eigen organisatie is gebaat met communicatie die goed is afgestemd op de doelgroep. Je hoeft achteraf minder tijd te steken in het behandelen van vragen of klachten, of in het versturen van herinneringen. De kans is ook kleiner dat je de communicatie achteraf moet bijsturen. Je kunt een tekst natuurlijk ook voorleggen aan experts (bijvoorbeeld taaladviseurs, communicatieexperts of inhoudelijke experts). Ook dat zal waardevolle feedback opleveren waarmee je de tekst kunt verbeteren. Het probleem is dat experts zich niet altijd gemakkelijk kunnen verplaatsen in de doelgroep. Vaak hebben ze blinde vlekken, bijvoorbeeld omdat ze te veel kennis hebben over het onderwerp van de tekst. Mensen uit de doelgroep zijn bij uitstek in staat om problemen waar je als tekstschrijver of expert zelf niet aan denkt, aan het licht te brengen.

Betere schrijvers De inzichten die je krijgt door een gebruikerstest uit te voeren bij een bepaalde tekst, kun je vaak ook toepassen op andere of nog te schrijven teksten. Onderzoek toont aan dat de schrijfvaardigheid van mensen verbetert als ze kennisnemen van resultaten uit gebruikerstesten. Je krijgt op den duur meer voeling met je doelgroep, zeker als je de gebruikerstest zelf uitvoert. Daardoor ben je beter in staat om te anticiperen op de behoeften van je lezers.

Betere processen en procedures Gebruikerstesten brengen soms problemen aan het licht die te maken hebben met de processen en procedures waarover een tekst communiceert. Als een subsidieregeling bijvoorbeeld te ingewikkeld is, is het moeilijk om daar een begrijpelijke brief over te schrijven. Resultaten van gebruikerstesten kunnen een aanleiding zijn om die processen en procedures eenvoudiger en helderder te maken.

Stappenplan voor gebruikerstesten 1. Voor je begint Voor je een gebruikerstest organiseert, moet je twee vragen beantwoorden: • Welke tekst(en) wil je onderzoeken? • Wil je de test zelf uitvoeren of besteed je de test uit?

TESTMATERIAAL SELECTEREN De eerste vraag die je je bij het opzetten van een gebruikerstest moet stellen, is welke tekst je precies wilt onderzoeken. Voor welke teksten is een gebruikerstest het meest zinvol? Welke keuzes moet je maken bij de selectie van testmateriaal en waar moet je op letten als je het testmateriaal voorbereidt?

Teksten waarvoor een gebruikerstest zinvol is Een gebruikerstest is het meest zinvol in de volgende situaties: • Het effect van de tekst is van groot belang. De tekst beoogt bijvoorbeeld een verandering in houding of gedrag. • De kosten van de ontwikkeling en de verspreiding van de tekst zijn hoog. Als de tekst zijn doel voorbijschiet, heeft dat zware financiële of andere gevolgen voor de organisatie. • Er zijn klachten over de tekst of mensen stellen vaak vragen over de tekst. • De tekst heeft niet het beoogde effect. Formulieren worden bijvoorbeeld vaak verkeerd of niet volledig ingevuld of veel mensen reageren niet (op tijd) op een brief. • Je bent minder vertrouwd met de doelgroep. Dat kan het geval zijn omdat de leden van de doelgroep of een significant aantal ervan bijvoorbeeld tot een andere leeftijdscategorie behoren, een andere culturele achtergrond hebben of laaggeletterd zijn. • De doelgroep is heel heterogeen. Het is van belang om na te gaan of de tekst op alle leden hetzelfde effect heeft. • Er is binnen je organisatie weinig draagvlak om teksten te verbeteren. Door mensen te confronteren met de resultaten van een gebruikerstest, kun je hen mogelijk wel overtuigen van het belang van heerlijk heldere teksten.

Keuzemogelijkheden Concept of eindproduct testen Als je teksten in een vroeg stadium test, heeft dat als voordeel dat er meestal nog veel mogelijkheden zijn om de tekst ingrijpend te wijzigen. Als je teksten test in de eindfase, is er soms niet meer voldoende tijd voor ingrijpende wijzigingen. Het voordeel van testen in de eindfase is dan weer dat de tekst al meer afgewerkt is, waardoor testpersonen hem beter kunnen beoordelen. Je kunt ook kiezen voor een iteratieve opzet. Daarbij doe je in elke fase van het ontwikkelingsproces van een tekst een gebruikerstest bij een beperkt aantal testpersonen (bijvoorbeeld 5). Na elke testronde wordt de tekst aangepast op basis van de feedback van de

STA P P E N P L A N

testpersonen. De nieuwe versie wordt opnieuw getest en aangepast, enzovoort. Die cyclus wordt volgehouden totdat de test geen (ernstige) problemen meer oplevert. Een iteratieve testopzet wordt vaak toegepast bij websites. Het voordeel ervan is dat je meer zekerheid krijgt dat de aanpassingen die je doorvoert voor een betere tekst zorgen. Een nadeel ervan is dat deze opzet meestal meer tijd in beslag neemt.

De volledige tekst of een deel van de tekst testen Als de tekst heel lang is, zul je de test moeten beperken tot bepaalde onderdelen, bijvoorbeeld het belangrijkste onderdeel of een onderdeel waarover je twijfels hebt. Als je een website test, kun je focussen op de belangrijkste toptaken (de dingen die gebruikers zeker moeten kunnen doen op je website) of op pagina’s waarvan je weet dat ze problematisch zijn (bijvoorbeeld op basis van gegevens van de klantendienst).

Eén versie of verschillende versies testen Je kunt in een gebruikerstest één versie van een tekst voorleggen aan de testpersonen, of je kunt verschillende versies voorleggen. Dat laatste kan nuttig zijn als je een verantwoorde keuze wilt maken tussen een aantal min of meer gelijkwaardige alternatieve versies van teksten of tekstonderdelen, bijvoorbeeld een versie waarin de lezers aangesproken worden met je en een versie waarin ze aangesproken worden met u.

Aandachtspunten Hou bij de voorbereiding van het testmateriaal rekening met de volgende aandachtspunten: • Zorg ervoor dat de tekst die je wilt testen zo goed mogelijk is. Het heeft geen zin om een tekst te testen waarvan duidelijk is dat hij grote tekortkomingen heeft. Toets de tekst bijvoorbeeld eerst aan de hand van een checklist of leg hem voor aan taal- of communicatieadviseurs. • Zorg ervoor dat het concept zo werkelijkheidsgetrouw mogelijk is, zowel qua tekst als qua vormgeving (kleur, illustraties …).

EEN GEBRUIKERSTEST ZELF UITVOEREN OF UITBESTEDEN Een gebruikerstest kan worden uitgevoerd door de schrijver van de tekst (of iemand anders van de organisatie) of door een externe organisatie. Wat zijn de voordelen van beide mogelijkheden, en waar moet je op letten?

Zelf uitvoeren Voordelen • Je hebt alles in eigen hand, waardoor je de test binnen een kortere termijn kunt uitvoeren dan wanneer je de test uitbesteedt. • Je bepaalt zelf de opzet van de test. Zo ben je er zeker van dat die een antwoord geeft op je vragen. • Je ervaart aan den lijve hoe mensen op een tekst reageren. Daardoor zul je meer geneigd zijn om hun reacties serieus te nemen dan wanneer je er kennis van zou nemen via een rapport van een extern onderzoeksbureau. • Je krijgt meer voeling met de doelgroep. Als je nieuwe teksten schrijft, ben je beter in staat om rekening te houden met de doelgroep.

Aandachtspunten Een mogelijk probleem van zelf testen is dat je als schrijver te veel gehecht bent aan je eigen tekst. Daardoor neem je reacties van testpersonen mogelijk niet serieus. Daarom is het belangrijk om de houding van een nieuwsgierige buitenstaander aan te nemen, zowel tijdens de opzet en uitvoering van het onderzoek als bij de analyse van de resultaten. Probeer je los te maken van de tekst en neem kritiek niet persoonlijk. Betrek ook andere mensen bij de gebruikerstest die minder direct betrokken zijn geweest bij de ontwikkeling van de tekst. Buitenstaanders zien vaak dingen die je zelf over het hoofd ziet.

Uitbesteden Als je een gebruikerstest wilt uitbesteden, kun je een beroep doen op een onderzoeksbureau.

Voordelen • Je hoeft zelf weinig tijd te steken in de gebruikerstest. • Gespecialiseerde onderzoeksbureaus beschikken over veel ervaring en expertise om een gebruikerstest op te zetten en uit te voeren, testpersonen te selecteren, resultaten te analyseren en te verwerken. • De onderzoeker is een neutrale partij. Daardoor durven testpersonen mogelijk meer vrijuit te praten en kritiek te geven.

Aandachtspunten Een mogelijk probleem van uitbesteden is dat de gebruikerstest niet de antwoorden oplevert die je beoogt. Daarom moet je ervoor zorgen dat je actief betrokken bent bij de opzet van de gebruikerstest. Geef duidelijk aan wat je precies te weten wilt komen en bekijk het draaiboek of de vragenlijst voor de test kritisch.

STA P P E N P L A N

2. Voorbereiding van een gebruikerstest Als je weet welke tekst(en) je wilt testen, moet je bepalen wat je daarover precies te weten wilt komen. Dat leg je vast in de onderzoeksvragen. Vervolgens bepaal je de testmethode, stel je de testgroep samen en kies je een locatie of onlinekanaal voor de test.

ONDERZOEKSVRAGEN OPSTELLEN

Onderzoeksvragen afleiden uit de tekstdoelen Met een gebruikerstest probeer je te achterhalen of de doelen van de tekst bereikt kunnen worden. Tekstdoelen hebben altijd te maken met bepaalde effecten op de doelgroep. Die effecten kunnen betrekking hebben op de kennis, de vaardigheden, de houding of de gedragsintenties van de doelgroep. Bij het opstellen van onderzoeksvragen kun je daarom het best starten vanuit de tekstdoelen. Enkele mogelijke onderzoeksvragen zijn: • Weten de lezers dat …? (kennis) • Kunnen de lezers nu …? (vaardigheid) • Vinden de lezers dat …? (houding) • Zijn de lezers geneigd om …? (gedragsintentie)

Onderzoeksvragen afleiden uit de voorwaarden voor effectiviteit Om de kennis, de vaardigheden, de houding of de gedragsintenties van je doelgroep te kunnen beïnvloeden, moet een tekst voldoen aan een aantal voorwaarden. Je doelgroep moet de tekst bijvoorbeeld lezen, begrijpen en kunnen toepassen. Die verschillende voorwaarden voor effectiviteit kun je omzetten in onderzoeksvragen. Hieronder vind je een aantal voorbeelden per voorwaarde.

‘Ken je NIVEA? Nooit Invullen Voor Een Ander! Niemand kan in het hoofd van een ander kijken. Je weet nooit wat de ander denkt of vindt, tenzij je het vraagt. Door enquêtes of interviews op een laagdrempelige manier af te nemen, kan je wel mensen aan het woord laten die meestal nauwelijks gehoord worden.’ INGRID TIGGELOVEND in Diversiteitscommunicatie

voorwaarde

omschrijving

mogelijke onderzoeksvragen

contact

De beoogde lezers moeten in contact komen met de tekst en op grond van het uiterlijk ervan geneigd zijn de tekst te lezen.

• Via welke kanalen wil de doelgroep de tekst ontvangen? • Wat doet de doelgroep als de tekst binnen haar bereik komt? • Trekt de tekst de aandacht van de doelgroep? • Geeft de titel of de voorpagina van de tekst een goed beeld van de inhoud? • Schrikken de omvang en de lay-out van de tekst de doelgroep niet af?

selectie

De beoogde lezers moeten de belangrijkste en de voor hen relevante passages in de tekst daadwerkelijk lezen.

• Als de tekst het liefst volledig moet worden gelezen: wordt de aandacht van de lezers vastgehouden, haken ze niet af? • Als bepaalde delen van de tekst zeker moeten worden gelezen: zijn de belangrijkste passages voor de lezers opvallend en aantrekkelijk? • Als lezers de voor hen relevante informatie goed moeten kunnen vinden: wordt het informatiezoekend gedrag van de lezers voldoende ondersteund? Bijvoorbeeld: is de navigatie van een website gebruiksvriendelijk?

begrip

De beoogde lezers moeten de geboden informatie begrijpen.

• Wordt de essentie van de tekst begrepen? • Worden specifieke onderdelen van de tekst begrepen? • Worden de afbeeldingen (bijvoorbeeld tabellen of grafieken) begrepen?

acceptatie

De beoogde lezers moeten de geboden informatie accepteren.

• Beschouwen de lezers de kern van de informatie als juist en realistisch? Het kan daarbij gaan om feiten, gedragsaanbevelingen of waardeoordelen. • Accepteren de lezers de verschillende onderdelen van de tekst? • Bevat de tekst voldoende elementen om eventuele weerstand te weerleggen?

relevantie

De informatie in de tekst moet voor de beoogde lezer relevant zijn.

• Bevat de tekst informatie die nieuw en relevant is voor de doelgroep? • Bevat de tekst niet te veel overbodige informatie voor de doelgroep? • Vinden de lezers dat de tekst voor hen zinvol is?

volledigheid

De tekst moet op alle relevante vragen van de beoogde lezers een adequaat antwoord geven.

• In hoeverre ontbreekt relevante informatie in de tekst? • Geeft de tekst voldoende informatie?

STA P P E N P L A N

waardering

De beoogde lezers moeten de manier waarop de informatie is weergegeven en de tekst is vormgegeven, waarderen.

• Wat vinden de lezers in algemene zin van de tekst? • Oogt de tekst aantrekkelijk? • Is de tekst aangenaam om te lezen? • Is de informatie eenvoudig weergegeven? • Zijn de voorbeelden en afbeeldingen goed gekozen? • Is de toon aangepast aan de boodschap?

betrokkenheid

De beoogde lezers moeten zich betrokken voelen bij de tekst.

• Voelen de lezers zich aangesproken door de benadering van het onderwerp en de gepresenteerde informatie? • Herkennen de lezers zich in de tekst en de afbeeldingen? • Vinden de lezers de tekst interessant?

beleving

De tekst mag bij de beoogde lezers geen te sterke negatieve emoties zoals ontmoediging, angst, stress of paniek oproepen. Anders bestaat de kans dat ze de tekst niet of niet goed lezen.

• Welke emoties komen bij de lezers op bij het lezen van de tekst?

toepassing

De beoogde lezers moeten de geboden informatie gemakkelijk in hun eigen situatie kunnen toepassen.

• Denken de lezers dat ze het aanbevolen gedrag kunnen uitvoeren? • Kunnen de lezers de informatie uit de tekst gemakkelijk toepassen in hun eigen situatie?

Andere vragen Andere mogelijke vragen waarop een gebruikerstest een antwoord kan geven, zijn bijvoorbeeld: • Welk beeld geeft de tekst van de organisatie? • Welke onverwachte effecten doen zich voor?

Onderzoeksvragen selecteren Het is niet nodig en ook niet mogelijk om alle voorwaarden te onderzoeken in een gebruikerstest. Beperk je tot de meest relevante voorwaarden, of de voorwaarden waarover je de meeste twijfels hebt. Het kan ook interessant zijn om gegevens te verzamelen over het gebruik van de tekst die je wilt testen, of van vergelijkbare teksten, als de tekst nog niet in gebruik is. Die gegevens kunnen een indicatie geven van mogelijke problemen en kunnen je dus helpen om de meest relevante onderzoeksvragen te selecteren. Enkele voorbeelden: • Je kunt gegevens opvragen bij de klantendienst of het contactcenter (1700) over de vragen die over een bepaalde tekst(soort) worden gesteld. • Je kunt gegevens opvragen bij dossierbehandelaars over de vragen die vaak verkeerd worden ingevuld in een bepaald formulier. • Bij websites kun je gebruikmaken van webstatistieken om na te gaan welke pagina’s mogelijk problematisch zijn. Webstatistieken geven je bijvoorbeeld informatie over de vindbaarheid van pagina’s.

EEN TESTMETHODE KIEZEN Er bestaan verschillende methodes om teksten te testen bij de doelgroep. Die hebben allemaal hun voordelen en hun beperkingen. Geen enkele methode is dus volledig zaligmakend. Het is wel belangrijk om vooraf een weloverwogen keuze te maken. Om de beperkingen van een bepaalde methode op te vangen, kun je ervoor kiezen om verschillende methodes met elkaar te combineren.

Kwalitatief onderzoek versus kwantitatief onderzoek We focussen in deze brochure op kwalitatieve methodes voor gebruikersonderzoek. Daarbij probeer je, bij een beperkt aantal testpersonen, zo veel mogelijk problemen met de effectiviteit van een tekst op te sporen. Kwalitatieve gebruikerstesten zijn heel geschikt om een tekst te helpen verbeteren omdat ze je een diepgaand en gedetailleerd inzicht geven in een breed scala van problemen die testpersonen ondervinden. Het nadeel van kwalitatief onderzoek is dat je werkt met een beperkt aantal testpersonen, waardoor de resultaten niet statistisch geanalyseerd kunnen worden. Op basis van kwalitatief onderzoek kun je dus geen algemene uitspraken doen over de kwaliteit van een tekst. Kwantitatief onderzoek, bijvoorbeeld een vragenlijst die je afneemt bij een grote groep mensen, geeft je wel inzicht in de globale kwaliteit van een tekst. Goede kwantitatieve tests leveren bovendien zeer betrouwbare resultaten. Een nadeel van kwantitatieve methodes is dat je moet werken met veel grotere testgroepen en dat kennis van statistiek vereist is. Ze zijn daardoor minder gemakkelijk zelf uit te voeren en daarom laten we ze hier buiten beschouwing.

STA P P E N P L A N

Overzicht van alle testmethodes In deze brochure komen acht methodes voor gebruikerstesten aan bod. Hieronder vind je een korte omschrijving van de verschillende methodes. De volledige beschrijving, met een stappenplan, vind je in het volgende deel.

methode

omschrijving

guerillatest

Je benadert willekeurig mensen op een bepaalde locatie en legt ze een tekst voor. Je stelt daarover een aantal vragen, of je geeft de testpersonen een korte opdracht.

terugvraagmethode

Je vraagt de testpersonen om een stukje tekst samen te vatten in hun eigen woorden.

hardopleesmethode

Je vraagt de testpersonen om de tekst hardop te lezen en daarbij te zeggen wat ze denken. In een nagesprek bespreek je de commentaren die de testpersonen tijdens het lezen hebben geformuleerd, en andere opvallende gebeurtenissen tijdens het lezen, zoals haperingen en fouten.

hardopwerkmethode

Je vraagt de testpersonen om te zeggen wat ze denken terwijl ze een bepaalde opdracht uitvoeren met behulp van de tekst. In een nagesprek vraag je de testpersonen om eventuele onduidelijkheden en problemen die ze ondervonden hebben, toe te lichten.

plus-minmethode

Je vraagt de testpersonen om tijdens het lezen van een tekst plussen in de kantlijn te zetten bij passages die ze goed vinden en minnen bij passages die ze slecht vinden. In een nagesprek probeer je de redenen voor de plussen en de minnen te achterhalen en kun je suggesties vragen voor de verbetering van de tekst.

interview

Je stelt de testpersonen vragen over de tekst tijdens een gestructureerd vraaggesprek.

schriftelijke vragenlijst

Je stelt de testpersonen vragen over een tekst met een papieren of digitale vragenlijst.

focusgroepsgesprekken

Een tekst wordt besproken in groepjes van 6 à 10 deelnemers. Het gesprek wordt begeleid door een gespreksleider.

‘We leggen onze teksten altijd eerst voor aan een ervaringsdeskundige of iemand die dicht bij de patiënten en bewoners staat. Hij of zij kan het best inschatten of de informatie begrijpelijk is voor de patiënten en bewoners.’ ANITA KEIJDENER communicatieverantwoordelijke Openbaar Psychiatrisch Zorgcentum Rekem

Testmethodes per type tekst Welke methode je gebruikt, hangt in de eerste plaats af van het type tekst dat je wilt onderzoeken. Hieronder vind je een overzicht van de meest voor de hand liggende methodes per tekstsoort.

methode

brief/mail

folder/brochure

guerillatest

terugvraagmethode

hardopleesmethode

formulier

hardopwerkmethode

website

plus-minmethode

interview

schriftelijke vragenlijst

focusgroepsgesprekken

Testmethodes per type onderzoeksvraag De keuze voor een bepaalde methode hangt ook af van de onderzoeksvragen die je wilt onderzoeken.

Zijn de testpersonen geneigd om de tekst te lezen? (contact) Of de testpersonen geneigd zijn om de tekst te lezen, kun je achterhalen op basis van commentaren die ze geven bij de tekst, bijvoorbeeld ‘Pff, wat een lange tekst! Die zou ik normaal niet helemaal lezen.’ (hardopleesmethode). Je kunt er ook vragen over stellen (interview, schriftelijke vragenlijst, focusgroepsgesprekken).

Vinden de testpersonen de informatie die ze nodig hebben? (selectie) Om te weten te komen welke delen van de tekst al dan niet worden gelezen, kun je de testpersonen in de eerste plaats observeren terwijl ze de tekst lezen. Dat kan met alle methodes, behalve de schriftelijke vragenlijst. Ook bij focusgroepsgesprekken is het moeilijker om te zien welke delen van de tekst worden gelezen door de testpersonen. Om problemen op te sporen in verband met de vindbaarheid van informatie, kun je de hardopwerkmethode gebruiken. Je kunt de testpersonen er ook vragen over stellen (interview, schriftelijke vragenlijst).

Begrijpen de testpersonen de tekst? (kennis en begrip) Om te onderzoeken of de testpersonen de tekst begrijpen, kun je ze het best een opdracht geven, bijvoorbeeld de tekst samenvatten in eigen woorden (terugvraagmethode) of de tekst hardop lezen (hardopleesmethode). Je kunt ook begripsvragen stellen (interview, schriftelijke vragenlijst, guerillatest).

STA P P E N P L A N

Kunnen de testpersonen de tekst gemakkelijk gebruiken? (vaardigheden en toepassing) Om te onderzoeken of de testpersonen de tekst kunnen gebruiken, kun je ze het best een opdracht geven die ze moeten uitvoeren aan de hand van de tekst (hardopwerkmethode, guerillatest). Je kunt ook een case beschrijven waarin de testpersonen moeten werken met de informatie uit de tekst of de testpersonen vragen om te beschrijven wat ze moeten doen (interview, schriftelijke vragenlijst).

Zijn de testpersonen geneigd om het gewenste gedrag te vertonen? (gedragsintentie) Met een gebruikerstest kan niet achterhaald worden of de testpersonen het gedrag waartoe de tekst aanspoort, effectief zullen vertonen. Wel kan onderzocht worden of mensen, na het lezen van de tekst, geneigd zijn om het gewenste gedrag te vertonen. Dat kun je doen door er vragen over te stellen (interview, schriftelijke vragenlijst, focusgroepsgesprekken).

Wat vinden de testpersonen van de tekst? (houding, acceptatie, relevantie, volledigheid, waardering en betrokkenheid) Om te onderzoeken wat de testpersonen vinden van een tekst, kun je een ongerichte of een gerichte methode gebruiken. Bij een ongerichte methode (hardopleesmethode, plus-minmethode) bepalen de testpersonen zelf welke aandachtspunten ze bespreken; bij gerichte methodes (interview, schriftelijke vragenlijst, focusgroepsgesprekken) bepaalt de onderzoeker op welke aspecten van de tekst de testpersonen feedback geven.

Hoe beleven de testpersonen de tekst? (beleving) De manier waarop de testpersonen de tekst beleven, kan onderzocht worden door de testpersonen te observeren terwijl ze de tekst lezen. Dat kan met alle methodes, behalve de schriftelijke vragenlijst. Non-verbale signalen, bijvoorbeeld een vragende blik, geven indicaties over hoe de testpersonen de tekst beleven. Bij methodes als de hardopleesmethode en de hardopdenkmethode blijkt de beleving van de testpersonen ook uit de commentaren die ze geven op de tekst. Bij andere methodes, bijvoorbeeld het interview of de schriftelijke vragenlijst, kun je de testpersonen vragen stellen over hun beleving van de tekst.

Welke onverwachte effecten treden op? Om te onderzoeken welke onverwachte effecten een tekst heeft, kun je het best een ongerichte methode gebruiken (hardopleesmethode, hardopdenkmethode, plus-minmethode). Ook focusgroepsgesprekken zijn daarvoor geschikt, vanwege de onderlinge interactie van de testpersonen en de onverwachte wendingen en associaties die kunnen optreden tijdens groepsgesprekken.

‘De kracht van de resultaten van een pretest zit hem vaak in het feit dat de reacties van proefpersonen fungeren als eye-openers.’ BEN VROOM in De tekst getest

EEN TESTGROEP SAMENSTELLEN Als je de testmethode hebt bepaald, kun je beginnen met de voorbereiding van de gebruikerstest. Een belangrijke stap daarbij is de samenstelling van de testgroep. Wie komt in aanmerking als testpersoon? Op welke manier kun je testpersonen werven, en hoeveel testpersonen heb je nodig?

De selectie van testpersonen Voor de selectie van testpersonen gelden twee belangrijke vuistregels:

1. Selecteer alleen mensen uit de doelgroep Een gebruikerstest voer je per definitie bij de doelgroep uit. De volgende groepen komen dus niet in aanmerking: • Vrienden, familieleden, collega’s en andere bekenden: niet alleen omdat ze vaak geen deel uitmaken van de doelgroep, maar ook vanwege de relatie die je met hen hebt. De kans is groot dat ze te lovend of juist te kritisch zullen zijn. • Belanghebbenden, bijvoorbeeld mensen die actief zijn in een patiëntenvereniging: zij kunnen nuttige feedback geven als experts, maar niet als leden van de doelgroep.

2. Zorg ervoor dat de testgroep een afspiegeling van de doelgroep vormt Als de doelgroep bijvoorbeeld bestaat uit personen van verschillende leeftijdscategorieën, zorg er dan voor dat die leeftijdscategorieën allemaal vertegenwoordigd zijn. Andere mogelijke relevante persoonskenmerken zijn geslacht, opleiding en land (of taal) van herkomst. Vraag de testpersonen na afloop naar die persoonskenmerken. Zo kun je de manier waarop je testpersonen werft, aanpassen als een bepaald deel van de doelgroep niet vertegenwoordigd dreigt te raken.

De werving van testpersonen Je kunt op verschillende manieren testpersonen werven. Enkele voorbeelden: • Je kunt willekeurige mensen aanspreken, bijvoorbeeld op straat of in een wachtzaal. Je moet dan wel een redelijke zekerheid hebben dat je op die locatie vooral mensen uit de doelgroep treft. • Je kunt contact opnemen met bestaande groepen waarvan de leden tot de doelgroep behoren, bijvoorbeeld een school, vereniging, bedrijf of organisatie. • Je kunt gebruikmaken van de sneeuwbalmethode. Daarbij vraag je testpersonen die je al hebt gesproken of ze contact willen leggen met nieuwe testpersonen. • Je kunt een oproep publiceren in een nieuwsbrief, op een website, via sociale media … Als je testpersonen een financiële vergoeding of een andere tegenprestatie geeft, kan dat het werven gemakkelijker maken.

De grootte van de testgroep Als vuistregel kun je stellen dat je voldoende testpersonen hebt als de laatste testpersonen in het onderzoek geen nieuwe problemen meer signaleren. Een testgroep van 15 tot 20 testpersonen is meestal voldoende voor de testmethodes die in deze handleiding worden besproken. Bij heel heterogene doelgroepen kan het nuttig zijn om meer testpersonen te raadplegen. Maar ook een gebruikerstest met minder testpersonen kan al waardevolle resultaten opleveren. Liever een beperkte gebruikerstest dan geen gebruikerstest!

STA P P E N P L A N

Je kunt ook kiezen voor een iteratieve opzet. Daarbij doe je in elke fase van het ontwikkelingsproces van een tekst een gebruikerstest bij een beperkt aantal testpersonen (bijvoorbeeld 5), in plaats van één gebruikerstest bij een grote groep testpersonen aan het einde van het ontwikkelingsproces. Die werkwijze wordt vaak toegepast bij websites. Na elke testronde wordt de website aangepast op basis van de feedback van de testpersonen. De nieuwe versie wordt opnieuw getest en aangepast, enzovoort. Die cyclus wordt volgehouden totdat de test geen (ernstige) problemen meer oplevert.

Werken met testpanels Je kunt ook een vast panel van testpersonen samenstellen aan wie je regelmatig teksten voorlegt. Het voordeel daarvan is dat je niet voor elke gebruikerstest een nieuwe testgroep hoeft samen te stellen. Een mogelijk gevaar van een vast testpanel is dat testpersonen die vaak vergelijkbare teksten testen, niet langer onbevangen naar die teksten kijken. Daardoor kan het zijn dat testpersonen op den duur niet meer representatief zijn voor de doelgroep. Daarom is het belangrijk om regelmatig testpersonen te vervangen.

TESTEN OP LOCATIE OF ONLINE Als je de testgroep hebt samengesteld, kun je op zoek gaan naar een locatie of onlinekanaal voor de gebruikertest. Wat zijn de mogelijkheden?

Op locatie testen Een gebruikerstest kan op verschillende locaties worden uitgevoerd: • in de omgeving van de testpersonen zelf (thuis- of werkomgeving) • op plaatsen waar veel mensen uit de doelgroep komen, bijvoorbeeld in het stadhuis, in een school, een buurthuis, op straat • in je eigen werkomgeving • op een externe locatie. Elk type locatie heeft voor- en nadelen: • Als je test in de thuis- of werkomgeving van de testpersonen zelf, voelen ze zich mogelijk meer op hun gemak dan wanneer ze in een vreemde omgeving deelnemen aan het onderzoek, maar het is wel tijdrovend. • Als je test op een externe locatie met een aantrekkelijke uitstraling, maak je duidelijk dat je de testpersonen serieus neemt, waardoor ze zich gewaardeerd voelen. Het belangrijkste is dat je de locatie zo aangenaam mogelijk maakt voor de testpersonen.

Setting • B ij een-op-eengesprekken kunnen de interviewer en de testpersoon het best naast elkaar zitten en niet tegenover elkaar. Zo ziet de interviewer goed waar de testpersoon naar kijkt. • Bij focusgroepsgesprekken is het belangrijk dat de gespreksleider iedereen goed kan aankijken.

Online testen Bij een online-uitvoering leg je de tekst aan de testpersonen voor via onlinekanalen, bijvoorbeeld via e-mail of een videogesprek.

Voordelen • Online-onderzoeken zijn handig als de testpersonen sterk verspreid wonen, waardoor de verplaatsing voor een test op locatie voor jezelf of voor de testpersonen tijdrovend is, of als de testpersonen zich moeilijk kunnen verplaatsen. • Mensen zijn soms opener tijdens een online-onderzoek omdat ze in hun vertrouwde omgeving zitten.

Waarvoor geschikt? • De meeste methodes, bijvoorbeeld de terugvraagmethode, de hardopwerkmethode of het interview, lenen zich perfect voor een online-uitvoering. Bij schriftelijke vragenlijsten is een online-uitvoering zelfs de standaard. Voor focusgroepsgesprekken is een online-uitvoering minder geschikt, omdat ze veel interactie vereisen tussen de deelnemers. Dat is moeilijk tijdens een videogesprek. • Online-onderzoeken zijn minder geschikt voor mensen met lage digitale vaardigheden.

EEN VRAGENLIJST OPSTELLEN Bij een aantal testmethodes moet je een vragenlijst opstellen voor de testpersonen. Hieronder vind je aanwijzingen over de verschillende soorten vragen die je kunt gebruiken, de formulering van vragen en de lengte van een vragenlijst. Het hoofdstuk wordt afgesloten met een aantal voorbeeldvragen.

Vraagvorm Als je een vragenlijst opstelt, kun je kiezen voor open of gesloten vragen. Open vragen leveren de meeste informatie op over welke problemen zich voordoen in een tekst en waarom. Maar ook gesloten vragen kunnen nuttig zijn. Ze kunnen bijvoorbeeld dienen als aanloop naar een open vraag. Gesloten vragen zijn ook heel geschikt als je testpersonen om een mening of waardering vraagt.

Open vragen • De testpersonen bepalen zelf welk antwoord ze geven en hoe ze dat formuleren. • Open vragen zijn geschikt voor alle mogelijke onderzoeksvragen. • Een nadeel van open vragen is dat ze tijdrovend zijn om te verwerken. Als je er structuur in wilt brengen, moet je alle antwoorden indelen in categorieën (coderen). Open vragen zijn ook minder geschikt voor mensen met lage taalvaardigheden.

Gesloten vragen Ja/nee-vragen • De testpersonen kunnen alleen bevestigend of ontkennend antwoorden. • Het nadeel van ja/nee-vragen is dat ze weinig informatie opleveren. Ze kunnen wel dienen als vraag om na te gaan of de volgende vraag voor de testpersoon van toepassing is (filtervraag). Juist/onjuist-vragen • De testpersonen krijgen een stelling of bewering voorgelegd waarvan ze de juistheid moeten beoordelen.

STA P P E N P L A N

• Juist/onjuist-vragen zijn geschikt om de kennis of het tekstbegrip van testpersonen te toetsen. • Een nadeel van juist/onjuist-vragen is dat de testpersonen kunnen gokken. Dat kun je oplossen door de optie ‘ik weet het niet’ aan te bieden. Meerkeuzevragen • De testpersonen krijgen een aantal mogelijke antwoorden waaruit ze er een of meer kunnen selecteren. • Meerkeuzevragen zijn vooral geschikt om de kennis of het tekstbegrip te toetsen. • Een nadeel van meerkeuzevragen is dat de testpersonen kunnen gokken. Dat kun je oplossen door de optie ‘ik weet het niet’ aan te bieden. Schaalvragen • De testpersonen moeten op een schaal tussen twee tegenovergestelde antwoordmogelijkheden hun mening of houding weergeven. Je kunt verschillende soorten schalen gebruiken, bijvoorbeeld vier of vijf punten. Bij een vijfpuntsschaal kunnen testpersonen ‘in het midden’ en dus neutraal antwoorden. Soms is dat nuttig, soms niet. • Schaalvragen zijn heel geschikt als testpersonen een mening of waardering moeten geven. Dat is het geval bij vragen over de houding en gedragsintenties van de testpersonen en bij vragen over acceptatie, waardering en betrokkenheid. Als je testpersonen een keuze aanbiedt, hebben ze er mogelijk minder moeite mee om aan te geven dat ze het ergens mee oneens zijn of dat ze bepaalde aspecten van de tekst niet goed vinden. Daarna kun je vragen waarom ze een bepaald antwoord hebben gegeven.

Formulering van vragen Stel geen suggestieve vragen • Formuleer de vragen zo neutraal mogelijk, zodat testpersonen niet het idee krijgen dat bepaalde antwoorden beter zijn dan andere. Vermijd bijvoorbeeld formuleringen als ‘Vindt u ook dat …’ of ‘Bent u het ermee eens dat …’. • Als bepaalde antwoorden minder gewenst kunnen lijken, kun je de vraag zo introduceren dat het sociaal ongewenste antwoord niet minder gewoon of geaccepteerd lijkt dan het sociaal wenselijke antwoord. Bijvoorbeeld: ‘Er worden tegenwoordig zoveel mails verstuurd dat er te weinig tijd is om alles te lezen. Zou u deze mail lezen als u hem zou krijgen?’ of ‘Het komt bij brieven nogal eens voor dat mensen op een gegeven moment minder aandachtig gaan lezen. Is er misschien een moment geweest waarop uw aandacht verslapte?’.

Stel korte, duidelijke vragen Als vragen onduidelijk zijn, is het voor testpersonen moeilijk om ze goed te beantwoorden. Bij mondelinge vragenlijsten kun je een vraag toelichten als je merkt dat hij niet goed begrepen wordt. Bij schriftelijke vragenlijsten is dat niet mogelijk. Testpersonen haken dan vaak af. Let daarom bij de formulering van vragen op de volgende aandachtspunten: • Gebruik eenvoudige woorden, geen vakjargon. • Gebruik korte, eenvoudige zinnen. • Zorg ervoor dat de vragen maar op één manier uit te leggen zijn. • Stel alleen enkelvoudige vragen; stel dus geen twee vragen tegelijk (vragen met en of of).

Kijk uit met begripsvragen Begripsvragen hebben als nadeel dat de testpersonen die kunnen ervaren alsof ze beoordeeld worden. Dat kun je voorkomen door: • die vragen heel neutraal te formuleren: ‘Wat is de belangrijkste boodschap van de tekst?’ of ‘Wat staat er in de tekst over …?’

• vragen die op examenvragen lijken, eerst goed te introduceren: ‘Ik wil u nu een paar vragen stellen over … De vragen zijn niet bedoeld als een examen maar om na te gaan of de tekst duidelijk is.’

Lengte van een vragenlijst Maak je vragenlijst zo kort mogelijk. Denk goed na over welke vragen echt nodig zijn voor je onderzoek. Zeker bij schriftelijke vragenlijsten is dat heel belangrijk. Hoe meer vragen je stelt, hoe minder tijd testpersonen gemiddeld nemen om elke vraag te beantwoorden en hoe groter de kans is dat ze afhaken. Hou rekening met de volgende richttijden: • guerillatest: maximaal 10 minuten • interview: maximaal 1 uur • focusgroepsgesprek: maximaal 2 uur • onlinevragenlijst: 10-20 minuten.

Voorbeeldvragen Op basis van de onderzoeksvragen bepaal je welke vragen je aan de testpersonen wilt stellen. Je kunt vragen stellen over de effecten van de teksten en over de voorwaarden voor effectiviteit. Hieronder vind je een aantal voorbeelden per onderzoeksvraag.

Vragen die peilen naar het beoogde effect van de tekst Kennis Om na te gaan of de testpersonen na het lezen van de tekst de gewenste kennis over het onderwerp hebben, kun je ze daarover het best een open vraag stellen. Op die manier test je wat ze zich na afloop van het lezen spontaan herinneren. Je kunt testpersonen ook stellingen voorleggen met mogelijke interpretaties van de tekst en vragen of die stellingen volgens hen juist of niet juist zijn. Ook begripsvragen in de vorm van meerkeuzevragen zijn mogelijk. Het nadeel van zulke vragen is dat testpersonen kunnen gokken. Dat kun je oplossen door de optie ‘ik weet het niet’ aan te bieden. vraagvorm

voorbeelden

open vraag

Wat is de belangrijkste boodschap van de tekst? Waarover gaat de tekst? Wat staat er in de tekst over … ?

juist/onjuist-vraag

In de tekst staat dat … (deze bewering is juist - deze bewering is onjuist - ik weet het niet).

meerkeuzevraag

Wat moet je volgens de tekst doen als … ? (verschillende antwoordmogelijkheden) Wat beweert de tekst over … ? (verschillende antwoordmogelijkheden)

STA P P E N P L A N

Houding Om na te gaan of de testpersonen na het lezen van de tekst de gewenste houding hebben tegenover wat in de tekst behandeld wordt, kun je zowel open als gesloten vragen gebruiken. vraagvorm

voorbeeldvragen

ja/nee-vraag

In de tekst staat dat … Is dat, nu u de tekst gelezen hebt, ook uw mening?

schaalvraag

In de tekst staat dat … In hoeverre bent u het daarmee eens? (helemaal mee eens - mee eens - geen mening - oneens - helemaal mee oneens)

Vaardigheden De beste manier om na te gaan of de testpersonen na het lezen van de tekst over de gewenste vaardigheden beschikken, is ze de opdracht geven om de handelingen uit te voeren waarvoor de tekst instructies geeft. Je kunt ook een case beschrijven waarin de testpersonen moeten werken met de informatie uit de tekst. Als dat niet mogelijk is, kun je de testpersonen vragen om te beschrijven wat ze moeten doen. vraagvorm

voorbeeldvragen

open vraag

Kunt u beschrijven hoe u …?

Gedrag Met een vragenlijst kun je niet achterhalen of de testpersonen na het lezen van de tekst het gewenste gedrag zullen stellen. Je kunt wel nagaan of mensen zich tot de gedragsverandering aangespoord voelen. Je kunt daarbij zowel open als gesloten vragen gebruiken. vraagvorm

voorbeeldvragen

ja/nee-vraag + open vraag

De tekst is onder andere geschreven om mensen aan te moedigen om … Denkt u dat u dat ook gaat doen? Waarom wel/niet?

schaalvraag

Hoe groot is de kans dat u in de toekomst … ? (heel groot - groot - geen mening - klein - heel klein)

‘Ik heb 3 tips: test, test, test! Ik kan het niet vaak genoeg benadrukken. Laat je teksten testen en ga door totdat je geen informatie meer krijgt: dat is de gouden regel.’ PROF. DR. CAREL JANSEN Rijksuniversiteit Groningen, tijdens het webinar ‘De zin en onzin van B1’ van de Direct Duidelijk Tour

Vragen die peilen naar de voorwaarden voor effect Contact Om na te gaan of lezers op grond van het uiterlijk van de tekst geneigd zijn om de tekst te lezen, kun je in de eerste plaats vragen stellen over de eerste pagina of de voorpagina van de tekst. Daarnaast kun je vragen stellen over de indruk van de lezer bij het doorbladeren van de tekst. Je kunt die vragen het best stellen voordat de testpersonen de tekst gaan lezen. Ze hebben dan nog geen kennis over de inhoud van de tekst en kunnen daardoor onbevangen reageren. vraagvorm

voorbeeldvragen

open vraag

Wat is uw eerste indruk van de tekst? Wat zou u doen als u deze tekst zou krijgen?

ja/nee-vraag + open vraag

Is het duidelijk waarover de tekst gaat als u de voorpagina/eerste pagina ziet? Waarom wel/niet? Zou u de tekst meenemen als die bijvoorbeeld in een rek ligt? Waarom wel/niet? Hebt u zin om de tekst te gaan lezen? Waarom wel/niet? Vindt u de titel goed? Waarom wel/niet? Ziet de tekst er aantrekkelijk uit? Waarom wel/niet?

Selectie Om te weten te komen welke delen van de tekst al dan niet worden gelezen, kun je de testpersonen in de eerste plaats observeren terwijl ze de tekst lezen. Je kunt de testpersonen ook vragen waar de tekst over ging en wat de belangrijkste onderwerpen waren. Als de testpersonen een belangrijk onderwerp niet noemen, kun je daar een vraag over stellen. Als de testpersonen daar niets over kunnen zeggen, kun je nagaan hoe dat komt: hebben ze een gedeelte van de tekst overgeslagen, spreekt dat gedeelte niet aan, hebben ze het niet begrepen … ? vraagvorm

voorbeeldvragen

open vraag

Waarover gaat de tekst? Welke informatie uit de tekst vindt u het belangrijkst? Een ander onderwerp (dat de testpersoon nog niet heeft genoemd) dat in de tekst behandeld wordt, is … Kunt u daar nog iets meer over vertellen?

ja/nee-vraag + open vraag

Hebt u alle delen gelezen of zijn er delen die u hebt overgeslagen? Zo ja, welke, en waarom hebt u die delen overgeslagen?

Begrip Begrip kun je achterhalen door testpersonen in hun eigen woorden te laten vertellen wat er in de tekst gezegd wordt. Je kunt de testpersonen ook vragen of de tekst voldoende duidelijk is. Je kunt beter niet vragen of de testpersonen de tekst begrepen hebben. Testpersonen zeggen soms dat ze iets begrijpen, terwijl dat niet het geval is.

STA P P E N P L A N

Je kunt begrip ook testen met gesloten vragen, bijvoorbeeld met stellingen die de testpersonen moeten beoordelen. Het nadeel van zulke vragen is dat testpersonen kunnen gokken. Dat kun je oplossen door de optie ‘ik weet het niet’ aan te bieden. vraagvorm

voorbeeldvragen

open vraag

Wat is de belangrijkste boodschap van de tekst? Wat zegt de tekst over …? Wat moet de lezer van de tekst volgens u doen?

ja/nee-vraag + open vraag

Zijn er delen van de tekst die u moeilijk vindt? Zo ja, welke?

ja/nee-vraag + meerkeuzevraag

Zou u iets doen om meer informatie te krijgen over deze tekst? Zo ja, wat? (bespreken met collega’s, vrienden of familie - informatie opzoeken op het internet - contact opnemen met de overheidsdienst die de brief heeft gestuurd - het gratis infonummer (1700) van de Vlaamse overheid bellen - iets anders, namelijk)

juist/onjuist-vraag

In de tekst staat dat … (deze bewering is juist - deze bewering is onjuist - ik weet het niet).

meerkeuzevraag

Wat moet u volgens de tekst doen als … ? (verschillende antwoordmogelijkheden) Wat beweert de tekst over …? (verschillende antwoordmogelijkheden)

schaalvraag

In welke mate vindt u de boodschap van deze brief duidelijk? (zeer duidelijk - duidelijk - niet echt duidelijk - helemaal niet duidelijk)

Acceptatie Om na te gaan of de testpersonen de boodschap accepteren, is het aan te bevelen om de testpersonen eerst spontaan te laten vertellen met welke zaken uit de tekst ze het al dan niet eens zijn. Daarna kun je de acceptatie testen van specifieke onderdelen van de tekst waarvan je het belangrijk vindt dat de doelgroep ze accepteert. vraagvorm

voorbeeldvragen

ja/nee-vraag + open vraag

Zijn er zaken uit de tekst waarmee u het eens bent? Zo ja, welke? Zijn er zaken uit de tekst waarmee u het oneens bent? Zo ja, welke? Vindt u de informatie in de tekst correct en betrouwbaar? Waarom wel/niet? Gelooft u wat in de tekst staat? Waarom wel/niet?

schaalvraag

In hoeverre bent u het eens met de volgende boodschap/stelling: (…)? (helemaal mee eens - mee eens - geen mening - oneens - helemaal mee oneens)

Relevantie vraagvorm

voorbeeldvragen

ja/nee-vraag + open vraag

Is de informatie in de tekst nuttig voor u? Waarom wel/niet?

schaalvraag

In hoeverre bent u het eens met de volgende stelling? (helemaal mee eens - mee eens - geen mening - oneens - helemaal mee oneens) • Ik vind dat er te veel informatie in de tekst staat.

Bevat de tekst informatie die u overbodig vindt? Zo ja, welke?

Volledigheid vraagvorm

voorbeeldvragen

open vraag

Welke informatie mist u in de tekst?

ja/nee-vraag + open vraag

Hebt u behoefte aan extra informatie over het onderwerp? Zo ja, welke?

schaalvraag

Stel dat u deze tekst zou ontvangen, in welke mate vindt u dan dat u geïnformeerd bent? (goed geïnformeerd - geïnformeerd - niet echt geïnformeerd helemaal niet geïnformeerd) In hoeverre bent u het eens met de volgende stelling? (helemaal mee eens - mee eens - geen mening - oneens - helemaal mee oneens) • Ik mis informatie in de tekst.

‘Bij VDAB communiceren we dagelijks met duizenden mensen. We kunnen onze doelstellingen pas bereiken als we verstaanbaar zijn voor de mensen met wie we communiceren. De enigen die onze communicatie écht kunnen beoordelen, zijn de mensen voor wie ze bedoeld is.’ LOTTE LANDUYDT expert Externe Communicatie VDAB

STA P P E N P L A N

Waardering Om na te gaan in welke mate de testpersonen de tekst waarderen, kun je eerst een of meer open vragen stellen, waarbij de testpersonen spontaan kunnen aangeven wat ze goed en minder goed vinden aan de tekst. Daarna kun je vragen stellen over specifieke aspecten van de tekst waarover je graag feedback wilt. Schaalvragen zijn daarvoor het meest geschikt. vraagvorm

voorbeeldvragen

open vraag

Wat vindt u goed aan de tekst? Wat vindt u minder goed aan de tekst? Welke woorden in de tekst zijn moeilijk voor u?

schaalvraag

• Wat is in het algemeen uw mening over deze tekst? Geef een score op 10. Score 1 betekent dat u de tekst heel slecht vindt en score 10 betekent dat u de tekst heel goed vindt. • Wat moeten we doen om een 10 te krijgen? In hoeverre bent u het eens met de volgende stellingen? (helemaal mee eens - mee eens - geen mening - oneens - helemaal mee oneens) • De tekst ziet er aantrekkelijk uit. • De tekst bevat weinig moeilijke woorden. • De tekst bevat weinig moeilijke zinnen. • De tekst leest vlot. • Ik word op een gepaste manier aangesproken in deze tekst. • De toon van de tekst past bij het onderwerp van de tekst. • De tekst klinkt dwingend. • De tekst klinkt betuttelend. • De tekst neemt mij serieus. • De tekst heeft een goede lay-out en vormgeving. • Het lettertype is goed leesbaar. • De structuur van de tekst is duidelijk. • Ik vind de kernboodschap van de tekst snel terug. • De tekst is te lang. • Het is duidelijk bij wie ik terechtkan als ik vragen heb. Wat vindt u van het taalgebruik in de tekst? • duidelijk O O O O O onduidelijk • gemakkelijk O O O O O ingewikkeld • levendig O O O O O saai Wat vindt u van de toon in de tekst? • vriendelijk O O O O O onvriendelijk • beleefd O O O O O onbeleefd Wat vindt u van de structuur van de tekst? • duidelijk O O O O O onduidelijk Wat vindt u van de opmaak van de tekst? • overzichtelijk O O O O O onoverzichtelijk • mooi O O O O O lelijk Wat vindt u van de afbeeldingen in de tekst? • mooi O O O O O lelijk • duidelijk O O O O O onduidelijk • groot genoeg O O O O O te klein

Betrokkenheid vraagvorm

voorbeeldvragen

open vraag

Welke informatie sprak u aan, welke niet?

ja/nee-vraag + open vraag

Vindt u dat de informatie op u van toepassing is? Waarom wel/ niet? Is de tekst voor u interessant? Waarom wel/niet?

Beleving Om na te gaan hoe de testpersonen de tekst emotioneel beleven, kun je hen observeren terwijl ze de tekst lezen. Je kunt er ook vragen over stellen. vraagvorm

voorbeeldvragen

open vraag

Hoe hebt u de tekst ervaren? Welke emoties roept de tekst bij u op?

Toepassing vraagvorm

voorbeeldvragen

open vraag

De tekst is onder andere geschreven om mensen aan te moedigen om … Zijn er redenen waarom u of anderen dat niet zouden doen? Denkt u dat u het aanbevolen gedrag in de tekst kunt uitvoeren?

Vragen die peilen naar het beeld van de organisatie Je kunt in de vragenlijst ook vragen opnemen over het beeld van de organisatie dat de lezer krijgt bij het lezen van de tekst. vraagvorm

voorbeeldvragen

open vraag

Van wie komt de tekst? Wat vindt u ervan dat (naam organisatie) deze tekst uitbrengt?

ja/nee-vraag + open vraag

Hebt u vertrouwen in (naam organisatie)? Waarom wel/niet?

Onverwachte effecten Het is moeilijk om met een vragenlijst onverwachte effecten op te sporen. Door aan het einde van de vragenlijst een aantal open vragen te stellen, kun je wel proberen om onverwachte effecten naar boven te krijgen. vraagvorm

voorbeeldvragen

open vraag

Is er nog iets dat u wilt melden dat nog niet aan bod is gekomen? Voorziet u problemen die nog niet aan bod zijn gekomen?

STA P P E N P L A N

3. Uitvoering van een gebruikerstest Bij de beschrijving van de verschillende testmethodes vind je telkens een gedetailleerd stappenplan voor de uitvoering van de test. Factoren als sociale wenselijkheid en het gedrag van de onderzoeker kunnen de resultaten van een gebruikerstest vertekenen. De onderstaande algemene tips kunnen helpen om dat te voorkomen.

INTRODUCTIE VAN DE TEST • Probeer een prettige sfeer te creëren waarin de testpersonen zich op hun gemak voelen. Hoe prettiger de sfeer, hoe meer testpersonen geneigd zullen zijn om open en eerlijk te reageren. Dat is zeker belangrijk bij focusgroepsgesprekken, want praten in een groep is voor veel mensen niet vanzelfsprekend. Een informeel gesprek over bijvoorbeeld de reis naar de locatie of het weer, een drankje en wat lekkers kunnen helpen om het ijs te breken. • Plaats de testpersonen in een helpersrol. Benadruk dat je de tekst wilt testen, en niet de testpersoon, en dat er geen foute of juiste antwoorden zijn. • Benadruk dat het gaat om een voorlopige versie van de tekst en dat het waarschijnlijk is dat er problemen zijn. • Maak duidelijk wat je rol is. Als je niet zelf de tekst hebt geschreven, kun je dat het best benadrukken. Zo voorkom je dat je geassocieerd wordt met de tekst, waardoor de testpersonen mogelijk weinig kritiek durven te geven over de tekst. Als je wel betrokken bent geweest bij de ontwikkeling van de tekst, kun je dat het best in het midden laten: ‘Onze organisatie wil deze tekst publiceren en heeft me gevraagd die aan een aantal mensen voor te leggen om te kijken of hij goed genoeg is.’ • Leg goed uit wat de verschillende onderdelen van de test zijn. • Geef een eventuele vergoeding of attentie meteen na de introductie. Op die manier onderstreep je nog eens dat niet de testpersoon getest wordt, maar de tekst. Testpersonen hoeven de vergoeding dus niet te ‘verdienen’ met goede antwoorden.

DE TEST ZELF • Stel je positief op ten opzichte van de testpersonen. Verwelkom elk commentaar als verhelderend en leerzaam. • Stel je neutraal op ten opzichte van de testpersonen. Ga niet in discussie met de testpersonen over de tekst. Geef je eigen mening niet en corrigeer niet. Stel je niet verdedigend op bij kritiek. Dat schept een sfeer waarin het ene antwoord beter is dan het andere. Stel ook geen suggestieve vragen en vragen die reflectie uitlokken, zoals ‘Weet u dat zeker?’. • Beantwoord geen vragen tijdens de test, tenzij het voor het verdere verloop van de test van belang is dat je de vraag meteen beantwoordt. Maak eventueel duidelijk dat je niet mag helpen. • Stel je begripvol op als testpersonen vastlopen in de tekst of vragen niet goed kunnen beantwoorden. Zeg bijvoorbeeld: ‘Dat is dus blijkbaar niet zo duidelijk uitgelegd in deze tekst.’ Moedig de testpersonen aan als ze bijvoorbeeld stoppen met hardop te denken. Als de diagnose van het probleem al lang duidelijk is, kun je eventueel hulp bieden. • Plaats de testpersonen nooit in de rol van expert. Vraag dus niet om uit te leggen wat er mis is met een bepaalde passage, maar vraag welk probleem de testpersoon ervaart. • Rond elk onderdeel van de test duidelijk af en introduceer dan het volgende onderdeel.

EINDE VAN DE TEST • Vraag de testpersonen of ze nog iets op te merken hebben en of alles duidelijk was. • Bedank de testpersonen voor hun hulp bij de verbetering van de tekst.

NA DE TEST • Bezorg de testpersonen een exemplaar van de definitieve tekst. Zo kunnen ze zien waartoe hun inspanningen hebben geleid.

4. Teksten reviseren na een gebruikerstest Als je een gebruikerstest hebt uitgevoerd, is het de bedoeling dat je de tekst verbetert aan de hand van de resultaten ervan. Je moet daarvoor alle gegevens op een rijtje zetten, interpreteren en tegen elkaar afwegen. Op basis daarvan kom je tot conclusies over de sterke en zwakke punten van de tekst en de problemen die verholpen moeten worden. Daarna kun je de tekst reviseren.

CRITERIA VOOR HET IDENTIFICEREN VAN DE BELANGRIJKSTE PROBLEMEN Er zijn geen harde criteria om te bepalen welke geconstateerde problemen verholpen moeten worden. Als de gebruikerstest kwalitatief is opgezet, met een beperkt aantal testpersonen, kan het aantal testpersonen dat een bepaald probleem constateert, geen doorslaggevende rol spelen. Elke reactie zal dus op haar waarde moeten worden geschat. De volgende algemene overwegingen kunnen daarbij helpen: • de geschatte omvang van het probleem: voor welk deel van de doelgroep is het geconstateerde probleem aan de orde? • de ernst van het probleem: welke nadelige gevolgen heeft het geconstateerde probleem, bijvoorbeeld voor de effectiviteit van de tekst? • de te leveren revisie-inspanningen: hoe ingrijpend zijn de wijzigingen die nodig zijn om het geconstateerde probleem op te lossen? • de voor- en nadelen van mogelijke revisie-ingrepen: wat wint of verliest de tekst als het geconstateerde probleem wordt opgelost? • eventuele positieve commentaren van andere testpersonen op hetzelfde aspect van de passage • de randvoorwaarden die aan de revisie worden gesteld, bijvoorbeeld de maximale omvang van de tekst.

TIPS VOOR HET REVISEREN VAN EEN TEKST Als je een duidelijk beeld hebt van de problemen die moeten worden verholpen, kun je de tekst beginnen te reviseren. De volgende tips kunnen daarbij helpen: • Pak eerst problemen op macroniveau (structuur, opbouw, lay-out …) aan, en dan pas problemen op microniveau (woordgebruik, zinsbouw, interpunctie …). Problemen op macroniveau hebben vaak een veel grotere impact op de toegankelijkheid van een tekst dan problemen op microniveau. Als je problemen op macroniveau oplost, elimineer je bovendien vaak ook problemen op microniveau. Reviseer een tekst dus niet zin per zin. Het gevaar bestaat dan dat je veel tijd verspilt aan het oplossen van lokale problemen, en dat naderhand blijkt dat de tekst volledig omgegooid moet worden.

STA P P E N P L A N

• Ga kritisch om met revisievoorstellen van de testpersonen. Die ideeën kunnen zeker waardevol zijn, maar revisievoorstellen van testpersonen zullen niet in alle gevallen de beste oplossing zijn. Het kan bijvoorbeeld zijn dat een testpersoon een revisievoorstel op microniveau doet, terwijl een ingreep op macroniveau effectiever is. • Betrek ook positieve commentaren van de testpersonen bij de revisie. Probeer na te gaan waarom bepaalde passages wel begrepen of gewaardeerd worden. Dat kan je helpen om oplossingen te bedenken voor problematische passages. • Ga na of er visuele oplossingen mogelijk zijn. Grafische middelen kunnen soms een oplossing zijn voor een groot aantal problemen in de tekst. Je kunt bijvoorbeeld de typografie of lay-out aanpassen of grafische hulpmiddelen toevoegen zoals tussenkoppen, afbeeldingen, een grafiek of tabel.

PROBLEMEN BIJ TEKSTREVISIE Soms is het moeilijk om een tekst te reviseren omdat er andere factoren zijn dan de tekst zelf die ervoor zorgen dat de tekst de beoogde doelen niet kan bereiken. • Het kan bijvoorbeeld zijn dat de doelen herzien moeten worden omdat ze te ambitieus zijn. Doelen op het vlak van houding of gedrag kunnen bijvoorbeeld vaak niet gehaald worden met een tekst. Het kan dan goed zijn om niet de tekst als onvoldoende te kwalificeren, maar nog eens goed na te denken over de haalbaarheid van de doelen. • Geregeld komt uit een gebruikerstest naar voren dat het proces of de procedure waarover de tekst communiceert, niet helemaal duidelijk is of als nodeloos ingewikkeld of contra-intuïtief ervaren wordt. Zulke problemen kun je als tekstschrijver uiteraard niet zelf aanpakken, maar zul je moeten melden aan de beleidsmakers of proceseigenaars. Zij kunnen op basis van die probleemmeldingen het proces of de procedure verhelderen en waar mogelijk vereenvoudigen.

Methodes voor gebruikerstesten Hieronder vind je een overzicht van een aantal veelgebruikte methodes voor gebruikerstesten die je zelf kunt uitvoeren. Alle methodes hebben hun voordelen en hun beperkingen. Om de beperkingen van een bepaalde methode op te vangen, kun je verschillende methodes met elkaar combineren.

1. Guerillatest Met een guerillatest kun je snel en eenvoudig testen of een tekst helder is. Je benadert willekeurig mensen op een bepaalde locatie, bijvoorbeeld in het gemeentehuis, een bibliotheek of gewoon op straat. Je legt de testpersonen een tekst voor en stelt daarover een aantal vragen of je geeft de testpersonen een korte opdracht.

BENODIGDHEDEN • • • • •

tekst die je wilt testen testgroep van 6 tot 8 personen een interviewer en een observator (kan ook dezelfde persoon zijn) ongeveer 10 minuten per testpersoon smartphone om een audio- of video-opname te maken of schermopnamesoftware (bij digitale teksten)

WAARVOOR GESCHIKT? tekstsoort

brief, mail, korte webtekst, korte folder, kort (web)formulier

onderzoeksvragen

vragen over kennis, vaardigheden, begrip en toepassing

doelgroepen

alle doelgroepen

uitvoering

op locatie

VOORDELEN • De methode is eenvoudig om op te zetten en uit te voeren. • Je hebt weinig tijd en middelen nodig.

BEPERKINGEN • Je krijgt minder uitgebreide en diepgaande feedback dan bij andere methodes. • De omgeving is mogelijk storend, doordat je de test uitvoert op de locatie waar de testpersonen zich bevinden.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een draaiboek op. Bedenk een aantal begripsvragen of korte opdrachten. Beperk je tot de belangrijkste zaken die je te weten wilt komen; een guerillatest duurt bij voorkeur niet langer dan 10 minuten per testpersoon.

Stap 2: uitvoering • Spreek mensen uit de doelgroep aan op een locatie waar ze vaak komen, bijvoorbeeld het gemeentehuis, een bibliotheek, op straat. • Stel jezelf voor en vertel dat je hulp nodig hebt om een tekst te verbeteren. Benadruk dat je de tekst wilt testen, en niet de testpersoon, en dat er geen foute of juiste antwoorden zijn. • Stel enkele vragen om te checken of de personen deel uitmaken van de doelgroep. Vraag bijvoorbeeld naar hun leeftijd, opleiding, beroep, land (of taal) van herkomst. • Vraag of je een audio- of video-opname mag maken. Leg uit in welke context en in hoeverre de opnames zullen worden gebruikt. • Overhandig de tekst aan de testpersonen en schets de context ervan. • Laat de tekst lezen door de testpersonen. • Stel de testpersonen een of meer begripsvragen of laat ze een of meer opdrachten uitvoeren. • Noteer wat de testpersonen antwoorden of doen. Noteer eventueel ook non-verbale signalen zoals een vragende blik, lachen of hoofdschudden. • Bedank de testpersonen voor hun hulp bij de verbetering van de tekst.

Stap 3: verwerking Vat de resultaten van de test samen in een rapport. Vermeld zeker de volgende elementen: • het aantal testpersonen, hun leeftijd, geslacht, opleidingsniveau … • de vragen of de opdrachten • de mate waarin de testpersonen de vragen correct hebben beantwoord of de opdrachten correct hebben uitgevoerd • de voornaamste problemen • de oorzaak van die problemen, voor zover die duidelijk is • de positieve commentaren van de testpersonen.

2. Terugvraagmethode Bij de terugvraagmethode vraag je de testpersonen om een stukje tekst samen te vatten in hun eigen woorden.

BENODIGDHEDEN • • • • • •

tekst die je wilt testen (1 à 2 pagina’s) testgroep van 15 tot 20 personen een interviewer en een observator (kan ook dezelfde persoon zijn) ongeveer 30 minuten per testpersoon locatie of onlinekanaal smartphone om een audio- of video-opname te maken

WAARVOOR GESCHIKT? tekstsoort

korte informatieve teksten (brief, mail, korte folder …)

onderzoeksvragen

vragen over kennis en begrip

doelgroepen

alle doelgroepen

uitvoering

online of op locatie

VOORDELEN • D e methode is eenvoudig om op te zetten en uit te voeren. • Je komt te weten hoe een lezer een tekst interpreteert en of die interpretatie overeenkomt met de betekenis die bedoeld is.

BEPERKINGEN • Je krijgt geen informatie over problemen op andere gebieden dan begrip. Dat kan worden opgevangen door de terugvraagmethode te combineren met een interview, waarbij je vragen kunt stellen over bijvoorbeeld waardering of gedragsintenties.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een draaiboek op.

3. Hardopleesmethode Bij de hardopleesmethode lezen de testpersonen de tekst hardop en onderbreken ze het lezen telkens als ze commentaar hebben.

BENODIGDHEDEN • • • • • •

WAARVOOR GESCHIKT? tekstsoort

korte informatieve teksten (brief, mail, korte folder …)

onderzoeksvragen

vragen over kennis en begrip, contact, houding, acceptatie, waardering, beleving en onverwachte effecten

doelgroepen

alle doelgroepen

uitvoering

online of op locatie

VOORDELEN • De testpersonen spreken hun commentaar bij de tekst onmiddellijk uit, waardoor er meer problemen aan het licht komen. Als ze pas commentaar geven na het lezen van de tekst, kunnen testpersonen bepaalde problemen die ze hebben ervaren, ondertussen vergeten zijn. • De testpersonen lezen de tekst hardop. Als ze sommige tekstgedeeltes herhalen of haperend voorlezen, kan dat een indicatie zijn voor een begripsprobleem. De onderzoeker kan daarop terugkomen in het nagesprek. • De testpersonen kunnen geen passages overslaan. Ze leveren daardoor ook commentaar op passages waar ze met andere methodes minder of geen aandacht aan zouden schenken. • De testpersonen bepalen zelf de aandachtspunten die ze ter sprake willen brengen en zijn bij hun tekstbeoordeling dus niet beperkt tot de vragen die de onderzoeker vooraf heeft bedacht. Daardoor is de methode bij uitstek geschikt om onverwachte effecten in een tekst op het spoor te komen.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een draaiboek op.

Stap 3: verwerking Vat de resultaten van de test samen in een rapport. Vermeld zeker de volgende elementen: • het aantal proefpersonen, hun leeftijd, geslacht, opleidingsniveau … • de procedure • de voornaamste probleemcommentaren. Rubriceer die op basis van de voorwaarden voor effectiviteit (begrip, acceptatie, waardering ...). • eventuele moeilijkheden bij het lezen (haperingen, dingen die meerdere keren gelezen zijn ...) • de oorzaak van die problemen in het ontwerp van de tekst, voor zover dat duidelijk is • de positieve commentaren van de testpersonen.

4. Hardopwerkmethode Bij de hardopwerkmethode zeggen testpersonen wat ze denken terwijl ze een bepaalde opdracht uitvoeren met behulp van de tekst.

BENODIGDHEDEN • tekst die je wilt testen • testgroep van 15 tot 20 personen (of minstens 5 bij iteratieve onderzoeksopzet, waarbij je in verschillende fasen van het ontwikkelingsproces een test uitvoert) • een moderator en eventueel enkele observatoren (bijvoorbeeld webdesigners, programmeurs, tekstschrijvers, inhoudelijke deskundigen of andere geïnteresseerden) • 30 tot 60 minuten per testpersoon • locatie of onlinekanaal, en eventueel een lokaal voor de observatoren • smartphone om een audio- of video-opname te maken (bij tekst op papier), of webcam en schermopnamesoftware (bij digitale tekst) • eventueel videoconferencingsoftware (bijvoorbeeld Teams), zodat observatoren de test op afstand kunnen volgen

WAARVOOR GESCHIKT? tekstsoort

formulier, website, handleiding

onderzoeksvragen

vragen over vaardigheden, selectie, begrip en toepassing, beleving en onverwachte effecten

doelgroepen

alle doelgroepen

uitvoering

online of op locatie

VOORDELEN • De testpersonen worden ingezet als tekstgebruikers. Daardoor krijg je inzicht in de begrijpelijkheid en de toepasbaarheid van de informatie. • De testpersonen spreken hun commentaar bij de tekst onmiddellijk uit, waardoor er meer problemen aan het licht komen. Als ze pas commentaar geven na het lezen van de tekst, kunnen testpersonen bepaalde problemen die ze hebben ervaren, ondertussen vergeten zijn. • Je krijgt niet alleen waardevolle feedback uit de opdrachten die de testpersonen uitvoeren, je krijgt ook inzicht in de gedachtegang van de gebruikers en leert die begrijpen.

BEPERKINGEN • Hardop denken is een onnatuurlijke denkmethode die voor veel mensen ongemakkelijk aanvoelt. Extraverte mensen zullen hun gedachten sneller en meer onder woorden brengen dan introverte mensen. Het kan daarom goed zijn om eerst een oefensessie te doen. • De voorkennis en capaciteiten van de testpersonen kunnen de resultaten beïnvloeden. Als de opdrachten te complex zijn, komt het verwoorden van de gedachten in het gedrang. Als de opdrachten te gemakkelijk zijn, voeren de testpersonen ze automatisch uit, waardoor het moeilijk wordt voor hen om al hun gedachten te verwoorden. • Testpersonen die hardop moeten denken tijdens het uitvoeren van een opdracht, presteren soms slechter of beter dan testpersonen die in stilte werken.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een draaiboek op. • Bedenk een of meer opdrachten. • Bij een formulier kun je de testpersonen vragen om het formulier in te vullen en daarbij uit te gaan van hun eigen situatie. Je kunt ook werken met een fictieve situatieschets. • Bij een website kun je het best opdrachten zoeken die aansluiten bij de toptaken van je website en eventueel ook bij de situatie van de testpersoon.

Stap 2: uitvoering • Stel jezelf voor en vertel dat je hulp nodig hebt om een tekst te verbeteren. Benadruk dat je de tekst wilt testen, en niet de testpersoon, en dat er geen foute of juiste antwoorden zijn. • Vraag of je een audio- of video-opname mag maken. Als je een website test, kun je ook een opname maken van het scherm. Leg uit in welke context en in hoeverre de opnames zullen worden gebruikt. • Maak kennis met de testpersonen. Peil bijvoorbeeld naar hun opleiding, beroep, interesses, gebruik van internet … Als je een website test, kun je de opdracht daar eventueel op afstemmen. • Geef de tekst en de opdracht. • Vraag de testpersonen om de opdracht uit te voeren. Vraag hun om daarbij hardop te lezen en hardop te zeggen wat ze denken of hoe ze te werk gaan. • Observeer de testpersonen terwijl ze de opdracht uitvoeren. Wees alert voor al hun signalen, zowel verbale als non-verbale. Noteer alle problemen die de testpersoon meldt of die u zelf opmerkt. • Moedig bij stiltes de testpersonen aan om hardop te blijven werken. Vraag bijvoorbeeld: ‘Wat denkt u nu?’, ‘Wat bent u nu aan het doen?’, ‘Wat leest u nu?’. • Hou een nagesprek met de testpersonen meteen nadat ze de opdracht hebben uitgevoerd. • Peil naar hun algemene indruk. • Vraag hun om hun werkwijze te beschrijven. • Vraag hun om eventuele onduidelijkheden en problemen die ze ondervonden hebben, toe te lichten. Probeer te achterhalen waardoor die problemen veroorzaakt zijn en wat er gedaan kan worden om die problemen te verhelpen. • Als er observatoren zijn die de sessie hebben gevolgd, kun je hun vragen of ze nog vragen hebben voor de testpersoon. • Hou een debriefing met de observatoren, als die er zijn. Bespreek de problemen die jij en de observatoren hebben genoteerd.

Stap 3: verwerking Vat de resultaten van de test samen in een rapport. Vermeld zeker de volgende elementen: • het aantal proefpersonen, hun leeftijd, geslacht, opleidingsniveau … • de opdracht en de procedure • de mate waarin de testpersonen de opdracht correct hebben uitgevoerd • de voornaamste problemen • de oorzaak van die problemen, voor zover die duidelijk is.

3377

5. Plus-minmethode Bij de plus-minmethode zetten testpersonen tijdens het lezen van een tekst plussen in de kantlijn bij passages die ze goed vinden en minnen bij passages die ze slecht vinden. Daarna worden in een nagesprek de redenen voor de plussen en minnen achterhaald.

BENODIGDHEDEN • • • • • •

tekst die je wilt testen (op papier, liefst niet meer dan 5 pagina’s) testgroep van 15 tot 20 personen een interviewer en een observator (kan ook dezelfde persoon zijn) 30 tot 60 minuten per testpersoon locatie of onlinekanaal smartphone om een audio- of video-opname te maken

WAARVOOR GESCHIKT? tekstsoort

zowel informatieve, instructieve als persuasieve teksten (brief, mail, folder, brochure …)

onderzoeksvragen

vragen over waardering, acceptatie, relevantie, betrokkenheid, beleving, onverwachte effecten

doelgroepen

alle doelgroepen

uitvoering

online of op locatie

VOORDELEN • De testpersonen bepalen zelf de aandachtspunten die ze ter sprake willen brengen en zijn bij hun tekstbeoordeling dus niet beperkt tot de vragen die de onderzoeker vooraf heeft bedacht. Daardoor is de methode bij uitstek geschikt om onverwachte effecten in een tekst op het spoor te komen. • Het leesproces wordt niet ernstig verstoord. • De methode maakt het voor de testpersonen gemakkelijker om kritiek te geven omdat ze ook positief commentaar mogen geven. Doordat het zetten van de plussen en minnen gescheiden is van het geven van commentaar, hoeven de testpersonen zich niet meteen te verdedigen als ze een min zetten.

BEPERKINGEN • De testpersonen worden ingeschakeld als tekstbeoordelaars en niet als tekstgebruikers. Begripsen toepassingsproblemen worden daardoor mogelijk minder goed opgespoord. Testpersonen kunnen bijvoorbeeld zelf niet doorhebben dat ze iets niet begrijpen, of denken dat ze iets kunnen toepassen, terwijl dat niet het geval is. Dat kan opgevangen worden door de plusminmethode te combineren met andere methodes, bijvoorbeeld de terugvraagmethode, de hardopleesmethode of de hardopwerkmethode. • Voor sommige testpersonen is het moeilijk om commentaar te geven op metaniveau. • De testpersonen reageren alleen op wat er staat en niet op wat er niet staat. Met deze methode kun je dus mogelijk niet vaststellen dat een tekst onvolledig is of dat er informatie in de tekst ontbreekt. Dat kan opgevangen worden door de plus-minmethode te combineren met een interview.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een draaiboek op.

Stap 2: uitvoering • Stel jezelf voor en vertel dat je hulp nodig hebt om een tekst te verbeteren. Benadruk dat je de tekst wilt testen, en niet de testpersoon, en dat er geen foute of juiste antwoorden zijn. • Vraag of je een audio- of video-opname mag maken. Leg uit in welke context en in hoeverre de opnames zullen worden gebruikt. • Stel enkele algemene vragen aan de testpersonen over hun leeftijd, opleiding, beroep, land (of taal) van herkomst … • Overhandig de tekst aan de testpersonen en schets de context ervan. • Geef de testpersonen een algemene instructie, bijvoorbeeld ‘Geef met de plussen en minnen in de marge aan wat u belangrijk, onbelangrijk, duidelijk, onduidelijk, interessant, oninteressant, goed of slecht vindt. U kunt ook een plus of min zetten bij illustraties, tabellen of grafieken.’ • Laat de testpersonen rustig plussen en minnen bij de tekst zetten. Je kunt de testpersonen daarbij op een onopvallende manier observeren. Noteer non-verbale reacties zoals lachen, fronsen of zuchten, zodat je er in het nagesprek op kunt terugkomen. Je kunt ook letten op wat de testpersonen al dan niet lezen, in welke volgorde … • Ga samen met de testpersonen door de tekst. Neem de plussen en minnen daarbij als uitgangspunt. Vraag om toelichting of verduidelijking en peil eventueel naar suggesties voor verbetering. Noteer in een apart document de commentaren van de testpersonen, bijvoorbeeld per regelnummer. • Bespreek ook de teksteenheden waarbij de testpersonen geen plus of min gezet hebben. Dat kan waardevolle reacties opleveren. • Bedank de testpersonen voor hun hulp bij de verbetering van de tekst.

Stap 3: verwerking Vermeld in het rapport van het onderzoek de volgende elementen: • het aantal proefpersonen, hun leeftijd, geslacht, opleidingsniveau … • de procedure • de plus-commentaren en de min-commentaren. Rubriceer die op basis van de voorwaarden voor effectiviteit (begrip, acceptatie, waardering ...) die aan de orde zijn. • de redenen voor de min-commentaren, voor zover die duidelijk zijn.

6. Interview Bij een interview geven de testpersonen in een gestructureerd vraaggesprek feedback over een tekst.

BENODIGDHEDEN • • • • • •

tekst die je wilt testen testgroep van 15 tot 20 personen een interviewer en een observator (kan ook dezelfde persoon zijn) 30 tot 60 minuten per testpersoon locatie of onlinekanaal smartphone om een audio- of video-opname te maken

WAARVOOR GESCHIKT? tekstsoort

zowel informatieve, instructieve als persuasieve teksten (brief, mail, folder, brochure, website …)

onderzoeksvragen

alle onderzoeksvragen, behalve vragen over onverwachte effecten

doelgroepen

alle doelgroepen

uitvoering

online of op locatie

VOORDELEN • Met een interview kun je gericht zoeken naar specifieke problemen die zich kunnen voordoen. Je kunt ook de precieze diagnose van de geconstateerde tekstproblemen achterhalen. • Je kunt gemakkelijker lange, complexe of open vragen stellen dan bij een schriftelijke vragenlijst. Je kunt ook doorvragen, waardoor je een beter inzicht krijgt in de problemen in de tekst, en je kunt eventuele misverstanden over vragen en antwoorden verhelpen.

BEPERKINGEN • Een interview is minder geschikt om onverwachte effecten op te sporen. • Als de resultaten per proefpersoon binnen zijn, zijn die vaak geordend op een manier die voor de revisie niet zo functioneel is, namelijk per vraag in plaats van per tekstfragment. Het herordenen van de resultaten van het onderzoek kan tijdrovend zijn.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een vragenlijst op.

Stap 3: verwerking Gebruik een applicatie als Excel of Google Formulieren om de antwoorden van de testpersonen in te voeren. Vat de resultaten van de test samen in een rapport. Vermeld zeker de volgende elementen: • het aantal testpersonen, hun leeftijd, geslacht, opleidingsniveau, afkomst … • de resultaten per vraag • een kopie van de vragenlijst.

7. Schriftelijke vragenlijst Bij een schriftelijke vragenlijst stel je de testpersonen vragen over een tekst met een papieren of digitale vragenlijst. Schriftelijke vragenlijsten worden meestal ingezet voor kwantitatief onderzoek, maar ze kunnen ook ingezet worden voor kwalitatief onderzoek, op voorwaarde dat vooral open vragen worden gesteld.

BENODIGDHEDEN • tekst die je wilt testen • testgroep van 15 tot 20 personen (voor kwantitatief onderzoek is een grotere testgroep nodig) • onlinetool (Google Formulieren, SurveyMonkey, CheckMarket ...)

WAARVOOR GESCHIKT? tekstsoort

zowel informatieve, instructieve als persuasieve teksten (brief, mail, folder, brochure, website …)

onderzoeksvragen

alle onderzoeksvragen, behalve vragen over onverwachte effecten

doelgroepen

minder geschikt voor doelgroepen met lage taalvaardigheden of lage digitale vaardigheden

uitvoering

online

VOORDELEN • Met een schriftelijke vragenlijst kun je gericht zoeken naar specifieke problemen die zich kunnen voordoen. • In vergelijking met een interview heb je minder tijd nodig per testpersoon, waardoor je kunt werken met een grotere testgroep. Je kunt ook gemakkelijker vragen stellen over gevoelige onderwerpen.

BEPERKINGEN • Schriftelijke vragenlijsten zijn minder geschikt om onverwachte effecten op te sporen. • Als de resultaten per proefpersoon binnen zijn, zijn die vaak geordend op een manier die voor de revisie niet zo functioneel is, namelijk per vraag in plaats van per tekstfragment. Het herordenen van de resultaten van het onderzoek kan tijdrovend zijn. • Als de vragenlijst niet duidelijk is, kun je dat niet meer rechtzetten. Dat probleem kan worden opgevangen door de vragenlijst vooraf te testen bij enkele leden van de doelgroep. • Je kunt niet doorvragen, waardoor het niet mogelijk is om inzicht te krijgen in de achtergronden van problemen, gericht te zoeken naar inhoudselementen die voor problemen zorgen, en ideeën voor verbetering te bespreken. • De non-respons kan hoog zijn, zowel op de volledige vragenlijst als op een specifieke vraag.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een vragenlijst op. Voor een online-enquête kun je gebruikmaken van tools als Google Formulieren, SurveyMonkey, CheckMarket. • Stel een goede introductietekst op. Die moet zeker de volgende elementen bevatten: • uitleg over het doel van het onderzoek • een inschatting van de tijd die nodig is om de vragenlijst in te vullen • een opmerking over de anonieme verwerking van de gegevens • een bedanking voor het invullen van de enquête. • Leg de vragenlijst voor aan enkele leden van de doelgroep, bijvoorbeeld met de terugvraagmethode. Anders bestaat de kans dat het onderzoek helemaal of gedeeltelijk mislukt, bijvoorbeeld omdat de instructie niet duidelijk is of vragen verkeerd geïnterpreteerd worden. Laat de vragenlijst ook invullen door enkele testpersonen. Zo krijg je een idee hoelang het duurt om de vragenlijst in te vullen.

Stap 2: uitvoering • Stuur de vragenlijst naar de testpersonen.

8. Focusgroepsgesprekken Bij focusgroepsgesprekken wordt een tekst besproken in groepjes van 6 à 10 deelnemers. Het gesprek wordt begeleid door een gespreksleider.

BENODIGDHEDEN • tekst die je wilt testen • ongeveer 5 testgroepen van 6 tot 10 personen (als er duidelijke verschillen tussen segmenten van de doelgroep zijn, kun je het best werken met homogene groepen) • een gespreksleider en een observator • ongeveer 2 uur per gesprek • locatie • smartphone om een audio- of video-opname te maken

WAARVOOR GESCHIKT? tekstsoort

persuasieve teksten (folder, brochure, affiche …)

onderzoeksvragen

vragen over contact, waardering, acceptatie, relevantie, betrokkenheid, beleving, onverwachte effecten

doelgroepen

minder geschikt voor doelgroepen met lage taalvaardigheden of lage digitale vaardigheden

uitvoering

op locatie

VOORDELEN • Testpersonen kunnen reageren op elkaars feedback. Op die manier kunnen ze op nieuwe ideeën komen en kan zich binnen een groep eventueel ook een gemeenschappelijke opinie vormen. Zo krijg je een beter idee hoe belangrijk een bepaald probleem is.

BEPERKINGEN • Deze methode is minder geschikt om begripsproblemen op te sporen. Het is moeilijk om tijdens een groepsgesprek gericht vragen te stellen over begrip zonder een examensfeer te creëren. Over begripsproblemen valt ook minder te discussiëren dan over aspecten als waardering of acceptatie. Tijdens een groepsgesprek kan natuurlijk wel naar boven komen dat bepaalde informatie verkeerd is begrepen, maar je kunt er niet gericht naar vragen. • De schakelingen tussen het gesprek en de tekst kunnen voor problemen zorgen. Als tijdens het gesprek wordt verwezen naar passages in de tekst, moeten de testpersonen die passages opzoeken, en misschien opnieuw lezen, voor ze erover kunnen praten. • Het gevaar bestaat dat testpersonen elkaar gaan beïnvloeden of dat sommigen te dominant zijn. De kwaliteit van een focusgroepsgesprek is dan ook in grote mate afhankelijk van de vaardigheid van de gespreksleider om de gespreksinhoud en het groepsproces te bewaken. • De verwerking van de resultaten is tijdrovend: de resultaten van de verschillende gesprekken moeten worden samengevoegd en de geconstateerde problemen moeten overzichtelijk op een rijtje worden gezet.

METHODES

STAPPENPLAN

Stap 1: voorbereiding • Stel een leidraad op voor de gespreksleider met de vragen en onderwerpen van het gesprek.

Stap 2: uitvoering • Vraag of je een audio- of video-opname mag maken. Leg uit in welke context en in hoeverre de opnames zullen worden gebruikt. • Laat de testpersonen zichzelf even kort voorstellen. • Geef de testpersonen de opdracht om de tekst individueel te lezen. Geef ze daarvoor voldoende tijd. Vraag de testpersonen vervolgens om enkele belangrijke opmerkingen te noteren, of plussen en minnen aan te brengen in de tekst. • Bespreek met de groep de tekst als geheel, of de verschillende aspecten of onderdelen van de tekst. Zorg er daarbij voor dat iedereen aan de beurt komt. Maak bijvoorbeeld een rondje, waarbij elke testpersoon kort een reactie geeft. • Laat het gesprek maximaal 2 uur duren. • Ga door tot er geen nieuwe problemen meer opduiken tijdens de gesprekken.

Stap 3: verwerking Vat de resultaten van de test samen in een rapport. Vermeld zeker de volgende elementen: • het aantal focusgroepen en het aantal testpersonen, hun leeftijd, geslacht, opleidingsniveau … • de problemen die tijdens de gesprekken aangekaart werden • de oorzaak van die problemen, voor zover die duidelijk is • de positieve commentaren van de testpersonen.

Literatuur • AG Consult. Do’s and don’ts voor een goede gebruikerstest. https://www.agconsult.com/nl/usability-blog/gebruikerstest-tips/ • Direct Duidelijk: Handleiding ‘beeldmateriaal testen bij gebruikers’. https://www.directduidelijk.nl/sites/default/files/2019-12/tips_voor_testen_van_beeld.pdf • Gebruiker Centraal, Test met echte gebruikers. https://optimaaldigitaal.gebruikercentraal.nl/ tipkaarten/overzicht-van-alle-tips/test-echte-gebruikers/ • Haak, M. van den, Jong, M. de & Schellens, P.J. (2006). “Hardopdenkprotocollen en gebruikersonderzoek”. Tijdschrift voor Taalbeheersing, 28, nr. 3, p. 185-197. • Jansen, C. e.a. (1989). Formulierenwijzer. Handboek formulieren redigeren, ‘s Gravenhage: SDU. http://begrijpelijkeformulieren.org/sites/begrijpelijkeformulieren/files/formulierenwijzer.pdf • Jong, M. de & Schellens, P.J. (1995). Met het oog op de lezer. Pretestmethoden voor schriftelijk voorlichtingsmateriaal. Amsterdam: Thesis Publishers. • Jong, M. de & Schellens, P.J. (1994), “De pretest als schakel in het tekstontwerpproces”. Tijdschrift voor Taalbeheersing, 16, nr. 3, p. 227-241. • Krug, S. (2010). Rocket Surgery Made Easy. The Do-It-Yourself Guide to Finding and Fixing Usability Problems, Berkeley, CA: New Riders. • Klarspråk. Involver brukerne og mål effekten (‘Betrek gebruikers en meet effecten’). https://www.ks.no/klartsprak-brukerinvolvering • Lentz, L. (2021). Lezersonderzoek: hoe evalueer je een tekst, formulier of website bij lezers?. https://didactieknederlands.nl/handboek/2021/01/lezersonderzoek-deel-1-inleiding • Pander Maat, H. & Lentz, L. (2003). “Waarom het lezersprotocol zo’n goede methode is om begripsproblemen op te sporen”. Tijdschrift voor Taalbeheersing, 25, nr. 3, p. 202- 220. • Pander Maat, H. & van der Geest, T. (2021), Monitor Begrijpelijke overheidsteksten. Onderzoeksrapport Centrum IT + Media. Arnhem: HAN University of Applied Sciences. https://taalunie.org/publicaties/203/monitor-begrijpelijke-overheidsteksten • Plain Language Action and Information Network (PLAIN), (2011), Federal Plain Language Guidelines. https://www.plainlanguage.gov/guidelines/ • Schellens, P.J. & Steehouder, M. (1994). “Tekstontwerp: schrijven als ontwerpproces”. Tijdschrift voor Taalbeheersing, 16, nr. 3, p. 161-172. • Schriver, K. (1991). “Plain language for expert or lay audiences: Designing text using protocolaided revision”. In: E.R. Steinberg, Plain Language: Principles and Practice, Detroit, MI: Wayne State University Press, p. 148-172. • Tiggelovend, I. (2019), Diversiteitscommunicatie. Verbindende communicatie & marketing. Antwerpen: Studio Sesam. • Vroom, B. (1994). De tekst getest. Handleiding voor het pretesten van schriftelijk materiaal. Assen: Van Gorcum.

Meer informatie Team Taaladvies - Departement Kanselarij en Buitenlandse Zaken taaladvies@vlaanderen.be vlaanderen.be/gebruikerstesten

Deze brochure is een uitgave van Team Taaladvies, de taaladviesdienst van de Vlaamse overheid. Redactie Karen Deschamps, Katleen Maesen en Dirk Caluwé Met dank aan Farida Barki (Wablieft) Veerle Beyst (Departement Kanselarij en Buitenlandse Zaken) Filip De Maesschalck (Departement Kanselarij en Buitenlandse Zaken) Joey van den Hurk (Sira Consulting) Martijn Jacobs (Loo van Eck Communicatie) Carel Janssen (Rijksuniversiteit Groningen) Katrien Janssens (Wablieft) Henk Pander Maat (Universiteit Utrecht) Sofie Maes (Digitaal Vlaanderen) Annelies Porteman (FOD BOSA) Ted Sanders (Universiteit Utrecht) Kristien Spillebeen (Vlaams Parlement) Mireille van Twuijver (Programma Mens Centraal) Anneleen Vanden Boer (Digitaal Vlaanderen) Els Van Camp (OVAM) Veerle Van den Broeck (Digitaal Vlaanderen) Marijke Vrijders (Departement Kanselarij en Buitenlandse Zaken) Mira Wadera (VDAB) Verantwoordelijke uitgever Dirk Caluwé Departement Kanselarij en Buitenlandse Zaken Havenlaan 88 bus 100 1000 Brussel Grafische vormgeving The Oval Office Depotnummer D/2021/3241/304 Eerste uitgave December 2021

HANDLEIDING VO O R H E T T E ST E N VA N T E K ST E N B I J DE DOELGROEP

Hulp bij taalvragen vlaanderen.be/taaladvies 078 15 20 25 elke werkdag van 9 tot 12 uur

Heerlijk Helder heerlijkhelderetaal.be

TeamTaaladvies

heerlijkhelderetaal.be