Kwaliteitsevaluatie survey
11
Kwaliteitsevaluatie van surveys Een toepassing op de surveys naar culturele verschuivingen in Vlaanderen
Geert Loosveldt en Ann Carton Departement Sociologie, K.U.Leuven
1. Inleiding Na de gemeenteraadsverkiezingen van oktober 2000 was ĂŠĂŠn van de commentaren en conclusies dat de peilingen naar kiesintenties terug gefaald hadden. De reeds kwalijke reputatie van dergelijke peilingen werd daarmee bevestigd en versterkt. De evaluatie van de kwaliteit van deze peilingen gebeurt door de voorspelde kiesintenties te vergelijken met de uiteindelijke uitslag van de verkiezingen. Het gaat om een eenvoudige outputevaluatie waarbij externe data gebruikt worden om de peilingsdata te valideren. Daarbij maakt men de terechte veronderstelling dat wanneer men naar kiesintenties peilt de resultaten van de peiling op toevalsfouten na gelijk moeten zijn aan de verkiezingsuitslag. Een peiling naar kiesintenties kan beschouwd worden als een bijzonder inhoudelijke invulling van een survey-onderzoek waarbij een representatieve steekproef van respondenten bevraagd wordt aan de hand van een gestructureerde vragenlijst over hun toekomstig stemgedrag en hun houdingen en opinies in verband met politiek. Meestal zijn de werkelijke populatieverdelingen van de kenmerken die men door middel van een survey wenst te meten niet beschikbaar en kan een eenvoudige outputevaluatie, waarbij de resultaten van het survey getoetst worden aan externe data, niet gemaakt worden. De vraag kan dan ook gesteld worden hoe de kwaliteit van surveys kan geĂŤvalueerd worden wanneer de werkelijke populatieverdelingen niet gekend zijn. Daarbij dient onmiddellijk opgemerkt te worden dat een outputevaluatie van een survey slechts een zeer beperkte evaluatie is. Bij een dergelijke evaluatie wordt het proces van de dataverzameling en data-analyse immers buiten beschouwing gelaten. Naast een outputevaluatie is er dus ook een procesevaluatie van een survey mogelijk. Bij de duiding waarom peilingen naar kiesintenties falen gebeurt er trouwens impliciet een procesevaluatie. Men verwijst naar bepaalde aspecten van de dataverzameling (o.a. representativiteit van de steekproef, non-respons en antwoordgedrag van de respondenten) als vermoedelijke oorzaken van het falen van peilingen naar kiesintenties. Daarbij maakt men de veronderstelling dat het optimaal verlopen van het proces van dataverzameling een noodzakelijke voorwaarde is voor het bekomen van kwalitatief degelijke data. Dit illustreert dat een procesevaluatie van een survey niet onbelangrijk is bij de kwaliteitsevaluatie van surveys.