Peilen in Vlaanderen. De houding van de Vlaming
Peilen in Vlaanderen PE I L E N
I N
V L A A N D E RE N
De houding van de Vlaming D E
H O U D I N G
VA N
D E
V L A M I N G
t.a.v. surveyonderzoek T . A .V. S U R VEYO N D E R ZO E K
Geert Loosveldt • Vicky Storms Katholieke Universiteit Leuven Departement Sociologie Centrum voor Survey Methodologie
1
| Inleiding
Regelmatig wordt er in de media gerapporteerd over resultaten van surveyonderzoek in het algemeen en opiniepeilingen in het bijzonder. Er kan gesteld worden dat de resultaten van dergelijke onderzoeken in een aantal gevallen een (belangrijke) bijdrage leveren aan het maatschappelijk debat over actuele beleidsthema’s (bv. waardering van leerkrachten, opinies in verband met het migrantenthema, peilingen naar kiesintenties…). Meer en meer beleidsverantwoordelijken hanteren immers een ‘Evidencebased policy’ model en maken bij het voorbereiden en evalueren van hun beleid onder andere gebruik van resultaten van surveyonderzoek. Niet zelden gaat een debat tussen voor- en tegenstanders van bepaalde beleidsopties gepaard met een discussie over de juistheid van de resultaten en de kwaliteit van de onderzoeken die gebruikt worden om bepaalde beleidsopties te ondersteunen. De discussie over kwaliteit en geloofwaardigheid van surveyonderzoek is hierdoor geen louter academische discussie maar soms ook een publieke discussie die bijdraagt tot de beeldvorming die de bevolking heeft over survey- en opinieonderzoek. Voor beleidsverantwoordelijken die hun beleid verantwoorden met resultaten van surveyonderzoek is het dan ook niet onbelangrijk om te weten hoe mensen de kwaliteit en de geloofwaardigheid van dergelijke onderzoeksresultaten inschatten. Wanneer men opteert om beleid empirisch te onderbouwen met resultaten van surveyonderzoek is het ook beleidsrelevant om kennis te hebben van het ‘maatschappelijk draagvlak’ voor het uitvoeren van dit type onderzoek. Dit maatschappe-
347
Vlaanderen gepeild ! lijk draagvlak verwijst dan naar de houding die mensen hebben t.a.v. surveys en wat hun bereidheid is om daaraan mee te werken. Uit internationaal vergelijkend onderzoek blijkt dat de bereidheid om mee te werken aan een surveyinterview afneemt en dat surveyonderzoekers steeds meer inspanningen moeten leveren om een aanvaardbare response rate te realiseren (de Heer, 1999, de Leeuw & de Heer, 2002). In theoretische modellen over surveyparticipatie worden het algemeen maatschappelijk klimaat en het 'survey taking climate' (surveyklimaat) in het bijzonder beschouwd als relevante factoren. Belangrijke onderdelen van het surveyklimaat zijn de surveypraktijk (o.a. het aantal surveyonderzoeken die worden uitgevoerd, het aantal uitnodigingen die personen krijgen om mee te werken aan een interview), de gepercipieerde legitimiteit van surveys en de houding t.a.v. surveyonderzoek (Groves & Couper, 1998). De houding t.a.v. surveys verwijst naar hoe personen denken over het nut, de geloofwaardigheid en de kwaliteit van surveys. Onderzoek toont aan dat een algemeen negatieve houding t.a.v. surveys de kans op deelname doet verminderen (Goyder, 1986). Een overwegend positieve houding bij een onderzoekspopulatie is dus een noodzakelijke maatschappelijke voorwaarde om een survey op een adequate wijze te implementeren. De algemene doelstelling van de bijdrage bestaat erin om een duidelijker beeld te krijgen van hoe (potentiĂŤle) respondenten denken over surveyonderzoek. In een eerste paragraaf wordt nagegaan hoe de houding t.a.v. van surveys kan worden gemeten en worden de resultaten gepresenteerd van een meting bij de Vlaamse bevolking. Daarna wordt de relatie onderzocht van de houding t.a.v. surveys met de evaluatie van de concrete interviewervaring. Vervolgens wordt nagegaan of achtergrondkenmerken een effect hebben op de houding t.a.v. surveys en of die houding gerelateerd is aan enkele attitudes die betrekking hebben op de werking van politieke instellingen en maatschappelijke betrokkenheid. Bij de uitwerking van deze punten zal gebruik gemaakt worden van data die beschikbaar zijn uit surveys naar sociaal-culturele veranderingen uitgevoerd door de Administratie Planning en Statistiek (APS) van de Vlaamse Gemeenschap van 2000 (Carton & Loosveldt, 2000), 2001 (Devacht & Loosveldt, 2001) en voornamelijk 2002 (Carton, Hegemann & Van Geel, 2002).
2
| Het meten van de houding t.a.v. surveys
Het is opmerkelijk dat er zeer veel data verzameld worden door middel van surveyonderzoek maar dat er weinig data beschikbaar zijn over hoeveel surveys er georganiseerd worden, hoe vaak er aan mensen gevraagd wordt om mee te werken aan een interview en wat de mensen van dergelijke onderzoeken vinden. Het meten van de houding t.a.v. surveys is trouwens niet evident. Men is daarvoor immers aangewezen op een surveyonderzoek. Bij een survey over de houding t.a.v. surveys is het echter niet mogelijk om deze houding te meten bij de personen die weigeren om deel
348
Peilen in Vlaanderen. De houding van de Vlaming
te nemen aan het survey. Het gaat hier in deze context over een bijzonder relevante groep. Men kan redelijkerwijze veronderstellen dat diegenen die weigeren wellicht geen positieve houding zullen hebben (Goyder, 1986). Bij de meting zal ook reactiviteit optreden. Men mag verwachten dat zij die meewerken zullen streven naar een consistentie tussen hun houding en hun gedrag en dat ze hun houding aanpassen aan het gedrag dat ze effectief stellen (meewerken aan het interview). Omwille van de effecten van non-respons en reactiviteit kan men dus stellen dat de meting van de houding t.a.v. surveys in positieve zin zal vertekend zijn. Voor het meten van de houding t.a.v. surveys is geen gevalideerd meetinstrument (schaal) beschikbaar. Ook dit is niet bevorderlijk voor het verzamelen van dergelijke data. Wel zijn in het verleden reeds verschillende batterijen van items gebruikt om de houding t.a.v. surveys te meten. Hoewel deze metingen telkens kaderen in verschillende probleemstellingen wordt de houding meestal in verband gebracht met de bereidheid van de respondenten om een bepaalde inspanning te leveren. Deze inspanning kan betrekking hebben op het meewerken aan een interview, het invullen van schriftelijke vragenlijsten of het beantwoorden van vragen. 1. In een onderzoek over ‘Surveys on Surveys’ (Goyder, 1986) wordt de houding gerelateerd aan ervaringen die respondenten in het verleden gehad hebben met surveys en staat de bereidheid om opnieuw mee te werken (of te weigeren) centraal. Er worden daarbij 12 items gebruikt die verwijzen naar verschillende aspecten van de surveypraktijk. Slechts 4 daarvan blijken voldoende te laden op een factor die kan beschouwd worden als een meting van een algemene houding: surveys zijn een inbreuk op de privacy, opiniepeilers willen enkel geld verdienen, peilingen berokkenen niemand schade en de overheid zou het interviewen moeten controleren. 2 In een onderzoek naar het invullen van vragenlijsten in een organisatorische context vertrekt men van de vaststelling dat in organisaties veel gebruik wordt gemaakt van vragenlijsten maar dat weinig geweten is over wat de mensen die de vragenlijsten moeten invullen denken over deze wijze van dataverzameling (Rogelberg e.a., 1997). Men onderscheidt bij deze attitude meting twee dimensies: ‘survey value’ (waarde van surveys) en ‘survey enjoyment’. Deze laatste dimensie (survey enjoyment) verwijst naar het plezier of de voldoening die men heeft bij het invullen van vragenlijsten. De items die gebruikt worden om dit te meten zijn: ik vul graag vragenlijsten in, vragenlijsten zijn aangenaam om in te vullen en ik beleef plezier aan het invullen van vragenlijsten. Bij de evaluatie van de waarde van surveys gaat om het om de beoordeling van het belang van surveys voor het verzamelen van data. De gebruikte items zijn: men kan veel leren van de informatie die door surveys wordt bekomen, invullen van vragenlijsten dient tot niets en surveys zijn een bruikbaar middel om informatie te verzamelen. 3. Bij een onderzoek naar de invloed van antwoordschalen op het antwoordgedrag van respondenten wordt de houding t.a.v. surveys gebruikt als een indicator van de bereidheid om cognitieve inspanningen te leveren bij het beantwoorden van
349
Vlaanderen gepeild ! vragen (Stocké, 2001). De houding wordt daarbij gemeten aan de hand van 8 items over de waarde en de betrouwbaarheid van survey resultaten. De 8 items vormen één factor die beschouwd kan worden als een meting van een algemene houding t.a.v. surveys. De items zijn: surveys zijn belangrijk voor de wetenschap, politiek en de economie; opiniepeilingen maken de samenleving meer democratisch; deelnemen aan een survey is in mijn eigen voordeel; in surveys kan men zijn opinie uiten; de resultaten van survey zijn in de meeste gevallen correct; de meeste surveys zijn ernstig en worden op een verantwoorde wijze uitgevoerd; respondenten zijn bijna altijd bereid om hun oprechte mening mee te delen; respondenten doen hun best om juist te antwoorden. De drie zojuist vermelde metingen van de houding t.a.v. surveys maken duidelijk dat heel wat aspecten aan bod kunnen komen: de bruikbaarheid van surveys, de juistheid van de resultaten, het algemeen maatschappelijk belang of privé belang, elementen van privacy en controle door de overheid. Het gaat hierbij telkens om een houding ten aanzien van surveyonderzoek in het algemeen. Hoewel onderzoek naar attitudes leert dat een specifieke houding (t.o.v. een bepaalde onderzoeksinstantie, een specifieke onderzoeksmethode en een bepaald onderwerp) meer voorspellingskracht heeft dan een algemene houding t.a.v. surveys (Rogelberg e.a., 1997: 32), lijkt het meten van een algemene houding t.a.v. surveys toch relevant. Specifieke metingen zouden immers resulteren in een zeer uitgebreide lijst vragen wat niet geschikt is om opgenomen te worden in een algemene vragenlijst over socio-culturele veranderingen. Geïnspireerd door deze schalen en de diverse aspecten die erin aan bod komen, werden in het APS-survey van 2002 een aantal vragen en een batterij uitspraken opgenomen met de bedoeling de algemene houding t.a.v. surveys te meten. Sommige van die vragen werden reeds gesteld in de surveys van 2000 en 2001 zodat ‘enige vergelijking in de tijd’ mogelijk is. Het gaat om twee algemene vragen: hoe zinvol vindt men dergelijke onderzoeken en hoe evalueert men de geloofwaardigheid van de resultaten. Verder werd in de drie surveys ook nog gevraagd of men bereid is om nog eens mee te werken aan een vergelijkbaar onderzoek. De bereidheid om al of niet terug mee te werken wordt hier beschouwd als een concrete uiting van de houding van de respondent. In Tabel 1 worden de frequentieverdelingen van deze drie kenmerken weergegeven voor de APS-surveys van de voorbije drie jaren.
350
Peilen in Vlaanderen. De houding van de Vlaming
TABEL 1
Vergelijking van de APS-surveys (face to face) van 2000, 2001 en 2002 wat betreft de evaluatie van de zinvolheid en geloofwaardigheid van surveys en de bereidheid om opnieuw mee te werken.
Zinvolheid Helemaal niet zinvol Niet zinvol Niet zinvol, niet zinloos Zinvol Zeer zinvol (N) Geloofwaardigheid Nooit Bijna nooit Soms wel soms niet Bijna altijd Altijd (N) Bereidheid opnieuw Meewerken Weigeren (N)
2000
2001
2002
1.2 5.7 19.6 59.6 13.8 (1323)
2.3 7.5 21.8 59.0 9.3 (1396)
1.7 9.8 27.2 56.8 4.5 (1469)
1.2 3.3 37.8 46.8 10.9 (1326)
1.6 5.5 27.7 53.3 11.9 (1399)
0.7 4.8 41.2 44.3 8.9 (1473)
90.2 9.8 (1303)
82.5 17.5 (1433)
82.1 17.9 (1465)
De algemene evaluatie van surveyonderzoek die uit de bovenstaande tabel kan worden afgeleid is vrij positief. Een overgrote meerderheid vindt surveys (zeer) zinvol, (bijna) altijd geloofwaardig en is bereid om opnieuw mee te werken. Het meest opmerkelijke resultaat is echter het feit dat in 2001 en 2002 het percentage respondenten dat beweert dat ze in de toekomst niet meer willen meewerken aan een gelijkaardig onderzoek bijna het dubbele is van 2000. Verder zien we bij de evaluatie over de zinvolheid van surveyonderzoek dat over de periode van drie jaar, de groep verkleint voor wie surveyonderzoek (zeer) zinvol is. De groep die dit ‘niet zinvol maar
351
Vlaanderen gepeild ! ook niet zinloos’ vindt, is daarentegen toegenomen. Wanneer de evaluatie van de geloofwaardigheid in 2000 en 20021 met elkaar vergeleken wordt dan is daar een gelijkaardige maar weliswaar zwakkere tendens: de geloofwaardigheid wordt in 2002 iets minder positief geëvalueerd. De informatie in tabel 1 laat over een periode van drie jaar dus een zwakke tendens zien van een minder positieve houding t.a.v. surveys. In het APS-survey van 2002 werden er in een drop-off vragenlijst nog bijkomende vragen gesteld over bepaalde concrete aspecten van het interview waaraan men had deelgenomen. De drop-off vragenlijst bevat ook nog een lijst van uitspraken over surveyonderzoek in het algemeen. Van de respondenten die hebben deelgenomen aan het face-to-face interview hebben 92% de drop-off vragenlijst ingevuld en teruggestuurd. Dit bijzonder hoge responspercentage maakt van de drop-off vragenlijst een bruikbaar instrument. Het bevragen van de houding t.a.v. surveys door middel van een schriftelijke drop-off vragenlijst biedt daarenboven het voordeel dat de tendens tot het geven van sociaal wenselijke antwoorden kan worden afgezwakt. Men mag immers aannemen dat antwoorden op vragen over het onderzoek die in face-to-face interviews worden gesteld, omwille van de aanwezigheid van een interviewer wellicht meer sociaal wenselijk zijn. In Tabel 2 worden de frequentieverdelingen weergegeven van 7 uitspraken die in de drop-off vragenlijst waren opgenomen en die een algemene houding ten aanzien van surveyonderzoek bevragen. Aan de respondent werd gevraagd om aan te duiden in welke mate men het (helemaal) eens of (helemaal) oneens was met de beweringen over ‘het soort onderzoek waaraan u hebt meegewerkt’.
1.
De vraag naar geloofwaardigheid was in 2000: In het algemeen genomen, vindt u dergelijke onderzoeken geloofwaardig? Antwoordmogelijkheden: altijd geloofwaardig; bijna altijd geloofwaardig; soms geloofwaardig, soms niet geloofwaardig; bijna nooit geloofwaardig; nooit geloofwaardig. In 2001: In welke mate denkt u dat de resultaten van dergelijk onderzoek geloofwaardig of ongeloofwaardig zijn? Antwoordmogelijkheden: altijd geloofwaardig; bijna altijd geloofwaardig; noch geloofwaardig, noch ongeloofwaardig; bijna nooit geloofwaardig; nooit geloofwaardig. In 2002: In welke mate denkt u dat de resultaten van dergelijke onderzoeken geloofwaardig zijn? Antwoordmogelijkheden: nooit geloofwaardig; bijna nooit geloofwaardig; soms geloofwaardig, soms niet geloofwaardig; bijna altijd geloofwaardig; altijd geloofwaardig. De vraag naar zinvolheid was in 2000: In het algemeen genomen, hoe zinvol of onzinvol vindt u dergelijke onderzoeken? Antwoordmogelijkheden: zeer zinvol; zinvol; noch zinvol noch onzinvol; niet zinvol; helemaal niet zinvol. In 2001: In het algemeen, hoe zinvol of onzinvol vindt u dergelijke onderzoeken? Antwoordmogelijkheden: zeer zinvol; zinvol; noch zinvol noch onzinvol; niet zinvol; helemaal niet zinvol. In 2002: In het algemeen genomen vindt u dergelijke onderzoeken zinvol of vindt u ze niet zinvol ? Antwoordmogelijkheden: helemaal niet zinvol; niet zinvol; niet zinvol maar ook niet zinloos; zinvol; zeer zinvol. In 2002 werden de beide antwoordschalen dus omgekeerd aangeboden. Bovendien verschilt de middencategorie voor geloofwaardigheid in 2001, en voor zinvolheid in 2002 van de andere jaren. Hierdoor is de vergelijkbaarheid met de andere jaren beperkt.
352
Peilen in Vlaanderen. De houding van de Vlaming
TABEL 2
Oneens
Niet eens en niet oneens
Eens
Helemaal eens
N
Dergelijke onderzoeken zijn voor de mensen die eraan meewerken een verspilling van hun tijd. Via dergelijke onderzoeken kan men zijn mening kenbaar maken. De resultaten van dergelijke onderzoeken zijn bruikbaar om beleidsbeslissingen te nemen. Dergelijk onderzoek is een inbreuk op de privacy van mensen. Iedereen heeft de verantwoordelijkheid om mee te werken aan dergelijke onderzoeken. De resultaten van dergelijke onderzoeken zijn meestal juist. Met dergelijke onderzoeken krijgt de overheid een goed beeld van wat er leeft bij de bevolking.
Helemaal oneens
Beoordeling van uitspraken over surveyonderzoek. (helemaal oneens – helemaal eens) APS survey 2002, drop off
9.3
45.7
30.4
9.6
5.0
1250
2.1
8.0
16.9
59.0
13.9
1306
3.3
13.1
26.3
48.0
9.3
1215
9.1
42.6
32.2
11.9
4.2
1273
4.9
20.5
31.6
35.9
7.0
1269
1.5
11.5
44.7
38.7
3.7
1165
1.2
8.5
25.8
52.7
11.8
1234
Uit de antwoorden op deze uitspraken komt er terug een redelijk positief beeld over surveyonderzoek naar boven. Bijna drie vierden van de respondenten is het (helemaal) eens met de uitspraak dat men door middel van dergelijke onderzoeken zijn mening kan kenbaar maken. Er is ook een vrij positieve beoordeling van de bruikbaarheid van de resultaten en men vindt ook dat de overheid een goed beeld krijgt van wat er leeft bij de bevolking. Slechts een relatief kleine groep (15%) vindt het een verspilling van hun tijd en een inbreuk op de privacy. Een minder uitgesproken tendens is er te vinden bij de uitspraak over de verantwoordelijkheid om mee te werken en de juistheid van de resultaten. Er kan daarbij worden opgemerkt dat de vraag over de geloofwaardigheid van de resultaten die in het face-to-face interview werd gesteld positiever werd beantwoord dan de uitspraak over de juistheid van de resul-
353
Vlaanderen gepeild ! taten. Dit ondersteunt de eerder gemaakt opmerking in verband met minder sociaal wenselijke antwoorden bij de schriftelijke vragenlijst. Met de uitspraken uit de drop-off vragenlijst in tabel 2, de reeds eerder besproken algemene vragen over geloofwaardigheid en zinvolheid (tabel 1), een vraag in het face-to-face interview over de bruikbaarheid van de resultaten voor het nemen van beleidsbeslissingen en nog een vraag uit de drop-off vragenlijst over het bekomen van een nauwkeurig beeld van de mening van de respondent kan een betrouwbare schaal geconstrueerd worden2 (Cronbach’s alpha= 0.84). Het gaat hier om een schaal die de algemene houding meet t.a.v. surveyonderzoek. Diverse aspecten zoals de juistheid, bruikbaarheid en zinvolheid komen daarbij aan bod. Als schaalwaarde voor de respondent wordt zijn gemiddelde score berekend op de 11 items van de schaal. Voor respondenten die de drop-off vragenlijst niet invulden wordt de schaalwaarde bepaald op basis van de drie vragen die in het face-to-face interview werden gesteld. In feite gebeurt er voor de ontbrekende informatie een imputatie van het gemiddelde van de items waarvoor wel antwoorden werden gegeven. Er moesten wel minstens twee vragen worden beantwoord3. Afgerond tot op de eenheid is de minimum waarde van de schaal gelijk aan 1 (zeer negatieve houding) en de maximale waarde gelijk aan 5 (zeer positieve houding). De frequentieverdeling van de op die schaal uitgedrukte houding t.a.v. surveys bevestigt het algemene overwegend positieve beeld dat bij het bespreken van de items in tabel 2 reeds naar voren kwam. Samengevat kan gesteld worden dat 56 % een positieve houding heeft, 40% is eerder neutraal en slechts 4% heeft een negatieve houding t.a.v. surveys. Wanneer de houding gerelateerd wordt aan de bereidheid om opnieuw mee te werken aan een gelijkaardig interview dan stellen we vast dat het percentage respondenten dat bereid is om opnieuw mee te werken stijgt naarmate de houding positiever wordt (Figuur 1) (chi-kwadraat=165.76, df=4, p<0.001). Alle respondenten met een zeer positieve houding zijn bereid om opnieuw mee te werken. Bij diegene met een (zeer) negatieve houding is dit slechts een derde.
2. Voor de resultaten van een factoranalyse met deze variabelen die de validiteit van de schaal ondersteunen, verwijzen we naar bijlage 1. 3. Voor 79.5% van de respondenten wordt de schaalwaarde berekend op basis van 10 of 11 antwoorden, slechts 0.16% van de respondenten beantwoorden slechts 2 vragen en krijgen geen schaalwaarde.
354
Peilen in Vlaanderen. De houding van de Vlaming
FIGUUR 1
Percentage respondenten dat bereid is om terug meen te werken per categorie van de algemene houding t.a.v surveys.
In de schriftelijke vragenlijst werd ook gevraagd of men getwijfeld had om mee te werken aan het interview (niet, een beetje of sterk). Ook deze informatie blijkt samen te hangen met de houding die men heeft t.a.v. surveys. Naarmate de houding positiever is, beweert men dat men minder getwijfeld heeft om mee te werken (chikwadraat= 241.53, df=8, p<0.001). Bijna 1 op vijf van de respondenten met een (zeer) negatieve houding heeft niet getwijfeld om mee te werken. Bij de respondenten die een (zeer) positieve houding hebben is dit 71%. Het feit dat de houding gerelateerd is aan de twijfel die men had om mee te werken en de bereidheid die men heeft om opnieuw mee te werken, ondersteunt de validiteit van de meting van de houding en de reeds eerder gemaakte veronderstelling dat diegene met een negatieve houding wellicht niet meewerken aan dergelijke interviews. Dit bevestigt de reeds eerder gemaakte opmerking dat de meting van de houding t.a.v. surveys die door middel van een survey wordt gemeten, vertekend is. De meting geeft een te positief beeld. Dit kan verder onderbouwd worden met de resultaten van de korte telefonische bevraging die naar aanleiding van de survey in 2001 gebeurde bij een (klein) deel van de personen die het face-to-face interview weigerden (Devacht & Loosveldt, 2001). Tijdens dit korte interview werden aan de weigeraars de vragen gesteld over de zinvolheid en de geloofwaardigheid van opinieonderzoek. Ook de uitspraak dat onderzoek een verspilling is van tijd werd aan hen voorgelegd. De resultaten zijn opmerkelijk en dit niettegenstaande de beperkte omvang van de bevraagde groep (n=32): tweede derde vindt opinieonderzoek niet of helemaal niet zinvol, 60% vindt dit onderzoek bijna nooit of nooit geloofwaardig en 59% is het eens of helemaal eens met de stelling dat onderzoek een verspilling is van tijd. Ook bij deze bevraging speelt de reactiviteit van de meting een rol. Zij die weigeren zullen consistent met hun gedrag een negatieve houding rapporteren. Toch zijn de verschillen met diegenen die aan het face-to-face interview hebben meegewerkt frappant (cfr. tabel 2). De verschillen bevestigen in ieder geval de stelling dat de
355
Vlaanderen gepeild ! meting van de houding tijdens een face-to-face interview in positieve zin vertekend is.
3
| Evaluatie van de concrete interviewervaring.
Hoewel de meeste informatie die werd gebruikt om de algemene houding te meten werd geregistreerd door middel van de schriftelijke drop-off vragenlijst en er dus een zekere afstand is met het face-to-face interview, mogen we toch veronderstellen dat de algemene houding t.a.v. surveys mede bepaald wordt door die concrete interviewervaring. Bij het evalueren van de opzet en de implementatie van een survey is het daarenboven belangrijk om te weten hoe respondenten het interview waaraan ze hebben deelgenomen ervaren. Een dergelijke evaluatie van een concrete ervaring met het deelnemen aan een interview maakt trouwens deel uit van het in kaart brengen van het algemene surveyklimaat. De interviews die in het kader van het APS-surveys worden afgenomen vragen van de respondenten een redelijk zware inspanning. Er worden vragen gesteld over zeer diverse onderwerpen. Het beantwoorden van de vragen vergt een grote cognitieve inspanning. Sommige respondenten hebben bepaalde vragen wellicht niet graag beantwoord (bv. inkomensvraag). Zoals uit tabel 3 blijkt, bedroeg de gemiddelde interviewduur in 2002 anderhalf uur. Een kwart van de respondenten vindt de interviewduur dan ook te lang. In 2000 en 2001 was de gemiddelde duur van een interview beduidend korter. Toch evalueren nog steeds 15% van de respondenten het interview als te lang.
356
Peilen in Vlaanderen. De houding van de Vlaming
TABEL 3
Vergelijking van de APS-surveys van 2000, 2001 en 2002 wat betreft gemiddelde interviewduur, evaluatie van de interviewduur, de moeilijkheidsgraad en de algemene sfeer van het interview.
Gemiddelde duur (N) Evaluatie duur % te lang (N) Moeilijkheidsgraad (zeer) moeilijk noch moeilijk noch gemakkelijk (zeer) gemakkelijk (N) Algemene sfeer (zeer) aangenaam noch aangenaam noch onaangenaam (zeer) onaangenaam (N)
2000 74 min. (1324)
2001 64 min. (1425)
2002 91 min. (1452)
15.1 (1330)
14.7 (1428)
25.6 (1459)
15.1 44.6 40.4 (1339)
13.8 30.3 55.9 (1442)
17.8 51.7 30.5 (1471)
81.5 17.1 1.4 (1339)
77.2 20.8 2.0 (1437)
63.8 33.5 2.7 (1337)a
a. Deze vraag werd in de schriftelijke drop-off vragenlijst gesteld.
In 2002 vindt een groter percentage van de respondenten het beantwoorden van de vragen moeilijker4 . Slechts 30% van de respondenten vond het beantwoorden van de vragen (zeer) gemakkelijk. Dit is beduidend minder dan de vorige twee jaren. In 2002 zijn er ook minder respondenten die het interview (zeer) aangenaam vonden5. Bij dit laatste aspect dient echter onmiddellijk te worden opgemerkt dat de algemene sfeer van het interview toch door een overgrote meerderheid van de respondenten positief wordt geëvalueerd. Er kan gesteld worden dat het deelnemen aan het interview in 2002 voor heel wat respondenten een serieuze tijdsinvestering was en dat het ook voor een niet onbelangrijke groep een zware cognitieve inspanning betekende. Hoewel de meerderheid het interview aangenaam vond lijkt het er toch op dat het interview in 2002 voor sommige respondenten te belastend was. Bij het opzetten van toekomstig onderzoek doet men er goed aan om de interviewduur te beperken tot minder dan één uur. Het is immers zeer de vraag of respondenten bereid zijn om dergelijke 4. De vraag was ‘In het algemeen genomen, hoe moeilijk of gemakkelijk vond u het om de vragen die tijdens het voorbije interview werden gesteld, te beantwoorden? antwoordmogelijkheden: zeer moeilijk, moeilijk, noch moeilijk noch gemakkelijk, gemakkelijk, zeer gemakkelijk. 5. De vraag was ‘Hoe aangenaam of onaangenaam vond u in het algemeen het interview waaraan u hebt meegewerkt? Antwoordmogelijkheden: zeer aangename ervaring, aangename ervaring, noch aangename noch onaangename ervaring, onaangename ervaring, zeer onaangename ervaring.
357
Vlaanderen gepeild ! inspanningen belangeloos te blijven leveren. In 2002 zijn meer dan één op vier respondenten (28,7%) het (helemaal) eens met de uitspraak ‘Mensen zouden betaald moeten worden om mee te werken aan een dergelijk interview.’ In 2000 en 2001 was dit respectievelijk slechts 11.2% en 15.4%. Dit is opnieuw een indicatie dat de bevraging in 2002 voor de respondenten vrij belastend was. Niettegenstaande deze vrij zware inspanning rapporteerden de respondenten in 2002 – zoals in de vorige paragraaf werd beschreven - een overwegend positieve houding t.a.v. van surveys. De vraag is dan ook of de evaluatie van de concrete interviewervaring gerelateerd is aan deze algemene houding. Deze vraag kan enkel voor de survey van 2002 worden beantwoord. Om het effect te evalueren van de vier aspecten van de concrete interviewervaring die in tabel 3 zijn opgenomen, werden 2 multiple regressie analyses uitgevoerd waarbij de algemene houding telkens als afhankelijke variabele wordt gebruikt. In de eerste analyse werden de objectieve interviewduur, de evaluatie van de interviewduur en de evaluatie van de moeilijkheidsgraad als onafhankelijke variabelen opgenomen (model 1). In de tweede multiple regressievergelijking werd ook de evaluatie van de algemene sfeer van het interview als onafhankelijke variabele opgenomen (model 2). Deze laatste analyse heeft bijgevolg enkel betrekking op diegene die de drop-off vragenlijst invulden. Dit is ook de reden om twee afzonderlijke regressieanalyses uit te voeren. De resultaten van beide analyses zijn opgenomen in tabel 4.
TABEL 4
Multiple regressieanalyse met algemene houding t.a.v. surveys als afhankelijke variabele en objectieve interviewduur, evaluatie van interviewduur, de moeilijkheidsgraad en algemene sfeer van het interview als onafhankelijke variabelen (gestandaardiseerde coëfficiënten)
onafhankelijke variabelen interviewduur evaluatie • interviewduur • moeilijkheidsgraad • algemene sfeer N R2
Model 1 Parameters 0.12 ***
Model 2 Parameters 0.07**
-0.21 *** 0.11 ***
-0.10*** 0.06* 0.45***
1432 0.07
1363 0.25
*** p<0.001; ** p<0.01; * p<0.05
Uit de parameters van model 1 blijkt dat er een positief effect is van de objectieve duur van het interview. Hoe langer het interview duurt hoe positiever de houding is. Dit effect illustreert dat de beïnvloedingsrichting bij deze analyse niet evident
358
Peilen in Vlaanderen. De houding van de Vlaming
is. Het lijkt er immers op dat diegene die een positieve houding hebben het interview in een rustige sfeer laten verlopen zodat het afnemen van het interview langer duurt. Bij deze verklaring is het de houding die de duur bepaalt. Het negatieve effect van de subjectieve evaluatie van de interviewduur maakt echter duidelijk dat wanneer de respondent vindt dat het interview te lang duurt zijn houding negatiever wordt. Verder zien we dat hoe gemakkelijker men het vindt om de vragen te beantwoorden hoe positiever de houding wordt. De drie variabelen samen verklaren 7% van de variantie van de algemene houding. Dit wijst erop dat de concrete interviewervaring wel een zekere invloed heeft op de meting van de algemene houding maar dat die invloed zeker niet overschat mag worden. Wanneer de algemene evaluatie van de ervaring van het interview aan de vergelijking wordt toegevoegd (model 2) dan stellen we vast dat de effecten van de variabelen die reeds in model 1 waren opgenomen verzwakken maar dat de proportie verklaarde variantie van de houding stijgt tot een kwart. De algemene evaluatie van de interviewervaring in termen van aangenaam of onaangenaam heeft in de analyse veruit het sterkste effect. Ook bij deze variabele kan opgemerkt worden dat de beïnvloedingsrichting omgekeerd kan zijn dan de specificatie in de vergelijking: de houding beïnvloedt de evaluatie van de ervaring en diegenen met een positieve houding vinden dat het interview aangenamer is. Als conclusie in verband met de invloed van de concrete interviewervaring op de meting van de algemene houding t.a.v. surveys kan er gesteld worden dat de invloed van de evaluatie van de algemene sfeer van het interview belangrijker is dan de concrete aspecten van het interview. Daarbij is de beïnvloedingsrichting niet evident en kan een wederkerige relatie geargumenteerd worden. De houding t.a.v. surveys zou daarbij een invloed hebben op het concrete verloop en de algemene sfeer van het interview wat dan op zijn beurt de houding beïnvloedt.
4
| Relatie tussen de houding t.a.v. surveys en enkele achtergrondkenmerken
De vraag kan gesteld worden of de houding t.a.v. surveys verschilt tussen groepen van respondenten die kunnen worden onderscheiden op basis van een aantal klassieke achtergrondkenmerken zoals leeftijd, geslacht, opleidingsniveau, beroeps- en gezinssituatie. De analyse van de samenhang tussen de houding en dergelijke achtergrondkenmerken laat toe om na te gaan of er bepaalde categorieën van respondenten zijn met een minder positieve houding t.a.v. surveys. De theoretische basis om verwachtingen te formuleren waarom en hoe bepaalde achtergrondkenmerken zouden samenhangen met de houding t.a.v. surveys is echter zwak. Wel is uit de analyse van de nonrespons in vorige APS-surveys reeds gebleken dat sommige van deze kenmerken wel samenhangen met de beslissing om mee te werken aan het interview. Zo blijken voornamelijk oudere vrouwen en vooral lager opgeleiden ondervertegenwoordigd te zijn bij de respondenten (Loosveldt & Carton, 2001). Gegeven de
359
Vlaanderen gepeild ! eerder opgemerkte samenhang tussen houding en bereidheid om aan een interview mee te werken kunnen we veronderstellen dat vrouwen, ouderen en lager opgeleiden een negatievere houding zullen hebben. De achterliggende redenen daarvoor kunnen echter verschillend zijn. Vrouwen hebben minder interesse in politiek en algemeen maatschappelijke thema's (Carton, 1993) waardoor ze het wellicht minder zinvol en noodzakelijk vinden om daar onderzoek over te doen. Ouderen en lager opgeleiden zijn wellicht minder vertrouwd met dit type van onderzoek waardoor ze het nut en de bruikbaarheid ervan niet hoog inschatten wat dan resulteert in een negatievere algemene houding. De zonet geformuleerde verwachtingen worden echter slechts gedeeltelijk ondersteund. Zo is de gemiddelde score op de houdingsschaal bij de vrouwen zoals verwacht lager dan bij de mannen. Maar dit verschil is niet significant (mannen= 3.52, vrouwen=3.47; p>0.05). Wanneer drie categorieĂŤn van opleidingsniveau worden onderscheiden (laag= geen, lager onderwijs en lager secundair; midden= hoger secundair, hoog= hoger onderwijs) dan blijkt dat de lager opgeleiden een positievere houding hebben dan de hoger opgeleiden (laag=3.55, midden=3.46 , hoog=3.44, p<0.01). Ook de samenhang met leeftijd is significant maar zoals uit onderstaande figuur 2 blijkt, is de richting van die samenhang niet zoals verwacht. De oudere leeftijdsgroepen zijn beduidend positiever. Zo zien we bij de leeftijdsgroep 65-74 jaar dat drie kwart behoort tot de categorie met een positieve houding, bij de groepen die jonger zijn dan 45 jaar is dit net niet de helft. Een gelijkaardige samenhang werd eerder reeds vastgesteld door Storms en Loosveldt (Storms en Loosveldt, 2001). De veronderstelling dat ouderen en lager opgeleiden omwille van een geringere vertrouwdheid met dit soort onderzoek een negatievere houding hebben wordt dus niet ondersteund. FIGUUR 2
Algemene houding t.a.v surveys naar leeftijdscategorieĂŤn.
Het patroon van de samenhang met leeftijd suggereert dat het de beroepsactieve leeftijdsgroepen zijn die een negatievere houding hebben. We kunnen veronderstellen dat personen met weinig beschikbare tijd minder bereid zijn om hun
360
Peilen in Vlaanderen. De houding van de Vlaming
schaarse tijd te spenderen aan dergelijke interviews waarvan ze ‘het belang en het nut niet van inzien’. Dit laatste betekent dat ze een negatieve houding hebben. Deze veronderstelling wordt door de data ondersteund. We stellen vast dat respondenten met betaald werk significant minder hoog scoren op de algemene houdingsschaal dan niet werkenden (betaald werk=3.42, geen betaald werk=3.58, p<0.01). Dit betekent dus dat zij die werken en bijgevolg minder beschikbare tijd hebben een minder positieve houding hebben. Een andere afbakening van een groep met minder beschikbare tijd kan gebeuren op basis van het al of niet hebben van kinderen. We nemen aan dat personen die behoren tot gezinnen met kinderen jonger dan 18 jaar minder beschikbare tijd hebben en dat ze omwille daarvan een negatievere houding hebben. De data ondersteunen ook deze veronderstelling. Personen die behoren tot een gezin met kinderen jonger dan 18 jaar hebben een significant negatievere houding. (geen kinderen <18 =3.54; wel kinderen <18=3.40, p<0.001). Dit is in tegenstelling met bevindingen van Groves & Couper (1998) die vaststelden dat huishoudens met jonge kinderen meer bereid zijn om mee te werken aan onderzoek. Wanneer de zonet besproken achtergrondkenmerken die significant samenhangen met de algemene houding (leeftijd, opleidingsniveau, al of niet werken en al of niet aanwezig zijn van kinderen jonger dan 18 jaar) als onafhankelijke variabelen in een multiple regressieanalyse worden opgenomen dan blijken enkel de partiële effecten van leeftijd en al of niet werken significant te zijn (cfr. tabel 5). Het partiële effect van het opleidingsniveau en de aanwezigheid van kinderen onder de 18 jaar blijken niet meer significant te zijn onder controle van leeftijd en werksituatie. De vaststelling dat het effect van leeftijd onder controle van de twee variabelen die kunnen beschouwd worden als indicatoren van beschikbare tijd, significant blijft, betekent dat het effect van leeftijd niet geïnterpreteerd mag worden in termen van beschikbare tijd. Blijkbaar zijn het andere leeftijdsgebonden elementen die voor de samenhang met de algemene houding zorgen. Het is daarbij niet duidelijk of het om leeftijdsgebonden elementen dan wel om generatiegebonden elementen gaat. TABEL 5
Multiple regressieanalyse met algemene houding t.a.v. surveys als afhankelijke variabele en leeftijd, opleidingsniveau, al of niet werken en al of niet aanwezig zijn van kinderen jonger dan 18 jaar als onafhankelijke variabelen (gestandaardiseerde coëfficiënten) Onafhankelijke variabelen leeftijd opleidingsniveau werksituatie kinderen <18 jaar
Parameters 0.09 ** -0.008 -0.087 ** -0.042
R2
0.03
**p<0.01
361
Vlaanderen gepeild ! Dit significante effect van leeftijd kan wellicht een verklaring bieden voor het positieve effect van de duur van het interview op de houding t.a.v. surveys (zie tabel 4). Leeftijd hangt immers positief samen met de interviewduur (correlatie=0.22, p<0.0001). Om dit effect te evalueren zijn de twee significante achtergrondkenmerken uit tabel 5, toegevoegd aan de twee multiple regressieanalyses van de vier aspecten van de concrete interviewervaring (tabel 4) waarbij de algemene houding t.a.v. surveys als afhankelijke variabele wordt gebruikt. In de eerste analyse werden de objectieve interviewduur, de evaluatie van de interviewduur, de evaluatie van de moeilijkheidsgraad, leeftijd en werksituatie als onafhankelijke variabelen opgenomen (model 1). In de tweede multiple regressievergelijking werd ook de evaluatie van de algemene sfeer van het interview als onafhankelijke variabele opgenomen (model 2). De resultaten worden voorgesteld in tabel 6. TABEL 6
Multiple regressieanalyse met algemene houding t.a.v. surveys als afhankelijke variabele en objectieve interviewduur, evaluatie van interviewduur, de moeilijkheidsgraad, leeftijd, werksituatie en algemene sfeer van het interview als onafhankelijke variabelen (gestandaardiseerde coëfficiënten)
onafhankelijke variabelen interviewduur • leeftijd evaluatie • interviewduur • moeilijkheidsgraad • werksituatie • algemene sfeer N R2
Model 1 Parameters 0.09 *** 0.07 *
Model 2 Parameters 0.05 * 0.03
-0.21 *** 0.11 *** -0.11 ***
-0.10 *** 0.07 ** -0.09 ** 0.43 ***
1431 0.09
1305 0.26
*** p<0.001; ** p<0.01; * p<0.05
Uit de parameters van model 1 blijkt dat er nog steeds een positief effect is van de objectieve duur van het interview, ondanks de controle voor leeftijd. Meer zelfs, het partiële effect voor leeftijd is na toevoeging van de evaluatie van de algemene sfeer van het interview niet meer significant. Het verband tussen leeftijd en de beoordeling van de algemene sfeer van het interview blijkt immers redelijk sterk te zijn (correlatie=0.20, p<0.0001). De positieve samenhang van duur van het interview en houding t.a.v. surveys is dus niet te verklaren o.b.v. leeftijd van de respondent. Er dient bij deze analyse van het effect van de achtergrondkenmerken zeker te worden opgemerkt dat de verklaringskracht van deze kenmerken gering is. Het is
362
Peilen in Vlaanderen. De houding van de Vlaming
met andere woorden niet echt mogelijk om op basis van de achtergrondkenmerken groepen van respondenten te vormen die duidelijk sterk van elkaar verschillen in hun houding t.a.v. surveys. In de volgende paragraaf gaan we na of de algemene houding t.a.v. surveys kan gerelateerd worden aan andere houdingen die tijdens het interview werden bevraagd.
5
| Relatie tussen de houding t.a.v. surveys en enkele attitudes met betrekking tot de politieke instellingen en maatschappelijke betrokkenheid
Wanneer we de items bekijken die gebruikt worden om de algemene houding t.a.v. surveys te meten dan stellen we vast dat enkele daarvan betrekking hebben op beleidsrelevantie van surveys, de mogelijkheid om door middel van een surveyonderzoek zijn mening kenbaar te maken en de mogelijkheid om op basis van een survey een algemeen beeld te krijgen van wat er leeft bij de bevolking. Door deze items wordt het surveyonderzoek in feite beschouwd als een nuttig instrument in de context van politieke besluitvorming. We kunnen dan ook verwachten dat omwille van deze dimensie van de algemene houding t.a.v. surveys deze houding zal samenhangen met attitudes die betrekking hebben op de politieke besluitvorming in het algemeen. Politieke machteloosheid is één van die attitudes en verwijst naar de mate waarin men het onvermogen ervaart om politieke beslissingen te beïnvloeden.
5.1
| Politieke machteloosheid
We kunnen verwachten dat respondenten die gekenmerkt worden door een hoge mate van politieke machteloosheid surveyonderzoek niet direct zullen beschouwen als een instrument om hun mening kenbaar te maken en dat ze weinig belang zullen hechten aan de beleidsrelevantie van de resultaten van surveyonderzoek. In de vragenlijst van het APS-survey van 2002 is een lijst van items opgenomen waarmee een betrouwbare schaal kan worden geconstrueerd om de politieke machteloosheid te meten6 (Cronbachs Alpha=0.80). De correlatie tussen politieke machteloosheid en
6. Het gaat om de volgende 9 items: 1. Gaan stemmen heeft geen zin, de partijen doen toch wat ze willen. 2. De meeste van onze politici zijn geschikte mensen die weten wat ze doen. 3. Bij de verkiezingen belooft de ene partij al meer dan de andere, maar uiteindelijk komt er weinig van terecht. 4. De politieke partijen zijn alleen maar geïnteresseerd in mijn stem en niet in mijn mening. 5. Als er mensen zoals ik aan de politici hun opvattingen laten weten, dan zullen zij daar rekening mee houden. 6. Er stemmen zoveel mensen bij de verkiezingen dat mijn stem er niet toe doet. 7. Mensen zoals ik hebben wel degelijk invloed op wat de overheid doet. 8. De politici hebben nooit geleerd om te luisteren naar gewone mensen zoals ik. 9. Als het parlement een onrechtvaardige wet heeft gestemd, dan kan je daar als burger nog weinig aan doen. De uitspraken werden beoordeeld op een 5 puntschaal: 1 helemaal oneens, 2 oneens, 3 noch oneens noch eens, 4 eens, 5 helemaal eens. De schaalwaarde voor elke respondent is de gemiddelde score op deze 9 items.
363
Vlaanderen gepeild ! de algemene houding t.a.v. van surveys is significant en bevestigt de verwachting (correlatie = -0.13, p<0.001). Naarmate de politieke machteloosheid toeneemt staat men negatiever t.a.v. surveys. Dit resultaat bevestigt ook vroegere bevindingen (Storms & Loosveldt, 2001). Er kan daarbij opgemerkt worden dat een negatieve correlatiecoëfficiënt van -0.13 een uitdrukking is van een eerder zwakke samenhang. Bij deze eerder zwakke samenhang kunnen twee opmerkingen worden gemaakt. Ten eerste is de sterkte van de samenhang wellicht onderschat. Bij de weigeraars mag immers een lage waarde op de houding t.a.v. surveys en een hoge waarde voor politieke machteloosheid worden verwacht. In de steekproef ontbreekt dus een groep die de relatie tussen beide kenmerken zou kunnen versterken. Ten tweede mag de sterkte van de samenhang ook niet worden onderschat. Dit wordt duidelijk geïllustreerd wanneer beide variabelen in 3 categorieën worden ingedeeld (houding t.a.v. surveys: 1. negatief, 2. neutraal, 3. positief; politieke machteloosheid: 1. zwak, 2. matig, 3. sterk) en de samenhang tussen deze categorische variabelen worden geanalyseerd (chi-kwadraat= 25.94, df=4, p<0.001). In figuur 3 wordt die samenhang grafisch voorgesteld. Bij de respondenten die behoren tot de categorie ‘zwak politiek machteloos’, dit zijn dus diegene die vinden dat ze wel een invloed kunnen hebben op de politieke besluitvorming, zijn er 71% met een positieve houding t.a.v. surveys. Bij de categorie ‘sterk politiek machteloos’ is dit bijna 20 procentpunten lager (52%). FIGUUR 3
Samenhang tussen de houding t.a.v. surveys en politieke machteloosheid
5.2
| Vertrouwen in politieke instellingen.
Het vertrouwen dat mensen hebben in politieke instellingen is een tweede element van de werking van het politieke systeem waarvoor de samenhang met de houding t.a.v. surveys kan onderzocht worden. De algemene houding t.a.v. surveys is immers ook een uitdrukking van het vertrouwen dat respondenten hebben in de geloofwaardigheid en de zinvolheid van dergelijk onderzoek in een politieke context.
364
Peilen in Vlaanderen. De houding van de Vlaming
We nemen aan dat wie veel vertrouwen heeft in de werking van politieke instellingen, surveyonderzoek zinvol en bruikbaar vindt voor de werking van die instellingen (Storms & Loosveldt, 2001). We verwachten dus een positieve samenhang tussen het vertrouwen in politieke instellingen en de houding t.a.v. surveys. In de vragenlijst van het APS-survey van 2002 werd aan de respondenten gevraagd om op een vijfpunt schaal (zeer weinig, weinig, niet veel en niet weinig, veel en zeer veel) aan te geven hoeveel vertrouwen men heeft in 19 verschillende organisaties en instellingen. De lijst bevat onder andere vier belangrijke politieke instellingen die vaak in de media aan bod komen: Belgische regering, Vlaamse regering, Vlaams parlement en Vlaamse politieke partijen. Hiermee kan een betrouwbare schaal worden gemaakt die het vertrouwen in de politieke instellingen meet (Cronbachs Alpha=0.88). Zoals verwacht stellen we vast dat naarmate het vertrouwen in politieke instellingen stijgt de houding t.a.v. surveys positiever wordt (correlatie= 0.19, p<0.001). Ook deze samenhang is een bevestiging van vroegere onderzoeksresultaten (Storms & Loosveldt, 2001). Deze samenhang is iets sterker dan de zonet gerapporteerde samenhang met politieke machteloosheid. Van de respondenten die (zeer) veel vertrouwen hebben in de politieke instellingen hebben 70% een positieve houding t.a.v. surveys, bij de respondenten met (zeer) weinig vertrouwen is dit bijna 25 procentpunten lager (46.1%). De hiervoor onderbouwde veronderstelling dat zij die niet meewerken, gekenmerkt worden door een negatieve houding t.a.v. surveys enerzijds en de samenhang tussen de houding t.a.v. surveys en politieke machteloosheid en vertrouwen in politieke instellingen anderzijds laten toe een uitspraak te doen over de richting van de vertekening bij de meting van politieke machteloosheid en het vertrouwen in politieke instellingen. De politieke machteloosheid wordt onderschat en het vertrouwen in politieke instellingen wordt overschat. Deze conclusie ligt volledig in de lijn van de vaststelling dat men in verkiezingsonderzoek de politieke interesse meet van diegene die het meest in politiek geïnteresseerd zijn (Loosveldt en Carton, 2001).
5.3
| Betrokkenheid op gemeenschap in het algemeen.
Vervolgens kan de vraag gesteld worden of de houding t.a.v. surveys ook gerelateerd is aan een betrokkenheid op de gemeenschap in het algemeen. Het deelnemen aan een survey over maatschappelijke thema's dat georganiseerd wordt door de overheid is trouwens reeds een uitdrukking van een beperkt maatschappelijk engagement. Een van de items die gebruikt worden om de houding t.a.v. surveys te meten sluit daar inhoudelijk dicht bij aan: ' Iedereen heeft de verantwoordelijkheid om mee te werken aan dergelijke onderzoeken'. In de vragenlijst van het APS-survey van 2002 zijn drie uitspraken opgenomen die de betrokkenheid op de medemens en de gemeenschap uitdrukken: ‘Men voelt zich pas gelukkig als men regelmatig iets voor anderen kan doen zonder van hen iets terug te verwachten’, ‘Ik voel me pas echt goed als ik me kan inzetten voor een gemeenschappelijk doel’ en ‘Een mens kan zich
365
Vlaanderen gepeild ! maar echt gelukkig voelen als zijn medemens ook gelukkig is’. Deze uitspraken werden beoordeeld op een vijfpunt schaal (helemaal oneens, oneens, noch eens noch oneens, eens, helemaal eens). De drie uitspraken vormen een redelijk betrouwbare schaal die de betrokkenheid op de anderen en de gemeenschap uitdrukt (Cronbachs Alpha=0.66). Een hoge waarde op de schaal betekent een sterke gerichtheid op de anderen. Ook deze schaal is positief gecorreleerd met de houding t.a.v. surveys (correlatie=0.22, p<0.001). Een sterkere gerichtheid op de anderen gaat samen met een positieve houding t.a.v. surveys. Bij de respondenten die behoren tot de groep ‘sterke betrokkenheid op de anderen’ heeft 72% een positieve houding t.a.v. surveys, bij de groep met een zwakke betrokkenheid is dit slechts 41%.
5.4
| Utilitair individualisme
De vragenlijst bevat ook een aantal uitspraken om utilitair individualisme te meten. Utilitair individualisme heeft betrekking op het streven naar persoonlijk materieel succes en status. Dit wordt belangrijker geacht dan het onderhouden van een goede relatie met zijn medeburgers. Utilitair individualisme is nauw verwant met het eigenbelang. Uit onderzoek is gebleken dat personen die gekenmerkt worden door een hoge mate van utilitair individualisme minder bereid zijn om mee te werken aan een interview tijdens een tweede golf van een panelonderzoek (Loosveldt & Carton, 2002). Men beschouwt de deelname aan een interview blijkbaar als een investering in een activiteit die het algemeen belang dient maar waaraan weinig of geen directe individuele voordelen verbonden zijn. Men kan dan ook verwachten dat naarmate personen meer gekenmerkt worden door utilitair individualisme ze een minder positieve houding zullen hebben t.a.v. surveys. In de vragenlijst van het APSsurvey van 2002 zijn 8 uitspraken7 die een uitdrukking zijn utilitair individualisme. Samen vormen ze een betrouwbare schaal (Cronbachs Alpha = 0.87). De samenhang tussen utilitair individualisme en de houding t.a.v. surveys is zoals verwacht negatief: naarmate het utilitair individualisme toeneemt wordt de houding t.a.v. surveys negatiever. Deze samenhang is tegen de verwachting in, niet significant (correlatie= 0.05, p>0.05). In tegenstelling tot de gerichtheid op anderen en de gemeenschap is het nastreven van persoonlijk succes en status dus niet gerelateerd aan de houding t.a.v. surveys. Ook dit bevestigt eerdere bevindingen (Storms & Loosveldt, 2001).
7.
De 8 uitspraken om utilitair individualisme te meten zijn: 1. De mensheid, onze naasten, solidariteit… wat een onzin allemaal, iedereen moet eerst voor zichzelf zorgen en zijn belangen verdedigen. 2. Men moet steeds zijn eigenbelang nastreven, en zich niet te veel van de anderen aantrekken. 3. Wat telt zijn geld en macht, al de rest zijn praatjes. 4. Het nastreven van persoonlijk succes is belangrijker dat te zorgen voor een goede verstandhouding met anderen. 5. In de samenleving kan men maar beter eerst voor zichzelf zorgen. 6. Het is belangrijk om in de eerste plaats te streven naar een vooraanstaande positie voor zichzelf. 7. Wie veel kan, mag dit hoofdzakelijk gebruiken om er zelf beter van te worden. 8. In de samenleving komt het erop aan om te vechten voor uw eigen positie, de rest volgt wel. Antwoordschaal: helemaal oneens, oneens, noch eens noch oneens, eens, helemaal eens.
366
Peilen in Vlaanderen. De houding van de Vlaming
6
| Besluit
Een belangrijke voorwaarde om bij een bepaalde populatie op een vlotte wijze een survey te kunnen uitvoeren is een voldoende positieve houding t.a.v. surveys. Het is dan ook belangrijk om op geregelde tijdstippen deze houding te meten en op basis daarvan na te gaan in welke mate er voldaan is aan die voorwaarde. We kunnen stellen dat Vlamingen over het algemeen genomen een vrij positieve houding hebben t.a.v. surveyonderzoek. Dit betekent o.a. dat ze vinden dat men door middel van een survey een beeld kan krijgen van wat er leeft onder de bevolking en dat ze de resultaten van surveyonderzoek bruikbaar achten voor beleidsmakers. In die zin is er in Vlaanderen aan een belangrijke voorwaarde voldaan om surveyonderzoek te kunnen uitvoeren en de resultaten ervan te gebruiken bij het uittekenen en evalueren van beleidsprojecten. Hier moet echter onmiddellijk aan worden toegevoegd dat de meting omwille van de nonrespons wellicht resulteert in een te positieve inschatting van deze houding. Het is immers aannemelijk te veronderstellen en er zijn empirische aanwijzingen dat diegenen met een negatieve houding een geringere bereidheid hebben om aan een surveyinterview te participeren. Deze samenhang laat ons ook toe om de vertekening te evalueren bij de meting van andere inhoudelijke variabelen die gerelateerd zijn aan de houding t.a.v. surveys. Zo kan er geargumenteerd worden dat het vertrouwen in politieke instellingen wordt overschat en de politieke machteloosheid wordt onderschat. Surveyonderzoekers hebben er alle belang bij dat de houding t.a.v. surveys en het surveyklimaat in het algemeen positief blijven. Ze kunnen daar in beperkte mate zelf toe bijdragen door ervoor te zorgen dat de taakbelasting voor diegene die meewerken aan een interview niet te zwaar wordt. Surveyonderzoekers moeten zich meer realiseren dat er grenzen zijn aan wat respondenten bereid zijn om in een interview te investeren. Meewerken aan een interview moet voor de respondent in ieder geval een aangename ervaring zijn en zijn bereidheid op het eind van een interview om opnieuw mee te werken zou nog zeer groot moeten zijn. Het verdient aanbeveling om op het eind van een interview de evaluatie van de concrete interviewervaring en de bereidheid om opnieuw mee te werken te bevragen. Deze informatie laat toe om de eigen surveypraktijk te evalueren. Voor surveyonderzoekers is het ook belangrijk dat ze informatie hebben over het algemeen surveyklimaat. Het op geregelde tijdstippen bevragen van de houding t.a.v. surveys is daarbij belangrijk. Men kan zich ook de vraag stellen of men om het surveyklimaat te beschermen, niet zuiniger moet omspringen met surveyonderzoek. Er is in feite bijzonder weinig bekend over het aantal keer dat mensen worden uitgenodigd om deel te nemen aan een face-to-face, schriftelijke of telefonische 'enquĂŞtes'. Het vermoeden bestaat dat mensen daarvoor vrij frequent worden gecontacteerd en dat daarbij het onderscheid tussen dataverzameling in het kader van een onderzoek of een dataverzameling in het kader van een verkoopsactiviteit niet altijd even duidelijk is. Het is wenselijk om in toekomstig onderzoek deze surveypraktijk
367
Vlaanderen gepeild ! beter in kaart te brengen en na te gaan of het surveyklimaat niet moet worden beschermd en hoe een onderscheid kan gemaakt worden tussen surveyonderzoek en verkoopsgesprekken.
368
Peilen in Vlaanderen. De houding van de Vlaming
BIBLIOGRAFIE
Carton, A. (1993). Blijft politiek een mannenzaak? Een balans op basis van de resultaten van het onderzoek naar de politieke houdingen van de Vlaamse vrouwen en mannen. In M. Swyngedouw, J. Billiet, A. Carton & R. Beerten (red.). Kiezen is verliezen. Onderzoek naar de politieke opvattingen van Vlamingen. p. 163-184, Leuven: Acco. Carton, A. & Loosveldt, G. (2000). Basisdocumentatie: culturele verschuivingen in Vlaanderen 2000. Leuven: Afdeling Dataverzameling en Analyse, Departement Sociologie, K.U.Leuven. Carton, A., Hegemann, L. & Van Geel H (2002). Basisdocumentatie: Sociaal-culturele verschuivingen in Vlaanderen 2002. Brussel: Ministerie van de Vlaamse Gemeenschap, Administratie Planning en Statistiek. Devacht, S. & Loosveldt, G. (2001). Procesevaluatie: culturele verschuivingen in Vlaanderen 2001. Leuven: Afdeling Dataverzameling en Analyse, Departement Sociologie, K.U.Leuven. Devacht, S. & Loosveldt, G. (2001). Basisdocumentatie: culturele verschuivingen in Vlaanderen 2001. Leuven: Afdeling Dataverzameling en Analyse, Departement Sociologie, K.U.Leuven. Goyder, J. (1986). Survey on Surveys: limitations and potentialities. Public Opinion Quarterly, 50, 27-41. Groves, R. & Couper, M. (1998). Nonresponse in Household Surveys. New York: John Wiley and Sons. Heer, W. de (1999). International response trends: results of an international survey. Journal of Official Statistics, 15, 129-142. de Leeuw, E. en de Heer, W. (2002). Trends in Household Nonresponse: A Longitudinal and International Comparison. In R. Groves, D. Dillman, J. Eltinge & R. Little (eds.), Survey Nonresponse, New York: Wiley. Loosveldt, G. & Carton A. (2001). Kwaliteitsevaluatie van surveys, een toepassing op de surveys naar culturele verschuivingen in Vlaanderen. In: Vlaanderen gepeild, de Vlaamse overheid en burgeronderzoek 2001. Ministerie van de Vlaamse Gemeenschap. p. 11-42. Loosveldt, G. & Carton A. (2001). 'Knowledge from whom?' Het effect van utilitair individualisme en politieke machteloosheid op de non-respons in de tweede golf van een panel-survey. Mens & Maatschappij, 76, p.44-56. Loosveldt, G. & Carton A. (2002). Utilitarian Individualism and panel nonresponse. International Journal of Public Opinion Research, 14, p. 428- 438. Rogelberg, S. Fisher, G. Maynard, D. Hakel, M. & Horvath M. Attitudes towards surveys. Paper presented at the annual convention of the Society for Industrial and Organizational Psychology, St. Louis MO., 1997. StockĂŠ, V. (2001) The influence of frequency scales on the response behavior. A theoretical model and its empirical examination. SonderForschungsBereich 504, Working Paper Series, Universitat Mannheim. Storms, V. & Loosveldt G. (2001). Attitudes van respondenten ten aanzien van surveys onderzocht aan de hand van paneldata. Tijdschrift voor Sociologie, 22, 361-381.
369
Vlaanderen gepeild ! BIJLAGEN
BIJLAGE 1
Resultaten van de factoranalyse met de items van de schaal 'Algemene houding t.a.v. surveys' Item 1. Beoordeling zinvolheid van surveyonderzoek. 2. Beoordeling bruikbaarheid om beleidsbeslissingen te nemen. 3. Beoordeling geloofwaardigheid van de resultaten. 4. Beoordeling van de nauwkeurigheid van het beeld van de respondent. Uitspraken 5. Dergelijke onderzoeken zijn voor de mensen die eraan meewerken een verspilling van hun tijd. 6. Via dergelijk onderzoek kan men zijn mening kenbaar maken. 7. De resultaten van dergelijk onderzoek zijn bruikbaar om beleidsbeslissingen te nemen. 8. Dergelijk onderzoek is een inbreuk op de privacy van de mensen. 9. Iedereen heeft de verantwoordelijkheid om mee te werken aan dergelijke onderzoeken. 10. De resultaten van dergelijke onderzoeken zijn meestal juist 11. Met dergelijke onderzoeken krijgt de overheid een goed beeld van wat er leeft bij de bevolking. eigenwaarde
370
Factorlading 0.60 0.64 0.52 0.50
0.51 0.64 0.72 0.46 0.49 0.66 0.70 3.85