Via de website van Koen Martens is het nu mogelijk om een GL-enquête uit 1998 opnieuw in te vullen. Erg leuk initiatief en ik ben benieuwd hoe de resultaten van nu zich verhouden tot die van 1998. We zullen zien of Groenlinks met z’n tijd meegegaan is ;-).

Maar, nadat ik deze enquête invulde, bekroop me toch wel enige twijfel. Het doen van onderzoek is moeilijk, het gebruik van enquêtes misschien nog wel moeilijker en via internet ontstaan er alleen nog maar meer problemen. Hieronder dus een korte uiteenzetting van de problemen. Niet om het idee van Koen of het gebruik van enquêtes als geheel af te vallen, maar ter overweging. De twijfels bij deze enquête zijn eigenlijk best groot te noemen. Of, in andere woorden: de enquête deugt voor geen meter.

Allereerst is het bij dit soort enquêtes via het internet altijd de vraag wie er aan deelnemen. We weten nu niet zeker of dit alleen maar GL-leden zijn, of ook andere ‘voorbijgangers’. En: is voor ieder groenlinks-lid de kans wel even groot om deze in te vullen? Zouden het niet juist de progressievere leden zijn die in 1998 al internet gebruikten en nu aan het bloggen zijn en daarom aan het onderzoek deelnemen? Toch problematisch als je uitspraken wilt doen over opvattingen van alle leden van GL. Een gedeeltelijke oplossing hiervoor zou zijn twee of drie ‘achtergrond-vragen’ te stellen, zoals geslacht, leeftijd en duur lidmaatschap, zodat nagegaan kan worden of de deelnemers aan het onderzoek vergelijkbaar zijn met het gehele ledenbestand van groenlinks.

Dan de vragen zelf. Met de manier waarop die gesteld zijn, is van alles mis. Eerst een heel kort lijstje met zomaar wat aandachtspunten die me te binnen schieten. Daarna zal ik vier vragen van commentaar (=kritiek) voorzien. Vragen in een enquête moeten …
Рenkelvoudig zijn: er mag maar ̩̩n ding tegelijkertijd bevraagd worden
– niet motivatie en oordeel tegelijkertijd bevragen
– geen dubbele ontkenning bevatten
– niet uitgaan van veronderstellingen die niet iedereen deelt
– antwoordcategorieën bevatten die elkaar uitsluiten (dus geen overlap vertonen)
Рvragen wat je ̩cht wilt weten

Hoe simpel de bovenstaande regeltjes of richtlijnen ook mogen lijken, ze gaan maar al te vaak fout. Ze zijn allemaal terug te vinden in de GL-enquête. Vier voorbeelden:

Omdat het gevaar van ingekapseld te worden te groot is, moet de milieubeweging niet plaatsnemen aan de onderhandelingstafel met overheid, werkgevers en werknemers.

Deze eerste vraag uit de enquête is gelijk mis. Om te beginnen bevat de vraag een dubbele ontkenning: doordat het woord ‘niet’ in de stelling zelf zit en, afhankelijk van wat iemand wil antwoorden, ook in de antwoordcategorie blijken veel mensen in de war te raken en het verkeerde antwoord geven. Klinkt mischien een beetje overdreven, maar misschien herinner je nog wel de krantenkoppen dat 30 tot 40% (ofzo, ik weet de getallen niet meer) van de Britse jongeren dachten dat de Holocaust niet plaats had gevonden? Deze uitspraak bleek voort te komen uit een onderzoek met een dubbele ontkenning. Toen het onderzoek nog een keer over gedaan werd, zonder de dubbele ontkenning, bleek dat een meer geruststellend percentage van 2 of 3% van de jongeren die mening was toegedaan. Zo groot kan het verschil zijn bij verkeerd gebruik van een vraag.
Wat er verder niet klopt aan deze vraag, is dat zowel de motivatie als de opvatting van een onderzoeksdeelnemer bevraagd wordt. Het kan heel goed zijn, dat ik van mening ben dat de milieubeweging niet moet plaatsnemen aan de onderhandelingstafel, maar dat mijn overweging daarvoor niets te maken heeft met de angst ingekapseld te worden. In dat geval zou ik strikt genomen ‘oneens’ moeten antwoorden, wat vervolgens onterecht geïnterpreteerd zal worden als dat ik zou vinden dat de milieubeweging wél plaats moet nemen aan de onderhandelingstafel.

Het is verwerpelijk dat ‘witte’ ouders meewerken aan het ontstaan van ‘zwarte’ en ‘witte’ scholen door hun kind in een andere wijk op school te doen.

Volgens mij gaat deze vraag uit van een veronderstelling die niet door iedereen gedeeld zal worden. Ikzelf ben van mening dat het vóórkomen van witte en zwarte scholen inderdaad een probleem is en dat err nodig iets aan gedaan moet worden. Maar: voor een individuele ouder is het zo ‘schandalig’ nog niet dat die zijn of haar kind van een slecht functionerende school haalt. Sterker nog: een individuele ouder kan er in z’n eentje helemaal niets aan doen dat er wel of geen zwarte scholen ontstaan. Dus, in mijn ogen, kan het van een individuele ouder ook nooit schandalig zijn. Maar: omdat ik het dus met de veronderstelling niet eens ben zou ik dus ontkennend moeten antwoorden, wat wederom tot de verkeerde interpretatie zal leiden.

Onder geen beding mag er een tweedeling in de gezondheidszorg ontstaan. Zelfs zieke werknemers van kleine bedrijven mogen niet met voorrang worden behandeld, ook niet wanneer het midden- en kleinbedrijf hiervoor extra geld beschikbaar stelt.

Hier worden twee vragen gesteld. Allereerst de vraag of er onder geen beding een tweedeling in de gezondheidszorg mag ontstaan. Pas daarna wordt de vraag gesteld of sommigen voorrang mogen krijgen. De deelnemer aan het onderzoek mag echter maar één keer antwoorden. Dit is wat problematisch, omdat de twee vragen helemaal niet logisch en sluitend op elkaar volgen.

GroenLinks bestuurt in 41 gemeenten en 12 stadsdelen mee. GroenLinks moet alleen aan het lokale bestuur deelnemen:
a.) in een progressief college of stadsdeelbestuur
b.) zonder de VVD
c.) met een voldoende groen en links collegeprogramma

Deze vraag heeft drie antwoordcategorieën, maar deze sluiten elkaar niet uit. Ook bieden ze niet alle denkbare antwoordmogelijkheden aan. De eerste twee antwoorden lijken te gaan over wel of niet progressief (of: wel of niet de VVD). Maar, elkaar uitsluiten doen ze bepaald niet omdat er ook niet-VVD partijen zijn die progressief genoemd kunnen worden. Als het dan daarover gaat, wat doet hier dan de derde antwoordcategorie? Hier gaat het opeens over voldoende groen en voldoende links.
Progressief, VVD, links en groen: vier centrale termen in de antwoordmogelijkheden. Een beetje veel. Ze sluiten elkaar niet uit en overlappen elkaar flink. Hoe moet ik bijvoorbeeld kiezen, als ik van mening ben dat een groen-progressief lokaal bestuur gewenst is? Wat als een VVD-bestuur, dat naar onze maatstaf groen en links genoeg, ons ‘uitnodigt’ deel te nemen. Hoe moet een opvatting daarover uitgedrukt worden in deze drie antwoordcategorieën? Dat kan niet.

Extra politieagenten en cameracontrole zijn een goed instrument om het toenemend geweld in het uitgaanscircuit tegen te gaan.

Het laatste punt dat ik hierboven in mijn lijstje noem, klinkt enorm flauw. Je moet wel vragen wat je écht wilt weten. Het voelt een beetje aan alsof iedereen daar wel aan zal denken. Toch blijkt het in de praktijk heel vaak fout te gaan en, in de vraag hierboven, wordt dat mooi duidelijk.

Ik vermoed dat de vraag bedoeld is om een sentiment over politie-agenten en cameracontrole te bevragen. vinden we het acceptabel, als groenlinks leden? Zo wordt het op de web-log van Koen ook (terecht, denk ik) geïnterpreteerd. Maar: de vraagstelling is helemaal niet gericht op het bevragen van een sentiment. Als je deze vraag letterlijk leest, wordt er gevraagd of het een functioneel middel is. Het is dus een vraag die je aan een expert zou stellen. Als je wilt weten of mensen het acceptabel vinden, dan moet je deze vraag helemaal niet stellen, maar moet je gewoon vragen of mensen het acceptabel vinden.

Overigens zie je hier ook, dat er weer twee dingen tegelijkertijd bevraagd worden: inzet van politieagenten en inzet van cameracontrole. Het is natuurlijk goed denkbaar dat een deelnemer van de enquête het met één daarvan wel eens is en met de andere niet. Deze deelnemer kan zijn of haar opvatting dan niet juist kenbaar maken.

Het is dus nogal wat, zo’n vragenlijst opstellen. Er gaat altijd wel iets fout, waar je ook kijkt, wie de onderzoeker ook is. Maar de vragenlijst die hier gebruikt is rammelt wel heel erg van de ‘beginners’-fouten. Ik hoop dat zal blijken dat Groenlinks sinds 1998 inderdaad met haar tijd meegengaan is, maar ook dat ze één en ander bijgeleerd heeft …