Kunnen we de peilingen maar beter afschaffen?

Volgens de New York Times had Hillary Clinton een kans van 85% om Trump te verslaan. Met 98,3% waren de peilers van de Huffington Post nóg zekerder van Clintons winst. Hoe konden de peilingen er zo naast zitten? En kunnen we de peilingen dan niet beter afschaffen? Daniel Oberski, tot voor kort docent methodologie en statistiek aan Tilburg University, vindt van niet. “Je zou het misschien niet denken, maar we worden steeds beter in het uitvoeren van betrouwbare peilingen.”

Terwijl bijna alle peilingen het Witte Huis al aan Hillary Clinton hadden toegedicht, ging Donald Trump er op 8 november met de winst vandoor. En het is niet de eerste keer dat de peilingen er volledig naast zitten – wie herinnert zich de verrassende uitslag van het Brexit-referendum niet? Toch is het volgens methodoloog Daniel Oberski niet zo vreemd dat de peilingen vaak verkeerde voorspellingen doen. “Zo’n peiling is een ontzettend precaire, ingewikkelde operatie, waarbij van alles mis kan gaan”, legt hij uit.

Fouten liggen overal op de loer

Peilingen zijn een tricky business, legt Oberski uit, omdat statistische fouten overal op de loer liggen. “Bij het uitvoeren van een peiling worden verschillende stadia doorlopen, van het selecteren van een representatieve steekproef tot de statistische bewerking van de data”, zegt Oberski. “En bij elke stap kunnen er dingen mis gaan.”

Oud-docent methodologie en statistiek Daniel Oberski

De eerste stap, het selecteren van een steekproef, is volgens Oberski al ontzettend moeilijk. “Bij peilingen moet je een selectie maken die een weergave geeft van de bevolking, of beter gezegd: van alle leden van de bevolking die gaan stemmen. Peilers moeten dus rekening houden met de waarschijnlijkheid dat iemand naar de stembus gaat. Daar hebben ze bepaalde modellen voor, waarbij bijvoorbeeld wordt gekeken naar factoren als geslacht en of iemand in het verleden heeft gestemd, maar dat blijft erg lastig te voorspellen.”

“En dat is dan nog maar stap één”, zegt Oberski. Met een goede selectie is de peiler er nog lang niet: “Je moet de mensen die je hebt geselecteerd eerst nog zien te bereiken. De meeste mensen doen namelijk niet mee aan je onderzoek. En dan maakt het ook nog uit wat voor vragen je stelt en hóé je die vragen stelt. Na afloop moet je de data bewerken en allerlei trucs toepassen om fouten te corrigeren, wat verschillende organisaties op verschillende manieren doen. Zo zijn er allerlei factoren die meespelen.”

‘Likely voters’

Arie Kapteyn, oud-hoogleraar Economie aan Tilburg University, was een van de weinige opiniepeilers die wél voorspelden dat Trump de verkiezingen zou winnen. Volgens Kapteyn zijn er verschillende verklaringen te bedenken voor het feit dat zo veel peilingbureaus er naast zaten. Zo zou sociale wenselijkheid een rol gespeeld kunnen hebben; omdat Kapteyns instituut online vragen stelde, zouden mensen mogelijk minder sociaal wenselijke antwoorden gegeven hebben. “Onze peiling is op internet, mensen kunnen het doen wanneer het ze uitkomt en ze hoeven niet iemand die ze niet kennen te zeggen op wie ze stemmen”, legde Kapteyn uit in Trouw.

Daniel Oberski denkt dat sociale wenselijkheid een rol gespeeld kan hebben, maar hij gelooft niet dat die factor kan verklaren waarom Kapteyns peiling het wel juist had, en de meeste andere peilingen niet. “We weten uit eerdere onderzoeken dat verschillen tussen web- en andersoortige interviews wel bestaan, maar dat die niet zo groot zijn”, zegt hij. “Bovendien zou je dan verwachten dat andere polls, die soms ook online werden uitgevoerd, hetzelfde resultaat zouden geven. Maar dat was niet zo.”

Een andere verklaring die Kapteyn geeft, vindt Oberski aannemelijker: in tegenstelling tot het instituut van Kapteyn, beschouwen de meeste peilingbureaus mensen alleen als ‘likely voters’ als ze ook tijdens vorige verkiezingen naar de stembus zijn gegaan. Mensen die eerder niet stemden maar dat nu wel deden, zijn daardoor in veel onderzoeken niet meegenomen. “Ik denk dat daar wel iets in zit”, zegt Oberski. “Als je aanneemt dat iedereen die vorige keer niet gestemd heeft nu wel ging stemmen, mis je de nieuwstemmers. En die stemmen meer op Trump. Maar ook dat is allemaal speculatie.”

Afschaffen?

Als het zo lastig is om een betrouwbare peiling uit te voeren, kunnen we de peilingen dan niet beter afschaffen? Oberski denkt van niet. “Dankzij onderzoek van surveymethodologen worden we steeds beter in het voorkomen en corrigeren van fouten”, zegt hij. “We weten steeds meer. Alleen zijn nog niet alle lessen die zijn geleerd, ook daadwerkelijk geïmplementeerd. Zo zouden peilers meer gebruik moeten maken van nieuwe databronnen voor het verkrijgen van een representatieve steekproef, zoals overheidsregisters, Google en Twitter. En daarnaast zou de methodologie van peilingen beter en met meer precisie gerapporteerd moeten worden.”

Hoewel we dus beter worden in het uitvoeren van peilingen, dienen ook veel nieuwe problemen zich aan. “Er doen tegenwoordig steeds minder mensen mee aan peilingonderzoeken. En de manier waarop je mensen kunt bereiken, is ook sterk veranderd. Hoe bereik je mensen via het internet? En in hoeverre verschillen telefonische interviews, face-to-face-gesprekken en online onderzoeken? Dat moet allemaal nog goed uitgezocht worden”, zegt Oberski. “Surveymethodologen hebben dus interessante tijden voor de boeg.”

_Advertentie.