Sterretjes tellen met Tom en Jochem

Een van de klassieke adviezen als je de slaap niet kan vatten is schaapjes tellen. Omdat wetenschappelijk onderzoek heeft aangetoond dat schaapjes tellen juist contraproductief werkt, gooit de Socioloog des Vaderlands het over een andere boeg: hij telt sterretjes! Afgelopen nacht kwamen de sterretjes veelvuldig voorbij na het doornemen van een studentenopdracht. De opdracht was best wel pittig: het interpreteren van een klepper van een regressieanalyse. Maar ik kreeg stuk voor stuk gouden papertjes ingestuurd waarin de studenten blijk gaven bijzonder goed de resultaten te kunnen interpreteren. Er zat weliswaar een dikke adder onder het gras: de tabel gaf een niet-significant regressiecoëfficiënt aan, terwijl de theorie die de analyse toetste juist uitging van een significant effect. Grote paniek, natuurlijk: geen sterretjes in plaats van de te verwachten volle sterrenhemel!

Voor de niet-cijfervreters: sociologen, en met hen een hele schare aan sociale en minder sociale wetenschappers, testen graag bepaalde bestaande ideeën – theorieën en afgeleide hypothesen – met (survey-)data. Wat zij dan proberen na te gaan is of een verband dat voorkomt in de data – op een beperkte steekproef – ook te generaliseren valt naar de gehele bevolking of populatie. Dit is uiteindelijk de reden waarom we onze studenten tot in het oneindige om de oren slaan met inferentiële statistiek. Om te kunnen oordelen of een bepaald verband daadwerkelijk bestaat in de bevolking, maken we gebruik van betrouwbaarheidsintervallen. Doorgaans leggen we die op 95 percent, maar bij de grote steekproeven waar sociologen mee werken mag het vaak wel strenger (99 percent). Om een lang verhaal kort te maken laten die betrouwbaarheidsintervallen het toe om met een zekere waarschijnlijkheid te beoordelen of een gevonden effect statistisch significant verschilt van 0. En de breedte van dat betrouwbaarheidsinterval (en het daarmee samenhangende significantieniveau) wordt, in wetenschappelijke tijdschriften, vaak uitgedrukt met sterretjes naast de regressiecoëfficiënten. Hoe meer sterretjes, hoe groter de waarschijnlijkheid dat je effect niet enkel in de data maar ook onder de bevolking voorkomt!

En daarom dat wetenschappers liever sterretjes dan schaapjes tellen. Maar soms is het dus ook bijzonder fijn als de sterretjes achterwege blijven. Laten we er daarom eens recent onderzoek bijnemen van twee andere sterren aan het Nederlandse sociologenfirmament: Tom van der Meer (UvA) en Jochem Tolsma (RU). In hun Annual Review bijdrage hebben zij alle replicaties van Robert Putnams these dat diversiteit het sociale weefsel van de samenleving aantast even samengebracht. Putnams onderzoek had heel wat deining veroorzaakt: in gemeenschappen met veel diversiteit hebben mensen niet alleen minder vertrouwen in de “andere” groep, maar ook in de “eigen” groep. Juist vanwege deze controversiële bevinding hebben verschillende wetenschappers dit onderzoek gerepliceerd, in of op welke context dan ook. Tom en Jochem hebben, kort door de bocht, niets anders gedaan dan bij elk van die replicaties sterretjes zitten tellen, nachten lang, en dit voor maanden aan een stuk! En dan blijkt dat er in de overgrote meerderheid van de gevallen geen sterretjes te vinden zijn: de hele claim dat diversiteit nefast is voor de sociale cohesie moet daarom toch wel genuanceerd worden.

De wetenschap lijkt daarom sterretjes of “asterisk”-driven. Vaak lijkt ze prioriteit te geven aan onderzoekt dat op basis van significante effecten een bestaande theorie bevestigen en verruimen. Het is dermate problematisch dat het moeilijker is om een onderzoek zonder significante effecten geplaatst te krijgen aan wetenschappelijke tijdschriften – zoals Tom en Jochem aantonen is het weliswaar niet onmogelijk. Want jah, als een verwacht effect niet-significant is, dan zal het wel de schuld zijn van het onderzoeksdesign, van slechte vragen, of van een overgespecificeerd regressiemodel (maar uiteraard nooit van een theorie die misschien met haken en ogen aan elkaar hangt). Maar als er daarentegen wel sterke effecten uitkomen, dan lijken die vragen niet gesteld te worden, terwijl dat die ook afhankelijk kunnen zijn van case-selectie, operationalisering, controlevariabelen, of analysetechniek (of natuurlijk andere mistoestanden).

Niet-significante bevindingen zijn ook significante bevindingen! Niet verwonderlijk dat ook de Socioloog des Vaderlands er soms wel eens slapeloze nachten aan overhoudt!

TR

_Advertentie.