Wetenschappers maken ook fouten

Integere helden van rede, objectief, onpartijdig en openstaand voor ideeën van een ander, zo zien wetenschappers zichzelf. Maar ondertussen maken ze fouten bij de vleet. Hoe ga je om met het falen van de onfeilbaren, dat is kort door de bocht het promotieonderzoek van Coosje Veldkamp.

‘Methodologische terroristen’: Susan Fiske, oud-voorzitter van de Association for Psychological Science, had in een column voor de APS Observer geen goed woord over voor de meta-onderzoekers, zoals degenen die met het programma Statcheck duizenden psychologische publicaties op fouten navlooien. Coosje Veldkamp is een van de onderzoekers. Voor haar proefschrift The Human Fallability of Scientists haalde ze duizenden publicaties door de Statcheck en ze vond alarmerend hoge foutpercentages. Veldkamp: “Bij twee op de drie artikelen die ik analyseerde vond ik minstens een kleine fout, bij één op de tien een serieuze fout”.

‘Bij peer review achteraf is advies hoe het beter zou kunnen vaak te laat’

Dat moet veranderen, vindt Veldkamp. “Het is je taak heel nauwkeurig te zijn als wetenschapper. Zelfs ogenschijnlijk kleine fouten kunnen grote gevolgen hebben. Bijvoorbeeld toen gesteld werd dat in 2035 de gletsjers van de Himalaya verdwenen zouden zijn en dat een fout bleek, zeiden klimaatsceptici meteen: zie je wel, er klopt niets van al het global warming-onderzoek. ”

Maar goed, fouten maken is nu eenmaal menselijk. En wetenschappers zijn mensen. Maar wat voor mensen? Veldkamp vroeg het voor haar proefschrift aan duizenden wetenschappers, waaronder Nobelprijswinnaars, en hoogopgeleide leken. Het antwoord: mensen die objectiever, rationeler, opener, intelligenter, integerder, en coöperatiever zijn dan andere hoog opgeleide mensen. Niettemin brengt Statcheck in het psychologisch onderzoek flink wat fouten in de rapportage van statistische resultaten aan het licht, kleine afrondingsfouten, maar soms ook behoorlijke missers.

Coosje Veldkamp wist aanvankelijk niet of een carrière in de wetenschap wel iets voor haar was. “Tijdens mijn studie en daarna deed ik sociaal psychologisch onderzoek en zag dat er heel creatief met statistiek werd omgegaan. Ik dacht: wat betekent het dan nog allemaal? Ik hoorde het ook van anderen die er meer van verwachten. Meer waarheidsvinding en niet zo veel gericht op publiceren. Maar precies op het juiste moment kwam er een promotieplaats bij Jelte Wicherts beschikbaar. Toen ik in 2005 begon met Psychologie kreeg ik meteen college van hem over methode en techniek van onderzoek. Hij leerde me meteen een kritische blik te hebben.”

Veldkamp onderzocht methodes die de onderzoekspraktijk kunnen verbeteren en gebruikte zelf de methodes die ze onderzocht bij duizenden publicaties. Pre-registratie, bijvoorbeeld. “Practice what you preach. Je moet ondervinden hoe het is. Als je begint met pre-registratie is het nog heel erg moeilijk, maar als je het vaker doet, begin je er gevoel voor te krijgen. Later blijkt het dan weer handig als je van tevoren alles vastlegt. Dan hoef je niet steeds weer over allerlei zaken na denken, ik werd daardoor zekerder van mijn keuzes.”

Bij pre-registratie leg je de voorwaarden van je onderzoek vooraf nauwkeurig vast. Veldkamp: “Dat betekent niet dat je je zo vastlegt dat er helemaal geen vrijheid is. Die heb je wel, als je er maar open over bent. Als je bij je onderzoek onverwachte patronen ontdekt, moet je dat zien als nieuwe hypothese, niet als conclusie.” Veldkamp verwacht veel goeds van pre-registratie en is ook de enige niet.  “Het gebeurt steeds meer. Het Open Science Framework maakt het heel erg toegankelijk. Er is ook een Pre-Reg Challenge waarbij je 1.000 dollar kunt winnen als je een pre-registratie schrijft en je publicatie daarna aan alle eisen daarvan voldoet. Ook kun je nu bij veel tijdschriften zogenaamde Registered Reports publiceren, waarbij de gepreregistreerde inleiding en methode gepeer-reviewed worden en het artikel gegarandeerd gepubliceerd wordt als het onderzoek precies volgens de pre-registratie uitgevoerd is. Het tijdschrift Cortex was hiermee een pionier. Dat draagt bij aan het goed doen van onderzoek. Bij peer review achteraf is advies hoe het beter zou kunnen vaak te laat. Ik denk dat Registered Reports over een tijd wel de norm worden.”

Wetenschappers zijn ook maar mensen en niets menselijks is hen vreemd. Zoals boosheid in reactie op Veldkamps vragenlijsten over de manier waarop onderzoeken waren uitgevoerd, brengt promotor Jelte Wicherts nog even in herinnering bij haar promotie. Toch ziet Veldkamp dat de verandering al gaande is. “Met onze meta-onderzoeksgroep proberen we bijdragen te leveren aan de verbetering van onderzoek. We zien elk jaar dat bij congressen de methodensessies groter worden, er komt steeds meer publiek op af.”

_Advertentie.