Meta-onderzoeker Marcel van Assen: ‘De huidige wetenschap functioneert verre van optimaal’

Meta-onderzoeker Marcel van Assen: ‘De huidige wetenschap functioneert verre van optimaal’

Al jaren wordt de wetenschap geplaagd door wat bekend staat als de ‘replicatiecrisis’. Resultaten van oorspronkelijke, soms vermaarde studies houden vaak geen stand als deze door andere wetenschappers worden herhaald. Wat is de staat van deze crisis anno 2022 en hoe wordt deze te lijf gegaan? Marcel van Assen, medeoprichter van het meta-onderzoekscentrum aan Tilburg University, neemt ons mee.

Marcel van Assen. Beeld Ton Toemen

Vier jaar lang nam Van Assen samen met twee toenmalige PhD-studenten deel aan het Reproducibility Project, een grootschalig onderzoek uit 2015 waarin honderd verschillende psychologiestudies werden getoetst op hun herhaalbaarheid. Het resultaat: slechts in 37% van de gevallen werd eenzelfde uitkomst gevonden als in het oorspronkelijke onderzoek. Nadat onderzoekers in andere wetenschapsgebieden zoals de biologie en economie soortgelijke conclusies trokken, kon de wetenschappelijke gemeenschap haar ogen niet langer sluiten; de geboorte van de replicatiecrisis was een feit.

Maar een crisis, dat was het al langer, zegt Van Assen. Het ontbrak alleen aan een realisatie daarvan. “Zo lang wij met onderzoek bezig zijn, is het zo dat resultaten in replicatiestudies vaak anders zijn dan in originele studies. Pas recentelijk zijn veel wetenschappers zich ervan bewust geworden dat dit zo is.”

Verder wil hij het woord ‘crisis’ niet zozeer reserveren voor het gegeven dat er vaak iets anders uitkomt als je een studie herhaalt, maar eerder voor de status van de wetenschap in zijn geheel. “Door ondoorzichtige onderzoeksmethoden zien we maar een deel van wat wetenschappers doen. Hierdoor is het moeilijk om überhaupt onderzoek te herhalen, omdat we niet precies weten hoe het onderzoek is uitgevoerd. Ook heerst de tendens alleen onderzoek te publiceren met een positief effect, waardoor replicatiestudies in de meeste gevallen een minder positief effect opleveren.”

Het gevolg van deze ingesleten onderzoekspraktijken is dat de bevindingen uit bestaande literatuur moeilijk te interpreteren en op waarde te schatten zijn.

De replicatiecrisis maakte de weg vrij voor u om een aantal jaren geleden samen met Jelte Wicherts een onderzoeksteam op te zetten dat zich bezighoudt met ‘meta-onderzoek’. Wat houdt dat precies in?

“Kort samengevat doen wij onderzoek naar onderzoek. Dat wil zeggen dat we kijken naar hoe wetenschappelijk onderzoek wordt bedreven en naar hoe het mogelijk beter zou kunnen. Dit doen we door zowel de bad practices als de good practices te analyseren en na te gaan welk effect ze hebben op de wetenschappelijke resultaten. Ook proberen we de good practices te bevorderen. Een voorbeeld hiervan is de introductie van ‘statcheck’, een soort spellingschecker voor statistische fouten.

“En inderdaad, in zekere zin profiteren wij als onderzoeksgroep van de replicatiecrisis, want het stelt ons in staat om er als meta-onderzoekscentrum over te publiceren. In de ogen van sommigen zijn wij daarom parasieten die als mestkevers leven van een hoop stront – de falende wetenschap in dit geval. Anderen zien ons weer als pioniers in de metawetenschap. Er zit denk ik in beide wat in.”

Hoe komt het dat er zo weinig wetenschappelijke studies kunnen worden gerepliceerd?

“Het is niet simpel hier een antwoord op te geven. Er zijn zoveel factoren die een rol spelen, en de mate waarin ze dat doen is nog vrij onduidelijk. Eén veelgehoord argument voor verschillende resultaten is dat er iets in de nieuwe studie zit dat afwijkt van de originele studie en het verschil verklaart. Dit wordt vaak opgeworpen door de onderzoekers van de originele studie en wordt ook wel het hidden moderator argument genoemd. Dit lijkt echter zelden een geldige verklaring. Een waarschijnlijker oorzaak voor afwijkende uitkomsten is simpelweg toeval. Voor een groot deel is onderzoek doen namelijk gewoon dobbelen; er zit altijd een mate van willekeurigheid in. In de psychologie komt dit doordat jouw resultaat wordt bepaald door de personen die participeren. Omdat elk persoon anders is, verschilt het gemiddelde van de steekproef vrijwel altijd.

“Wat we daarnaast zien, is dat het resultaat van replicatiestudies systematisch gemiddeld lager – dat wil zeggen geen of een kleiner effect – is dan de uitkomst van het oorspronkelijke onderzoek. Dit wordt mede verklaard door de publication bias, de neiging van onderzoekers en uitgevers om alleen positieve resultaten te publiceren in wetenschappelijke tijdschriften. Studies waarin geen effect is gevonden, zien het daglicht niet. Eén reden dat wetenschappers hopen op (zoveel mogelijk) positieve uitkomsten is dat het goed is voor hun carrière. Bovendien zijn het ook gewoon mensen die het liefst nieuwe dingen, een mooi verhaal en positieve resultaten willen zien. Dit strookt helaas niet met het ideaalbeeld van een goede wetenschapper die hier lak aan heeft.

“Dat wetenschappers gebaat zijn bij positieve resultaten leidt ertoe dat zij zich (onbewust) schuldig maken aan dubieuze onderzoekspraktijken. Een voorbeeld hiervan is de data op zo’n wijze ‘masseren’ dat een correlatie of positief effect waarschijnlijker wordt. Onderzoek laat zien dat zulke praktijken veelvuldig voorkomen.”

Welke rol is er weggelegd voor open science in de bestrijding van de replicatiecrisis?

“Wat betreft open science vind ik open access minder interessant omdat daar het onderzoek an sich niet beter van wordt. Natuurlijk is het belangrijk dat iedereen toegang heeft tot artikelen, maar via via geraak je daar toch wel aan. In plaats van daarop te focussen, zou de overheid meer moeten hameren op open onderzoek; open data, open onderzoeksmaterialen, open statistische code en preregistratie.

“Open onderzoek houdt in het beschikbaar stellen van al je onderzoeksmaterialen, gegevens en analysecodes, maar ook de waarheidsgetrouwe verslaglegging van zowel statistische analyses die al gepland waren (pre-registratie) als van analyses die gedurende en na de dataverzameling pas zijn bedacht. Deze wijze van onderzoek doen kost meer tijd dan de oude manier, die meer draait om het snel verzamelen van data, wat analyses opschrijven en klaar. Ook zul je, als je het goed doet, minder snel positieve bevindingen hebben. Dat samen maakt het lastig voor de academische gemeenschap om de overstap te maken naar open onderzoek.

“Het toepassen van open onderzoek zorgt ervoor dat dubieuze onderzoekspraktijken veel minder kans krijgen, en we zodoende meer valide gepubliceerde onderzoeksresultaten zullen zien. De gedeelde data, onderzoeksmethoden en code kunnen ook worden geëvalueerd door andere wetenschappers. Zij kunnen hier vraagtekens bij zetten en aanpassingen aanbrengen waar nodig. Bovendien helpt het bij repliceren van en voortbouwen op onderzoek. Door deze collectieve toetsing voorkom je ook fraudegevallen en zijn ze gemakkelijker te detecteren.

“Andere oorzaken van de replicatiecrisis zoals toeval en hidden moderators worden naar verwachting niet weggenomen door open onderzoek. Dit laat echter onverlet dat open onderzoek het wél mogelijk maakt om te achterhalen wat de oorzaak is van een verschil in uitkomst tussen de oorspronkelijke en replicatiestudie. Het is, kortom, noodzakelijk om efficiënt goede kennis te verzamelen en te delen. Daarom denk ik dat open science de toekomst heeft.”

Vorig jaar nog werd ‘superster van de gedragswetenschap’ Dan Ariely door collega-onderzoekers betrapt op het gebruiken van valse gegevens. Dit duidt erop dat we de replicatiecrisis, waar fraudegevallen een onlosmakelijk onderdeel van zijn, nog lang niet te boven zijn. Hoe zou u de stand van de replicatiecrisis anno 2022 beschrijven?

“We leven in een bijzondere tijd met interessante ontwikkelingen. De belangrijkste hiervan is de opkomst van many lab studies. Dat zijn onderzoeken waarbij één onderzoeksvraag in tientallen laboratoria tegelijkertijd wordt uitgevoerd. Op die manier kun je goed analyseren welke factoren de verschillen in resultaat veroorzaken. Ook is er steeds meer aandacht voor replicatiestudies en lijkt open science in populariteit toe te nemen. Er is dus vooruitgang.

“Tegelijkertijd zien we dat de kwaliteit van nieuwe initiatieven nog best veel te wensen overlaat. Dit geldt eveneens voor de verspreiding ervan. Het is moeilijk te beoordelen in hoeverre wetenschappers hun gedrag aanzienlijk hebben veranderd. Zelf ga ik vooral om met mensen die op dezelfde manier denken over wetenschap als ik, waardoor je al snel de neiging hebt om te denken dat het beter gaat met de wetenschap. Maar hoe groot deze bubbel is in vergelijking tot de rest van de academische wereld, durf ik niet te zeggen. Ik vrees dat het overgrote deel van de wetenschappers gewoon op de oude voet doorgaat.

“Het is gelukkig wel zo dat het aantal jonge onderzoekers dat deze nieuwe onderzoeksmethoden hanteert, in verhouding groter is dan de hoeveelheid oudere onderzoekers die dit doen. Dat is goed nieuws omdat de oudere wetenschappers – zij die het nu voor het zeggen hebben – op een gegeven moment uit de wetenschap verdwijnen en de jonge generatie het overneemt. Dit zal hopelijk een ‘paradigmaverschuiving’ teweegbrengen, om met wetenschapsfilosoof Thomas Kuhn te spreken.

“Maar ook al zou elke wetenschapper ‘perfect’ handelen en wordt open onderzoek mainstream, dan nog blijven replicatiestudies andere uitkomsten geven dan oorspronkelijke studies. Toeval en een wisselende context zullen namelijk altijd een effect blijven hebben op het resultaat. Open science kan het hoogstens gemakkelijker maken om die oorzaken op te sporen.

“Tot slot is het goed te beseffen dat we wetenschappelijk gezien nog maar in het holbewonerstadium zitten. Als we het bestaan van de mensheid gelijkstellen aan de vierentwintig uur die in een dag zit, dan zijn we slechts de laatste dertien seconden bezig met het bedrijven van wetenschappelijk onderzoek. We zijn dus maar net begonnen en kunnen niet alles weten. Nederigheid is daarom op zijn plaats.”

Bekijk meer recent nieuws

Schrijf je in voor onze nieuwsbrief

Blijf op de hoogte. Meld je aan voor de nieuwsbrief van Univers.