Sociaalwetenschappelijk onderzoek vaak niet repliceerbaar

Vier op de tien onderzoeken uit de sociale wetenschappen leveren bij herhaling niet dezelfde resultaten op. Wel blijken deskundigen vaak te kunnen voorspellen wat een betrouwbare studie is.

Gebruikelijk is het bepaald niet, het herhalen van eerder uitgevoerde wetenschappelijke studies. Wetenschappers zijn liever met eigen onderzoek bezig, dan nog eens dunnetjes over te doen wat een ander al gedaan heeft, alleen om te kijken of de resultaten stand houden. En het mogelijk onderuit halen van andermans studies, wie wil daar eigenlijk aan?

Gelukkig zien steeds meer wetenschappers het belang van herhaalonderzoek in. De afgelopen jaren zijn er meerdere herhaalonderzoeken gedaan, en de noodzaak daarvan bleek wel. In 2015 controleerde een groep wetenschappers psychologische studies. Slechts één op de drie studies (36 procent) bleek bij herhaling dezelfde resultaten op te leveren. In 2016 werd de economische wetenschap onder de loep genomen. Zes op de tien van die studies leverden bij herhaling dezelfde resultaten op. Beter dan in de psychologie, maar ook niet bepaald om naar huis over te schrijven.

De sociale wetenschap

Nu is niet één vakgebied, maar de hele sociale wetenschap onderzocht. Een groep van wetenschappers uit verschillende landen herhaalde 21 studies die tussen 2010 en 2015 zijn gepubliceerd in de toonaangevende bladen Nature en Science. De onderzoekers volgden de plannen van de oorspronkelijke auteurs, pre-registreerden de plannen voor de controleerbaarheid en gebruikten tot vijf keer hogere steekproefgroepen.

De sociale wetenschappen scoren op herhaalbaarheid beter dan de psychologie alleen, maar de resultaten vallen wederom tegen. Slechts bij 13 (62%) van de onderzoeken werden significante effecten gevonden. De eerdere resultaten bleken bovendien overdreven, bij herhaling waren gevonden effecten de helft kleiner. De onderzoekers publiceerden hun bevindingen vandaag in Nature Human Behaviour.

Voorspellen

De onderzoekers hebben niet alleen studies herhaald, ze hebben vooraf ook aan een groep van deskundigen gevraagd om te voorspellen welke studies betrouwbaar waren en welke niet. Opvallend is dat die voorspellingen sterk overeenkwamen met de resultaten uit het herhaalonderzoek. Dit suggereert dat de wetenschap heeft te stellen met een hoop onbetrouwbare studies, maar wetenschappers ze er meestal wel uit weten te pikken.

Kleine aantallen

Een zwakte van de herhaalstudies, en dat merken de onderzoekers zelf ook op, is dat de steekproeven zelf vaak aan de kleine kant zijn. Bovendien ligt willekeur op de loer, er hadden net zo goed totaal andere studies uit de tijdschriften gekozen kunnen worden om te herhalen. Dat maakt het moeilijker om harde uitspraken te doen, al blijkt wel duidelijk dat er iets aan de hand is.

_Advertentie.