Psychologisch onderzoek kan betrouwbaarder

Te vaak is psychologisch onderzoek onbetrouwbaar. Het promotieonderzoek van Michèle Nuijten laat zien dat het moeilijk is te zeggen wanneer onderzoek niet deugt, maar dat er wel veel verbeteringen mogelijk zijn.

Het jaar dat Michèle Nuijten haar bachelorscriptie in de psychologische methoden schreef aan de UvA, was voor de psychologie geen beste tijd. Het was 2011 en onderzoekers hadden tegen de natuurwetten in bewezen dat mensen in de toekomst kunnen kijken, andere onderzoekers toonden aan dat data zodanig te kneden is, dat bewezen kan worden dat het luisteren naar The Beatles een mens jonger maakt, en in Tilburg liep de frauderende sociaal psycholoog Diederik Stapel tegen de lamp.

“Het werd duidelijk dat er iets niet goed gaat,” zegt Nuijten. Na het afronden van een masterstudie in Amsterdam volgde ze in december 2012 de begeleider van haar bachelorscriptie, Jelte Wicherts, naar Tilburg. Daar had hij inmiddels een onderzoeksgroep opgezet naar methodologische en statistische problemen in onderzoek. Nuijten bemachtigde een promotieplek, met als inzet: uitzoeken of er aanwijzingen gevonden kunnen worden voor overschatte effecten en andere problemen in het psychologische onderzoek. Ook ging ze na hoe de kwaliteit van het onderzoek verbeterd kan worden.

P-waardes

Het eerste waar Nuijten naar keek is de rapportage van statistiek. “Conclusies trekken we in de psychologie op basis van statistiek, dat altijd op dezelfde manier wordt gerapporteerd.” Kort gezegd zijn dat de grootte van het effect, het aantal proefpersonen en de P-waarde, hoe groot de kans is dat het resultaat een toevalsvinding is. “Als je de eerste twee getallen hebt, kan je de derde uitrekenen.”

Daarvoor ontwikkelde ze statcheck, een spellingschecker voor statistiek. Voor 30.000 artikelen gingen ze na of de gerapporteerde P-waardes kloppen. Het blijkt vaak niet te kloppen, maar vooral zorgwekkend is waar de fouten zich voordoen. In de praktijk wordt een onderzoek vaak pas serieus genomen als de P-waarde onder de .05 is, omdat dat gezien wordt als bewijs voor een effect.

Het zorgwekkende? De waardes worden vaker te laag dan te hoog gerapporteerd. Er worden kortom vooral fouten gemaakt als het de onderzoeker goed uitkomt. “Dit kan aangeven dat mensen verkeerd afronden als het in hun voordeel is of een getal verkeerd opschrijven.” 

Het grootste probleem waarmee de psychologie kampt is niet een klein verschil in de P-waarde, maar volgens Nuijten is dit probleem onnodig en eenvoudig op te lossen. Uit eerder onderzoek bleek dat het delen van ruwe onderzoeksdata fouten tegen zouden kunnen gaan, omdat mensen die het niet delen vooral fouten bleken te maken. Nuijten vindt het delen van data nuttig, maar kon er geen bewijs voor vinden dat dit fouten tegengaat. Haar aanbeveling is het gebruiken van statcheck, wat inmiddels ook gebeurt door twee tijdschriften.

Succesverhalen

Wel een groot probleem, en dit is het tweede waar Nuijten zich op richtte, is publication bias. Succesverhalen worden vaker gepubliceerd dan onderzoeken waarin niets is gevonden, waardoor een vertekend beeld ontstaat van de stand van de wetenschap. “Als we alleen succesverhalen publiceren, lijkt het alsof alles lukt en werkt.”

Dat deze vooringenomenheid voor succesverhalen bestaat, zag Nuijten toen ze meerdere gepubliceerde meta-analyses onderzocht. Naar boven kwam dat er zo wel vaak iets gevonden is door onderzoekers, dat het statistisch onmogelijk is. “De vraag is of tijdschriften dit onderzoek niet willen hebben, of dat onderzoekers het niet insturen.”

“Wetenschappers willen succes hebben”

“De pest is dat wetenschappers mensen zijn die graag beroemd willen worden, succes willen hebben en dat gaat allemaal makkelijker als je een effect vindt. Bovendien is het menselijk om te willen vinden wat je zoekt.” Nuijten had gehoopt kenmerken te vinden waarmee vastgesteld kan worden of een onderzoek betrouwbaar is, maar dat blijkt lastig. “Als ik een paper voor mijn neus krijg, weet ik dus niet hoe erg ik op mijn hoede moet zijn.”

Pre-registratie

Een oplossing die Nuijten bepleit is het pre-registreren van een onderzoeksplan, het vooraf duidelijk maken waarnaar wordt gezocht en met welke methoden. Een onderzoeker kan er achteraf nog altijd voor kiezen om proefpersonen uit de data te halen of bijvoorbeeld een analyse alleen los te laten op proefpersonen van boven de vijfentwintig of vrouwen, maar dan is tenminste duidelijk dat deze keuzes achteraf werden gemaakt en kan de lezer van zo’n onderzoek daarop bedacht zijn.

“We modderen in de wetenschap wat aan, je vindt niet altijd wat je zoekt”

Er zijn zo’n honderd tijdschriften die onderzoeksplannen vooraf accepteren, en publiceren ongeacht de uitkomst. “Je wordt beoordeeld op je idee en onderzoeksopzet, niet op datgene waar je geen invloed op hebt, namelijk wat eruit gaat komen.” Vooralsnog gebeurt dit in de marge, want er is weerstand. “Een hoop tijdschriften willen niet zo werken, omdat ze dan waarschijnlijk veel onderzoeken moeten publiceren waar niks uit komt.” Volgens Nuijten moet de wetenschap echter af van het schermen met succesverhalen en het wegmoffelen van de rest. “We modderen in de wetenschap wat aan, je vindt niet altijd wat je zoekt.” 

Nu het promotieonderzoek erop zit, wil Nuijten beoogde oplossingen aan de tand gaan voelen. “We weten dat er een probleem is, we hebben enigszins een idee wanneer problemen zich voordoen, en we hebben oplossingen bedacht. Nu is het tijd om net zo streng te zijn voor onze oplossingen, als voor de studies die we bekijken.”

Proefschrift: Research on Research. A Meta-Scientific Study of Problems and Solutions in Psychological Science

Promovenda: Michèle Nuijten studeerde cum laude af in psychologie aan de UvA. Sinds januari 2018 is ze verbonden aan Tilburg University als universitair docent. Haar promotieonderzoek verdedigt ze woensdag 30 mei om 14.00u in de aula.

Promotores: Jelte Wicherts & Marcel van Assen

Advertentie

Bekijk meer recent nieuws

Schrijf je in voor onze nieuwsbrief

Blijf op de hoogte. Meld je aan voor de nieuwsbrief van Univers.