Psychologisch onderzoek meestal niet herhaalbaar
Herhaling van psychologische experimenten levert maar 1 op de 3 keer dezelfde resultaten op. Dat concludeert een grote groep wetenschappers na nauwgezet onderzoek. Het maakt gepubliceerd psychologisch onderzoek op zijn minst verdacht.
Herhaling, of replicatie van onderzoek, is een belangrijk wetenschappelijke uitgangspunt. Een experiment dat bij herhaling dezelfde resultaten oplevert, is betrouwbaarder. En waarschijnlijk geen toevalstreffer. Maar wetenschappers doen doorgaans liever hun eigen, nieuw onderzoek. Onderzoek wordt doorgaans niet herhaald. Dit gebrek aan herhaling werkt op zijn best onbetrouwbaarheid van publicaties in de hand, op zijn slechtst fraude op de schaal van Diederik Stapel.
De afgelopen vier jaar heeft een groep van 270 wetenschappers – onder wie 45 Nederlanders – 100 onderzoeken uit 2008 herhaald. De resultaten, vandaag gepubliceerd in Science, zijn verbazingwekkend: slechts 36 procent van de studies kan gezien worden als betrouwbaar.
Zwarte dag
Initiatiefnemer en psychologiehoogleraar Brian Nosek had liever andere resultaten gezien, zegt hij tegen The Guardian. Nosek is teleurgesteld, want hij denkt dat psychologen beter werk kunnen leveren. Verklaren kan hij het wel. Positieve resultaten hebben meer kans gepubliceerd te worden, zegt hij tegen De Volkskrant. “Daardoor kan het gebeuren dat negatieve resultaten juist worden weggelaten.” Stanford-methodoloog John Ioannidis is minder vleiend, hij spreekt van een zwarte dag. Het gaat om een selectie van de beste studies uit de beste vakbladen. En zelfs dan zijn de resultaten zo slecht, merkt Ioannidis op. “Dat doet vermoeden dat van de hele psychologische literatuur misschien wel 80 procent of meer niet klopt.”
“De psychologie is de eerste discipline die op deze manier wordt getest” zegt voorzitter Alan Kraut van de Amerikaanse psychologenvereniging APS tegen De Volkskrant. Maar zeker niet de enige waar problemen met replicatie spelen. Kraut is trots dat psychologen hun verantwoordelijkheid nemen.
Advertentie.
