Hoogleraar: ‘wetenschap heeft geen zelfreinigend vermogen’

Hoogleraar: ‘wetenschap heeft geen zelfreinigend vermogen’

Betrapte wetenschapsfraudeurs hebben veel kenmerken gemeen. Ze stonden allen in hoog aanzien als onderzoekers, publiceerden aan de lopende band artikelen, maakten razendsnel carrière en hun datasets waren perfect. Dat zegt Wolfgang Stroebe, werkzaam als hoogleraar psychologie bij de universiteiten van Utrecht en Groningen, in een interview met Univers.

Stroebe: “Als je een profiel van een potentiële fraudeur zou maken, zou die inderdaad aan bovenstaande eigenschappen voldoen. Maar je moet er wel voorzichtig mee zijn. Er zijn ook workaholics die veel publiceren, in hoog aanzien staan, carrière maken en goede datasets hebben die niet frauderen.”

Stroebe deed naar aanleiding van de zaak Stapel onderzoek naar wetenschapsfraude. Samen met de Groningse hoogleraren Tom Postmes en Russell Spears schreef hij een artikel dat binnenkort gepubliceerd wordt in het wetenschappelijk tijdschrift Perspectives on Psychological Sciences. De hoogleraren bogen zich onder meer over de vraag hoe vaak fraude voorkomt, of psychologie gevoeliger is voor fraude dan andere takken van wetenschap en of peer reviewing fraude tegengaat.

Een opvallende conclusie uit hun onderzoek? De wetenschap heeft helemaal geen zelfreinigend vermogen, iets wat onder meer Robert Dijkgraaf, president van de KNAW in de weken na bekendmaking van de zaak Stapel wel overal beweerde. “Natuurlijk zegt Dijkgraaf dat,” zegt Stroebe. “Maar de feiten liggen anders. Fraudeurs worden bijna altijd ontmaskerd door klokkenluiders of door lezers van wetenschappelijke artikelen. Maar er is tot op heden bijna geen enkele fraudezaak onthuld door een van de twee principes van zelfcorrectie.”

Het eerste principe waar Stroebe op duidt is peer reviewing, waarbij vakgenoten kritisch naar het werk van de auteurs kijken.“Soms zullen peer reviewers zich wel verbazen over de bevindingen die ze voorgeschoteld krijgen, maar ze denken dan niet aan bedrog. Fraude komt te weinig voor om als mogelijkheid steeds in je achterhoofd te hebben. Toch zijn er onderzoeken waarbij de peer reviewers hadden moeten merken dat er iets aan de hand was. De fraudeur John Darsee voerde bijvoorbeeld in zijn onderzoek een familiestamboom op, waarbij een 17 jaar oude jongen al vier kinderen had van acht, zeven, vijf en vier. Hoewel dit biologisch niet onmogelijk is, is het hoogst onwaarschijnlijk dat het klopt. De peer reviewers hadden vragen moeten stellen.”

Het tweede principe omtrent zelfcorrectie is reproduceerbaarheid van onderzoek. Zo kon onder meer het onderzoek van fraudeurs als Jan Hendrik Schön en Viktor Ninov niet gereproduceerd worden door andere onderzoekers. Stroebe: “Toch betekent dat niet meteen dat er sprake is van fraude. Er kunnen verschillende oorzaken zijn. Het kan aan de kwaliteiten van de onderzoeker liggen, het kan toeval zijn. Er is de kans dat je iets onderzoekt en dat er in 5 van de 100 gevallen iets anders uitkomt, dan in de andere 95 gevallen. Of misschien zijn niet alle belangrijke variabelen helder gemaakt in de beschrijving van het eerste onderzoek, waardoor het niet reproduceerbaar lijkt. Tenslotte zijn reproducties van onderzoek nauwelijks publiceerbaar en hierdoor wordt vaak niet bekend dat een bepaalde studie niet te repliceren valt. Dit is belangrijke informatie voor de wetenschap, ook al hoeft dit geen indicatie van fraude te zijn. Het is daarom goed dat, naar aanleiding van de zaak Stapel, een Amerikaanse website is gestart, http://psychfiledrawer.org, waar reproduceerpogingen op het gebied van experimentele psychologie kunnen worden gemeld.”

Tijdens het gesprek over fraude en fraudeurs valt een zinsnede opvallend vaak. ‘Voor zover wij weten.’ Want hoewel diverse bobo’s uit de wetenschap beweren dat fraude een incident is, weet niemand dat zeker. “Er zijn in het verleden meerdere onderzoeken uitgevoerd naar fraude. Uit een meta-analyse van achttien van die onderzoeken blijkt dat twee procent van de respondenten toegeeft ooit data vervalst te hebben. Het meest betrouwbare onderzoek is van de Gallup Organization. Zij vroegen in 2008 Amerikaanse wetenschappers niet naar hun eigen gedrag, maar vroegen of ze in hun dagelijkse werk in de laatste drie jaar gemerkt hadden dat collega’s fraudeerden. Uit hun rapport blijkt dat 1,5 procent van het wetenschappelijk onderzoek frauduleus is. Dat betekent dat er veel concrete gevallen nog niet onthuld zijn. Het gaat dan overigens meestal niet om zaken van de omvang van Stapel, maar om gevallen waarbij een of twee keer sprake is van een fraudulent artikel. ”

Stroebe verwacht dat er de komende jaren nog wel fraudeurs door de mand zullen vallen. “Allereerst moeten peer reviewers zich realiseren dat er sprake kan zijn van fraude. Wees attent, zeker als iemand als einzelgänger werkt. Verder is het belangrijk dat datasets openbaar worden. Dan zal een wetenschapper minder snel geneigd zijn tot fraude. Stapel verzamelde bijvoorbeeld vaak zijn eigen data zonder collega’s of aio’s direct bij dit proces te betrekken, dat is vreemd.” Verder zullen statistische methoden belangrijk worden bij de ontdekking van fraude. De Amerikaan Uri Simonsohn ontdekte met zijn rekenmethode bijvoorbeeld onregelmatigheden in het werk van Dirk Smeesters. Dergelijke rekenmethoden zijn nog in ontwikkeling, die zullen groeien.

Stroebe: “Je moet echter wel voorzichtig zijn. De commissie Levelt zegt nu van veel onderzoeken van Stapel dat de uitkomt statistisch onwaarschijnlijk was. Ik maak me zorgen over false positives bij hun onderzoek. We weten niet hoe goed deze methoden fraudulent en niet fraudulent onderzoek onderscheiden. Als iets statistisch onwaarschijnlijk is, betekent dat niet per se dat het onderzoek niet klopt. In de wetenschap loop je soms juist tegen verrassingen aan, er gebeuren dingen die zeldzaam zijn. Ik zou graag onderzoek willen zien, waar deze methoden worden toegepast op honderd onderzoeken waarbij niet gefraudeerd is (voor zover we dat zeker weten) en honderd fraudulente onderzoeken. Dan kunnen wij zien hoe goed deze methoden erin slagen, het fraudulente onderzoek van het niet fraudulente onderzoek te onderscheiden“.

De twee laatste fraudegevallen die het Nederlandse nieuws overheersten, betroffen sociaal psychologen. Daardoor mag de indruk zijn ontstaan (gevoed door de Nederlandse pers) dat fraude in de psychologie makkelijker is of vaker gebeurt dan in andere wetenschappen.

Maar het is volgens Stroebe niet het geval, integendeel. Er gaan procentueel meer biomedische wetenschappers in de fout. “Uit een meta-analyse van de Italiaanse wetenschapper Danielle Fanelli in 2009 bleek dat klinisch, medische en farmaceutische onderzoekers de boel vaker bedriegen dan andere onderzoekers. Waarom iemand overgaat tot bedrog? Dat kan te maken hebben met geld. Bij fraudeurs als Reuben en Chandra was het onderzoek bijvoorbeeld beïnvloed door financiële motieven. Stapel liet zich echter leiden door zijn wens naar roem en status.”

Stapel en Stroebe zijn geen onbekenden van elkaar. Ze zaten twee jaar lang in dezelfde onderzoekscommissie bij een instituut waar ze onderzoeksprojecten evalueerden en de vooruitgang van AIO -projecten monitorden. “Ik heb Stapel nooit van fraude verdacht. We hebben samen ook geen onderzoek gedaan. Maar ik vond het wel een schok. Je hoort vaak van mensen dat ze wisten waar ze waren toen ze hoorden dat Kennedy was vermoord. Nou, ik weet exact waar ik was toen ik hoorde dat Diederik gefraudeerd had. Ik hoorde het via mail van een collega. Ongelooflijk.”

Lees het gehele interview met Stroebe (in het Engels) in de komende Univers. Een overzocht met namen en daden van (beschuldige) wetenschapsfraudeurs vind je hier.

Bekijk meer recent nieuws

Schrijf je in voor onze nieuwsbrief

Blijf op de hoogte. Meld je aan voor de nieuwsbrief van Univers.