Keiharde kritiek op co-auteurs Stapel: statistische incompetentie en desinteresse

In het eindrapport over de affaire Stapel halen de onderzoekscommissies keihard uit naar de co-auteurs van Stapel en naar de onderzoekscultuur bij sociaal-psychologen. Volgens de Commissies Levelt en Noort mag van de co-auteurs ‘een meer kritische houding’ worden verwacht. Bij sommige publicaties is sprake van ‘wetenschappelijke onzorgvuldigheid door co-auteurs.’  Er is bij drie wetenschappers zelfs sprake van een dusdanig ernstige schending van wetenschappelijke normen dat de Commissie Levelt zich genoodzaakt zag de namen van de betrokkenen vertrouwelijk te melden aan rector magnificus Philip Eijlander. Er loopt nu een onderzoek naar hun werkwijze.

Het eindrapport rept over ‘statistische incompetentie en desinteresse’ en ‘een cultuur waar wetenschappelijke integriteit niet al te hoog in het vaandel staat.’

Bijna veertien maanden werkten de drie commissies aan hun onderzoek. Alle beschikbare datasets, vragenlijsten en mailwisselingen uit de periode 1994-2011 werden bekeken. De meeste tijd ging zitten in statistisch onderzoek (in Tilburg werd de commissie geholpen door docent Marcel van Assen) en gesprekken met klokkenluiders, promovendi, co-auteurs, collega’s, (oud) bestuurders en een gesprek met Stapel zelf. De commissie Levelt heeft 46 artikelen van experimenteel onderzoek beoordeeld. Bij 38 gevallen waren de data beschikbaar en in twee gevallen de ruwe data in de vorm van ingevulde vragenlijsten.

Op basis van de gesprekken en hun onderzoek trekken de commissies harde conclusies. Hoewel de betrokken wetenschappers niet gefraudeerd hebben, krijgen ze er wel van langs. Het rapport spreekt over wetenschappers die geen benul hebben van statistiek. “Ruwe data werden vervangen door geschatte data. Deze werden voorgesteld als echte ruwe data. De co-auteur zag hier niet echt een probleem in en had overigens ook geen idee hoe dit gebeurd was. Via een optie in Excel.” Ook sprak de commissie met een ‘co-auteur die geen notie bleek te hebben van wat men nu eigenlijk deed in een factoranalyse of wat de betrouwbaarheidscoëfficiënt alfa voorstelt.’

Omdat promovendi nog in een leerproces zijn, kan de zaak Stapel hen niet aangerekend worden. “Zij zijn op zeer geraffineerde wijze om de tuin geleid en in belangrijke mate ook opgeleid in de foutieve onderzoekscultuur. Dit geldt echter niet voor postdocs en stafleden. Van hen moet een zelfstandige, kritische en behoorlijke beoefening van de wetenschap verwacht worden, zij zijn ook aangesteld om de studenten en promovendi op te leiden en hebben de opdracht hen een kritische opstelling bij te brengen.”

De ervaren wetenschappers hadden beter moeten weten. Zo claimde Stapel onderzoek op scholen gedaan te hebben. Voor sommige experimenten is het vanwege allerlei praktische problemen moeilijk voor te stellen dat ze op scholen of op stations of in treinen gerealiseerd zijn, stelt de commissie. Niet dat de co-auteurs bewust meewerkten aan de fraude. Maar ze hadden alerter moeten zijn, aldus de commisies Levelt en Noort. “Bijvoorbeeld in gevallen waar kopieergedrag uit datasets terug te zien was in de resultaten in de tabellen van publicaties. In een aantal publicaties is sprake van wetenschappelijke onzorgvuldigheid van co-auteurs. Het gaat hierbij om gedrag dat niet aan de fundamentele regels van deugdelijk wetenschappelijk onderzoek beantwoordt. Experimenten waarbij de resultaten die niet in het plaatje pasten werden weggelaten, grote aantallen proefpersonen die uit de analyses werden weggelaten, toetsingsuitkomsten die verkeerd werden gerapporteerd of bewust achterwege werden gelaten.”

Er wordt ook stilgestaan bij de werkwijze van Stapel die misbruik maakte van zijn macht als hoogleraar om ieder mogelijk spoor van twijfel in de kiem te smoren. Als de mede-onderzoekers echter attenter geweest waren, was de fraude eerder ontdekt, aldus de onderzoekscommissie. “De voorstelling van zaken door Stapel over inrichting en loop van het onderzoek, de opmerkelijke, fraudeleuze data en Stapels bevindingen zijn veelal kritiekloos geaccepteerd, ook wanneer twijfel voor de hand had gelegen. Daarbij waren de co-auteurs de eerst aangewezenen om de fraude te doorzien. Drie jonge klokkenluiders hadden uiteindelijk meer moed, alertheid en speurzin dan de zittende hoogleraren.”

Enkele andere (samengevatte) quotes uit het rapport:

“Deze en veel andere slordigheden in de onderzochte publicaties geven het beeld van een onderzoeksomgeving rondom de heer Stapel waarin het zorgvuldig en kritisch omgaan met onderzoek en data niet hoog in het vaandel stond en geen onderdeel uitmaakte van de praktische onderzoeksopleiding van promovendi.”

“Door de statistici werden tal van onvolkomenheden aangetroffen bij bestudering en heranalyse van al het onderzoeksmateriaal. Dat is onvermijdelijk, men mag niet verwachten dat sociaal psychologische onderzoekers op de hoogte zijn van de laatste specialistische technieken op statistisch gebied. Maar verontrustend is wel dat het hier toch vaak ging om onbekendheid met elementaire onderdelen van de statistiek.”

“Het is bijna onvoorstelbaar dat de co-auteurs die de data intensief geanalyseerd hebben of reviewers van de internationaal leading journals die geacht worden ter zaken deskundig te zijn niet zagen dat een gerapporteerd experiment praktisch vrijwel niet uitvoerbaar was en niet in de gaten hadden dat de statistische rapportage niet deugde.”

“Vrijwel niets van alle onmogelijkheden, merkwaardigheden en sloppyness die in dit rapport aan de orde zijn gekomen, werd opgemerkt door al deze lokale, nationale en internationale vakgenoten. En tot een verdenking van fraude kwam het al helemaal niet.”

“De commissies kunnen niet anders concluderen dan dat er van hoog tot laag sprake was van een algemene veronachtzaming van fundamentele wetenschappelijke standaarden en methodologische eisen.”

“De basisprincipes van wetenschappelijke methodologie werden genegeerd of als irrelevant ter zijde geschoven, dat heeft in belangrijke mate bijgedragen aan de zeer uitgestelde ontdekking van fraude.”

_Advertentie.