Jelte Wicherts over de blunder van Nature

Ouder dan dit worden we niet, verkondigde een paper in het toptijdschrift Nature stellig afgelopen oktober. De maximale levensspan van de mens zou bereikt zijn. Een grootse ontdekking, totdat bleek dat de statistische bewijzen veel te wensen overlieten. En, zo stelt Jelte Wicherts, UHD aan Tilburg University, in het NRC, dit geval is zeker geen uitzondering.

Jelte Wicherts

Hoe kan een toptijdschrift als Nature een paper publiceren vol statistische onjuistheden? Je zou denken dat het controleren van de validiteit voorop staat bij een dergelijk tijdschrift. Niets blijkt echter minder waar. „In 2013 bezocht ik een congres over peer review waar Philip Campbell, de hoofdredacteur van Nature, een lezing gaf”, vertelt Wicherts. “Hij zei dat Nature soms de standaarden voor ‘scientific rigor’ wat verlaagt, en artikelen met spannende resultaten toch publiceert. Nature en Science nemen volgens mij doelbewust risico’s, en ik vermoed dat dat de kern van het probleem is. Deze casus zet terecht vraagtekens bij de term ‘het vooraanstaande tijdschrift Nature’.”

“Er is duidelijk niet gelet op de statistiek”

Zo blijkt dat statistiek en methodologie in het rijtje van beoordelingsvragen dat Nature voor ter beoordeling gestelde papers heeft opgesteld. “Er is duidelijk niet gelet op de statistiek,” zegt Wicherts, “Ik vind het tamelijk raar dat er in dit geval geen statisticus naar het manuscript gekeken heeft. De redacteur moet daarvoor zorgen.”

In plaats van een statisticus, worden de papers gecontroleerd door zogeheten peer reviewers. Medewetenschappers dus, die de wetenschappelijke bevindingen en gebruikte methodes onder de loep horen te nemen. Een van de peer reviewers van dit paper was Jean-Marie Robine. Hij controleerde een paper dat het standpunt zou bewijzen dat hij al jaren inneemt. Toch kwam Robine wel met aardig wat stevige kritiek en adviezen. Zodanig veel zelfs, dat hij expliciete vernoeming in het paper eraan overhield. An sich niet erg, vindt Wicherts, maar het doet de objectiviteit van een peer reviewsysteem niet ten goede:

“Het peer review-proces verliep rommelig, maar zeker niet atypisch.”

“Dit geval geeft zeker inzicht in hoe het er in de praktijk aan toe gaat. Het peer review-proces verliep hier wat rommelig, maar zeker niet atypisch. Wat vooral opvalt is dat de auteurs hier geen experts waren, en dat de reviewers een zeer actieve rol speelden in het verbeteren van het artikel. Uiteindelijk ‘plugde’ één van hen ook zijn eigen data. Inhoudelijk kan dat best verdedigbaar zijn, maar het laat zien dat volledig onafhankelijke oordelen moeilijk te realiseren zijn.”

_Advertentie.