Analyse: wat is er mis met de wetenschap (deel 1)
Een crisis dreigt in het hoger onderwijs en de wetenschap. Er wordt gemord over gebrek aan kwaliteit en gepleit voor slow science. Univers belicht waar het mis ging. Vandaag: de publicatiedruk.
Goed nieuws, eerder dit jaar. Een wetenschapper had bijna een nieuw geneesmiddel tegen kanker gevonden. Hij isoleerde een stof met anti-kankereffecten uit korstmos. Hij stuurde zijn bevindingen aan bijna driehonderd wetenschappelijke tijdschriften. 158 tijdschriften toonden interesse en lieten een peer review doen, waarna het merendeel het artikel uiteindelijk publiceerde. Waarom je nog niet van deze miraculeuze doorbraak in de strijd tegen kanker hebt gehoord? Omdat het geneesmiddel niet bestaat. Het hele onderzoek bleek een hoax van John Bohannon, wetenschapper aan Harvard University. Bohannan deed onderzoek naar de kwaliteit van peer reviews. Hij liet voor zijn experiment grote fouten staan. Zo gebruikte hij namen van niet bestaande auteurs en niet bestaande Afrikaanse universiteiten.
Als een van de peer reviewers ook maar even gegoogeld had, was de auteur direct ontmaskerd. Hoe kan het gebeuren dat zo’n artikel er doorheen glipt? Het is het gevolg van negatieve prikkels in het wetenschappelijke systeem. Een goede toets door vakgenoten kost uren, soms zelfs dagen. Wetenschappers die hier tijd voor vrij maken, worden er echter niet voor beloond. Noch worden ze afgerekend op de gebrekkige kwaliteit van de peer review.
Publicatiedruk
Om carrière te kunnen maken in de wetenschappelijke wereld, wordt momenteel vooral naar het cv gekeken. Je moet een x-aantal artikelen gepubliceerd hebben, voordat je hoogleraar kunt worden. Als je dat niet doet, blijf je onderaan de bevorderingslijn. Ook om aanspraak te kunnen maken op bepaalde onderzoekssubsidies, is je cv van groot belang. Heb je niet genoeg artikelen op je naam staan, dan val je direct al af bij het selectieproces. Bij NWO kwamen in 2012 bijvoorbeeld 1589 aanvragen voor de vernieuwingsimpuls (veni, vidi, vici) binnen, slechts 265 aanvragen werden goedgekeurd. De commissie die de aanvragen beoordeeld kan met geen mogelijkheid alle aanvragen goed onderbouwd op kwaliteit beoordelen, zo zeggen zowel Tilburgse wetenschappers die een aanvraag hebben ingediend als wetenschappers die eerder in zo’n commissie zaten. Een selectie op cv (o.a. aantal publicaties en citatiescore) is de enige optie. Pas in een latere fase van de call for proposals wordt door de subsidieverstrekkers beter gekeken naar kwaliteit. Het leidt tot een ratrace. In 2011 publiceerden de Nederlandse wetenschappers samen 70.000 papers. Omgerekend naar het aantal publicaties per duizend inwoners staat Nederland op de vijfde plaats van de wereld. Publish or perish, zeggen wetenschappers zelf.
Onderzoekers zijn zelf druk met schrijven, ze hebben helemaal geen tijd om zich lang te buigen over het werk van hun vakgenoot en een gedegen peer review te doen. Universiteiten hebben er ook weinig belang bij om wetenschappers hier op aan te spreken. In de academische wereld draait bijna alles om de resultaten in de verschillende universitaire ranglijstjes, zoals de QS World University Rankings en de Times Higher Education Ranking. Wat de samenstellers van die rankings meten? Vooral veel aantallen. Een universiteit scoort pas goed in zo’n lijstje als de wetenschappers aan die universiteit veel publiceren en als ze veel geciteerd worden. Om deze citatiescore op te hogen, hakken veel wetenschappers hun onderzoek in stukjes, de zogenoemde salamitechniek. Ieder minutieus onderdeel van het onderzoek levert een apart artikel op. Des te meer publicaties, des te groter de kans door collega’s geciteerd te worden. En des te groter de kans dat de universiteit waarvoor je werkt hoog in de rankings eindigt.
Sexy en opzienbarend
Bij de kwaliteit van de publicaties speelt nog een ander probleem. Hoe opzienbarender de conclusie van de onderzoeker, des te groter de kans op publicatie. Universiteitsbibliotheken betalen de jackpot voor een abonnement op een wetenschappelijk vaktijdschrift. Een abonnement op een prestigieuze blad als Science kost ongeveer 40.000 dollar.
Universiteiten moeten kosten besparen en kijken kritisch naar de bladen waar ze op geabonneerd zijn. Om een vaktijdschrift te verkopen, geldt eigenlijk hetzelfde als voor de verkoop van een publiekstijdschrift. De artikelen moeten sexy en opzienbarend zijn. Spectaculaire claims doen het het beste. Uitgevers zijn meestal niet geïnteresseerd in het verhaal van een wetenschapper die jaren over zijn onderzoek heeft gedaan en nu met een doorwrocht artikel vol nuances komt. De toptijdschriften krijgen jaarlijks duizenden artikelen aangeboden, het merendeel wordt –bij gebrek aan ruimte- nooit gedrukt. Zo publiceerde Nature in 2011 slechts 8 procent van het aantal aangeboden artikelen. Onderzoeksresultaten worden daarom soms door wetenschappers gepimpt. Geen onderzoeker zal toegeven dat hij zelf aan datamassage doet (ze noemen het hooguit analytische keuzes), maar een op de drie onderzoekers zei eerder dat hij een collega kent die een artikel heeft opgeklopt door onwelgevallige resultaten weg te laten.
Replicatieonderzoek
Uitgevers zijn dus weinig geïnteresseerd in nuances. Waar ze over het algemeen ook geen interesse in hebben is replicatieonderzoek. Artikelen moeten nieuw zijn, anders verkoopt het niet. Maar wie niet publiceert, maakt geen carrière. Het leidt ertoe dat wetenschappers zelf ook maar weinig interesse hebben in replication. Toch kan dit nuttig zijn. Als verkeerde conclusies in het eerste onderzoek niet gecorrigeerd worden, kan dat grote gevolgen hebben voor aannames in het vervolgonderzoek. Zo werd vorig jaar bekend dat onderzoekers van een biotechnologisch bedrijf slechts 6 van de 53 onderzoeken naar kanker konden repliceren. Als deze onjuistheden echter niet gecorrigeerd worden, kan het gevolgen hebben voor de zoektocht naar geneesmiddelen tegen kanker. Overigens is er niet altijd sprake van fraude of overdrijving als een onderzoek niet gerepliceerd kan worden. Het kan ook toeval zijn dat de eerste onderzoeker een bepaald effect heeft gevonden.
Open Access
Gelukkig is er wel verbetering zichtbaar. Sinds de zaak Stapel staan tijdschriften meer open voor publicatie van replicatieonderzoek. Er liggen grote kansen voor open access tijdschriften, digitale databanken waar onderzoek in wordt gepubliceerd. De kosten van de publicaties (o.a. serverkosten en kosten voor eindredactie en voor het zoeken van peer reviewers) worden betaald door de subsidieverstrekker zoals NWO en door de auteur. Een abonnement kost meestal niets of bijna niets. De non-profit open access tijdschriften hoeven dus niet mee te doen in de ratrace om abonnees. Daardoor kunnen ze selecteren op kwaliteit. Een kijkje in de database van PlosOne, een van de meest prestigieuze open acces tijdschriften op het gebied van wetenschap en medicijnen toont dat hier wel ruimte is voor de publicatie van herhaalonderzoek.
In 2011 werd wereldwijd 11 procent van de wetenschappelijke artikelen in open access databases gepubliceerd. Hoewel het fenomeen in opkomst is, wordt er in het wetenschappelijke circuit nog altijd met scepsis naar gekeken. Een publicatie in een blad als Science of Nature wordt door wetenschappers nog altijd als het hoogst haalbare gezien voor hun ego en reputatie. Chinese wetenschappers krijgen zelfs een bonus als ze de kolommen van deze bladen halen.
Hoe dan?
Wie is er schuldig aan de crisis in de wetenschap?, wordt de laatste tijd op verjaardagsfeestjes veel gevraagd. Er is niet één schuldige aan te wijzen. Het hele wetenschapssysteem moet op de schop, van de samenstelling van rankings tot aan de manier hoe een wetenschapper promotie kan maken en tot de wijze hoe onderzoeksbeurzen verdeeld worden. Een aantal opties. Toptijdschriften niet langer laten betalen door abonnees, maar door de subsidieverstrekkers. Of geheel overstappen naar open access, waarbij het gevoel bij onderzoekers moet worden weggenomen dat dit slechter is voor hun reputatie. Een oplossing voor de verdeling van onderzoeksbeurzen: naar een kleinere schaal gaan. Niet alleen NWO of Europese Commissie laten bepalen welke onderzoeker een beurs krijgt, maar het geld deels teruggeven aan de universiteiten. Als je op kleinere schaal verdeelt, hoef je niet alleen te kijken naar cv maar ook op kwaliteitsargumenten beslissen. Bijna iedere departementsvoorzitter binnen een universiteit kan zo opnoemen wie binnen zijn departement de beste onderzoekers zijn.
Geen enkele universiteit kan de problemen binnen de wetenschap alleen oplossen, zelfs geen enkel land. Het is een internationaal probleem dat in samenhang moet worden bekeken. Het zal –gezien de neiging tot oneindig polderen in de universitaire wereld- wel een aantal jaar duren voordat dit wordt opgelost. Handig is dat niet, de problemen zijn urgent. In Nederland woedt het debat in ieder geval volop. Vijf vooraanstaande wetenschappers hebben zich verenigd in de actiegroep: Science in Transition. Dat wetenschappers zich nu bewust worden van hun eigen handelen en dat het probleem bespreekbaar wordt gemaakt, is al een eerste stap.
Malini Witlox is coördinator crossmedia bij Univers. Morgen het tweede deel in deze serie. Het gaat dan over bedrijfsdenken, reputatiemanagement en financiële prikkels.
