UvT-onderzoekers komen met tijdschrift over data

UvT-wetenschappers zijn een eigen wetenschappelijk psychologietijdschrift gestart, waarin onderzoekers datasets en datapapers kunnen publiceren. Het Journal of Open Psychology Data (JOPD) moet bevorderen dat psychologen data delen, zodat andere wetenschappers ermee aan de slag kunnen. Initiatiefnemer van het Open Access tijdschrift is Jelte Wicherts, universitair hoofddocent bij het Department of Methodology and Statistics.

In de advisory board (peer reviewers) zitten verschillende gerenommeerde wetenschappers, waaronder de Amerikaanse gedragseconoom Uri Simonsohn, Simonsohn werd eerder bekend omdat hij een statistische methode had ontwikkeld om verdachte patronen op te sporen in data van wetenschappelijke artikelen.

Hoewel het delen van data door de zaak Stapel erg actueel werd, stoorde Wicherts zich al langer aan het feit dat psychologen vaak hun data niet deelden. Hij liep daardoor bij zijn promotieonderzoek aan de Universiteit van Amsterdam tegen praktische problemen aan. “Nederlanders scoren steeds hoger op IQ-testen. Ik deed tussen 2002 en 2007 onderzoek naar de vraag waarom het IQ van Nederlanders was toegenomen en wilde nagaan of dat kwam doordat wij gewoon steeds beter werden in het invullen van de testen. Er moeten duizenden IQ testen zijn afgenomen. Ik kon echter bijna niemand vinden die die testen had bewaard. Het was een complete puinhoop. Jammer, want het is waardevolle data.”

Samen met andere collega’s startte Wicherts een onderzoek waarbij 141 onderzoekers (psychologie) werden benaderd met de vraag of ze hun data mochten hebben. Volgens de landelijke gedragscode moesten de wetenschappers dit afgeven. “Het resultaat was shocking. Na verschillende reminders kwam 27 procent met data over de brug. Ik heb daar in 2006 over gepubliceerd in het lijfblad van de American Psychological Association, maar er werd schouderophalend op gereageerd.”

We spoelen door naar 2011, het jaar dat UvT-hoogleraar Diederik Stapel werd ontmaskerd als fraudeur. Er ontstond een zogenoemde perfect storm binnen de psychologische wereld, waarbij de psychologen doorkregen dat de manier waarop ze omgingen met data niet optimaal was. Wicherts: “Er worden veel arbitraire keuzes gemaakt bij onderzoek, resultaten worden vaak veel mooier gepresenteerd dan ze zijn. Ook worden er fouten gemaakt. Daar borduren onderzoekers soms jaren op voort, pure geldverspilling. Er zijn twee remedies. Allereerst moet je alle data netjes opslaan, ten tweede moet je de data delen.”

In de wetenschap beschouwen onderzoekers data echter vaak als hun bezit. Ze hebben er soms jaren over gedaan om de gegevens te verzamelen en willen het niet delen. Met het nieuwe tijdschrift willen de initiatiefnemers die cultuur doorbreken. “Bij publicatie van het artikel in een papieren tijdschrift zie je vaak tekst van vier pagina’s met hooguit wat toetsresultaten met P-waardes in een kadertje. Jammer, want je kunt zoveel meer doen. In deze tijd horen data eigenlijk integraal onderdeel van de publicatie uit te maken. Je kunt op papier verwijzen naar een database of website met de data. Als de data niet openbaar zijn, kun je ook niet verifiëren welke analytische keuzes er zijn gemaakt. Het is zo raar dat degene die de data heeft verzameld, het laatste woord heeft over de vraag wat de data betekenen. Zeker als je data opvraagt omdat je het niet eens bent met de analyse, dan krijg je het niet. Dat is onwaarschijnlijk onwetenschappelijk. Leg gewoon helder uit welke keuze je hebt gemaakt. NWO en andere subsidieverstrekkers zouden als voorwaarde bij de subsidie op moeten nemen dat data openbaar worden gemaakt. Ik vind dat NWO daar te slap in is. Openbaarheid van data zorgt voor betere wetenschap. Ik ben als wetenschapper zelf als de dood dat ik een fout maak in mijn analyse. Ik weet dat door het delen van data anderen die fouten kunnen zien, dus controleer ik alles drie keer voordat ik publiceer.”

Het initiatief van Wicherts lijkt een beetje mosterd na de maaltijd. Sinds de zaak Stapel hebben verschillende psychologische departementen al orde op zaken gesteld. Data worden niet langer vernietigd of in een doos op zolder bewaard. Zo slaan de sociaal psychologen van Tilburg University hun data op via Dataverse. “Er is echter een verschil tussen archivering en het openstellen voor de wereld. In Dataverse is het lastig zoeken. Er zit ook geen paper bij, waarin de onderzoeker aangeeft welke onderzoeksmethodes hij heeft gebruikt, welke keuzes er zijn gemaakt en welke formats er zijn gebruikt. Bij ons moet dat wel. We willen niet alle data doorplaatsen. We geven het een soort van kwaliteitskeurmerk. Zijn het wel interessante data, zijn ze goed gedocumenteerd, zijn ze goed bereikbaar? Overigens is de vraag of iets interessant is arbitrair. Iets kan als individueel onderzoek niet interessant zijn, maar als meta-analyse wel.”

_Advertentie.