Proefschriften De Ruijter: wel erg vaak dezelfde beoordelaars
Het onderzoek naar promotiefraude door oud-decaan Arie de Ruijter wringt. Er is ferme kritiek op de proefschriften en er wordt zelfs gesproken van ‘questionable research practices.’ Maar harde maatregelen worden er niet genomen. Ook opvallend: een klein clubje wetenschappers was wel érg vaak betrokken bij de gelaakte proefschriften, terwijl ze lang niet altijd de juiste expertise hadden.
Tweeëndertig proefschriften heeft Arie de Ruijter tijdens zijn decanaat van 2007 t/m 31 december 2014 begeleid aan de faculteit TSH, volgens de Research Portal. Tellen we over zijn gehele aanstelling aan Tilburg University én aan andere faculteiten, dan komen we zelfs tot 53 proefschriften. Naast het onderzoek naar financiële fraude heeft de universiteit ook onderzoek laten uitvoeren naar de wetenschappelijke integriteit bij de totstandkoming van deze proefschriften.
Typisch iets om de Commissie Wetenschappelijke Integriteit (CWI) van Tilburg University voor in te schakelen. Maar dan zou het CvB een besluit moeten nemen over het rapport, zegt woordvoerder Tineke Bennema. Door een externe ad-hoc commissie op te tuigen, hoefde dat niet. Bennema: “Het is een op zichzelf staand onderzoek. Met het instellen van een externe ad hoc commissie zijn maximale neutraliteit en onafhankelijkheid gewaarborgd.” Opmerkelijk genoeg is de voorzitter van de externe commissie (de Utrechtse hoogleraar Ton Hol) óók de voorzitter van Tilburg University’s eigen CWI.
De externe commissie moest de proefschriften tegen het licht houden en werkte in geheimhouding. Daarom spraken ze niet met betrokkenen en geven niet aan welke en hoeveel proefschriften ze hebben gelezen. Het blijft bij een indicatie: een groot aantal, zeer grondig.
Kritische bevindingen
De commissie is kritisch op het niveau en komt tot stevige bevindingen. De proefschriften zijn geschreven door niet aan de universiteit verbonden professionals (buitenpromovendi), vaak aan het eind van hun carrière. De eigen ervaring staat teveel voorop. Case studies nemen veel ruimte in beslag, terwijl onduidelijk is waarom. Het bijbehorende risico op bias wordt onvoldoende onderkend. Conclusies van de proefschriften laten zich ‘moeilijk generaliseren’. Daardoor was er beperkte of zelfs géén wetenschappelijke meerwaarde.
Het grote aantal proefschriften is in korte tijd gerealiseerd, terwijl ze vaak niet duidelijk onder expertise van promotor(en) vielen. De proefschriften onttrokken zich aan interne en externe kwaliteitszorg. Het geheel is van onvoldoende kwaliteit voor één onderzoeksgroep of leerstoel. Het gaat om ‘te veel bespreekgevallen’, waardoor het zeer de vraag is of een ‘promotiebeleid dat hieruit valt af te leiden beantwoordt aan normen voor wetenschappelijke kwaliteit.’
Ook zijn er feiten die de schijn van partijdigheid wekken. Zo trad een beperkt aantal hoogleraren en gepromoveerden bij meerdere promoties op als beoordelaar en vonden financiële transacties plaats voor begeleiding, soms uitbetaald aan eigen ondernemingen.
Milde oordelen
Op basis van deze bevindingen moest de commissie drie vragen beantwoorden:
1. Was de samenstelling en werkwijze van de commissies zodanig, dat de beoordeling plaatsvond volgens de gebruikelijke wetenschappelijke maatstaven?
2. Konden de beoordelingscommissies redelijkerwijs concluderen dat de proefschriften mochten worden verdedigd?
3. Is er door financiële belangen reden om te twijfelen aan de wetenschappelijke integriteit bij de beoordeling?
En dan gebeurt er iets opmerkelijks. Niet één keer concludeert de commissie dat er iets mis is gegaan. De samenstelling van de commissies? Niks aan de hand. Het toelaten van die proefschriften tot verdediging? Daar is vast over nagedacht, of had over nagedacht moeten zijn, en er zijn onvoldoende aanwijzingen dat doctoraten onterecht zijn verleend. De financiële belangen? Geen verband gevonden met de kwaliteit van de proefschriften.
In beantwoording op deze derde vraag sluit de commissie niet uit dat perverse financiële prikkels hebben geleid tot ‘een promotiecultuur, waarbij kwantiteit voorrang leek te hebben boven kwaliteit.’ En stelt vast dat ‘alhoewel er redenen geweest kunnen zijn om (uiteindelijk) de betreffende doctoraten (…) te verlenen, sprake is van een praktijk die zou moeten worden voorkomen’.
Algemene conclusie die de commissie trekt: er zijn geen of onvoldoende aanwijzingen dat er is gehandeld in strijd met de wetenschappelijke beginselen van onafhankelijkheid en onpartijdigheid, dat je zou kunnen spreken over een inbreuk op normen van wetenschappelijke integriteit.
Maar: ‘voorkomen moet worden dat in de toekomst opnieuw een praktijk ontstaat waarin relatief veel wetenschappelijk zwakke proefschriften door een beperkte hoeveelheid mensen (…) beoordeeld worden.’ Er is volgens de commissie sprake van questionable research practices.
Op het randje
Het rapport zorgt voor opgetrokken wenkbrauwen. Na uitgebreide kritiek volgen wel erg milde conclusies.
Lex Bouter, Hoogleraar Methodologie en integriteit aan de Vrije Universiteit (VU), heeft de indruk dat de commissie keurig te werk is gegaan. Volgens methodoloog Jelte Wicherts had de commissie het niet makkelijk. “Een hele reeks onderzoeken binnen beperkte tijd onderzoeken? Bij Stapel duurde het een jaar, in een samenwerking van drie universiteiten.”
Beiden merken op dat een commissie er niet bij was, toen de proefschriften als voldoende werden beoordeeld. Bouter: “Achteraf anders oordelen, kan alleen als het evident onder de maat is.” Wicherts: “Een integriteitscommissie zal niet snel roepen dat het niet goed is. Als ik buitenpromovendus was en een commissie zegt dat mijn door een promotiecommissie goedgekeurde proefschrift niet klopt, en ik loop hierdoor een grote opdracht mis, dan zou ik de commissie kunnen aanklagen.”
“Het probleem is dat er zoveel op het randje zijn”
Er blijft genoeg te zeggen over het rapport. Zo vindt Wicherts het een stevige bevinding, dat de kwaliteit van de proefschriften laag was. “Als alle genoemde kritiek in één proefschrift zit, is dat een slecht proefschrift.” Wel is het moeilijk precies te bepalen wanneer een proefschrift niet goed genoeg is, merkt Bouters op. “Je hebt een heel spectrum, van briljante tot ondeugdelijke proefschriften. Soms zal de ene commissie iets accepteren en de andere niet, dat is niet erg. Wat hier gebeurd lijkt te zijn, is dat er alleen maar proefschriften van niet geweldige kwaliteit aan de orde waren. De commissie zegt over de individuele proefschriften dat er geen door de mand valt, maar dat het probleem is dat er zoveel op het randje zijn.”
Schade
Fraude is volgens Bouter erger, maar de geconstateerde twijfelachtige praktijken richten waarschijnlijk meer schade aan, omdat het vaker voorkomt. “Het niet goed begeleiden van studenten en promovendi wordt door experts gezien als een groot probleem, want het komt relatief vaak voor en is één van de meest verantwoordelijke taken die je als wetenschapper hebt.”
De kwalificatie van twijfelachtige praktijken lijkt vrijblijvend, want er zitten anders dan bij fraude geen gevolgen aan voor de individuele wetenschapper. Volgens Bouter en Wicherts zou je individuele wetenschappers ook niet moeten straffen voor dit soort praktijken. Universiteiten moeten nadenken over procedures, zoals het samenstellen van beoordelingscommissies.
Geen expertise
Promotoren hadden hier volgens de commissie niet duidelijk expertise op het terrein van de proefschriftonderwerpen. “Dat is niet de bedoeling,” zegt Bouter. “Je moet promovendi begeleiden op het terrein waar je verstand van hebt. Of je moet andere mensen aan boord trekken voor de hoofdstukken of artikelen die je zelf niet kan begeleiden.” Wicherts: “Het kan bijvoorbeeld niet zo zijn dat ik volgende week bij de verdediging zit van onderzoek dat gedaan is met een deeltjesversneller. Dat is een wanpraktijk.”
“Je moet voor die beoordelingscommissies niet iedere keer dezelfde groep vragen”
Dat de Ruijter vaak met dezelfde promotoren proefschriften begeleidde, vindt Bouter niet gek. Maar beoordelingscommissies moeten wel goed in elkaar zitten. “Collega’s die niks met het product te maken hebben gehad behoren het werk te controleren, dat moet een diverse en onafhankelijke groep zijn. Gebruikelijk is ook hoogleraren van andere universiteiten op te nemen. Dat zijn de checks and balances van het systeem.” Wicherts: “Je moet voor die beoordelingscommissies niet iedere keer dezelfde groep vragen.
Uit een bestudering van de commissie-samenstellingen door Univers blijkt dat een kleine groep wetenschappers wel érg veel betrokken was bij de vele promoties (zie de infographic hieronder). Dat zou volgens Bouter te verklaren zijn als het om één onderzoeksgebied ging: dan moet je wel steeds dezelfde mensen vragen, want daarvoor heb je niet zoveel niet-betrokken experts.
Maar inhoudelijk liepen de proefschriften juist sterk uiteen, en bovendien staan de sociale wetenschappen er niet om bekend een tekort te hebben aan hoogleraren die proefschriften kunnen beoordelen. Al denkt Bouter niet dat de kleine club terugkerende wetenschappers andere beoordelaars onder druk heeft gezet. “De beoordeling gaat doorgaans schriftelijk, commissies komen dan niet bijeen. En men ziet elkaars beoordeling in de regel niet, of pas na indiening van het eigen oordeel.”
Onderbouwd oordeel
Wie alles overdenkt, zal wellicht geneigd zijn tot andere conclusies te komen dan de commissie Hol. Zoals: de samenstelling en werkwijze van de commissies deugde niet, de beoordelingscommissies hadden al die matige tot slechte proefschriften niet mogen goedkeuren en financiële belangen hebben deze wanpraktijk in de hand gewerkt. Hoe kan het immers allemaal in orde zijn, als er al zoveel kritiek op wordt geuit door nota bene de commissie zelf?
“Het zijn heel begrijpelijke vragen,” zegt Ton Hol. “Iedereen mag daarover zijn mening hebben. Maar de taak van de commissie was tot een onderbouwd oordeel te komen. Vermoedens of meningen zijn onvoldoende.”
De commissie zag dat een beperkte groep wetenschappers steeds terugkwam in de beoordelingscommissies. “Dat wekt de schijn van partijdigheid, maar ik ga dan niet zeggen dat er sprake is van niet integer handelen.” Ook kon De Ruijter maar uit een beperkte groep wetenschappers met voldoende specialistische kennis vissen, om de commissies samen te stellen.
Hol: “Het belangrijkste punt vond ik: zijn deze commissies helemaal zo geregisseerd dat het allemaal vriendjes zijn en dat het doorgestoken kaart is? Dat is niet zo… althans, dat hebben wij niet vastgesteld. Wij zeggen: dit valt op, het is een aandachtspunt, maar het is wel te verklaren.”
Onvoldoende
Het niveau van de proefschriften was niet al te best. “We stuitten op proefschriften waar ik niet diep onder de indruk van was,” zegt Hol. “Waarvan we zeker denken te weten dat er discussie over moet zijn geweest. Maar dat betekent niet dat het niveau onvoldoende was.” Ook proefschriften zonder duidelijke wetenschappelijke meerwaarde kunnen tot een doctorgraad leiden: “Dat gebeurt wel vaker, je begint met onderzoek en uiteindelijk valt het tegen. Dan geldt nog altijd de proeve van bekwaamheid: is men in staat zelfstandig onderzoek te doen?”
“Zijn deze commissies zo geregisseerd dat het doorgestoken kaart is? Dat is niet zo… althans, dat hebben wij niet vastgesteld.”
Bovendien kan een commissie volgens Hol achteraf moeilijk proefschriften afkeuren. “Dan ga je op de stoel van de commissie zitten, daarvoor moet je wel heel zeker weten dat het echt niet kon.” Een proefschrift dat het niveau heeft van een masterscriptie, met dt-fouten aan toe, zou Hol afkeuren. De praktijk die de commissie aantrof was niet best, blijkt uit het rapport.
“Maar we zien ook dat er serieus werk is verricht door de promovendi. Men heeft geen cadeautjes weggegeven.” De financiële transacties richting universiteiten van medebegeleiders of beoordelaars waren volgens Hol bovendien niet zo groot, dat wetenschappers zich er mogelijk door hebben laten beïnvloeden.
Foute boel
De commissie had geen inzage in alle beoordelingsrapporten die destijds door commissies zijn geschreven. Tegenwoordig worden die volgens Hol door universiteiten bewaard, maar enkele jaren terug nog niet. Maar moest dit destijds dan niet zijn opgevallen? Het is aan vice-decanen onderzoek en decanen om de kwaliteit van promotiecommissies te bewaken. “Het probleem hier is misschien dat de decaan ook de promotor was.”
“We zijn niet gestuit op een evident foute boel,” besluit Hol. Toch concludeert de commissie herhaaldelijk en in felle bewoordingen dat deze praktijk niet meer mag voorkomen. “In individuele gevallen kon je redenen hebben deze proefschriften goed te keuren. Maar als je het op een rijtje zet, dan hoop ik dat dit niet meer zo gebeurt.”
Dit artikel verscheen in Univers 12.
John Rijsman: ‘Ik was betrokken, maar ook volstrekt onafhankelijk’
“De proefschriften waren niet geschikt om te publiceren in journals die abstracte wetenschap bedrijven, maar ik zou niet zeggen dat ze een zwakke kwaliteit hadden. Zoals bij alle proefschriften heb ik gezien dat er goede en minder goede tussenzaten. Ik heb ook weleens getwijfeld, en dat zeg je dan. Maar je wist bij Arie: dit snijdt hout. Soms kon de theoretische reflectie beter of konden er invalshoeken uit de literatuur bij worden betrokken. Daar heb je te maken met smaken en voorkeuren. Ik heb nooit iets gezien dat echt niet kon. En je kan niet in de schoenen treden van commissieleden, die denk ik een integere beoordeling hebben gegeven.
Als je substantiële kennis wil hebben over de maatschappij die overdraagbaar is, dan heb je juist dit soort proefschriften nodig. Ik heb ze vaak gebruikt in het onderwijs. Ze waren vrij helder gestructureerd en hadden één groot voordeel: ze gingen ergens over. Het waren geen modellen of abstracte dingen die je zelf kan verzinnen. Het is onmogelijk de boel te belazeren als je schrijft over het bedrijfsleven, de echte wereld, waar dingen zijn gebeurd.
Een universiteit is niet alleen bedoeld voor zuivere wetenschap. Ik heb met wel twaalfhonderd mensen in promotiecommissies gezeten. Zo heb ik veel verschillende benaderingen en visies gezien. En kan ik zeggen dat er heel veel soorten wetenschap zijn. Zeker als je als universiteit beweert de maatschappij te willen begrijpen, vind ik dat je ook dit soort wetenschap moet bedrijven.
Ik heb Arie de Ruijter twee keer als decaan gehad. Hij wist dat ik een verscheiden en grote internationale ervaring heb. Het is niet zo dat Arie uit veel mensen kon kiezen en hele andere commissies kon samenstellen. Als je het hebt over proefschriften naar fenomenen uit de maatschappij, dan zullen de meeste hoogleraren die niet willen beoordelen omdat ze zichzelf niet geschikt vinden. Ik was betrokken, maar ook volstrekt onafhankelijk ten opzichte van Arie, net zoals ik dat ben ten opzichte van honderden andere collega’s.”
John Rijsman was uit 19 uit 32 keer betrokken bij promotiecommissies van De Ruijter
Advertentie.
