Ranking The Stars

Een universiteit groeit van tegengas. In de rubriek Doordenken voorziet hoogleraar Rob van Gestel ontwikkelingen in de academische wereld van kritisch commentaar. Deze keer: de obsessie met lijstjes en rankings.

Onlangs heeft u in Univers kunnen lezen dat Tilburg Law School de afgelopen twee jaar zestien plaatsen is gedaald op de Times Higher Education ranking (THE). Het bericht heeft verder weinig publieke aandacht getrokken. Zo gaat dat tegenwoordig.

Is er een faculteit die een of twee plekjes stijgt op een ranking dan is er taart en champagne en gaat de vlag uit, zonder dat er doorgaans veel aandacht is voor de vraag: wat betekent dit precies? Zodra er echter een dramatische daling is dan hoort de buitenwacht vrijwel niets. Als er al gereageerd wordt, bijvoorbeeld naar aanleiding van vragen vanuit de media, dan wordt zo’n uitslag “gedownplayed”.

Is dit laatste onterecht? Niet per se. Rankings, zoals die van THE, zijn in feite populariteitswedstrijden. Want hoe weet ik als wetenschapper, die gevraagd wordt om zo’n vragenlijst in te vullen, wat de kwaliteit van het onderwijs en onderzoek aan instellingen in andere landen is? Waar ik geen concrete relatie mee heb, behalve dat ik misschien weleens iets lees van een paar buitenlandse collega’s of een congres bezoek of met studenten van die instelling spreek die hier op uitwisseling zijn.

Sterker nog, ik zou niet eens weten wat precies de kwaliteit is van het onderwijs en onderzoek dat er in mijn eigen faculteit op aanpalende terreinen wordt verricht. Hoe zou ik dan zicht kunnen hebben op wat de kwaliteit is van wat in Leiden, Heidelberg of Boedapest aan onderwijs en onderzoek wordt verricht?

Met een korrel zout

Nu beroepen rankings, zoals die van THE, zich ook op ‘objectieve data’. Dat zijn bijvoorbeeld citatiescores in databanken, zoals Scopus en Web of Science. Maar veel van het juridische onderzoek komt daarin niet terecht, want dit soort databanken tellen vooral citaties van Engelstalige publicaties in Engelstalige tijdschriften.

Terwijl de juridische wereld – ondanks alle globaliseringsretoriek – nog altijd vrij sterk gebaseerd is op nationale rechtstelsels en vaak ook publicaties in de eigen landstaal, met uitzondering van enkele vakgebieden, zoals Europees en internationaal recht en sommige niet sterk met het recht in de praktijk verbonden subdisciplines, zoals de rechtstheorie.

“Het gaat om stemmen tellen, niet om een inhoudelijk gemotiveerd oordeel” 

Is er met andere woorden reden om dit soort rankings met een korrel zout te nemen: ja die is er. Wat alleen ongeloofwaardig is, is dat je groot belang hecht aan je positie op zo’n ranking als het je goed uitkomt en je er mooie sier mee kunt maken waar het gaat om de werving van (buitenlandse) studenten, maar de rankings relativeert zodra de uitkomsten tegen zitten.

Om die reden was ik verrast door de collectieve mail vanuit het bestuur van Tilburg Law School naar aanleiding van de dramatische val op de THE ranking. Medewerkers werden “herinnerd” aan het feit dat ze wanneer ze een vragenlijst van THE ontvangen ook hun eigen instelling kunnen nomineren als “one of the excellent universities in their field of expertise”.

Een of twee vragenlijsten maken het verschil

Op zich is het al vreemd als trotse medewerkers dat zelf niet kunnen bedenken. Daaraan werd echter nog toegevoegd dat de forse daling op deze ranking te wijten is aan “a lack of votes in the Reputation Survey.” Tsja, zo werkt het systeem nu eenmaal. Het gaat om stemmen tellen, niet om een inhoudelijk gemotiveerd oordeel van de rechter waarin het bewijs zorgvuldig gewogen wordt.

Opvallender was de suggestie in de e-mail dat “one or two votes can make an enormous difference”. Is dat werkelijk zo? Maken één of twee stemmen minder dat je ineens zestien plekken op die ranking keldert? Als dat waar is, dan zou je aan zo’n ranking überhaupt weinig waarde mogen toekennen, lijkt me.

“Maken één of twee stemmen minder dat je ineens zestien plekken op die ranking keldert?”

Dit laatste is echter niet de conclusie die in de mail getrokken wordt. Integendeel; iedere medewerker wordt juist aangemoedigd om met het oog op de toekomst nog eens in de eigen mailbox te kijken of men toch echt geen vragenlijst van THE heeft ontvangen. Daaraan wordt toegevoegd dat de kans dat men zo’n vragenlijst ontvangt aanzienlijk hoger is naarmate men als wetenschapper zelf meer citaties krijgt in Scopus.

Daaruit put THE namelijk vooral waar het gaat om kandidaten aan wie een vragenlijst wordt gestuurd. Hoe meer citaties je hebt, des te groter de kans dat je gevraagd wordt de vragenlijst in te vullen. Ik voelde me gelijk opbloeien, want ik behoor namelijk tot de gelukkigen die een vragenlijst hebben mogen ontvangen. Dan ben je kennelijk een sleutelfiguur in Tilburg, want één of twee vragenlijsten maken het verschil als ik de decaan mag geloven.

Meer aandacht voor de menselijke maat

Niettemin bleef er toch iets knagen. De vraag waarop in de mail namelijk helaas niet wordt ingegaan is: hoe is het mogelijk dat zelfs één niet ingevulde vragenlijst al zo’n enorme impact kan hebben op de positie in de THE ranking? Zelf zie ik vooralsnog drie voor de hand liggende verklaringen:

1. Wij zijn mogelijk toch ietsje minder “top” dan we denken op grond van de citatiescores die worden geregistreerd in databases als Scopus en daarom ontvangt niet de halve faculteit zo’n THE vragenlijst. Daardoor tellen een paar geënquêteerden meer of minder onevenredig zwaar mee;
2. Vele collega’s ontvangen zo’n THE vragenlijst, maar de overgrote meerderheid vindt andere law schools (nog) beter, vindt het aanmatigend om zich een oordeel aan te meten over wat er aan faculteiten elders gebeurt of denkt dat het niet zo geloofwaardig is om jezelf massaal de hoogste scores te geven;
3. Mijn collega’s zijn niet zo bezig met rankings en vinden het vervelend om enquêtes in te vullen waarvan men het nut niet inziet.

(Tekst gaat verder na afbeelding)

Tilburg Law School

Vanuit bestuurlijk perspectief begrijp ik de collectieve mail met name wanneer de derde reden belangrijk mocht zijn. De gedachte zou kunnen zijn: misschien dat jullie vragenlijsten invullen vervelend vinden, maar dit is wel van groot belang voor ons “business model”. Hoge THE scores, betekent meer buitenlandse studenten, dat betekent meer inkomsten voor de universiteit en daar leven jullie als medewerkers ook van. Dus iets meer aandacht voor het collectieve belang graag!

Op zichzelf is een dergelijke redenering legitiem. Zeker wanneer het zo mocht zijn dat rankings nu eenmaal een “fact of life” zijn waar je als individuele universiteit niet omheen kunt. Ik vraag me echter af of dit laatste het geval is. Zo heeft de Gentse rector onlangs nog aangekondigd dat hij juist minder aandacht voor de positie op rankings wil.

Hij wenst meer aandacht voor de inhoudelijke kwaliteit van onderwijs en onderzoek, en voor de menselijke maat in de wetenschap. Zodat wetenschappers niet te snel opbranden in een “rat race” die eigenlijk al veel te lang gaat over: aantallen publicaties, aantallen citaties, aantallen promomoties, aantallen nominaal afgestudeerden enzovoort. Volgens mij is de Gentse universiteit in de tussentijd nog niet van de kaart geveegd.

Investeren in inhoudelijke kwaliteit

Los van de vraag hoe dwingend rankings zijn voor universiteiten en in hoeverre je je er als bestuurder aan kunt onttrekken, blijft staan dat rankings nooit een doel op zich mogen zijn. Een ranking is – als het goed is – een middel om een achterliggend doel te bereiken, namelijk: transparant maken van de kwaliteit van onderwijs en onderzoek. Dit hoort de “core business” te zijn van iedere universiteit.

In dat opzicht vind ik het zorgelijk dat in de collectieve mail geen enkele aandacht wordt gewijd aan de vraag: wat is eigenlijk die kwaliteit? Klopt de beeldvorming van de THE met de werkelijkheid van het onderwijs en onderzoek op de werkvloer? En valt er misschien aan die inhoudelijke kwaliteit nog iets te verbeteren? De indruk die de e-mail wekt is dat we onszelf massaal de hemel in moeten prijzen, aangezien daling op de ranking slecht is voor de beeldvorming. “Keeping up appearances” dus.

“Een ranking is een middel om een achterliggend doel te bereiken, namelijk: transparant maken van de kwaliteit van onderwijs en onderzoek” 

Van huis uit heb ik echter geleerd dat als je heel goed bent, je dat het best door anderen kunt laten zeggen en het niet zelf van de daken hoeft te schreeuwen. Dat past denk ik ook bij een Brabantse rechtenfaculteit (pardon: “law school”). In het verleden zijn we inderdaad vaak beter geweest dan bijvoorbeeld onze hoofdstedelijke collega’s, maar dat was nooit een reden om daarmee te koop te gaan lopen.

Om deze reden vraag ik me af: zou de volgende strategie om aan reputatievorming te doen wellicht ook nog een optie kunnen zijn:

1. Minder investeren in fusies en reorganisaties en meer in werving, selectie en training van wetenschappers (bijvoorbeeld investeren in een goede onderzoeksmaster in plaats van in een bonte verzameling losse PhD cursusjes);
2. Minder aandacht voor publicaties tellen en meer voor inhoudelijke innovatie in het onderzoek;
3. Minder aandacht voor ronkende onderwijsprofielen en juist meer voor begeleiding van beginnende docenten, opbouwen van ervaring (niet iedere twee jaar nieuwe jonge docenten met losse contractjes) en vertaling van onderzoek naar onderwijs;
4. Minder top down bestuurlijke bemoeienis met de inhoud van het onderzoek via de interne geldkraan en juist meer aandacht voor het ontwikkelen van eigen onderwijs- en onderzoeksagenda’s van wetenschappers;
5. Minder aandacht voor valorisatie en co-creatie van onderzoek met maatschappelijke “stakeholders” en juist meer aandacht voor methodologische verantwoording en integriteitsvragen, aangezien vertrouwen in wetenschappelijke reputatie doorgaans te voet komt, maar te paard vertrekt?

Zouden dit werkelijk achterhaalde idealen zijn? Zo niet, zou het dan niet denkbaar zijn dat wanneer wij meer investeren in inhoudelijke kwaliteit, dat na verloop van tijd vanzelf ook anderen gaat opvallen?

Rob van Gestel is hoogleraar aan Tilburg Law School

_Advertentie.