Universiteitsrankings: appels en peren vergelijken?

Duizenden onderwijsinstellingen kijken er elk jaar weer reikhalzend naar uit. Zijn ze gestegen of gezakt, en hoeveel plaatsen dan wel? Of nog spannender: staan ze er zelfs wel op? Internationale rankings van universiteiten als de Time Higher Education (THE) en de QS World University worden steeds belangrijker voor de academische gemeenschap. Maar hoe komen ze tot stand en wat zeggen ze nu écht over de onderwijskwaliteit?

Zodra een universiteit in een van de vier toonaangevende rankings staat, kan het management haar geluk niet op. Het goede nieuws wordt getwitterd en gefacebooked en persberichten met de blijde boodschappen buitelen over elkaar heen. Jonna den Uyl, woordvoeder van de Nederlandse vereniging van Universiteiten (VSNU), begrijpt die uitbundigheid bij een goed resultaat wel.

Niet links laten liggen

In een academische gemeenschap die steeds internationaler wordt, winnen de rankings volgens haar snel aan autoriteit. “Wanneer universiteiten een samenwerking of een uitwisselingsprogramma willen aangaan, zijn rankings hét middel om instellingen met elkaar te vergelijken. Ook veel internationale studenten nemen rankings als THE en Acadamic Ranking of World Universities (ARWU)  mee in hun keuze, dus het is niet verstandig om ze links te laten liggen.”

Maar het is ook zaak om je niet blind te staren op de lijstjes met goed presterende universiteiten, benadrukt Den Uyl. “Rankings moeten geen doel op zich worden, ik zou universiteiten niet adviseren om hun beleid daar op te sturen. Je moet je je vooral afvragen wat je wilt weten van een universiteit en wat belangrijk voor je is. In het algemeen zijn rankings namelijk vooral gericht op onderzoek. De kwaliteit van het onderwijs is ondergeschikt en wordt vaak niet eens meegenomen.”

Weinig transparantie

Mondiaal zijn er vier rankings die de boventoon voeren (zie onderaan artikel). Belangrijk om te weten is dat de achtergronden van deze rankings erg verschillen. Zo is de ARWU opgesteld met het oog op de belangen van Chinese studenten. Bepaalde indicatoren krijgen daarmee meer gewicht dan wanneer het bijvoorbeeld om een Europese ranking gaat. En daarmee vinden we gelijk de eerste kink in de kabel wat betreft de betrouwbaarheid van rankings. “Het blijft appels met peren vergelijken”, zegt Peter Maarleveld, corporate staff. Hij verzamelt voor Tilburg University gegevens over onderwijs- en studieresultaten.

Is het feit dat Tilburg University maar op een van de vier lijsten van de bekendste rankings voorkomt zorgwekkend? “Nee”, vindt Maarleveld. “Dat we niet op zo’n ranking voorkomen, wil niet zeggen dat we ineens niet meer meetellen.” Den Uyl sluit zich hier bij aan. “Tilburg University is een specialistische universiteit zonder bèta en medische faculteiten. Dan val je al snel buiten de boot als je bedenkt dat juist uit die hoek veel wetenschappelijke publicaties komen.”

Zijn de rankings waarheidsgetrouw?

Op het eerste gezicht worden de rankings dan ook met uiterste zorgvuldigheid onder leiding van hoogstaande academici samengesteld. Toch is dat gedeeltelijk schone schijn. De Letse hoogleraar onderwijskunde en adviseur kwaliteitsmanagement Andrejs Rauhvangers (1952) vertelt aan het blad Transfer dat er listige trucs worden toegepast. Zo is er bijvoorbeeld het sterrensysteem in de ranking van QS. Voor 30.000 dollar kunnen universiteiten een assessment ondergaan waarbij factoren als studenttevredenheid, sportfaculteiten en de arbeidspositie van afgestudeerden worden bekeken. Hiermee vallen vijf sterren en een extra plusje te verdienen. Bij universiteiten die de assessment niet laten uitvoeren, worden geen sterren gegeven. Dat levert een vertekend beeld op. “Stel je voor hoe dat voelt voor die universiteiten”, stelt een verontwaardigde Rauhvangers. Extra zuur is dat de eerste sterren in dit systeem gratis zijn weggegeven aan universiteiten die sowieso al hoog op de ranglijsten stonden. Andere universiteiten worden daardoor haast gedwongen om ook mee te doen. Rauhvangers benadrukt dat er wereldwijd talloze universiteiten zijn die prima functioneren. “Nu lijken het plotseling tekortkomende instituten omdat ze niet op internationale ranglijsten staan.”

Haken en ogen

Manipulatie van rankings, het verschillend meewegen van indicatoren; het zijn niet de enige haken en ogen bij het opstellen van de rankings. Zo worden er factoren meegewogen die eigenlijk weinig toevoegen aan de resultaten. De staf/studenten ratio zegt bijvoorbeeld niets over de kwaliteit van het onderwijs. Ook bij het verzamelen van de data kunnen vraagtekens worden gezet. Bij sommige rankings leveren universiteiten namelijk zelf de gegevens aan, met als gevolg het risico op fouten en manipulatie. Het kan dan ook rendabel zijn om bepaalde gegevens niet door te geven. “Meten is weten, maar met ongeveer bereik je meer”, merkt Maarleveld dan ook terecht op. Daarnaast is er bij rankings waarbij citaten meetellen sprake van een schaaleffect: een grotere universiteit leidt vrijwel automatisch tot meer citaten. Ook leiden rankings die zijn gericht op reputatie tot een zelfversterkend effect. Universiteiten die voorkomen op een dergelijke lijst genereren door de ranking zelf extra populariteit.

Waarde rankings

Hoeveel waarde hecht Tilburg University eigenlijk aan de rankings? “Niet heel veel, aangezien je er zoveel vraagtekens bij kunt plaatsen”, vertelt Maarleveld. De rankings zijn dus zeker niet leidend, liever neemt de universiteit resultaten van reviews en accreditaties als uitgangspunt. De nadruk ligt dus op reputatiemanagement, niet op het doel om hoog te scoren in rankings. “Het probleem is echter dat we de rankings niet kunnen negeren, want iedereen kijkt ernaar. We kunnen er dus niet omheen om de resultaten van de rankings in de gaten te houden”, bevestigt Maarleveld. “En ja, het is dan natuurlijk ook wel weer zo dat als we goed scoren op een ranking, we dat met de buitenwereld willen delen.”

Den Uyl wijst daarbij op nog een belangrijk aspect: geld. De Nederlandse regering mag de geldkraan dan steeds meer dicht draaien, de Europese Unie heeft daarentegen steeds meer geld te verdelen voor onderzoek en onderwijs. Den Uyl: “Een goede positie op een van de belangrijke rankings schept extra kansen voor Europese en internationale samenwerking. Universiteiten worden steeds meer die richting in geduwd.”

Wereldwijd meest toegepaste rankings

Academic Ranking of World Universities (ARWU): richt zich op onderzoeksresultaten. Criteria: aantal Nobelprijzen, Field Medals en citaten van medewerkers en afgestudeerden van de betreffende universiteiten. Top 500 van HO-instellingen.

Timer Higher Education World University Ranking: Richt zich op onderwijs- en onderzoeksindicatoren, zoals doceren, onderzoek, kennisoverdracht en internationale oriëntatie. Top 400 van Hoger Onderwijs-instellingen.

CTWS Leiden Ranking (Centre for Science and Technology Studies): Richt zich op publicaties van medewerkers van de betreffende universiteit om zo de impact van dergelijke publicaties in de wetenschappelijke wereld te meten. De publicaties moeten zijn opgenomen in Engelstalige tijdschriften die bèta of sociaalwetenschappelijk gerelateerd zijn. Top 500 van HO-instellingen.

QS World University Ranking: Voor de ene helft gebaseerd op reputatie-indicatoren, voor de andere helft op de hoeveelheid internationale staf en studenten, toonaangevende citaten en de staf/studenten ratio. Top 600 HO-instellingen, Tilburg University staat op nummer 373.

_Advertentie.