calendar tag arrow download print
Doorgaan naar inhoud

Ranglijsten/ rankings

factsheet
24 november 2023
universiteit Onderwijs Kwaliteit

Foto: EyeEm Mobile GmbH/Hollandse Hoogte

Image
Welke rol spelen rankings in het definiëren en vergelijken van de prestaties van landen, hoger onderwijssystemen en universiteiten? Hoe worden deze rankings gebruikt en wat zijn de beperkingen ervan? In deze factsheet gaan we in op de verschillende rankings die er zijn voor de innovatieve prestaties van landen, rankings van systemen voor hoger onderwijs en universitaire rankings. We geven voorbeelden van veelgebruikte rankings en delen Nederlandse posities in verschillende hoger onderwijssysteem rankings en universitaire rankings.

In het kort

  • Rankings geven een globaal beeld van de positie van landen, nationale wetenschapssystemen en individuele universiteiten.
  • Nederland scoort met haar universiteiten doorgaans relatief goed op deze rankings.
  • Rankings zijn een versimpeling van een complexe realiteit. Ze kunnen een startpunt zijn voor het gesprek over prestaties van een land of universiteit, maar een gewogen kwaliteitsoordeel vraagt meer gedetailleerde informatie over prestaties en doelstelling

Rankings of ranglijsten (in deze factsheet rankings genoemd) zijn een populaire manier om vergelijkingen te maken, maar roepen ook veel kritiek op. Er zijn rankings van nationale hoger onderwijssystemen, innovatiesystemen en rankings van individuele instellingen. Sommige rankings meten meerdere aspecten, sommige meten maar één aspect. Ze geven gebruikers een eenvoudig en snel beeld van de positie van landen of van (onderwijs) instellingen. Ook al zijn rankings meestal gebaseerd op meerdere onderliggende indicatoren, het is de resulterende totaalpositie die het meest in het oog springt en aandacht krijgt. Dat is tegelijkertijd een valkuil van rankings. Ze zijn globaal en doen (te) weinig recht aan de complexiteit van datgene wat gemeten wordt.

In deze factsheet gaan we eerst in op de verschillende soorten rankings die er zijn:

  1. rankings van de innovatieve prestaties van landen;
  2. rankings van systemen voor hoger onderwijs; en
  3. universitaire rankings.

Daarna gaan we uitgebreid in op de beperkingen van rankings en het gebruik ervan.
 

1. Rankings van de innovatieve prestaties van landen

Informatie over de innovatieve prestaties van landen is te vinden in de volgende veel gebruikte rankings:

  • De European Innovation Scoreboard, is vanaf 2001 een jaarlijkse publicatie van de Europese Commissie. De Scoreboard vergelijkt landen op basis van een 32-tal kwantitatieve indicatoren, gegroepeerd in een viertal categorieën: 1) “framework conditions”, de belangrijkste aanjagers van innovatieve prestaties buiten bedrijven; 2) “investments”, publieke en private investeringen in onderzoek en innovatie; 3) “innovation activities”, de innovatie-activiteiten van bedrijven; en 4) “impacts“, de effecten van innovatieve activiteiten van bedrijven. Het resultaat is een samenvattende innovatie index score en een rangordening van landen op basis van deze score die varieert van matige innovatoren tot innovatieleiders. De gegevens zijn vooral afkomstig van Eurostat.
  • De Global Innovation Index, vanaf 2007 is dit een jaarlijkse index van de World Intellectual Property Organization. Er wordt gebruik gemaakt van 81 indicatoren om de innovatieve prestaties van 127 landen en economieën in de wereld te beoordelen (in 2017 editie). Hiervan zijn 57 indicatoren gebaseerd op kwantitatieve gegevens, 19 betreffen samengestelde indicatoren en 5 zijn gebaseerd op een survey van het World Economic Forum.
  • De World Competitiveness Ranking, vanaf 1989 is dit een jaarlijkse ranking van het International Institute for Management Development. De concurrentiekracht van 64 economieën wordt vergeleken op basis van 336 criteria, ondergebracht in 20 pijlers. Een groot deel van de data is afkomstig van internationale, nationale en regionale bedrijven. Deze data wordt aangevuld met data uit een enquête over hoe marktdeelnemers de concurrentiekracht ervaren.

Hoewel er overlap is tussen de pijlers van de Global Innovation Index (GII) en de World Competitiveness Ranking (WCR), maken de indexen gebruik van verschillende achterliggende indicatoren. De WCR maakt sterker gebruik van de resultaten van de jaarlijkse survey onder marktdeelnemers dan de GII. De indicatoren voor de European Innovation Scoreboard en de World Competitiveness Ranking zijn over de jaren heen redelijk constant, de GII is meer aan verandering onderhevig. In 2017 is de GII op meerdere fronten aangepast (aantal, samenstelling, definities en groepering).

De Global Innovation Index en de World Competitiveness Ranking zijn breed samengestelde rankings die gebaseerd zijn op een groot aantal indicatoren, die vele maatschappelijke en economische gebieden bestrijken. Dat varieert van financiële markten en infrastructuur tot onderwijs en innovatie. Per gebied zijn weer deel-rankings beschikbaar. Om een goed beeld te krijgen van de prestaties van een land is het bij deze rankings aan te bevelen om vooral te kijken naar de onderliggende deel-rankings en indicatoren.


2. Rankings van hoger onderwijssystemen

  • Universitas21 Ranking of National Higher Education Systems (U21-HE) komt sinds 2012 jaarlijks uit en geeft een vergelijking van nationale systemen voor hoger onderwijs van verschillende landen. De gebruikte indicatoren omvatten vier systeemaspecten: middelen, omgeving, verbondenheid en output. In 2020 is de negende en laatste editie van deze ranking uitgekomen. 
  • Bedrijf Quecquarelli Symonds (QS) presenteert een soortgelijke ranking van hoger onderwijssystemen: de QS Higher Education System Strength ranking, op basis van de gemiddelde positie van hoger onderwijsinstellingen op de QS World ranking, toegang tot hoger onderwijs, en de positie van de best presterende instelling van het land, met een correctie voor de economische positie van het land. 

In onderstaande tabel is te zien dat Nederland in de Top-10 staat bij elk van de bovenstaande landenrankings voor het meest recente jaar. 

Positie op rankings
Eu-Innovation Scoreboard 4
World Competitiveness Ranking 5
Global Innovation Index 7
QS HE system strengths 7
U21 HE system-ranking 10

 Voor de EIS zijn gegevens voor meerdere jaren beschikbaar. 
 

3. Rankings van universiteiten

Er zijn verschillende internationale rankings van universiteiten. Ieder met een eigen smaakje, wat tot uiting komt in de achterliggende indicatoren en de weging die de indicatoren meekrijgen. Sommige zijn vooral op onderzoek georiënteerd, terwijl andere rankings aandacht besteden aan de prestaties van universiteiten op meerdere gebieden, zoals onderwijs en internationalisering. Sommige zijn alleen gebaseerd op cijfermateriaal, al dan niet aangeleverd door de universiteiten zelf, andere zijn voor een deel gebaseerd op de resultaten van een survey. We zetten de meest gebruikte op een rij:

- De Shanghai Ranking
- QS World University Rankings
- De Leiden Ranking
- De Times Higher Education Ranking
- U-multirank

De Shanghai Ranking

De Academic Ranking of World Universities (ARWU) was de eerste wereldwijde universitaire ranking, oorspronkelijk gestart met een nationaal Chinees doel, maar al snel uitgegroeid tot een internationaal gebruikte ranking. Deze ranking wordt vanaf 2003 jaarlijks gepubliceerd door de Shanghai Jiao Tong Universiteit (daarom ook wel Shanghai Ranking genoemd). De positie op de algemene Shanghai Ranking wordt vastgesteld met indicatoren die vooral betrekking hebben op onderzoek: 

  • Alumni van een instituut die prijzen hebben gewonnen (de Nobelprijs of prijzen in specifieke gebieden (10%);
  • De staf van een instituut die prijzen hebben gewonnen (de Nobelprijs of prijzen in specifieke gebieden (20%);
  • Hoog geciteerde onderzoekers in 21 brede categorieën (20%);
  • Artikelen gepubliceerd in Nature and Science (20%);
  • Artikelen in twee citatie-indexen (de Science Citation Index-expanded en de Social Science Citation Index (20%); en
  • Academische prestaties per wetenschapper van een instituut (10%).

Van 2007 tot en met 2016 heeft de ranking ook deelrankings voor onderzoeksvelden (Science, Engineering, Life Sciences, Medical Sciences, Social Sciences) en vanaf 2017 deelrankings per discipline.

QS World University Rankings

De QS World University Rankings is een ranking van 1.000 topuniversiteiten en gebruikt hiervoor de volgende zes indicatoren:

  • Academische reputatie, gemeten op basis van een survey onder academici (40%);
  • Werkgeversreputatie, gemeten op basis van een survey onder werkgevers van universitair afgestudeerden (10%);
  • Citatie-impactscore per faculteit, gebaseerd op de Scopus database van Elsevier (20%);
  • Staf student ratio (20%);
  • Het aandeel internationale studenten (5%);
  • Het aandeel internationale staf (5%).

Deze ranking, met een breder perspectief dan de Shanghai Ranking, kent deelrankings op een veertigtal gebieden/ disciplines. De rangorde van de universiteiten is een andere dan bij de Shanghai Ranking, wat te verklaren is door het gebruik van een set van indicatoren met een ander perspectief. De QS Ranking is vooral te karakteriseren als een ranking op basis van reputatie, terwijl de Shanghai Ranking is gebaseerd op feitelijke wetenschappelijke prestaties. 

De Leiden Ranking

De Leiden Ranking wordt opgesteld door het Centrum voor Wetenschaps- en Technologiestudies (CWTS) van de Universiteit Leiden. Het is nog meer dan de Shanghai Ranking een specifieke onderzoeksranking, die alleen is gebaseerd op bibliometrische gegevens (publicaties en citaties) uit het Web of Science. Daardoor richt de ranking zich vooral op de Natuurwetenschappen en de Medische wetenschappen, waarin het traditie is te publiceren in internationaal wetenschappelijke tijdschriften. Het is een interactieve ranking van ruim 1300 onderzoeksuniversiteiten wereldwijd, waarbij de gebruiker zelf de parameters bepaalt:

  • Tijdsperiode: de ranking begint met de periode 2006-2009, dat telkens één jaar opschuift;
  • Dekking: één van de vijf wetenschapsgebieden of het totaal ervan;
  • Regio dan wel een land;
  • De drempelwaarde van de publicatie-output van een universiteit;
  • Type indicator: impact, samenwerking (op basis van co-publicaties) en vanaf 2019 ook open access en gender;
  • Drie indicatoren voor citatie-impact (top 1%, top 10% en top 50%);
  • Vijf indicatoren voor samenwerking (totaal aantal co-publicaties, aantal internationale co-publicaties, aantal co-publicaties met bedrijven, en aantal co-publicaties gebaseerd op afstand, ofwel < 100 km ofwel > 5000 km).  

De positie van de universiteiten varieert sterk al naargelang de gebruikte indicator, zoals blijkt uit drie geselecteerde indicatoren in de tabel verderop in deze factsheet met de positie van Nederlandse universiteiten op enkele rankings.

De Times Higher Education Ranking

Het tijdschrift ‘The Times Higher Education’ publiceert sinds 2004 de THE World University Rankings. De ranking bestrijkt net als de QS Ranking een breed palet aan universitaire activiteiten: onderwijs (30%), onderzoek (30%), citaties (30%), inkomsten van bedrijven (2,5%) en internationale oriëntatie (7,5%). Een derde van de scores is gebaseerd op een reputatie survey onder wetenschappers. De methodologie van deze ranking is al verschillende malen gewijzigd naar aanleiding van kritieken. Door de wijzigingen in de methodologie adviseert men de resultaten van het een jaar niet te vergelijken met die van eerdere of latere jaren.

U-multirank

In 2014 is een nieuw type ranking ontwikkeld, met financiële ondersteuning van de Europese Commissie. Ontwikkeld door een samenwerkingsverband Centrum für Hochschulentwicklung (CHE) in Duitsland en het Center for Higher Education Policy Studies (CHEPS) en CWTS in Nederland. Deze ranking pretendeert niet zozeer een ranking te zijn, als wel een instrument om universitaire prestaties op een vijftal dimensies met een dertigtal aspecten te vergelijken op basis van informatie over meer dan 1.300 hoger onderwijsinstellingen. De prestaties worden beoordeeld van zeer goed (een A-score) tot zwak (een E-score). De gebruikte dimensies zijn:

  • Onderwijs en leren;
  • Regionale betrokkenheid;
  • Kennistransfer;
  • Internationale oriëntatie;
  • Onderzoek.

De U-multirank presenteert op zijn website enkele kant en klare rankings, waaronder één op het gebied van onderzoek en onderzoekssamenwerking. In het achterliggende bestand worden de resultaten van de Nederlandse universiteiten op deze kant en klare ranking gepresenteerd voor de jaren 2017 tot en met 2022. Hierin is te zien dat in 2022 bijna alle Nederlandse universiteiten de hoogste score behalen (A: very good) op de indicatoren citatie-impactscore en aantal onderzoekspublicaties (genormaliseerd). Ze behalen allemaal de hoogste score op 'top cited' publicaties (het aandeel van de publicaties van een universiteit dat - vergeleken met andere publicaties in hetzelfde veld en in het hetzelfde jaar - tot de top 10% meest geciteerde publicaties behoort). Op de indicator co-publicaties met industriële partners scoren alle universiteiten een A (very good), behalve Tilburg University. De indicatoren gezamenlijke publicaties internationaal en gezamenlijke publicaties regionaal laten een meer divers beeld zien. Met name op de laatste indicator liggen de scores beduidend lager. Ten opzichte van 2021 zijn er niet veel verschuivingen in de scores.
 

Resultaten van enkele rankings voor universiteiten

Als we kijken naar het algemene beeld dat uit de resultaten van de rankings naar voren komt, dan zien we dat de top van de universitaire rankings wordt gedomineerd door Amerikaanse en Britse universiteiten. Zo staan in de top-100 van de Shanghai Ranking 38 Amerikaanse en 8 Britse universiteiten. Daar staat tegenover dat deze wetenschapssystemen weinig universiteiten hebben in de subtop, terwijl het landen zijn met veel universiteiten. Nederland en enkele andere landen (zoals Zwitserland, Zweden en Duitsland) hebben wel relatief veel instellingen in de subtop (100-500). De rankings laten zien dat het Nederlandse wetenschapssysteem over de breedte goede prestaties levert. En wanneer we bijvoorbeeld de scores van de Universiteit Utrecht op basis van onderliggende indicatoren vergelijken met andere Europese universiteiten in de top-50 van de Shanghai Ranking, dan zien we op sommige indicatoren grote, maar op sommige indicatoren ook kleine verschillen. 

We kunnen universiteiten naast een plaats op de ranking ook op een andere manier met elkaar vergelijken door te kijken naar grootte (op basis van de totale uitgaven) en de onderwijsfunctie (op basis van aantallen ingeschreven studenten). Als we dan de Universiteit Utrecht vergelijken met de top-50 Europese universiteiten van de Shanghai Ranking dan zien we dat de meeste Europese universiteiten veel meer geld te besteden hebben én veel minder studenten opleiden dan de Universiteit Utrecht (bron is de ETER-database met gegevens over Europese hoger onderwijsinstellingen).

De volgende tabel laat zien welke positie de Nederlandse universiteiten innemen op enkele van de hiervoor beschreven rankings.

Shanghai 2023 QS World 2023 Leiden CWTS/ PP(10%) impact 2018/2021 Leiden CWTS / PP(Collab) 2018/2021 Leiden CWTS/ PP(industry) 2018/2021 THE 2023
EUR 88 176 90 237 205 99
LEI 125 126 89 192 190 77
RU 125 222 97 171 375 140
RUG 76 139 112 391 268 79
TiU 750 371 150 278 1166 225
TUD 175 47 109 799 44 48
TU/E 450 124 146 592 10 168
UM 250 256 194 142 274 138
UT 450 210 227 369 161 184
UU 52 107 63 165 181 -
UVA 125 53 60 135 364 61
VU 175 207 66 63 338 125
WUR 175 151 75 271 39 64
Aantal NL universiteiten in Top100 3 2 7 1 3 6
Beschikbaar vanaf Vanaf 2003 Vanaf 2009/10 Vanaf 2006 Vanaf 2006 Vanaf 2006 2014

Internationale vergelijking

In de onderstaande tabel zijn het aantal universiteiten in de top-100 van de verschillende rankings weergegeven. Universiteiten uit de Verenigde Staten zijn veruit het meest vertegenwoordigd met 137 top-100 noteringen in de verschillende rankings. Hierna volgen het Verenigd Koninkrijk (59 top-100 noteringen) en China (38 top-100 noteringen). Ook universiteiten uit Nederland komen voor in de internationale rankings. Nederland heeft 18 top-100 noteringen in universitaire rankings. In de eerste instantie lijkt dit veel minder vaak dan de universiteiten uit de Verenigde Staten of China. Echter hebben deze landen veel meer universiteiten dan Nederland. Waar de Verenigde Staten bijna 16 keer meer universiteiten heeft, is het aantal universiteiten in China 19 keer meer dan in Nederland. Nederland heeft 13 universiteiten. Dat er 18 top-100 noteringen zijn, komt doordat universiteiten in meerdere rankings voor kunnen komen. Het land met de meeste universiteiten op de wereld is volgens de Leiden ranking China met 273 universiteiten. Dit zijn er 67 meer dan de Verenigde Staten en 260 meer dan Nederland.

Aantal top-100 noteringen in universitaire rankings, per land
Leiden ranking ARWU (Shanghai) THE QS World Totaal aantal top-100 noteringen Totaal aantal universiteiten per land
China 15 11 7 5 38 273
Verenigde Staten 36 38 36 27 137 206
Verenigd Koninkrijk 23 8 11 17 59 64
Japan 0 2 2 4 8 59
Duitsland 0 4 8 4 16 57
Zuid-Korea 0 1 3 5 9 51
Australië 7 6 6 9 28 34
Canada 0 5 3 3 11 31
Frankrijk 1 4 4 3 12 33
Nederland 7 3 6 2 18 13
Zweden 0 3 2 2 7 12
Oostenrijk 0 0 0 0 0 12
Zwitserland 2 5 3 3 13 8
België 0 2 1 1 4 8
Finland 0 0 0 0 0 9
Noorwegen 0 1 0 0 1 7
Ierland 0 0 0 1 1 6
Denemarken 0 2 0 0 2 5

Bovenstaande tabel laat een gevarieerd beeld zien wat betreft de positie van de Nederlandse universiteiten, te verklaren uit de diversiteit aan methodieken: bij enkele rankings staan slechts een paar Nederlandse universiteiten in de top-100, terwijl bij andere meer dan de helft deel uitmaakt van de top-100. Ook laat de tabel zien dat de meeste universiteiten wel in één of meerdere rankings in de top-100 staan. Zo is de Universiteit Utrecht in de Shanghai Ranking al jaren de hoogst scorende Nederlandse universiteit. De universiteit heeft vanaf 2003 elf keer in de top-50 gestaan. In 2023 valt deze net buiten de top-50. In de QS Ranking had Nederland in 2014/2015 maar liefst zes universiteiten in de top-100. In de daaropvolgende jaren schommelde dit aantal tussen de twee en drie universiteiten in de top-100 met in 2023 de Universteit van Amsterdam en de TU-Delft in de top 100. In 2018/2019 kwam ook de TU Eindhoven de top-100 binnen, maar zakt in 2019/2020 weer net buiten de top-100. In de Leiden Ranking PP(collab) daalt het aantal Nederlandse universiteiten in de top-100 van vier naar één voor de meest recente metingsperiode. Dit kan worden veroorzaakt door het groeiende aantal universiteiten in de ranking. Dit nam toe van 963 in 2019 tot 1411 in 2023. In de THE Ranking staat de helft van de Nederlandse universiteiten in de top-100. Bij de Leiden Ranking PP(industry) neemt de technische universiteit van Eindhoven zelfs een toppositie in met plek tien.

Ook in de rankings per discipline of vakgebied zijn de Nederlandse universiteiten te vinden in de top-100. In de Shanghai Ranking per subject (GRAS, 2022) is bij 46 van de 54 disciplines minimaal één Nederlandse universiteit vertegenwoordigd (uitzonderingen zijn de disciplines 'Electrical & Electronic Engineering’, Telecommunication Engineering’, ‘Computer science & engineering', 'Materials Science & Engineering, ‘Nanoscience & Nanotechnology’, 'Energy Science & Engineering', ‘Mining & Mineral Engineering’ en ‘Mathematics’). Bij de discipline 'Education' zijn zelfs tien Nederlandse universiteiten in de top-100 vertegenwoordigd. In de THE subject Ranking voor 2023 staan bij alle elf brede wetenschapsgebieden minimaal drie Nederlandse universiteiten in de top-100. In de QS Subject Ranking 2023 is er in 47 van de 54 disciplines ten minste één Nederlandse universiteit aanwezig in de top-50. 
 

Beperkingen van rankings

Naast veel aandacht hebben de universitaire rankings in de loop van de tijd ook commentaar en kritische beschouwingen opgeleverd. Zo doen ze bijvoorbeeld (te) weinig recht aan de veelvormige prestaties van een universiteit die verschillende activiteiten heeft op een groot aantal wetenschapsgebieden, welke prestaties moeilijk in één cijfer zijn te vatten. Hierdoor worden appels bij peren opgeteld. Verder komen universiteiten met een specialisatie op het gebied van de Sociale- en Geesteswetenschappen niet goed uit de verf wanneer de ranking gebruik maakt van publicatie en citatie-indicatoren, die vooral zijn toegesneden op de exacte wetenschapsgebieden met hun traditie van publiceren in wetenschappelijke tijdschriften. Ook de grootte van een universiteit kan van invloed zijn op de positie in een ranking, zeker als hiervoor niet wordt gecorrigeerd.

Als reactie hierop zijn deel-rankings op specifieke wetenschapsgebieden ontstaan, rankings die zich tot één aspect beperken. En zijn er interactieve ranglijsten ontwikkeld, waarbij de gebruiker op basis van onderliggende data zelf vergelijkingen kan maken.

Een punt van kritiek is ook dat de manier waarop een ranking tot stand komt (welke data worden gebruikt en in hoeverre zijn deze vergelijkbaar?) en de combinatie van indicatoren die gebruikt worden invloed hebben op de positie van universiteiten. Daarnaast leiden veranderingen in de methodiek tot verschillen in posities van universiteiten van jaar tot jaar, ook al zijn er geen aanwijsbare veranderingen te zien bij de universiteit. Hierdoor hebben vergelijkingen door de tijd een beperkte betekenis in verhouding tot de feitelijke situatie (European University Association, 2013). Wanneer de positie van een universiteit op een ranking daalt ten opzichte van het voorafgaande jaar, betekent dit dan ook niet dat de prestaties van de betreffende universiteit per definitie achteruit zijn gegaan. Daarnaast kunnen de scores van universiteiten in een groep van de ranking heel dicht bij elkaar liggen: de verschillen in scores tussen die universiteiten zijn dan marginaal. Bij kleine veranderingen in de scores, schuiven die universiteiten bij een volgende meting meerdere posities in de ranking op. Vandaar dat bijvoorbeeld de Shanghai Ranking na positie 100 alleen met groepen van universiteiten werkt. 

Deze beperkingen worden verder ondersteund door een studie van onderzoekers van het Joint Research Centre van de Europese Commissie (Saisana e.a., 2011). In deze studie zijn twee veel gebruikte rankings, de Shanghai Ranking en de THE Ranking, onder de loep genomen en is op basis van simulaties gekeken naar de invloed van de methodologie op de positie van individuele instellingen. De conclusie van de studie is dat de rankings zeer gevoelig zijn voor (veranderingen in) de onderliggende statistische methodologie. Waar de positie van de top 10 universiteiten robuust zijn bij veranderingen, is dit veel minder het geval bij de overige posities. De resultaten zijn wel robuust wanneer regio’s in de wereld (zoals Noord-Amerika, Europa en Azië) met elkaar worden vergeleken.
 

Het gebruik van rankings

Rankings worden op verschillende manieren gebruikt. De gemeenschappelijke noemer daarin is dat ze gebruikt worden voor het verkrijgen van een beter inzicht en het maken van beter onderbouwde keuzes en beslissingen. Bij gebruikers van rankings kan gedacht worden aan:

  • Internationale studenten die een universiteit willen kiezen voor hun studie (master/ promotie);
  • Onderzoekers die een universiteit willen kiezen voor een loopbaan;
  • Bedrijven die een vestigingsplaats willen kiezen;
  • Beleidsmakers (van instellingen, overheid) die willen zien wat de internationale positie is van landen, systemen en instellingen daarbinnen.

Bij het gebruik van rankings is het raadzaam om de informatie uit rankings als één van de bronnen voor dergelijke keuzes en beslissingen te gebruiken, en ook aanvullende informatie mee te nemen. Zo leveren de publicaties over de innovatieve prestaties van landen, zoals de WCR en de GII, naast een hoeveelheid ranglijstjes (voor het totaal en voor onderliggende aspecten) ook veel achtergrondmateriaal in de vorm van analyses en beschouwingen.

Omdat rankings vooral een globaal beeld geven van de positie van landen, nationale wetenschapssystemen en van individuele universiteiten daarbinnen, moeten ze met de nodige voorzichtigheid worden gebruikt. Kleine veranderingen in de methodologie (welke indicatoren, hoe worden de data verzameld) kunnen namelijk al leiden tot veranderingen in de lijst.

Te zien is dat met name de universitaire rankings in de loop der tijd veel kritiek hebben gekregen. Ondanks deze kritiek maken universiteiten graag gebruik van een goede positie op één van de ranglijsten om de eigen universiteit te promoten.

De kritiek heeft in 2006 geleid tot de formulering van een aantal principes, de zgn. ‘Berlin Principles on Ranking of Higher Education Institutions’ (2006). De principes hebben een goed en verantwoord gebruik en ontwerp van rankings ten doel en moeten leiden tot een verbetering van de kwaliteit van de dataverzameling, methodologie en verspreiding van de resultaten. De principes richten zich op:

  1. De doelstellingen van de ranking: een ranking moet slechts één van de manieren zijn om het hoger onderwijs te beoordelen, helder zijn over het doel en de doelgroepen, rekening houden met de diversiteit van de instellingen, transparant zijn over de informatiebronnen en de – taalkundige, culturele, economische en historische - context van het universitaire systeem specificeren;
  2. Het ontwerp en de weging van indicatoren: bij een ranking is de methodologie transparant, worden er valide en relevante indicatoren gekozen, wordt er meer naar prestaties dan naar input van een instelling gekeken en worden veranderingen in indicatoren en de weging ervan beperkt gehouden;
  3. De verzameling en verwerking van de data voor de ranking: bij een ranking worden goedgekeurde en verifieerbare data gebruikt, data die met de goede wetenschappelijke procedures zijn verzameld, en worden kwaliteitsmaatstaven toegepast op het proces van ranking;
  4. De presentatie van de resultaten: een ranking geeft de gebruikers inzicht in de factoren die gebruikt zijn om de ranking te ontwikkelen, de ranking wordt zo samengesteld dat fouten worden beperkt en gecorrigeerd kunnen worden.

Tot slot

Ondanks alle kritiek zijn rankings niet meer weg te denken uit discussies over de prestaties van landen of de prestaties van hoger onderwijssystemen en universiteiten. Om de resultaten van de rankings toch op een zinvolle manier te gebruiken, zouden ze vooral aanleiding moeten zijn om de bewustwording over specifieke onderwerpen tot stand te brengen. Met andere woorden, als startpunt voor gesprek. En daarbij is het belangrijk te kijken naar wat een land wil bereiken, of wat de missie van een universiteit is (wat voor universiteit willen we zijn en met wie willen we ons vergelijken). De rankings waarbij de gebruikers zelf kunnen “spelen” met de gegevens, verdienen daarbij de voorkeur.