Ranglijsten/ rankings

Rankings of ranglijsten (in deze factsheet rankings genoemd) zijn een populaire manier om vergelijkingen te maken, maar roepen ook veel kritiek op. Er zijn rankings van innovatiesystemen en rankings van individuele instellingen. Sommige rankings meten meerdere aspecten, sommige meten maar één aspect. Ze geven gebruikers een eenvoudig en snel beeld van de positie van landen of van instellingen. Ook al zijn rankings meestal gebaseerd op meerdere onderliggende indicatoren, het is de resulterende totaalpositie die het meest in het oog springt en aandacht krijgt. Dat is tegelijkertijd een valkuil van rankings. Ze zijn globaal en doen (te) weinig recht aan de complexiteit van datgene wat gemeten wordt.

In deze factsheet gaan we eerst in op de verschillende soorten rankings die er zijn:

1. rankings van de innovatieve prestaties van landen; en
2. universitaire rankings.

Daarna gaan we uitgebreid in op de beperkingen van rankings en het gebruik ervan.
 

1. Rankings van de innovatieve prestaties van landen

Informatie over de innovatieve prestaties van landen is te vinden in de volgende veel gebruikte rankings:

• De European Innovation Scoreboard, is vanaf 2001 een jaarlijkse publicatie van de Europese Commissie. De Scoreboard vergelijkt landen op basis van een 32-tal kwantitatieve indicatoren, gegroepeerd in een viertal categorieën: 1) “framework conditions”, de belangrijkste aanjagers van innovatieve prestaties buiten bedrijven; 2) “investments”, publieke en private investeringen in onderzoek en innovatie; 3) “innovation activities”, de innovatie-activiteiten van bedrijven; en 4) “impacts“, de effecten van innovatieve activiteiten van bedrijven. Het resultaat is een samenvattende innovatie index score en een rangordening van landen op basis van deze score die varieert van matige innovatoren tot innovatieleiders. De gegevens zijn vooral afkomstig van Eurostat.
• De Global Innovation Index, vanaf 2007 is dit een jaarlijkse index van de World Intellectual Property Organization. Er wordt gebruik gemaakt van 78 indicatoren om de innovatieve prestaties van 139 landen en economieën in de wereld te beoordelen. Hiervan zijn 63 indicatoren gebaseerd op kwantitatieve gegevens, 10 betreffen samengestelde indicatoren en 5 zijn gebaseerd op een survey van het World Economic Forum.
• De World Competitiveness Ranking, vanaf 1989 is dit een jaarlijkse ranking van het International Institute for Management Development. De concurrentiekracht van 69 economieën wordt vergeleken op basis van 341 criteria, ondergebracht in 20 pijlers. Een groot deel van de data is afkomstig van internationale, nationale en regionale bedrijven. Deze data wordt aangevuld met data uit een enquête over hoe marktdeelnemers de concurrentiekracht ervaren.

Hoewel er overlap is tussen de pijlers van de Global Innovation Index (GII) en de World Competitiveness Ranking (WCR), maken de indexen gebruik van verschillende achterliggende indicatoren. De WCR maakt sterker gebruik van de resultaten van de jaarlijkse survey onder marktdeelnemers dan de GII. De indicatoren voor de European Innovation Scoreboard en de World Competitiveness Ranking zijn over de jaren heen redelijk constant, de GII is meer aan verandering onderhevig. In 2017 is de GII op meerdere fronten aangepast (aantal, samenstelling, definities en groepering).

De Global Innovation Index en de World Competitiveness Ranking zijn breed samengestelde rankings die gebaseerd zijn op een groot aantal indicatoren, die vele maatschappelijke en economische gebieden bestrijken. Dat varieert van financiële markten en infrastructuur tot onderwijs en innovatie. Per gebied zijn weer deel-rankings beschikbaar. Om een goed beeld te krijgen van de prestaties van een land is het bij deze rankings aan te bevelen om vooral te kijken naar de onderliggende deel-rankings en indicatoren.

In onderstaande tabel is te zien dat Nederland in de Top-10 staat bij elk van de bovenstaande landenrankings voor het meest recente jaar. 

2. Rankings van universiteiten

Er zijn verschillende internationale rankings van universiteiten. Ieder met een eigen smaakje, wat tot uiting komt in de achterliggende indicatoren en de weging die de indicatoren meekrijgen. Sommige zijn vooral op onderzoek georiënteerd, terwijl andere rankings aandacht besteden aan de prestaties van universiteiten op meerdere gebieden, zoals onderwijs en internationalisering. Sommige zijn alleen gebaseerd op cijfermateriaal, al dan niet aangeleverd door de universiteiten zelf, andere zijn voor een deel gebaseerd op de resultaten van een vragenlijstonderzoek. We zetten de meest gebruikte op een rij:

• De Shanghai Ranking
• QS World University Rankings
• De Times Higher Education Ranking
• De Leiden Ranking
• U-multirank

De Shanghai Ranking

De Academic Ranking of World Universities (ARWU) was de eerste wereldwijde universitaire ranking, oorspronkelijk gestart met een nationaal Chinees doel, maar al snel uitgegroeid tot een internationaal gebruikte ranking. Deze ranking wordt vanaf 2003 jaarlijks gepubliceerd door de Shanghai Jiao Tong Universiteit (daarom ook wel Shanghai Ranking genoemd). De positie op de algemene Shanghai Ranking wordt vastgesteld met indicatoren die vooral betrekking hebben op onderzoek: 

• Alumni van een instituut die prijzen hebben gewonnen (de Nobelprijs of prijzen in specifieke gebieden (10%);
• De staf van een instituut die prijzen hebben gewonnen (de Nobelprijs of prijzen in specifieke gebieden (20%);
• Hoog geciteerde onderzoekers in 21 brede categorieën (20%);
• Artikelen gepubliceerd in Nature and Science (20%);
• Artikelen in twee citatie-indexen (de Science Citation Index-expanded en de Social Science Citation Index (20%); en
• Academische prestaties per wetenschapper van een instituut (10%).

Van 2007 tot en met 2016 heeft de ranking ook deelrankings voor onderzoeksvelden (Science, Engineering, Life Sciences, Medical Sciences, Social Sciences) en vanaf 2017 deelrankings per discipline.

QS World University Rankings

De QS World University Rankings is een ranking van 1.000 topuniversiteiten en gebruikt hiervoor de volgende tien indicatoren:

• Academische reputatie, gemeten op basis van een vragenlijstonderzoek onder academici (30%);
• Citatie-impactscore per faculteit, gebaseerd op de Scopus database van Elsevier (20%);
• Werkgeversreputatie, gemeten op basis van een vragenlijstonderzoek onder werkgevers van universitair afgestudeerden (15%);
• Arbeidsmarktperspectieven, een samengestelde indicator op basis van (1) het percentage afgestudeerden met een betaalde aanstelling binnen 15 maanden na afstuderen en (2) alumni impact, een indicator voor het produceren van afgestudeerden met maatschappelijke impact (5%);
• Staf student ratio (10%);
• Het aandeel internationale studenten (5%);
• Het aandeel internationale staf (5%);
• Internationale samenwerkingen (5%)
• Duurzaamheid (5%).

Deze ranking, met een breder perspectief dan de Shanghai Ranking, kent deelrankings op 55 gebieden/ disciplines. De rangorde van de universiteiten is een andere dan bij de Shanghai Ranking, wat te verklaren is door het gebruik van een set van indicatoren met een ander perspectief. De Shanghai Ranking is gebaseerd op feitelijke wetenschappelijke presentaties, terwijl de QS Ranking ook gebaseerd is op reputatie, studentenuitkomsten en duurzaamheid. 

De Times Higher Education Ranking

Het tijdschrift ‘The Times Higher Education’ publiceert sinds 2004 de THE World University Rankings. De ranking bestrijkt net als de QS Ranking een breed palet aan universitaire activiteiten: onderwijs (30%), onderzoeksomgeving (29%), kwaliteit van onderzoek (30%), industrie (4%) en internationale oriëntatie (7,5%). Een derde van de scores is gebaseerd op een reputatie survey onder wetenschappers. De methodologie van deze ranking is al verschillende malen gewijzigd naar aanleiding van kritieken. Door de wijzigingen in de methodologie adviseert men de resultaten van het een jaar niet te vergelijken met die van eerdere of latere jaren.

De Leiden Ranking

De Leiden Ranking wordt opgesteld door het Centrum voor Wetenschaps- en Technologiestudies (CWTS) van de Universiteit Leiden. Het is nog meer dan de Shanghai Ranking een specifieke onderzoeksranking, die alleen is gebaseerd op bibliometrische gegevens (publicaties en citaties) uit het Web of Science. Daardoor richt de ranking zich vooral op de Natuurwetenschappen en de Medische wetenschappen, waarin het traditie is te publiceren in internationaal wetenschappelijke tijdschriften. Het is een interactieve ranking van ruim 1300 onderzoeksuniversiteiten wereldwijd, waarbij de gebruiker zelf de parameters bepaalt:

• Tijdsperiode: de ranking begint met de periode 2006-2009, dat telkens één jaar opschuift;
• Dekking: één van de vijf wetenschapsgebieden of het totaal ervan;
• Regio dan wel een land;
• De drempelwaarde van de publicatie-output van een universiteit;
• Type indicator: impact, samenwerking (op basis van co-publicaties) en vanaf 2019 ook open access en gender;
• Zeven indicatoren voor wetenschappelijke impact waaronder de top 1%, top 5%, top 10% en top 50%;
• Vijf indicatoren voor samenwerking (totaal aantal co-publicaties, aantal internationale co-publicaties, aantal co-publicaties met bedrijven, en aantal co-publicaties gebaseerd op afstand, ofwel < 100 km ofwel > 5000 km).  

Sinds januari 2024 biedt het Centrum voor Wetenschaps- en Technologiestudies (CWTS) van de Universiteit Leiden ook de CWTS Leiden Ranking Open Edition. Deze ranking is gebaseerd op bibliometrische gegevens van de OpenAlex database. De positie van de universiteiten varieert sterk al naargelang de gebruikte indicator, zoals blijkt uit drie geselecteerde indicatoren in de tabel verderop in deze factsheet met de positie van Nederlandse universiteiten op enkele rankings.

U-multirank

In 2014 is een nieuw type ranking ontwikkeld, met financiële ondersteuning van de Europese Commissie. Ontwikkeld door een samenwerkingsverband Centrum für Hochschulentwicklung (CHE) in Duitsland en het Center for Higher Education Policy Studies (CHEPS) en CWTS in Nederland. Deze ranking pretendeert niet zozeer een ranking te zijn, als wel een instrument om universitaire prestaties op een vijftal dimensies met een dertigtal aspecten te vergelijken op basis van informatie over meer dan 1.300 hoger onderwijsinstellingen. De prestaties worden beoordeeld van zeer goed (een A-score) tot zwak (een E-score). De gebruikte dimensies zijn:

• Onderwijs en leren;
• Regionale betrokkenheid;
• Kennistransfer;
• Internationale oriëntatie;
• Onderzoek.

De U-multirank presenteert op zijn website enkele kant en klare rankings, waaronder één op het gebied van onderzoek en onderzoekssamenwerking. In het achterliggende bestand worden de resultaten van de Nederlandse universiteiten op deze kant en klare ranking gepresenteerd voor de jaren 2017 tot en met 2022. Hierin is te zien dat in 2022 bijna alle Nederlandse universiteiten de hoogste score behalen (A: very good) op de indicatoren citatie-impactscore en aantal onderzoekspublicaties (genormaliseerd). Ze behalen allemaal de hoogste score op 'top cited' publicaties (het aandeel van de publicaties van een universiteit dat - vergeleken met andere publicaties in hetzelfde veld en in het hetzelfde jaar - tot de top 10% meest geciteerde publicaties behoort). Op de indicator co-publicaties met industriële partners scoren alle universiteiten een A (very good), behalve Tilburg University. De indicatoren gezamenlijke publicaties internationaal en gezamenlijke publicaties regionaal laten een meer divers beeld zien. Met name op de laatste indicator liggen de scores beduidend lager. De U-multirank is opgegaan in de European Higher Education Sector Scoreboard van de Europese Commissie. Dit scoreboard werd gepubliceerd in januari 2025 en bevat data tot en met het jaar 2022.  

Resultaten van enkele rankings voor universiteiten

De volgende tabel laat zien welke positie de Nederlandse universiteiten innemen op enkele van de hiervoor beschreven rankings.

Beperkingen van rankings

Naast veel aandacht hebben de universitaire rankings in de loop van de tijd ook commentaar en kritische beschouwingen opgeleverd. Zo doen ze bijvoorbeeld (te) weinig recht aan de veelvormige prestaties van een universiteit die verschillende activiteiten heeft op een groot aantal wetenschapsgebieden, welke prestaties moeilijk in één cijfer zijn te vatten. Hierdoor worden appels bij peren opgeteld. Verder komen universiteiten met een specialisatie op het gebied van de Sociale- en Geesteswetenschappen niet goed uit de verf wanneer de ranking gebruik maakt van publicatie en citatie-indicatoren, die vooral zijn toegesneden op de exacte wetenschapsgebieden met hun traditie van publiceren in wetenschappelijke tijdschriften. Ook de grootte van een universiteit kan van invloed zijn op de positie in een ranking, zeker als hiervoor niet wordt gecorrigeerd.

Ook de manier waarop een ranking tot stand komt (welke data worden gebruikt en in hoeverre zijn deze vergelijkbaar?) en de combinatie van indicatoren die gebruikt worden hebben invloed op de positie van universiteiten. Daarnaast leiden veranderingen in de methodiek tot verschillen in posities van universiteiten van jaar tot jaar, ook al zijn er geen aanwijsbare veranderingen te zien bij de universiteit. Hierdoor hebben vergelijkingen door de tijd een beperkte betekenis in verhouding tot de feitelijke situatie (European University Association, 2013). Wanneer de positie van een universiteit op een ranking daalt ten opzichte van het voorafgaande jaar, betekent dit dan ook niet dat de prestaties van de betreffende universiteit per definitie achteruit zijn gegaan. Daarnaast kunnen de scores van universiteiten in een groep van de ranking heel dicht bij elkaar liggen: de verschillen in scores tussen die universiteiten zijn dan marginaal. Bij kleine veranderingen in de scores, schuiven die universiteiten bij een volgende meting meerdere posities in de ranking op. Vandaar dat bijvoorbeeld de Shanghai Ranking na positie 100 alleen met groepen van universiteiten werkt. 

Deze beperkingen worden verder ondersteund door een studie van onderzoekers van het Joint Research Centre van de Europese Commissie (Saisana e.a., 2011). In deze studie zijn twee veel gebruikte rankings, de Shanghai Ranking en de THE Ranking, onder de loep genomen en is op basis van simulaties gekeken naar de invloed van de methodologie op de positie van individuele instellingen. De conclusie van de studie is dat de rankings zeer gevoelig zijn voor (veranderingen in) de onderliggende statistische methodologie. Waar de positie van de top 10 universiteiten robuust zijn bij veranderingen, is dit veel minder het geval bij de overige posities. De resultaten zijn wel robuust wanneer regio’s in de wereld (zoals Noord-Amerika, Europa en Azië) met elkaar worden vergeleken.

De kritiek heeft in 2006 geleid tot de formulering van een aantal principes, de zgn. ‘Berlin Principles on Ranking of Higher Education Institutions’ (2006). De principes hebben een goed en verantwoord gebruik en ontwerp van rankings ten doel en moeten leiden tot een verbetering van de kwaliteit van de dataverzameling, methodologie en verspreiding van de resultaten. De principes richten zich op:

1. De doelstellingen van de ranking: een ranking moet slechts één van de manieren zijn om het hoger onderwijs te beoordelen, helder zijn over het doel en de doelgroepen, rekening houden met de diversiteit van de instellingen, transparant zijn over de informatiebronnen en de – taalkundige, culturele, economische en historische - context van het universitaire systeem specificeren;
2. Het ontwerp en de weging van indicatoren: bij een ranking is de methodologie transparant, worden er valide en relevante indicatoren gekozen, wordt er meer naar prestaties dan naar input van een instelling gekeken en worden veranderingen in indicatoren en de weging ervan beperkt gehouden;
3. De verzameling en verwerking van de data voor de ranking: bij een ranking worden goedgekeurde en verifieerbare data gebruikt, data die met de goede wetenschappelijke procedures zijn verzameld, en worden kwaliteitsmaatstaven toegepast op het proces van ranking;
4. De presentatie van de resultaten: een ranking geeft de gebruikers inzicht in de factoren die gebruikt zijn om de ranking te ontwikkelen, de ranking wordt zo samengesteld dat fouten worden beperkt en gecorrigeerd kunnen worden.

Sindsdien zijn deze principes verder aangevuld in bijvoorbeeld ‘The San Francisco Declaration on Research Assessment’ (2013) en ‘Leiden Manifesto for research metrics’ (2015). Daarnaast zijn deel-rankings op specifieke wetenschapsgebieden ontstaan, rankings die zich tot één aspect beperken. En zijn er interactieve ranglijsten ontwikkeld, waarbij de gebruiker op basis van onderliggende data zelf vergelijkingen kan maken.

Het gebruik van rankings

Rankings worden op verschillende manieren gebruikt. De gemeenschappelijke noemer daarin is dat ze gebruikt worden voor het verkrijgen van een beter inzicht en het maken van beter onderbouwde keuzes en beslissingen. Daarnaast maken universiteiten graag gebruik van een goede positie op één van de ranglijsten om de eigen universiteit te promoten. Bij gebruikers van rankings kan gedacht worden aan:

• Internationale studenten die een universiteit willen kiezen voor hun studie (master/ promotie);
• Onderzoekers die een universiteit willen kiezen voor een loopbaan;
• Bedrijven die een vestigingsplaats willen kiezen;
• Beleidsmakers (van instellingen, overheid) die willen zien wat de internationale positie is van landen, systemen en instellingen daarbinnen.

Bij het gebruik van rankings is het raadzaam om de informatie uit rankings als één van de bronnen voor dergelijke keuzes en beslissingen te gebruiken, en ook aanvullende informatie mee te nemen. Zo leveren de publicaties over de innovatieve prestaties van landen, zoals de WCR en de GII, naast een hoeveelheid ranglijstjes (voor het totaal en voor onderliggende aspecten) ook veel achtergrondmateriaal in de vorm van analyses en beschouwingen.

Omdat rankings vooral een globaal beeld geven van de positie van landen en universiteiten, moeten ze met de nodige voorzichtigheid worden gebruikt. Kleine veranderingen in de methodologie (welke indicatoren, hoe worden de data verzameld) kunnen namelijk al leiden tot veranderingen in de lijst.