calendar tag arrow download print
Doorgaan naar inhoud

Scores van onderzoeks-evaluaties

datapublicatie
18 juli 2023
onderzoek universiteit nwo knaw
Onderzoekseenheden van universiteiten (inclusief umc’s) en NWO- en KNAW-instituten worden eenmaal in de zes jaar extern geëvalueerd. Deze evaluaties gebeuren momenteel met behulp van het Standaard Evaluatie Protocol (SEP) 2021-2027. In deze datapublicatie laten we niet alleen resultaten op basis van het huidige SEP zien, maar ook van de voorlopers: SEP 2015-2021, SEP 2009-2015, SEP 2003-2009, VSNU-protocol 1998 en VSNU-protocol 1994. Omdat in het SEP 2021-2027 geen scores meer gegeven worden, zal een deel van deze datapublicatie alleen over de voorlopers gaan.

In het kort

  • De scores van alle criteria in 2015 zijn gestegen ten opzichte van 1994. Ook is de spreiding van de protocollen afgenomen.
  • Eenheden binnen de HOOP-classificatie krijgen gemiddeld de hoogste score voor relevantie en de laagste score voor levensvatbaarheid.
  • Natuur en Interdisciplinair scoren het hoogst op binnen de HOOP-classificatie.

Wat is de gemiddelde score per criterium per jaar?

Gemiddelde score per criterium per jaar
Bron: database Center for Higher Education Policy Studies (CHEPS) en Rathenau Instituut.
Toelichting 2015*: De scores in 2014 van het SEP 2015-2021 zijn samengenomen met 2015, vanwege het lage aantal in 2014. De scores in 2017 van het SEP 2009-2015 zijn samengenomen met 2015, vanwege het lage aantal in 2017.

Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per criterium per jaar te zien. Voor periode 1995-2015 is daarvoor gebruik gemaakt van de scores op basis van de protocollen van de Vereniging van Universiteiten (VSNU): VSNU 1994, VSNU 1998, SEP 2003-2009 en SEP 2009-2015. In deze protocollen is gescoord op een vijfpuntschaal van 1 (slecht/unsatisfactory) tot 5 (excellent). Voor de jaren 2015-2021 zijn de scores van het SEP 2015-2021 gebruikt. Dit SEP gebruikt een vierpuntschaal van 4 (unsatisfactory) tot 1 (world leading/excellent). Voor deze grafiek zijn de scores met het SEP 2015-2021 omgedraaid (een 4 wordt een 1 en een 1 een 4), zodat in de grafiek nog steeds geldt: hoe hoger de lijn, hoe beter de score.

Wat opvalt in de grafiek is dat de scores met de jaren steeds hoger worden. In de jaren tot en met 2015 stijgen de gemiddelde scores tot waarden tussen 4,35 (levensvatbaarheid) en 4,5 (relevantie). Als we kijken naar de gemiddelde scores per protocol is te zien dat de scores stijgen en dat de spreiding afneemt met de opeenvolgende protocollen. Bij het SEP 2009-2015 is de meest voorkomende score voor wetenschappelijke kwaliteit, wetenschappelijke productiviteit en relevantie een 5 (de hoogst mogelijke score) en voor levensvatbaarheid een 4.

Tot slot valt het op dat we in bovenstaande grafiek een dip in 2001 en 2013 zien en tussen. Een mogelijke verklaring hiervoor is dat de gemiddelden voor deze jaren voor meer dan 75% opgemaakt worden door scores binnen één HOOP-classificatie: voor 2001 is dat Gedrag en Maatschappij en voor 2013 is dat Taal en Cultuur. Deze beide HOOP-classificaties scoren gemiddeld per protocol lager dan het gemiddelde per protocol van alle HOOP-classificaties.
 

Wat is de gemiddelde score per HOOP-classificatie?

Gemiddelde score per HOOP-gebied, SEP 2015-2021 (score omgedraaid)  en aantal geevalueerde eenheden
Bron: database CHEPS en Rathenau Instituut.

Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per HOOP-classificatie te zien voor het SEP 2015-2021. Hierbij zijn de scores weer omgedraaid: een 1 wordt een 4 en een 4 wordt een 1. Dit is gedaan zodat een hogere staaf in de grafiek ook een hogere score representeert. De trend dat eenheden gemiddeld de hoogste score krijgen voor relevantie en de laagste score voor levensvatbaarheid is ook in de grafiek te zien. Dit geldt niet voor Natuur waar kwaliteit hoger scoort dan relevantie.

Verandering in de vergelijking

                               Verdeling eigenstandige en gezamenlijke evaluaties

Percentage eenheden eigenstandig geëvalueerd Percentage eenheden gezamenlijk geëvalueerd Aantal geëvalueerde eenheden
VSNU 1994 4 96 1257
VSNU 1998 4 96 1040
SEP 2003-2009 49 51 1367
SEP 2009-2015 42 58 740
SEP 2015-2021 75 25 581
SEP 2021-2027 26 74 35

Inhoudelijke toelichting
Met de komst van het SEP 2003-2009 is het systeem van vergelijkende beoordelingen op nationaal niveau losgelaten. Dit loste een belangrijk kritiekpunt op dat in discipline brede beoordelingen eenheden vergeleken werden die eigenlijk niet vergelijkbaar waren. In het SEP 2003-2009 is ongeveer de helft van de eenheden gezamenlijk geëvalueerd en de helft eigenstandig. Met het SEP 2015-2021 lijkt er een trend ingezet waarbij het merendeel van de evaluaties eigenstandig wordt gedaan. De aantallen in het SEP 2021-2027 zijn te klein om al uitspraken over te doen.