calendar tag arrow download print
datapublicatie
18 januari 2019

Scores van onderzoeks-evaluaties

Onderzoekseenheden van universiteiten (inclusief UMC’s) en NWO- en KNAW-instituten worden eenmaal in de zes jaar extern geëvalueerd. Deze evaluaties gebeuren momenteel met behulp van het Standaard Evaluatie Protocol (SEP) 2015-2021. In deze datapublicatie laten we niet alleen resultaten op basis van het huidige SEP zien, maar ook van de voorlopers: SEP 2009-2015, SEP 2003-2009, VSNU-protocol 1998 en VSNU-protocol 1994.
Gemiddelde score per criterium per jaar
Toelichting 2015*: De scores in 2014 van het SEP 2015-2021 zijn samengenomen met 2015, vanwege het lage aantal in 2014. De scores in 2017 van het SEP 2009-2015 zijn samengenomen met 2015, vanwege het lage aantal in 2017. Bron: PER Base (CHEPS en Rathenau Instituut)

In bovenstaande grafiek is de gemiddelde score per criterium per jaar te zien. In de jaren 1995 t/m 2015 is daarvoor gebruik gemaakt van de scores op basis van de protocollen VSNU 1994, VSNU 1998, SEP 2003-2009 en SEP 2009-2015. In deze protocollen is gescoord op een vijfpuntschaal van 1 (slecht/unsatisfactory) tot 5 (excellent). Voor de jaren 2015-2018 zijn de scores van het SEP 2015-2021 gebruikt. Dit SEP gebruikt een vierpuntschaal van 4 (unsatisfactory) tot 1 (world leading/excellent). Voor deze grafiek zijn de scores met het SEP 2015-2021 omgedraaid (een 4 wordt een 1 en een 1 een 4), zodat in de grafiek nog steeds geldt: hoe hoger de lijn, hoe beter de score.

Wat opvalt in de grafiek is dat de scores met de jaren steeds hoger worden. In de jaren tot en met 2015 stijgen de gemiddelde scores tot waarden tussen 4,35 (levensvatbaarheid) en 4,5 (relevantie). Als gekeken wordt naar de gemiddelde scores per protocol is te zien dat de scores stijgen en ook dat de spreiding afneemt met de opeenvolgende protocollen. Bij het SEP 2009-2015 is de meest voorkomende score voor wetenschappelijke kwaliteit, wetenschappelijke productiviteit en relevantie een 5 (de hoogst mogelijke score) en een 4 voor levensvatbaarheid. Ook in de korte periode dat het SEP 2015-2021 gebruikt wordt is een stijging te zien.

Tot slot valt in bovenstaande grafiek een dip in 2001 en 2013 op. Een mogelijke verklaring hiervoor is dat de gemiddelden voor deze jaren voor meer dan 75% opgemaakt worden door scores binnen één HOOP-gebied: voor 2001 is dat Gedrag en Maatschappij en voor 2013 is dat Taal en Cultuur. Deze beide HOOP-gebieden scoren gemiddeld per protocol vaak lager dan het gemiddelde per protocol.

Gemiddelde score per HOOP-gebied SEP 2015-2021
Bron: PER Base (CHEPS en Rathenau Instituut)

In bovenstaande grafiek is de gemiddelde score per HOOP-gebied te zien voor het SEP 2015-2021. Hierbij zijn de scores weer omgedraaid: een 1 wordt een 4 en een 4 wordt een 1. Dit is gedaan zodat een hogere staaf in de grafiek ook een hogere score representeert. De trend dat eenheden gemiddeld de hoogste score krijgen voor relevantie en de laagste score voor levensvatbaarheid is ook in de grafiek te zien.

Percentage eenheden eigenstandig geëvalueerd Percentage eenheden gezamenlijk geëvalueerd Aantal geëvalueerde eenheden
VSNU 1994 4 96 1257
VSNU 1998 4 96 1040
SEP 2003-2009 49 51 1366
SEP 2009-2015 42 58 739
SEP 2015-2021 74 26 332

Met de komst van het SEP 2003-2009 is het systeem van vergelijkende beoordelingen op nationaal niveau losgelaten. Dit loste een belangrijk kritiekpunt op dat in disciplinebrede beoordelingen eenheden  vergeleken werden die eigenlijk niet vergelijkbaar waren. In het SEP 2003-2009 is ongeveer de helft van de eenheden gezamenlijk geëvalueerd en de helft eigenstandig. Hoewel de aantallen voor het SEP 2015-2021 nog minder groot zijn dan bij de voorgaande protocollen, lijkt er een trend ingezet waarbij het merendeel van de evaluaties eigenstandig gedaan wordt. 

Over de data

  • De evaluatierapporten zijn van de websites van de instellingen gehaald. Omdat het sinds de introductie van het SEP ontbreekt aan een centraal overzicht van uitgevoerde en geplande evaluaties is niet met zekerheid vast te stellen of het overzicht compleet is.
  • De betekenis van de oordelen op de vijfpuntsschaal (alle protocollen met uitzondering van het SEP 2015-2021) is een aantal keer gewijzigd. De scores zijn één op één overgenomen, zonder hiermee rekening te houden. 

Voor meer informatie over onderzoeksevaluaties verwijzen we graag naar de Feiten en Cijfers publicatie van het Rathenau Instituut Twintig jaar onderzoeksevaluaties

Voor een uitleg van de gebruikte definities en afkortingen verwijzen we graag naar de webpagina Definities en afkortingen.