In bovenstaande grafiek is de gemiddelde score per criterium per jaar te zien. In de jaren 1995 t/m 2015 is daarvoor gebruik gemaakt van de scores op basis van de protocollen VSNU 1994, VSNU 1998, SEP 2003-2009 en SEP 2009-2015. In deze protocollen is gescoord op een vijfpuntschaal van 1 (slecht/unsatisfactory) tot 5 (excellent). Voor de jaren 2015-2018 zijn de scores van het SEP 2015-2021 gebruikt. Dit SEP gebruikt een vierpuntschaal van 4 (unsatisfactory) tot 1 (world leading/excellent). Voor deze grafiek zijn de scores met het SEP 2015-2021 omgedraaid (een 4 wordt een 1 en een 1 een 4), zodat in de grafiek nog steeds geldt: hoe hoger de lijn, hoe beter de score.
Wat opvalt in de grafiek is dat de scores met de jaren steeds hoger worden. In de jaren tot en met 2015 stijgen de gemiddelde scores tot waarden tussen 4,35 (levensvatbaarheid) en 4,5 (relevantie). Als gekeken wordt naar de gemiddelde scores per protocol is te zien dat de scores stijgen en ook dat de spreiding afneemt met de opeenvolgende protocollen. Bij het SEP 2009-2015 is de meest voorkomende score voor wetenschappelijke kwaliteit, wetenschappelijke productiviteit en relevantie een 5 (de hoogst mogelijke score) en een 4 voor levensvatbaarheid.
Tot slot valt in bovenstaande grafiek een dip in 2001 en 2013 op. Een mogelijke verklaring hiervoor is dat de gemiddelden voor deze jaren voor meer dan 75% opgemaakt worden door scores binnen één HOOP-gebied: voor 2001 is dat Gedrag en Maatschappij en voor 2013 is dat Taal en Cultuur. Deze beide HOOP-gebieden scoren gemiddeld per protocol vaak lager dan het gemiddelde per protocol.
In bovenstaande grafiek is de gemiddelde score per HOOP-gebied te zien voor het SEP 2015-2021. Hierbij zijn de scores weer omgedraaid: een 1 wordt een 4 en een 4 wordt een 1. Dit is gedaan zodat een hogere staaf in de grafiek ook een hogere score representeert. De trend dat eenheden gemiddeld de hoogste score krijgen voor relevantie en de laagste score voor levensvatbaarheid is ook in de grafiek te zien.
| Percentage eenheden eigenstandig geëvalueerd | Percentage eenheden gezamenlijk geëvalueerd | Aantal geëvalueerde eenheden | |
| VSNU 1994 | 4 | 96 | 1257 |
| VSNU 1998 | 4 | 96 | 1040 |
| SEP 2003-2009 | 49 | 51 | 1367 |
| SEP 2009-2015 | 42 | 58 | 740 |
| SEP 2015-2021 | 77 | 23 | 479 |
Met de komst van het SEP 2003-2009 is het systeem van vergelijkende beoordelingen op nationaal niveau losgelaten. Dit loste een belangrijk kritiekpunt op dat in disciplinebrede beoordelingen eenheden vergeleken werden die eigenlijk niet vergelijkbaar waren. In het SEP 2003-2009 is ongeveer de helft van de eenheden gezamenlijk geëvalueerd en de helft eigenstandig. Hoewel de aantallen voor het SEP 2015-2021 nog minder groot zijn dan bij de voorgaande protocollen, lijkt er een trend ingezet waarbij het merendeel van de evaluaties eigenstandig gedaan wordt.
Over de data
- De evaluatierapporten zijn van de websites van de instellingen gehaald. Omdat het sinds de introductie van het SEP ontbreekt aan een centraal overzicht van uitgevoerde en geplande evaluaties is niet met zekerheid vast te stellen of het overzicht compleet is.
- De betekenis van de oordelen op de vijfpuntsschaal (alle protocollen met uitzondering van het SEP 2015-2021) is een aantal keer gewijzigd. De scores zijn één op één overgenomen, zonder hiermee rekening te houden.
Voor meer informatie over onderzoeksevaluaties verwijzen we graag naar de Feiten en Cijfers publicatie van het Rathenau Instituut Twintig jaar onderzoeksevaluaties.
Voor een uitleg van de gebruikte definities en afkortingen verwijzen we graag naar de webpagina Definities en afkortingen.