Scores van onderzoeks-evaluaties

Wat is de gemiddelde score per criterium per jaar?

Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per criterium per jaar te zien. Voor periode 1995-2015 is daarvoor gebruik gemaakt van de scores op basis van de protocollen van de Vereniging van Universiteiten (VSNU): VSNU 1994, VSNU 1998, SEP 2003-2009 en SEP 2009-2015. In deze protocollen is gescoord op een vijfpuntschaal van 1 (slecht/unsatisfactory) tot 5 (excellent). Voor de jaren 2015-2021 zijn de scores van het SEP 2015-2021 gebruikt. Dit SEP gebruikt een vierpuntschaal van 4 (unsatisfactory) tot 1 (world leading/excellent). Voor deze grafiek zijn de scores met het SEP 2015-2021 omgedraaid (een 4 wordt een 1 en een 1 een 4), zodat in de grafiek nog steeds geldt: hoe hoger de lijn, hoe beter de score.

Wat opvalt in de grafiek is dat de scores met de jaren steeds hoger worden. In de jaren tot en met 2015 stijgen de gemiddelde scores tot waarden tussen 4,35 (levensvatbaarheid) en 4,5 (relevantie). Als we kijken naar de gemiddelde scores per protocol is te zien dat de scores stijgen en dat de spreiding afneemt met de opeenvolgende protocollen. Bij het SEP 2009-2015 is de meest voorkomende score voor wetenschappelijke kwaliteit, wetenschappelijke productiviteit en relevantie een 5 (de hoogst mogelijke score) en voor levensvatbaarheid een 4.

Tot slot valt het op dat we in bovenstaande grafiek een dip in 2001 en 2013 zien en tussen. Een mogelijke verklaring hiervoor is dat de gemiddelden voor deze jaren voor meer dan 75% opgemaakt worden door scores binnen één HOOP-classificatie: voor 2001 is dat Gedrag en Maatschappij en voor 2013 is dat Taal en Cultuur. Deze beide HOOP-classificaties scoren gemiddeld per protocol lager dan het gemiddelde per protocol van alle HOOP-classificaties.
 

Wat is de gemiddelde score per HOOP-classificatie?

Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per HOOP-classificatie te zien voor het SEP 2015-2021. Hierbij zijn de scores weer omgedraaid: een 1 wordt een 4 en een 4 wordt een 1. Dit is gedaan zodat een hogere staaf in de grafiek ook een hogere score representeert. De trend dat eenheden gemiddeld de hoogste score krijgen voor relevantie en de laagste score voor levensvatbaarheid is ook in de grafiek te zien. Dit geldt niet voor Natuur waar kwaliteit hoger scoort dan relevantie.

Verandering in de vergelijking

                               Verdeling eigenstandige en gezamenlijke evaluaties

Inhoudelijke toelichting
Met de komst van het SEP 2003-2009 is het systeem van vergelijkende beoordelingen op nationaal niveau losgelaten. Dit loste een belangrijk kritiekpunt op dat in discipline brede beoordelingen eenheden vergeleken werden die eigenlijk niet vergelijkbaar waren. In het SEP 2003-2009 is ongeveer de helft van de eenheden gezamenlijk geëvalueerd en de helft eigenstandig. Met het SEP 2015-2021 lijkt er een trend ingezet waarbij het merendeel van de evaluaties eigenstandig wordt gedaan. De aantallen in het SEP 2021-2027 zijn te klein om al uitspraken over te doen.