Scores van onderzoeks-evaluaties
Onderzoekseenheden van universiteiten (inclusief umc’s) en NWO- en KNAW-instituten worden eenmaal in de zes jaar extern geëvalueerd. Deze evaluaties gebeuren momenteel met behulp van het Standaard Evaluatie Protocol (SEP) 2021-2027. In deze datapublicatie laten we niet alleen resultaten op basis van het huidige SEP zien, maar ook van de voorlopers: SEP 2015-2021, SEP 2009-2015, SEP 2003-2009, VSNU-protocol 1998 en VSNU-protocol 1994. Omdat in het SEP 2021-2027 geen scores meer gegeven worden, zal een deel van deze datapublicatie alleen over de voorlopers gaan.
In het kort
- De scores van alle criteria in 2015 zijn gestegen ten opzichte van 1994. Ook is de spreiding van de protocollen afgenomen.
- Eenheden binnen de HOOP-classificatie krijgen gemiddeld de hoogste score voor relevantie en de laagste score voor levensvatbaarheid.
- Natuur scoort het hoogst op binnen de HOOP-classificatie.
Wat is de gemiddelde score per criterium per jaar?
Toelichting 2015*: De scores in 2014 van het SEP 2015-2021 zijn samengenomen met 2015, vanwege het lage aantal in 2014. De scores in 2017 van het SEP 2009-2015 zijn samengenomen met 2015, vanwege het lage aantal in 2017. Voor 2022 is er in totaal één evaluatie beschikbaar die ontbreekt in de figuur.
Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per criterium per jaar te zien. Voor periode 1995-2015 is daarvoor gebruik gemaakt van de scores op basis van de protocollen van de Vereniging van Universiteiten (VSNU): VSNU 1994, VSNU 1998, SEP 2003-2009 en SEP 2009-2015. In deze protocollen is gescoord op een vijfpuntschaal van 1 (slecht/unsatisfactory) tot 5 (excellent). Voor de jaren 2015-2021 zijn de scores van het SEP 2015-2021 gebruikt. Dit SEP gebruikt een vierpuntschaal van 4 (unsatisfactory) tot 1 (world leading/excellent). Voor deze grafiek zijn de scores met het SEP 2015-2021 omgedraaid (een 4 wordt een 1 en een 1 een 4), zodat in de grafiek nog steeds geldt: hoe hoger de lijn, hoe beter de score.
Wat opvalt in de grafiek is dat de scores met de jaren steeds hoger worden. In de jaren tot en met 2015 stijgen de gemiddelde scores tot waarden tussen 4,35 (levensvatbaarheid) en 4,5 (relevantie). Als we kijken naar de gemiddelde scores per protocol is te zien dat de scores stijgen en dat de spreiding afneemt met de opeenvolgende protocollen. Bij het SEP 2009-2015 is de meest voorkomende score voor wetenschappelijke kwaliteit, wetenschappelijke productiviteit en relevantie een 5 (de hoogst mogelijke score) en voor levensvatbaarheid een 4.
Tot slot valt het op dat we in bovenstaande grafiek een dip in 2001 en 2013 zien en tussen. Een mogelijke verklaring hiervoor is dat de gemiddelden voor deze jaren voor meer dan 75% opgemaakt worden door scores binnen één HOOP-classificatie: voor 2001 is dat Gedrag en Maatschappij en voor 2013 is dat Taal en Cultuur. Deze beide HOOP-classificaties scoren gemiddeld per protocol lager dan het gemiddelde per protocol van alle HOOP-classificaties.
Wat is de gemiddelde score per HOOP-classificatie?
Inhoudelijke toelichting
In bovenstaande grafiek is de gemiddelde score per HOOP-classificatie te zien voor het SEP 2015-2021. Hierbij zijn de scores weer omgedraaid: een 1 wordt een 4 en een 4 wordt een 1. Dit is gedaan zodat een hogere staaf in de grafiek ook een hogere score representeert. De trend dat eenheden gemiddeld de hoogste score krijgen voor relevantie en de laagste score voor levensvatbaarheid is ook in de grafiek te zien. Dit geldt niet voor Natuur waar kwaliteit hoger scoort dan relevantie.
Verandering in de vergelijking
Verdeling eigenstandige en gezamenlijke evaluaties
| Percentage eenheden eigenstandig geëvalueerd | Percentage eenheden gezamenlijk geëvalueerd | Aantal geëvalueerde eenheden | |
| VSNU 1994 | 4 | 96 | 1257 |
| VSNU 1998 | 4 | 96 | 1040 |
| SEP 2003-2009 | 49 | 51 | 1367 |
| SEP 2009-2015 | 42 | 58 | 740 |
| SEP 2015-2021 | 76 | 24 | 619 |
| SEP 2021-2027 | 86 | 14 | 264 |
Inhoudelijke toelichting
Met de komst van het SEP 2003-2009 is het systeem van vergelijkende beoordelingen op nationaal niveau losgelaten. Dit loste een belangrijk kritiekpunt op dat in discipline brede beoordelingen eenheden vergeleken werden die eigenlijk niet vergelijkbaar waren. In het SEP 2003-2009 is ongeveer de helft van de eenheden gezamenlijk geëvalueerd en de helft eigenstandig. Met het SEP 2015-2021 lijkt er een trend ingezet waarbij het merendeel van de evaluaties eigenstandig wordt gedaan. Met het SEP 2021-2027 zet die trend door.