Hoe spelen evaluaties een rol in kennis voor beleid?

In de vorige aflevering keken we naar de manier waarop ministeries het (laten doen) van onderzoek organiseren. In deze aflevering kijken we naar de rol van evaluaties. In Nederland houden allerlei mensen zich bezig met de evaluatie van beleid, in een uitgebreid stelsel van voorschriften, instrumenten en actoren. Dit evaluatiestelsel is verankerd in wet- en regelgeving. Zo verplicht de Comptabiliteitswet ministers tot het periodiek onderzoeken van de doeltreffendheid en doelmatigheid van beleid, en is in de Regeling Periodiek Evaluatieonderzoek vastgelegd dat ministeries eens in de zeven jaar beleidsdoorlichtingen moeten uitvoeren.

Op deze manier zou het rijksbrede evaluatiestelsel moeten waarborgen dat evaluaties (goed) worden uitgevoerd. Maar uit de gesprekken die we de afgelopen maanden voerden, blijkt dat de praktijk weerbarstig is.

In de praktijk dragen beleidsevaluaties slechts beperkt bij aan beleidsverbetering. Er is vaak onvoldoende inzicht in de effectiviteit van beleid, waardoor het lastig is om geïnformeerde keuzes te maken. Op papier staat het belang van evalueren buiten kijf – maar de voorbereiding en uitvoering van evaluaties kennen gebreken.

Een heldere beleidstheorie ontbreekt

Dat bleek ook uit een onderzoek naar de toepassing van artikel 3.1. van de Comptabiliteitswet, dat begin september werd gepubliceerd door de Dienst Analyse Onderzoek van de Tweede Kamer, op verzoek van Tweede Kamerleden Joost Sneller (D66) en Bart Snels (GroenLinks). Dit artikel, in 2016 opgenomen in de wet, stelt dat beleidsvoorstellen die naar de Tweede Kamer gaan, voorzien moeten zijn van een toelichting die inzicht geeft in de

• doelstellingen;
• instrumenten;
• verwachte doeltreffendheid; en
• doelmatigheid

van de voorgestelde beleidsinterventie. Het onderzoek liet zien dat het hier vaak aan ontbreekt.

Het wordt bij beleidsvoorstellen lang niet altijd duidelijk wat de (veronderstelde) relatie is tussen het doel en de instrumenten – er ontbreekt een heldere beleidstheorie. Dit maakt het lastig om vervolgens de effecten van beleid te monitoren en evalueren op basis van gestelde doelen en verwachtingen. ‘Doordat er nog te weinig aandacht is voor artikel 3.1, komt het leerproces gericht op goed beleid nog onvoldoende op gang’, aldus de onderzoekers; ‘terwijl dat hard nodig is.”

Deze ontwikkelingen komen overeen met onze bevindingen dat het evalueren van beleid en het inzetten van evaluatiekennis voor de verbetering van beleid niet vanzelfsprekend zijn. Ook de Algemene Rekenkamer heeft zich al een aantal jaar in verschillende publicaties kritisch uitgelaten over de wijze waarop beleid wordt geëvalueerd.

Waarom is het dan zo lastig om evalueren structureel onderdeel te laten zijn van de beleidsontwikkeling? Om daar iets meer gevoel voor te krijgen, geven we hieronder een korte beschrijving van de twee rollen van beleidsevaluaties binnen de overheid: ze zijn bedoeld voor verantwoording over beleidskeuzes, en om ervan te leren.

1. Evalueren om te verantwoorden

Bij ministeries werken ambtenaren aan het ontwikkelen, uitvoeren en aanpassen van beleid. Het startpunt van een beleidsmaatregel is een keuze om publieke middelen te investeren vanuit de veronderstelling dat deze investering ‘maatschappelijke waarde’ oplevert: meer werkgelegenheid, minder CO2-uitstoot, betere gezondheidszorg, minder jeugdcriminaliteit, enzovoorts. Om te kunnen beoordelen of beleid inderdaad bijdraagt aan gestelde doelen, en dit op een democratisch legitieme en kostefficiënte wijze gebeurt, is de overheid verplicht om verantwoording af te leggen over haar beleidskeuzes.

Beleidsevaluaties zijn hiervoor van cruciaal belang. In een ideale situatie geven deze evaluaties inzicht in de werking en effectiviteit van beleid. Dit stelt betrokkenen, zoals beleidsmakers, bewindspersonen en Tweede Kamerleden, in staat om op basis van deze inzichten te reflecteren op gemaakte keuzes, een oordeel te vellen en hierover het debat aan te gaan.

2. Evalueren om te leren

Naast verantwoording dienen beleidsevaluaties nog een tweede belangrijk doel: om te leren. Het inzicht dat beleidsevaluaties opleveren, kan immers worden ingezet om beleid aan te passen, bij te sturen, stop te zetten of geheel om te gooien. Evaluaties zijn zo waardevolle bronnen van kennis, die bij kunnen dragen aan reflectie en voortschrijdend inzicht binnen ministeries met beter beleid als verwacht resultaat.

Tijdens onze gesprekken voor deze blogserie horen we dat deze twee doelen van evalueren niet vanzelfsprekend in elkaars verlengde liggen. In de praktijk zitten verantwoorden en leren elkaar zelfs in de weg.

Een evaluatie die laat zien dat het ingezette beleid totaal niet heeft bereikt wat het geacht werd te bereiken, is vanuit het verantwoordingsperspectief een vorm van falen. Of zelfs van onverantwoord gebruik van publieke middelen. Maar vanuit een lerend perspectief levert die evaluatie waardevolle kennis op, die vervolgens kan worden ingezet om het beleid te verbeteren.

Dit laat zien dat het risico om afgerekend te worden op het maken van verkeerde keuzes, ertoe kan leiden dat bewindspersonen en ambtenaren evaluaties ervaren als een verplichte exercitie, waar ze vooral de nadelen van ondervinden.

Het huidige stelsel daagt ministeries dus onvoldoende uit tot het actief delen van resultaten, tot het (gezamenlijk) leren ervan, en tot het in de praktijk brengen van verkregen inzichten. Om dat te veranderen, riep het ministerie van Financiën, dat als systeemverantwoordelijke toeziet op de naleving van de evaluatieregels door andere ministeries, in 2018 de Rijksbrede Operatie Inzicht in Kwaliteit in het leven. Het doel van deze operatie is ‘de maatschappelijke toegevoegde waarde van publiek geld te vergroten door meer inzicht in de impact van beleid te krijgen en daarnaar te handelen’.

Inmiddels is de Operatie Inzicht in Kwaliteit in volle gang. De organisatie zoekt vooral naar manieren van evalueren die betrokkenen stimuleren om evaluaties lerend in te zetten én die beter aansluiten bij de huidige beleidspraktijk. Hiertoe zijn twee sporen ingericht.

1. Structurele vraag

Ten eerste buigt de operatie zich over de structurele vraag hoe leren en verbeteren meer vanzelfsprekende onderdelen kunnen worden van het beleidsproces bij ministeries. De operatie wil naar een overheid als ‘lerende organisatie’. Ze heeft de ervaringen en kennis tot nu toe inmiddels vertaald in een aantal veranderopgaven die aan een lerende cultuur kunnen bijdragen:

• Evalueren inrichten als een continu proces: niet alleen ‘achteraf’ evalueren, maar ook vooraf inzicht geven en tussentijds monitoren.
• Inzicht uit evaluatie actief inzetten voor de verbetering van beleid: aanpassen of stopzetten van beleid dat niet uitwerkt als verwacht, waarderen als voortschrijdend inzicht en niet (alleen) wegzetten als falen.
• Meerdere perspectieven betrekken bij het verkrijgen van inzicht in de werking van beleid: complexe vraagstukken vragen om gezamenlijk optrekken, kennis delen en leren over de grenzen van verschillende departementen heen, en met verschillende partijen, zoals uitvoerders en andere belanghebbenden.

2. Pilots

Ten tweede organiseert elk ministerie, onder de paraplu van de operatie, pilots om met nieuwe manieren van evalueren te experimenteren. Zo is het ministerie van Volksgezondheid, Welzijn en Sport (al voor de start van Operatie Inzicht in Kwaliteit) begonnen met de pilot Lerend Evalueren. In deze pilot is onder meer aandacht voor evalueren als integraal onderdeel van het beleidsproces. Het ministerie experimenteert met vernieuwende onderzoeksmethoden, zoals explorerend vooronderzoek en actieleren, en het betrekken van de praktijk in het evalueren van beleid. Een ander voorbeeld is het ministerie van Economische Zaken en Klimaat, dat vanaf de start een samenhangende en continue evaluatiestructuur voor het klimaatbeleid ontwikkelt.

De Operatie Inzicht in Kwaliteit brengt ons ook terug bij de Kamerleden Sneller en Snels, tevens rapporteurs vanuit de Kamer voor Inzicht in Kwaliteit. Het op hun initiatief uitgevoerde onderzoek naar de onderbouwing van beleidsvoorstellen, laat zien dat ministeries niet alleen staan in hun verantwoordelijkheid om het inzicht in de resultaten van beleid te vergroten en deze inzichten te vertalen naar beter beleid: ook de interactie tussen bewindspersonen en de Tweede Kamer blijkt hierin een factor van betekenis. Zij concluderen dan ook dat Tweede Kamerleden kunnen bijdragen aan het op gang brengen van een gezamenlijk leerproces, door bewindspersonen actief te vragen om beleidsvoorstellen te onderbouwen en de Kamer te informeren over (voorgenomen) monitoring en evaluatie van beleid.

Er lijkt kortom een breder gedeelde wens te zijn bij betrokkenen

• om beleidsevaluaties meer te laten zijn dan ‘een moetje’ of een papieren exercitie;
• om daadwerkelijk te leren van evaluaties; en
• om deze kennis toe te passen voor verbetering van beleid.

Dit vraagt onder meer van ministeries dat zij zichzelf zien als lerende organisaties, waarin er een zinvolle aansluiting is tussen beleidsproces en evaluatiecyclus, ruimte en waardering voor voortschrijdend inzicht en aandacht voor monitoring en evaluatie als integraal onderdeel van het beleidsproces.

Dat dit niet eenvoudig is, erkennen betrokkenen bij initiatieven als de Operatie Inzicht in Kwaliteit, alsmede beleidsmakers en Tweede Kamerleden. Maar ze zeggen ook dat er ruimte is voor verbetering. Vanuit die overtuiging werken verschillende partijen aan expertiseopbouw over, en uitwisseling van kennis en ervaring met, andere manieren van evalueren.

Want een eventuele structurele herziening van de huidige evaluatiepraktijk vraagt om waardering en inzet van alle partijen die een rol kunnen spelen in het continu leren over de werking van beleid: de ministeries en de Tweede Kamer, maar ook inspecties, uitvoeringsorganisaties en kennisinstellingen.

We komen graag met u in contact over deze verkenning naar het kennisbeleid van ministeries. Laat via het onderstaande formulier weten hoe u bezig bent met dit onderwerp, of wat u er van ons over zou willen weten.

Het formulier is inmiddels gesloten.

Meer lezen over kennis voor beleid

Lees ook de andere delen uit deze blogserie: 

• Hoe komen ministeries aan hun kennis?
• Wat kost kennis voor beleid?
• Hoe speelt kennis een rol in beleid?
• Hoe zorgen ministeries dat ze goede kennisvragen stellen?
• Hoe organiseren ministeries (het laten doen) van onderzoek?