Algoritmes afwegen

Het tijdperk van de algoritmische uitvoeringsorganisatie is al enkele decennia gaande. Organisaties gebruiken inmiddels op grote schaal algoritmes om diensten uit te voeren. Daarbij draaide het lange tijd hoofdzakelijk om het toepassen van rule-based ­algoritmes. Het structureel in gaan zetten van algoritmische profilering vormt in deze ontwikkeling de volgende stap: door het gedrag van burgers met lerende algoritmes te voorspellen zouden uitvoeringsorganisaties de regels beter kunnen handhaven, en de burger sneller en met meer maatwerk kunnen bedienen.

Deze nieuwe stap die uitvoeringsorganisaties zetten, verdiept de mensenrechtelijke uitdagingen die gepaard gaan met algoritmische systemen. Door de inzet van lerende systemen wordt het bijvoorbeeld lastiger om discriminatie op te sporen en de keuzes van systemen goed uit te leggen of zelfs volledig te kennen. In het recente verleden, en in het bijzonder tijdens de kinderopvangtoeslagenaffaire, bleek hoe de bescherming van mensenrechten tekort kan schieten, en dat hierin zowel de algoritmes zelf, als de context waarbinnen ze ontwikkeld en gebruikt worden, een rol spelen. Dat wil zeggen: ook de wetten die gemaakt worden, de aanwezige expertise en de werkcultuur zijn van invloed op de ontwikkeling en toepassing van specifieke algoritmes.

De studie
In dit rapport verkennen we op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties welke maatregelen uitvoeringsorganisaties nemen om mensenrechtelijke risico’s bij de inzet van profilerende systemen te mitigeren. Ook kijken we hoe deze maatregelen verder versterkt kunnen worden. Er is deskresearch uitgevoerd om de relevante mensenrechten te selecteren en we voerden gesprekken met verschillende medewerkers van het CJIB, UWV en de SVB. De voorlopige bevindingen van deze gesprekken zijn besproken tijdens twee externe consultaties. Het onderzoek is uitgevoerd van juli 2021 tot maart 2022.

Van pilots naar productie
Hoewel de soorten profilerende systemen en de maatregelen die uitvoeringsorganisaties nemen deels verschillen per organisatie, maakt ons onderzoek een aantal grote lijnen zichtbaar. Het gaat om pilots die vanaf eind 2021/begin 2022 in de reguliere werkwijze van organisaties worden ingezet, en een ontwikkeltijd van twee tot drie jaar kennen. De doelen van de profilering variëren. Het UWV werkt bijvoorbeeld aan een systeem dat gerichter hulp biedt bij het vinden van werk, en aan systemen om gerichter foutief gebruik van regelingen te detecteren. Ook het SVB ontwikkelt een pilot voor dit laatste doel. De pilot van het CJIB is gericht op het innen van openstaande boetes en het voorkomen van schuldenoploop. Bij de meeste besproken pilots ligt de nadruk vooralsnog op het versterken van de handhaving. In de toekomst willen de onderzochte uitvoeringsorganisaties profilering meer gaan inzetten om burgers te ondersteunen. Tegelijkertijd kan het lastig zijn voor hen om dit financieel rond te krijgen.

Omgang met mensenrechtelijke risico’s
In de gevoerde gesprekken viel het op dat risico’s vooral werden benoemd in termen van ethische principes en specifieke wettelijke eisen, zoals opgenomen in de Algemene verordening gegevensbescherming. Er werd niet of nauwelijks verwezen naar mensenrechtenverdragen. Dat wil niet zeggen dat de onderzochte uitvoeringsorganisaties zich bij de ontwikkeling van hun profilerende algoritmes niet bewust zijn van mogelijke risico’s. In de gesprekken worden zaken als privacy, transparantie, uitlegbaarheid en menselijke tussenkomst genoemd. Grofweg komen de genoemde kwesties overeen met de relevante mensenrechten waar we ons in dit rapport op richten: privacyrechten, gelijkheidsrechten, vrijheidsrechten en procedurele rechten. De nadruk lijkt vooral te liggen op privacyrechten en het recht op non-discriminatie. De onderzochte uitvoeringsorganisaties beoordelen de inzet van profilerende systemen als proportioneel. Ze zien risico’s, maar concluderen dat die voldoende te mitigeren zijn en dat er voldoende baten tegenover staan.

Ethische en wettelijk eisen
De maatregelen die de onderzochte organisaties nemen, dienen twee doelen. Enerzijds zijn ze gericht op het zo goed mogelijk toepassen van bestaande juridische kaders. De organisaties ervaren soms onduidelijkheid over hoe die gehanteerd dienen te worden en proberen met de maatregelen de vertaalslag te maken van wet naar praktijk. Anderzijds investeren de organisaties in de ontwikkeling van ethische expertise, vanuit een verlangen om niet alleen binnen de grenzen van de wet te handelen, maar ook te voldoen aan wat maatschappelijk wenselijk is. De maatregelen dienen de organisatie dus ook te stimuleren verder te kijken dan de wettelijke vereisten.

Breed scala van maatregelen
De onderzochte organisaties werken aan een scala van maatregelen om in lijn te werken met mensenrechten. Voorbeelden zijn het aanstellen van een ethisch adviseur en het oprichten van een ethische commissie. Ook worden normenkaders ontwikkeld, die ethische principes en specifieke wettelijke eisen koppelen aan verantwoordelijkheden van specifieke functies en medewerkers. Zo worden algemene uitgangspunten concreet toepasbaar in de praktijk. Verder investeren de organisaties in ethische en juridische expertise, onder meer bij de ontwikkelteams en is bias-toetsing een standaard onderdeel geworden van de systeemontwikkeling. Opvallend is dat deze toetsing decentraal is georganiseerd. De onderzochte uitvoeringsorganisaties starten hun eigen samenwerkingen met externe partijen om bias te toetsen. De kennisontwikkeling vindt ook per organisatie plaats.

Ten aanzien van het recht op informatie zoeken de onderzochte uitvoeringsorganisaties vooral naar de balans tussen actieve en passieve informatievoorziening. Daarbij verschillen ze wat betreft de maatregelen die ze hebben genomen. Op het gebied van procedurele rechten nemen ze maatregelen om te zorgen voor menselijke tussenkomst en uitlegbaarheid. De organisaties verschillen van mening over de noodzaak de bestaande klachtenprocedures aan te passen.

Algoritmes leren afwegen
De organisaties zien dat er risico’s bij de inzet van profilerende systemen kunnen ontstaan en nemen maatregelen om die zoveel mogelijk te verkleinen. Uitvoeringsorganisaties voelen zich ondanks deze risico’s genoodzaakt om profilerende systemen te gebruiken, vanwege de maatschappelijke en politieke wensen om enerzijds effectief fraude op te sporen en anderzijds te zorgen voor een soepele dienstverlening.

De onderzochte organisaties zijn bij het nemen van maatregelen op zoek naar houvast: welke maatregelen zorgen ervoor dat zij zowel in wettelijk als in ethisch opzicht voldoen aan de gerechtvaardigde verwachtingen van politiek en samenleving? Steeds meer sijpelt bij de onderzochte uitvoeringsorganisaties het besef door dat ze niet alleen moeten handelen binnen en volgens de bedoeling van de wet, maar ook maatschappelijk onwenselijke toepassingen moeten vermijden, die wettelijk wel zijn toegestaan.

De waarde van de genomen maatregelen zal zich in de komende tijd moeten bewijzen. De opdracht is om nut en noodzaak van profilerende algoritmen adequaat te leren afwegen. Uiteindelijk is dit een gedeelde taak van uitvoeringsorganisaties, politici en andere beleidsmakers. Daarbij zal het steeds moeten gaan over hoe maatschappelijke doelen het beste kunnen worden bereikt en de rechten van burgers het beste worden beschermd.

Het tijdperk van de algoritmische uitvoeringsorganisatie is al enkele decennia gaande. Organisaties als het UWV, de SVB en het CJIB gebruiken inmiddels op grote schaal algoritmes om diensten uit te voeren. Daarbij draaide het lange tijd hoofdzakelijk om het toepassen van rule-based algoritmes. Het structureel in gaan zetten van algoritmische profilering, vormt in deze ontwikkeling de volgende stap. Door het gedrag van burgers met lerende algoritmes te voorspellen, zouden uitvoeringsorganisaties beter regels kunnen handhaven en burgers sneller kunnen helpen met maatwerk.

De nieuwe stap die uitvoeringsorganisaties zetten, verdiept ook de mensenrechtelijke uitdagingen. Het is bijvoorbeeld door de inzet van lerende systemen lastiger om discriminatie op te sporen en de keuzes van die systemen goed uit te leggen of volledig te kennen. Het is daarom van belang om te kijken hoe de bescherming van mensenrechten bij de inzet van profilerende systemen versterkt kan worden. Te meer omdat in het recente verleden uitvoeringsorganisaties bij de bescherming van mensenrechten soms ernstig tekort zijn geschoten, zoals bij de kinderopvangtoeslagenaffaire.

Uit deze misstanden bleek ook dat het voorkomen van mensenrechtenschendingen niet alleen een kwestie is van deugdelijke algoritmes. Algoritmes worden ontwikkeld en toegepast in een complexe overheidspraktijk met een bepaalde cultuur, onderlinge verhoudingen, expertise en organisatie. Deze gehele socio-technische context zal versterkt moeten worden. Daarom inventariseerde deze studie maatregelen op het gebied van functies, expertise, hulpmiddelen en werkprocessen. Hoewel er nationaal en internationaal veel richtlijnen, handreikingen en toetsingskaders zijn gepubliceerd, is er weinig zicht op hoe uitvoeringsorganisaties de bescherming van mensenrechten in de praktijk vormgeven. Daarom heeft het Rathenau Instituut deze studie uitgevoerd, op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties.

Op basis van interviews inventariseerden we welke maatregelen drie landelijke uitvoeringsorganisaties momenteel nemen. We spraken met dertien medewerkers van verschillende afdelingen bij het UWV, het CJIB en de SVB. De voorlopige bevindingen en suggesties voor mogelijke versterking van mensenrechten, zijn besproken tijdens twee externe consultaties (zie bijlage 3). Dit hoofdstuk vat de belangrijkste bevindingen samen en formuleert zeven aanbevelingen om de bescherming van mensenrechten bij de inzet van profilerende systemen in de uitvoering te versterken.

Maatregelen voor profilerende systemen

Van pilots naar productie
De onderzochte uitvoeringsorganisaties ontwikkelen momenteel profilerende algoritmes. Het gaat om pilots die vanaf eind 2021/begin 2022 in de reguliere werkwijze van organisatie worden ingezet, en een ontwikkeltijd kenden van circa twee tot drie jaar. De doelen van de profilering lopen uiteen. De profilerende algoritmes van het UWV en de SVB worden ontwikkeld om fraude en foutief gebruik van regelingen te detecteren. Het UWV kijkt met de sollicitatiescan ook hoe burgers gerichter kunnen worden ondersteund bij het vinden van werk. Het profilerende algoritme van het CJIB is gericht op het innen van openstaande boetes en het voorkomen van schuldenoploop. De nadruk ligt bij de pilots vooralsnog op het versterken van de handhaving. De onderzochte uitvoeringsorganisaties willen profilering in de toekomst meer gaan inzetten om burgers te ondersteunen. Tegelijkertijd kan het lastig zijn voor uitvoeringsorganisaties om dit financieel rond te krijgen.

Omgang met mensenrechtelijke risico’s
Het valt op dat de organisaties de risico’s vooral in termen van ethische en specifieke wettelijke eisen bespreken en daarbij niet of nauwelijks verwijzen naar mensenrechtenverdragen. Dat wil niet zeggen dat zij zich bij de ontwikkeling van hun profilerende algoritmes niet bewust zijn van mogelijke risico’s. In de gesprekken werden zaken als privacy, transparantie, uitlegbaarheid en menselijke tussenkomst genoemd. Grofweg komen de genoemde kwesties overeen met de indeling die we in hoofdstuk twee beschreven: privacyrechten, gelijkheidsrechten, vrijheidsrechten en procedurele rechten. In de gesprekken leek de nadruk vooral te liggen op privacyrechten en het recht op non-discriminatie. De onderzochte uitvoeringsorganisaties beoordelen de inzet van profilerende systemen als proportioneel. Ze zien risico’s, maar concluderen dat die voldoende te mitigeren zijn en dat er voldoende baten tegenover staan.

Ethische en wettelijke eisen
De genomen maatregelen dienen twee doelen. Enerzijds zijn ze gericht op het zo goed mogelijk toepassen van bestaande juridische kaders. De onderzochte organisaties proberen met de maatregelen de vertaalslag te maken van de soms abstracte wetgeving naar hun complexe uitvoeringspraktijk. Anderzijds investeren de organisaties in de ontwikkeling van ethische expertise, vanuit een verlangen om niet alleen binnen de grenzen van de wet te handelen, maar ook te voldoen aan wat maatschappelijk wenselijk is. De maatregelen dienen dus ook de organisatie te stimuleren om verder te kijken dan strikt de wettelijke vereisten.

Breed scala van maatregelen
De drie organisaties werken aan een scala van maatregelen om in lijn te werken met mensenrechten. Tabel 1 geeft een overzicht van de genoemde maatregelen. Voorbeelden van ingestelde functies zijn een Commissie Data Ethiek of een adviseur Recht en Ethiek. De organisaties ontwikkelen specifieke hulpmiddelen, zoals een Kompas Data Ethiek, een normenkader of een impact assessment. Ook wordt vastgelegd wie binnen de organisatie waarvoor verantwoordelijk is. Op het gebied van werkprocessen is bijvoorbeeld bias-toetsing een standaard onderdeel geworden van de systeemontwikkeling. Tot slot investeren de organisaties in ethische en juridische expertise, onder meer bij de ontwikkelteams.

De onderzochte organisaties besteden veel aandacht aan het detecteren van bias. Opvallend is dat deze toetsing decentraal is georganiseerd. De onderzochte uitvoeringsorganisaties starten hun eigen samenwerkingen met externe partijen om onder andere bias te toetsen. De kennisontwikkeling vindt ook per organisatie plaats. Ten aanzien van het recht op informatie, zoeken de onderzochte uitvoeringsorganisaties vooral naar de balans tussen actieve en passieve informatievoorziening, waarbij ze verschillen wat betreft de genomen maatregelen. Op het gebied van procedurele rechten nemen de organisaties maatregelen om te zorgen voor menselijke tussenkomst en uitlegbaarheid. Ze verschillen van mening over de noodzaak de bestaande klachtenprocedures aan te passen.

De waarde van de genomen maatregelen zal zich in de toekomst nog moeten bewijzen. Het bestaan van maatregelen als een ethische commissie of de ontwikkeling van eigen hulpmiddelen biedt op zichzelf geen garantie dat mensenrechten bij het gebruik van profilerende algoritmische systemen in de uitvoeringspraktijk beschermd zijn. Uiteindelijk dient elke organisatie de inzet van algoritmen te leren afwegen.

Maatregelen in ontwikkeling
De genomen maatregelen zijn nog in ontwikkeling. De onderzochte organisaties hebben bijvoorbeeld vragen over de rol en invulling van een op te richten ethische commissie en over het bespreekbaar maken van mogelijke bias bij de medewerkers. Met het oog op de toekomst noemen de organisaties een brede reeks uitdagingen, die we hebben ingedeeld in drie categorieën: pleidooien voor meer centrale regie met betrekking tot de beschikbare hulpmiddelen, meer inzet op het verbeteren van de dienstverlening, waaronder het met profilering helpen van burgers, en verdere investeringen in de ethische en juridische expertise van medewerkers.

Ook het meest volwassen raamwerk, gericht op privacy, kent ruimte voor verbetering. De functionaris gegevensbescherming vervult een cruciale rol bij het waarborgen van de AVG binnen de organisatie. De door ons gesproken functionarissen zien bijvoorbeeld graag meer expertise over de juridische eisen bij de ontwikkelteams. Verder zagen we dat de positionering van de functionarissen gegevensbescherming verschilt per organisaties. Dat geldt ook voor hoe actief ze betrokken zijn bij de toetsing van profilerende systemen. Tenslotte blijft het zaak om niet alleen per systeem te toetsen, maar oog te houden voor de impact van de gehele verzameling systemen op de levens en rechten van burgers.

Organisaties kunnen van elkaar leren. Over het geheel genomen treffen de organisaties waarmee we gesproken hebben, vergelijkbare maatregelen. Tegelijkertijd merken we verschillen op. De SVB besteedt bijvoorbeeld via burgerpanels en een algoritmeregister meer aandacht aan begrijpelijke en toegankelijke informatie. Ook de ontwikkelde normenkaders verschillen per organisatie in de mate van detail. Het CJIB kijkt vanwege de ontwikkeling van profilerende systemen opnieuw naar de klachtenprocedure. Het UVW en de SVB doen dat niet. Het UWV en het CJIB denken na over een ethische commissie, waarbij er verschillende ideeën zijn over de rol en invulling van zo’n commissie.

Algoritmes leren afwegen

Hoewel de onderzochte uitvoeringsorganisaties risico’s doorgaans niet beschrijven in termen van mensenrechtelijke verdragen, blijkt uit ons onderzoek dat bij de ontwikkeling van profilerende systemen wel degelijk oog is voor mensenrechtelijke aspecten, zoals privacy en non-discriminatie. Deze aandacht is begrijpelijk in de huidige maatschappelijke omstandigheden. Uit de kinderopvangtoeslagenaffaire, maar ook uit andere misstanden, is gebleken dat uitvoeringsorganisaties bij de verzameling, analyse en verwerking van gegevens in de fout kunnen gaan en de rechten van mensen kunnen schenden. Tegelijkertijd voelen ze zich ook genoodzaakt om profilerende systemen te gebruiken, vanwege de maatschappelijke en politieke wens om enerzijds effectief fraude op te sporen en anderzijds te zorgen voor soepele dienstverlening.

De onderzochte organisaties zien dat er risico’s bij de inzet van profilerende systemen kunnen ontstaan, en nemen maatregelen om deze risico’s zoveel mogelijk te verkleinen. Daarbij zijn ze op zoek naar houvast. Ze vragen zich steeds af hoe ze hun verantwoordelijkheid het beste kunnen nemen: welke maatregelen zorgen ervoor dat ze zowel in wettelijk als in ethisch opzicht voldoen aan de gerechtvaardigde verwachtingen van de politiek en de samenleving?

De genomen maatregelen dienen voor meer duidelijkheid te zorgen. Desondanks blijven de onderzochte organisaties zich afvragen of ze daarmee voldoende beantwoorden aan wat de politiek en de samenleving van hen verlangen. Daarbij is ethiek een wezenlijk onderdeel geworden van hoe binnen de onderzochte organisaties wordt gesproken en gewerkt. Steeds meer sijpelt het besef door dat ze niet alleen moeten handelen binnen en volgens de wet, maar ook wettelijk toegestane toepassingen moeten vermijden die maatschappelijk onwenselijk zijn.

Zoals gezegd dienen de genomen maatregelen twee doelen: het vertalen van wettelijke vereisten naar een hanteerbare praktijk en het stimuleren van ethische expertise binnen de organisatie. Op beide vlakken is veel gebeurd, tegelijkertijd zijn de maatregelen nog in ontwikkeling en kunnen ze verder versterkt worden. De eerste twee aanbevelingen zijn daarop gericht: het verbeteren van de hanteerbaarheid van het gebruikte normenkader en het versterken van expertise in de organisatie. De vier aanbevelingen daarna richten zich op het versterken van specifieke mensenrechten: privacy, biastoetsing, informatierechten en procedurele rechten.

Uiteindelijk is het realiseren van een verantwoorde algoritmische uitvoeringspraktijk een gedeelde taak van uitvoeringsorganisaties, beleid en politiek. De leidende vragen daarbij moeten zijn hoe maatschappelijke doelen het beste kunnen worden bereikt en hoe de rechten van burgers het beste worden beschermd. De laatste aanbeveling richt zich hierop.

De geformuleerde aanbevelingen vloeien voort uit de gesprekken over de genomen maatregelen ten aanzien van profilerende algoritmes bij het UWV, het CJIB en de SVB, maar dienen als uitgangspunt voor elke uitvoeringsorganisatie die profilerende systemen ontwikkelt of inzet. Sommige aanbevelingen zijn niet geadresseerd aan uitvoeringsorganisaties, maar aan andere delen van de overheid zoals de wetgever en verschillende ministeries.

1. Verbeter de hanteerbaarheid van de juridische vereisten en ethische beginselen.
2. Stimuleer ethische expertise in de gehele organisatie.
3. Blijf investeren in privacytoetsing.
4. Versterk de manier waarop bias-toetsing plaatsvindt.
5. Investeer in een actieve informatievoorziening.
6. Versterk de waarborgen voor procedurele rechten.
7. Waak voor verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen.

1. Verbeter de hanteerbaarheid van bestaande juridische kaders en ethische beginselen.

Het ontwikkelen van profilerende systemen is niet alleen technisch complex, maar levert ook complexe juridische en ethische vraagstukken op. Omdat de technologie in ontwikkeling is, en veel afhangt van de specifieke toepassing, zijn deze vraagstukken niet vooraf volledig te vangen in regulering. Juridische eisen zijn – om goede redenen – vaak in algemene termen omschreven. Dat vraagt in de praktijk om een vertaalslag, bijvoorbeeld in de vorm van impact assessments, de ontwikkelde normenkaders of handreikingen die juridische eisen verhelderen. Het ministerie van BZK heeft om die reden onder meer het IAMA, CODIO en de handreiking non-discriminatie laten ontwikkelen. Het College van de Rechten van de Mensen ontwikkelde het toetsingskader voor risicoprofielen (CvdRM 2021). Ook internationaal zijn er diverse richtsnoeren verschenen met hetzelfde doel. Tegelijkertijd is duidelijk dat hulpmiddelen niet mogen verworden tot checklists waarbij de consequenties van een systeem voor de rechten van burgers niet daadwerkelijk meer worden doordacht.

Uit de gesprekken concluderen we dat men onduidelijkheid ervaart over hoe bestaande juridische eisen en ethische beginselen, hanteerbaar in de eigen organisaties kunnen worden toegepast. De door BZK ontwikkelde hulpmiddelen hebben deze onduidelijkheid niet geheel weggenomen.

De onderzochte organisaties overbruggen deze afstand nu, tenminste ten dele, door het zelf ontwikkelen van impact assessments, normenkaders, ethische kompassen, handreikingen en biastoetsen, naast het toepassen van de AVG en de bijbehorende DPIA. Deze zelf ontwikkelde instrumenten maken een vertaalslag van bestaande juridische eisen en ethische beginselen naar gedetailleerde vragen over het systeem. Een normenkader legt zo vast wie binnen de organisatie verantwoordelijk is voor het beantwoorden van welke vragen en verbindt functies, werkprocessen, hulpmiddelen en benodigde expertise expliciet met elkaar. Hoe specifieker de organisatie die heeft vastgelegd, hoe duidelijker voor alle betrokkenen wat van hen wordt verwacht.

• Actie 1.1 Het is zaak dat iedere uitvoeringsorganisatie een normenkader opstelt, waarin verantwoordelijkheden van functionarissen, en mensenrechtelijke aspecten zijn belegd.

Verder is het belangrijk na te gaan of alle relevante ethische beginselen en juridische vereisten in de ontwikkelde normenkaders zijn meegenomen. Zo noemden we al dat de onderzochte organisaties over deze vraagstukken spreken in termen van ethiek en juridische vereisten – en minder in termen van mensenrechten. Dat kan betekenen dat bepaalde mensenrechten en codificeringen daarvan, of relevante overwegingen, niet even expliciet worden meegenomen. Tijdens de externe consultaties werd de vraag gesteld of bijvoorbeeld de algemene beginselen van behoorlijk bestuur explicieter moeten worden meegenomen, zoals in het IAMA al gebeurt. Ook de Code goed digitaal openbaar bestuur (CODIO) neemt verschillende relevante aspecten mee voor uitvoeringsorganisaties. Zijn de kaders compleet? Zijn er nadere, specifieke vertalingen nodig van vragen in bijvoorbeeld IAMA, CODIO, het toetsingskader voor risicoprofielen van het College voor de Rechten van de Mens?

• Actie 1.2 Controleer als uitvoeringsorganisatie of het gebruikte normenkader volledig is. Maak daarbij gebruik van algemene hulpmiddelen zoals IAMA, CODIO, het toetsingskader voor risicoprofielen van het College voor de Rechten van de Mens en de handreiking non-discriminatie. Voer deze controle periodiek uit.

Ook is het belangrijk dat uitvoeringsorganisaties met elkaar in gesprek gaan over het gewenste normenkader. Het is namelijk nu onduidelijk in hoeverre standaardisatie van de gebruikte normenkaders wenselijk is, of dat daarmee de toepasbaarheid voor de eigen organisatie verloren gaat. Bovendien kunnen uitvoeringsorganisaties op deze manier van elkaar leren. Tot slot kan uit het overleg blijken dat een nadere codificering van bepaalde normen gewenst is.

De aankomende AI-verordening, zoals voorgesteld door de Europese Commissie, zal voor hoog-risico-systemen bepaalde maatregelen die de onderzochte uitvoeringsorganisaties nemen, verplicht stellen, zoals impact assessments, systemen voor kwaliteits- en risicobeheer en het geven van begrijpelijke informatie over het gebruikte systeem. De verordening zegt echter weinig over hoe dat precies dient te gebeuren. Juist daar zijn bovenstaande acties op gericht.

• Actie 1.3 Stel als uitvoeringsorganisaties een overleg in over het ontwikkelde normenkader om te komen tot best practices. Het ministerie van BZK kan hierin een coördinerende en stimulerende rol spelen.

2. Stimuleer ethische expertise in de gehele organisatie

Hoe belangrijk de discussie over normenkaders ook is, de kaders vallen of staan bij een doortastende toepassing van normen in de praktijk. Daartoe is naar aanleiding van de AVG een raamwerk opgericht met privacy officers en functionarissen gegevensbescherming, die ontwikkelteams begeleiden en toetsen bij het beschermen van privacy. Ons onderzoek wijst uit dat de functionarissen gegevensbescherming nog regelmatig moeten ingrijpen om nieuwe toepassingen in goede banen te leiden (zie aanbeveling 3), ook bij profilerende systemen. Dat geeft aan dat er nog meer geïnvesteerd moet worden in de juridische en ethische vaardigheden van de ontwikkelteams. Het is zaak dat ontwikkelteams beter om kunnen gaan met de normatieve complexiteit van algoritmische systemen, zodat ze ingewikkelde discussies vruchtbaar kunnen voeren en afwegingen kunnen maken. De onderzochte uitvoeringsorganisaties investeren in deze expertise, door trainingssessies te organiseren en het behalen van een certificaat aan te moedigen. Het is belangrijk deze investeringen te blijven doen en waar mogelijk uit te breiden, bijvoorbeeld door uitvoerige juridische en ethische opleidingen verplicht te stellen voor nieuwe medewerkers. De rijksoverheid kan hierbij een ondersteunende rol spelen. Verder zou het een pré moeten zijn bij sollicitaties als een data scientist naast technische vaardigheden ook beschikt over juridische en ethische competenties.

• Actie 2.1 Zorg als uitvoeringsorganisatie dat ontwikkelteams beschikken over de relevante juridische en ethische vaardigheden. Investeer in interne opleidingen en train alle medewerkers in de organisatie.

Net als privacy officers die vroeg betrokken zijn bij de ontwikkeling van een systeem om advies te geven, is het zinvol om een ethisch adviseur met een vergelijkbare taak aan te stellen. De adviseur kan in samenspraak met de privacy officer en de functionaris gegevensbescherming de ontwikkelteams adviseren over een breed aspect ethische en mensenrechtelijke risico’s.

• Actie 2.2 Stel een ethisch adviseur in om de interne expertise-ontwikkeling te versterken en een doordacht gebruik van normenkaders te ondersteunen.

Verder blijkt dat het oprichten van ethische commissies door de onderzochte uitvoeringsorganisaties wordt gezien als een belangrijke versterking van het ethische karakter van de organisatie. Het idee dat een ontwikkelteam ook langs een ethische commissie moet, kan de behandeling en beantwoording van de normenkaders verdiepen. Ook de betrokkenheid van externe experts kan de blik van de organisatie verruimen. Tegelijkertijd bestaan er zorgen over de rol en invulling die zo’n commissie zou moeten krijgen, bijvoorbeeld meer agenderend of juist toezichthoudend. Dat leidt tot verschillende vragen. Bij een toezichthoudende rol is de vraag hoe de commissie zich verhoudt tot de taken van de functionaris gegevensbescherming en of ze voldoende capaciteit heeft om tijdig en volwaardig te toetsen. Ook zijn er vragen over of het voldoende duidelijk is op welke normen de commissie toetst. Als het gaat om een meer agenderende invulling, is het onwenselijk als het instellen van een commissie afleidt van de al aanwezige expertise en de al belegde verantwoordelijkheden. Het is zaak dat de commissie met gezag advies kan geven. Er is geen kant-en-klaar recept voor een succesvolle ethische commissie. Allerlei partijen, waaronder gemeentes, zoeken naar een goede invulling.

• Actie 2.3 Zorg voor overleg tussen uitvoeringsorganisaties over hoe zij hun ethische commissie willen invullen en waar geleerd wordt van elkaars ervaringen.

Tot slot is het van belang dat uitvoeringsorganisaties oog blijven houden voor degene op wie het systeem uiteindelijk een effect heeft: burgers. Door hen structureel te betrekken en te bevragen bij de ontwikkeling van systemen, ontstaat een meer voldragen risicobeoordeling dan wanneer de blik uitsluitend intern gericht is. Naast overleggen met cliëntenraden, de Ombudsman en maatschappelijke organisaties, verdient het instellen van een burgerpanel aanbeveling.

• Actie 2.4 Stel als uitvoeringsorganisatie een burgerpanel in waarin de gevolgen van algoritmische systemen worden bekeken.

3. Blijf investeren in privacytoetsing

Het beschermen van privacy kent al een lange traditie. De genomen maatregelen zijn op dit punt dan ook het meest volwassen. Toch is er ruimte voor verbetering. We noemden hierboven al het belang van aanwezige expertise over mensenrechtelijke risico’s bij ontwikkelteams en andere betrokken medewerkers. Uit het onderzoek bleek dat een functionaris gegevensbescherming een bepaalde opzet van een profilerend systeem heeft tegengehouden. De functionarissen gegevensbescherming vormen – zoals de wet bedoeld heeft – dus een cruciale schakel om privacyrechten te waarborgen. We zijn verschillen tegengekomen bij de onderzochte organisaties in hoe de functionarissen gegevensbescherming zijn gepositioneerd en de mate waarin zij betrokken zijn bij de toetsing van profilerende systemen.

• Actie 3.1 Zorg als uitvoeringsorganisaties dat de functionaris gegevensbescherming zo gepositioneerd is dat hij waar nodig doortastend toezicht kan houden op profilerende systemen.

Daarnaast kwam in sommige gesprekken met de onderzochte uitvoeringsorganisaties naar voren dat het privacybeleid op punten verder aangescherpt zou kunnen worden. Bijvoorbeeld als het gaat om de omgang met bewaartermijnen of het opschonen van data en het weghalen van niet-kloppende gegevens. Er kan dus nog meer gedaan worden om vastgestelde privacykaders in de praktijk te realiseren

• Actie 3.2 Blijf het gevoerde privacybeleid kritisch evalueren en waar nodig aanscherpen.

4. Versterk de manier waarop bias-toetsing plaatsvindt

Het toetsen van bias in lerende algoritmes vormt bij de onderzochte organisaties een standaardonderdeel van de ontwikkeling en de gehele levenscyclus van algoritmische systemen. Het geeft aan hoe serieus men het risico op discriminatie acht. Maar we merkten op dat bij het proces van biascontrole de onderzochte uitvoeringsorganisaties een eigen partij inhuren, en deze rapportages niet publiekelijk beschikbaar zijn. Daardoor is niet transparant voor de samenleving en politiek hoe op bias wordt getoetst.

•  Actie 4.1 Geef als uitvoeringsorganisatie meer inzicht over hoe biastoetsing plaatsvindt.

Daarnaast gaven de onderzochte uitvoeringsorganisaties aan dat zij ieder hun eigen methoden en technieken hanteren om het proces van biastoetsing vorm te geven. Daarbij richten ze een eigen uitwisseling op met wetenschappers om de gebruikte methode aan te laten sluiten bij de laatste wetenschappelijke inzichten. Tegelijkertijd zijn er algemene hulpmiddelen voorhanden, zoals de handreiking non-discriminatie by design, waarin noodzakelijke processtappen en voorbeeldtechnieken worden omschreven. Er speelt hier dus een vergelijkbare kwestie als bij aanbeveling 1 over hanteerbare normenkaders: welke mate van standaardisatie, en toepasbaarheid voor de organisatie, is wenselijk? Is het nodig om de handreiking een dwingender karakter mee te geven? Ook op het punt van databeheer geeft de voorgestelde AI-verordening eisen mee: biastoetsing dient plaats te vinden. Daarmee is nog weinig gezegd over het hoe. Het is dus zaak om de expertise op het gebied van biastoetsing bij elkaar te brengen, zodat alle uitvoeringsorganisaties daarvan de vruchten kunnen plukken.

• Actie 4.2 Zet een nationaal kennisplatform op, waar de relevante expertise kan worden ontwikkeld en gedeeld. Bepaal welke mate van standaardisatie gewenst en of nadere wettelijke eisen nodig zijn.

 Ten slotte benadrukken we dat het van belang is en blijft dat toezichthouders op actieve wijze op bias controleren.

5. Investeer in een actieve informatievoorziening

Het is om verschillende redenen van belang dat uitvoeringsorganisaties zorgen voor een goede informatievoorziening. Gekozen volksvertegenwoordigers moeten op de hoogte zijn van de praktijk van uitvoeringsorganisaties om hun controlerende taak uit te kunnen voeren en beleid te sturen. De journalistiek moet met de juiste informatie het publieke debat kunnen voeden. De burger heeft op basis van de AVG een recht om te weten hoe zijn of haar persoonsgegevens door uitvoeringsorganisaties worden verwerkt. Het is daarom zaak dat uitvoeringsorganisaties doen wat ze kunnen om deze informatievoorziening tot stand te brengen. Over sommige aspecten van een algoritme, zoals het doel en de mogelijke impact op burgers, kan vrijwel altijd informatie gegeven worden. Juist vanwege het na verschillende misstanden geschonden vertrouwen van burgers verdient dit extra aandacht.

Daarnaast lag bij sommige gesprekken de nadruk op passieve informatievoorziening, de informatie die een burger krijgt als hij daarom vraagt. Dit is belangrijk, maar om draagvlak en vertrouwen te creëren, is het zaak burgers actief en toegankelijk te informeren over nieuwe algoritmische systemen. Algoritmeregisters kunnen daar een rol in spelen. In 2021 werd al een motie van het lid Dassen c.s. in de Tweede Kamer aangenomen, die de regering verzocht om overheden te verplichten een algoritmeregister te gebruiken.[1] Deze ontwikkeling juichen we van harte toe. Het is zaak dat het bouwen van een dergelijk register niet te lang op zich laat wachten.

• Actie 5.1 Versnel de ontwikkeling en het gebruik van een algoritmeregister.

Zowel uitvoeringsorganisaties als de rijksoverheid dragen hiervoor verantwoordelijkheid. 

Ook is het van belang de informatievoorziening af te stemmen met een representatieve groep burgers, die kan inschatten of de informatie nuttig en begrijpelijk is en aansluit bij de vragen die bij burgers leven.

• Actie 5.2 Ontwikkel de informatievoorziening in samenspraak met representatieve burgerpanels.

Tot slot merken we op dat het woord algoritme soms vermeden werd, vanwege de zorgen die dat in politiek en maatschappij oproept. Ook zien we dat in het maatschappelijke en politieke debat onduidelijkheid bestaat over wat algoritmes zijn en over welke kenmerken leiden tot mensenrechtelijke vraagstukken. Deze onduidelijkheid kan gevolgen hebben voor het publieke debat over en de controle op algoritmes.

• Actie 5.3 Ontwikkel als overheid helder en consistent taalgebruik over algoritmes.

Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties kan hier een voortrekkersrol spelen.

6. Versterk de waarborgen voor procedurele rechten

We zagen in het onderzoek dat uitvoeringsorganisaties verschillend denken over de vraag of het vanwege de invoering van profilering nodig is om opnieuw naar de klachtenprocedures te kijken. Voor ieder algoritmisch systeem is het van belang dat er voldoende mogelijkheden zijn om fouten in het proces te herstellen en dat burgers op een toegankelijke manier klachten kunnen indienen.

• Actie 6.1 Zorg als uitvoeringsorganisatie ervoor dat de klachtenprocedure bij een nieuw profilerend systeem opnieuw wordt geanalyseerd en zo nodig wordt verbeterd.

We concluderen dat er onduidelijkheid bestaat over hoe het begrip ‘menselijke tussenkomst’ kan worden ingevuld, en wanneer een systeem voldoende uitlegbaar is. Bij het gebruik van profilerende systemen is vaak geen sprake van geautomatiseerde besluitvorming: een menselijke handhaver kijkt op basis van het lerende algoritme of er bijvoorbeeld een onderzoek moet worden gestart. De menselijke handhaver kan op basis van het eigen onderzoek uitleggen waarom er sprake is van fraude, en ook hoe tot dat oordeel is gekomen. Maar deze motivering geeft nog geen uitleg over de werking van het algoritme – en waarom een burger geselecteerd is.

• Actie 6.2 Verhelder als wetgever de eisen aan de uitlegbaarheid van beleidsondersteunende lerende algoritmes.

De uitvoeringsorganisaties trachten ook op andere manieren uitlegbaarheid te waarborgen. Omdat ze unsupervised learning niet verenigbaar achten met dit principe, kiezen ze er bewust voor om deze technologie niet te gebruiken, zelfs niet als dat betere resultaten zou opleveren. Tegelijkertijd is duidelijk dat de ontwikkelaars wel experimenteren met deze technieken en ze spoedig zouden kunnen inzetten als de opvattingen over uitlegbaarheid zouden veranderen. Dit geeft aanleiding om te kijken naar de verdere concretisering van juridische vereisten.

• Actie 6.3 Overweeg als wetgever om nadere wettelijke eisen aan het toepassen van lerende systemen te stellen. Kijk in het bijzonder naar de toelaatbaarheid van unsupervised learning.

7. Waak voor verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen

Uit dit onderzoek blijkt dat de onderzochte uitvoeringsorganisaties van mening zijn met profilering aan de slag te moeten gaan, om tegemoet te komen aan de eisen van de politiek en de maatschappij. De moderne uitvoeringsorganisatie moet immers effectief fraude bestrijden, maar ook snel en nauwkeurig diensten verlenen. En dat alles mag niet te veel geld kosten. In deze omstandigheden kan het moeilijk zijn om de proportionaliteitsvraag in alle aspecten te stellen. Uit de interviews en externe consultaties bleek dat de onderzochte uitvoeringsorganisaties bij het beoordelen van proportionaliteit niet altijd de kosten van de mitigatiemaatregelen meenemen, zoals het aannemen van data-scientists, ethische adviseurs en ethische commissies. Ook bleek uit de gesprekken en consultaties niet dat het scenario met profilering altijd werd afgewogen tegen een scenario waarin een alternatieve oplossing gezocht wordt, die weinig tot geen mensenrechtelijke risico’s kent (subsidiariteit). Toch is het essentieel deze aspecten wel mee te nemen. Het draait erom hoe maatschappelijke doelen het beste kunnen worden bereikt, waarbij technologie niet automatisch de beste oplossing hoeft te zijn. Daarbij is het van belang om ook te kijken naar de gezamenlijke impact van profilerende systemen op de rechten van burgers.

• Actie 7.1 Zorg dat binnen en buiten uitvoeringsorganisaties de nuloptie op tafel ligt bij het toetsen van de proportionaliteit van algoritmische profilering.

Bij het voeren van deze discussie is meer inzicht nodig in de behaalde effectiviteit van de profilerende systemen. De in dit onderzoek genoemde cijfers lopen uiteen, en waren moeilijk met elkaar te vergelijken. Een helder beeld van de effectiviteitsscores is nodig om de proportionaliteit te beoordelen. Het is zaak dat de uitvoeringsorganisaties overleggen hoe deze helderheid geboden kan worden.

• Actie 7.2 Zorg dat de effectiviteit van de profilerende algoritmes op een vergelijkbare manier wordt geëvalueerd en centraal bekend is.

Voorts merken we op dat de proportionaliteit per algoritmische toepassing anders kan uitvallen. Zo zou met name de proportionaliteitsbeoordeling van profilerende algoritmes die burgers ondersteunen, en minder kans hebben om de rechten van burgers te schaden, positief uit kunnen vallen. Tegelijkertijd kan het lastig zijn voor uitvoeringsorganisaties om dit financieel rond te krijgen. Juist als een toepassing burgers ondersteuning biedt, of kan helpen hun rechten te laten gelden, is het van belang de mogelijkheden serieus te nemen. Ook als een toepassing niet direct in het belang is van de uitvoeringsorganisatie zelf of als dit geld kost. Algoritmische toepassingen die van waarde zouden kunnen zijn voor de burger, mogen niet het slachtoffer worden van verkokerde uitvoeringsorganisaties.

• Actie 7.3 Verken als uitvoeringsorganisatie profilerende toepassingen die de burger meer ondersteuning bieden. Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties kan deze ontwikkeling stimuleren.

Tot slot

Uit dit onderzoek blijkt dat de onderzochte uitvoeringsorganisaties veel aandacht besteden aan het mitigeren van de risico’s van profilerende algoritmes. Ook in maatschappij en politiek zien we veel aandacht uitgaan naar de kansen en risico’s van lerende systemen. Maar de aandacht voor profilerende algoritmes mag niet leiden tot een zwakkere focus op rule-based systemen, die nog steeds het merendeel van de uitvoering uitmaken. Deze systemen hebben namelijk dikwijls ook een grote impact op de rechten van burgers omdat hun besluiten vaak geautomatiseerd worden doorgevoerd, doorgaans direct financiële consequenties hebben en fouten soms lastig te corrigeren blijken.

Opvallend is dat bepaalde mensenrechten, zoals het geven van informatie, juist bij rule based systemen lastiger lijken te realiseren. De lerende systemen zijn pas recent geïntroduceerd en de ontwikkeling ervan, gemaakte keuzes en de werking lijken beter gedocumenteerd dan bij veel oudere rule-based systemen. Bovendien zien we bij de organisaties die we gesproken hebben dat ze bij lerende systemen er bewust voor kiezen om deze zelf te ontwikkelen. De organisaties hebben daar dus meer grip op. Rule based systemen worden vaak als laag risico ingeschat en vaker ingekocht.

[1]Kamerstuk 35 925 VII, 2021.

Op basis van het onderzoek formuleert het Rathenau Instituut zeven aanbevelingen. De aanbevelingen vloeien voort uit de inventarisatie van maatregelen bij de drie door ons gesproken uitvoeringsorganisaties, maar dienen als uitgangspunt voor elke uitvoeringsorganisatie die profilerende algoritmen ontwikkelt of inzet.

1. Zorg ervoor dat juridische vereisten en ethische beginselen beter hanteerbaar worden

Het is zaak dat iedere uitvoeringsorganisatie een normenkader opstelt, dat specificeert welke mensenrechtelijke aspecten bij welke functies zijn belegd.

Controleer als uitvoeringsorganisatie of het gebruikte normenkader volledig is en houd daarbij oog voor brede afwegingen die relevant zijn voor de beoordeling van mensenrechtelijke risico’s . Maak gebruik van algemene hulpmiddelen zoals IAMA, CODIO, het toetsingskader voor risicoprofielen van het College voor de Rechten van de Mens en de handreiking non-discriminatie. Voer deze controle periodiek uit.

Stel als uitvoeringsorganisaties een overleg in over de ontwikkelde normenkaders om te komen tot best practices. Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties kan hierin een coördinerende en stimulerende rol spelen.

2. Stimuleer ethische expertise in de gehele organisatie

Zorg als uitvoeringsorganisatie dat ontwikkelteams beschikken over de relevante juridische en ethische vaardigheden. Investeer in interne opleidingen en train alle medewerkers in de organisatie.

Stel een ethisch adviseur in om de interne expertise-ontwikkeling te versterken en een doordacht gebruik van normenkaders te ondersteunen.

Zorg voor een gezamenlijk overleg tussen uitvoeringsorganisaties over hoe zij hun ethische commissie willen invullen en waar ze kunnen leren van elkaars ervaringen. Iedere invulling kent namelijk voor- en nadelen.

Richt als uitvoeringsorganisatie een burgerpanel op waarin de gevolgen van algoritmische systemen worden bekeken. Dat ondersteunt een meer voldragen risicobeoordeling.

3. Blijf investeren in privacytoetsing

Zorg als uitvoeringsorganisaties dat de functionaris gegevensbescherming zo gepositioneerd is dat hij doortastend toezicht kan houden op profilerende systemen.

Blijf het gevoerde privacybeleid kritisch evalueren en waar nodig aanscherpen.

4. Versterk de manier waarop biastoetsing plaatsvindt

Geef als uitvoeringsorganisatie meer inzicht in hoe biastoetsing plaatsvindt.

Zet een nationaal kennisplatform voor biastoetsing op waar expertise kan worden ontwikkeld en gedeeld. Bepaal welke mate van standaardisatie gewenst is en of nadere wettelijke eisen nodig zijn.

5. Investeer in een actieve informatievoorziening

Versnel de ontwikkeling en het gebruik van een algoritmeregister.

Ontwikkel de informatievoorziening in samenspraak met representatieve burgerpanels.

Ontwikkel als overheid helder en consistent taalgebruik over algoritmes.

6. Versterk de waarborgen voor procedurele rechten

Zorg als uitvoeringsorganisatie ervoor dat de klachtenprocedure bij een nieuw profilerend systeem opnieuw wordt bekeken en zo nodig verbeterd.

Verhelder als wetgever de eisen aan de uitlegbaarheid van beleidsondersteunende lerende algoritmes.

Overweeg als wetgever om nadere wettelijke eisen te stellen aan het toepassen van lerende systemen. Kijk in het bijzonder naar de toelaatbaarheid van unsupervised learning.

7. Voorkom verkokering bij de ontwikkeling en beoordeling van algoritmische toepassingen

Zorg dat binnen en buiten uitvoeringsorganisaties ook de zogenoemde nuloptie op tafel ligt bij het toetsen van de proportionaliteit van algoritmische profilering.

Zorg dat de effectiviteit van de profilerende algoritmes op een vergelijkbare manier wordt geëvalueerd en centraal bekend is.

Verken als uitvoeringsorganisatie profilerende toepassingen die burger meer ondersteuning bieden. Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties kan deze ontwikkeling stimuleren.