calendar tag arrow download print
Doorgaan naar inhoud

Opinie: non-discriminatie bij algoritmes

Artikel
15 februari 2023
Kunstmatige intelligentie

Foto: John Schnobrich / Unsplash

Image
Foto: John Schnobrich / Unsplash

Een volledige garantie op vooroordeelloze algoritmes is niet te geven, schrijven Linda Kool en Jurriën Hamer van het Rathenau Instituut in Trouw.

Woensdag debatteert de Tweede Kamer met staatssecretaris Van Huffelen over algoritmes en data-ethiek. De politiek eist dat overheidsalgo­ritmes niet discrimineren. Begrijpelijk, maar lastig waar te maken. Laat de politiek daarom eerst bepalen welke vorm van profilering ze aanvaardbaar vindt – en waarom.

Non-discriminatie staat hoog op de politieke agenda. Het kabinet heeft erkend dat bij de overheid sprake was van institutioneel racisme en gaf aan ‘praktische stappen te willen zetten naar nul racisme’. Uitvoeringsorganisaties zoals het UWV nemen bij de ontwikkeling van algoritmische systemen extra maatregelen. Ook in de Tweede ­Kamer klinkt de roep tegen discriminatie door algoritmische overheidssystemen steeds luider. Zo vroeg Volt-Kamerlid Koekkoek in een motie om systemen stop te zetten als niet gegarandeerd kan worden dat discriminatie niet voorkomt.

Die garantie is niet eenvoudig te geven. Het non-discriminatierecht is niet altijd absoluut – het draait vaak om het maken van de juiste ­afweging. Zo bestaan er bij directe discriminatie wettelijke uitzonderingsgronden: bij sollicitaties is het bij gelijke geschiktheid toegestaan onderscheid te maken op grond van geslacht, als in de organisatie vrouwen of mannen zijn ondervertegenwoordigd. Bij indirecte discriminatie is ‘objectieve rechtvaardiging’ ook mogelijk, bijvoorbeeld als voor een functie een taaleis wordt gesteld. Hier zullen mensen met een andere nationaliteit dan de Nederlandse minder aan kunnen voldoen, maar het kan voor de functie gerechtvaardigd worden geacht.

Lerende systemen gaan in bepaalde mate zelf op zoek naar verbanden

Uitvoeringsorganisaties komen deze vragen tegen bij algoritmische systemen. Want in de kern worden algoritmes ingezet om onderscheid te maken: welke groepen hebben als eerste hulp nodig, of bij wie is nader onderzoek nodig? Dat kan uitvoeringsorganisaties helpen om effi­ciënter te werken. De hamvraag hierbij is wanneer deze profilering is te rechtvaardigen. Het antwoord op deze vraag kunnen uitvoeringsor­ganisaties niet alleen geven – de discussie over welk onderscheid eerlijk is, is in zichzelf politiek.

De garantie op nul procent discriminatie is ook om een andere reden moeilijk te geven. Het is lastig uit te sluiten dat lerende algoritmes gedurende hun levensduur nooit zullen discrimineren. Lerende systemen gaan in bepaalde mate zelf op zoek naar verbanden.

De politicus die nul procent discriminatie eist, moet afzien van lerende algoritmes

Een hypothetisch voorbeeld: een systeem gebruikt creditcardgegevens om te voorspellen wie hulp nodig heeft om schulden af te betalen. Het systeem mag geen gebruik maken van beschermde gronden, zoals geslacht of nationaliteit. Creditcardgebruik kan echter indirect gerelateerd zijn aan zo’n beschermde grond, bijvoorbeeld als mannen vaker met een creditcard betalen dan vrouwen. Dan is er sprake van een ‘proxyvariabele’. Het effect kan zijn dat mannen vaker betalingshulp ontvangen. Zo worden vrouwen dus toch gediscrimineerd. Lerende sys­temen zullen steeds nieuwe verbanden ontdekken, en daarmee nieuwe proxyvariabelen. Daarom kun je bij een lerend algoritme discriminatie nooit geheel uitsluiten.

De politicus die nul procent discriminatie eist, moet afzien van lerende algoritmes. Er zijn alternatieven. Uitvoeringsorganisaties kunnen bij fraudedetectie terugvallen op een aselecte steekproef. Dat betekent wellicht een lagere pakkans, of de inzet van meer menskracht, maar daar staat tegenover dat niet altijd bekend is hoeveel effectiever een profilerend systeem is. Bovendien hangt aan de vele beheersmaatregelen van een profilerend systeem ook een prijskaartje.

En soms is de kans op discriminatie op geen enkele manier uit te sluiten, omdat gekozen moet worden tussen menselijke en algoritmische beoordeling: beide kunnen vooroordelen hebben.

Algoritmes inzetten betekent moeilijke keuzes maken. Dat kan de uitvoering niet alleen. Het is aan de politiek om positie in te nemen, en te bepalen of, en zo ja, welke vorm van profilering acceptabel is.

Dit opinieartikel verscheen eerder in Trouw

Gerelateerde publicaties: