Amnesty International: Algoritmes moeten zich aan de mensenrechten houden

Door Eduard Nazarski, directeur Amnesty International Nederland

Leestijd 3-4 minuten | Lees ook andere artikelen uit de serie Beschaafde Bits. 

In de nabije toekomst zal de wereld er drastisch anders uitzien. We laten steeds vaker apparaten beslissingen nemen op basis van de gegevens die ze verwerken. Op veel vlakken is zulke kunstmatige intelligentie een vooruitgang. Algoritmes – sets van regels die conclusies trekken uit gegevens – kunnen ons bijvoorbeeld gevaarlijk werk uit handen nemen en tijd besparen. Maar er zijn tal van risico’s waarvan we ons bewust moeten zijn. Daarom verkent ook Amnesty International dit terrein.

Overheden laten computers conclusies trekken

Algoritmes zijn al diep doorgedrongen in onze samenleving:

• De Nederlandse marechaussee patrouilleert aan de grens op basis van profielen die zijn opgesteld door een algoritme, in dit geval een database van verkeerscontroles.
• De gemeente Apeldoorn wil de kans op jeugdcriminaliteit in bepaalde wijken gaan voorspellen aan de hand van een grote set gegevens (big data).
• De politie Amsterdam gebruikt software die inbraken en straatroven voorspelt.

Deze instanties laten computers zoeken naar patronen in gegevens en trekken daaruit soms verregaande conclusies. Deze vorm van ‘data mining’ brengt risico’s met zich mee voor de mensenrechten.

Gegevens zijn zo gekleurd als wat

Algoritmes lijken objectief. Mensen hebben immers vooroordelen, maar technologie niet, zo is de gedachte. Helaas is het niet zo eenvoudig. Software is afhankelijk van de gegevens die mensen erin stoppen. En die gegevens zijn zo gekleurd als wat.

Dat blijkt bijvoorbeeld uit een onderzoek van de Amerikaanse onderzoekers Kristian Lum en William Isaac. Zij pasten software die de Amerikaanse politie gebruikt om drugsmisdrijven te voorspellen toe op databases van de politie van Oakland. Wat bleek? De zogenoemde ‘predictive policing’-software voorspelde vooral drugsmisdrijven op plekken waar agenten in het verleden veel misdrijven hadden geregistreerd. Daarna voerden de onderzoekers gegevens uit de gezondheidszorg in over drugsgebruik. Op basis daarvan voorspelde de software ook misdrijven in andere delen van de stad.

Rechtvaardigheid in gevaar

De politiedatabases bleken dus een blinde vlek te hebben. De politie mist daardoor misdrijven in bepaalde buurten. Zelflerende software maakt de kans alleen maar groter dat zij die in de toekomst blijft missen. Op advies van de software zullen agenten namelijk surveilleren in buurten die ze al kennen. Daar zullen zij criminaliteit aantreffen, die ze invoeren in hun database. De software gebruikt deze database bij de volgende voorspelling en heeft minder oog voor misdrijven die, buiten het oog van de politie, plaatsvonden in buurten waar veel minder gecontroleerd wordt. Niet alleen de effectiviteit van het politiewerk komt hiermee in gevaar, maar ook de rechtvaardigheid; in de ene buurt worden misdrijven wel aangepakt, in de andere niet.

Pogingen dit probleem te voorkomen leiden overigens tot een paradox voor de mensenrechten; of de databases van de overheid zullen blinde vlekken bevatten, of de overheid koppelt vele databases aan elkaar, wat vanuit privacy-overwegingen niet wenselijk is.

Algoritme als black box

Een van Amnesty’s andere grote zorgpunten is gebrek aan transparantie over wat het computersysteem doet met de gegevens die je erin stopt. Er valt vaak niet te controleren hoe een bepaalde uitkomst tot stand is gekomen. Daardoor is de juistheid van die uitkomst nauwelijks te toetsen. Ook valt het de gebruiker niet op als het systeem een fout heeft gemaakt.

Dat gebrek aan transparantie heeft ook nadelige gevolgen voor de rechtsstaat. Hoe haal je immers je recht als een algoritme jou als potentieel risico heeft aangewezen, wanneer je geen inzicht hebt in de onderbouwing voor dit vermoeden?

Wie is verantwoordelijk?

Daarmee komen we op een derde belangrijk risico: wie houd je verantwoordelijk voor – verkeerde – beslissingen? Als we onze besluitvorming overlaten aan algoritmes, door deze direct te laten beslissen of doordat we onze besluiten op hun adviezen baseren, wie is er dan uiteindelijk verantwoordelijk voor dat besluit: de softwareontwikkelaar of degene die de software gebruikt? En wie ziet er op toe of de adviezen van de gebruikte algoritmes wel kloppen? Bij wie kunnen slachtoffers hun recht halen als over de verantwoordelijkheid onduidelijkheid bestaat? Dat zijn vragen waarover we met elkaar moeten discussiëren.

Hier moeten we het dringend over hebben

Amnesty International heeft afgelopen juni het Artificial Intelligence and Human Rights Initiative opgericht. Dat initiatief zal mensenrechtenbeginselen formuleren voor kunstmatige intelligentie en de discussie over de ethiek van kunstmatige intelligentie aanzwengelen. In Nederland zullen we in het najaar een rondetafelgesprek organiseren over het gebruik van voorspellende analyses door politie en justitie. Hier moeten we het dan in ieder geval over hebben:

1. Mensenrechten voorop. Programmeurs moeten doordrongen zijn van de mogelijke effecten van hun werk op mensen en rekening houden met mensenrechtenstandaarden.
2. Rechtvaardigheid bevorderen. Dat kan door oplossingen te zoeken voor het probleem van bevooroordeelde data en software die bestaande vooroordelen uitvergroot.
3. Transparantie garanderen. Cruciale beslissingen mogen we niet afhankelijk maken van systemen die we niet kunnen controleren. Ook voor individuen moeten de algoritmes en de informatie die zij verwerken transparant zijn.
4. Verantwoordelijkheid regelen. We moeten afspreken wie er verantwoordelijk is als algoritmes tot een verkeerde uitkomst leiden, en waar slachtoffers hun recht kunnen halen.

We moeten de discussie over hoe we omgaan met kunstmatige intelligentie nú voeren. Met softwareontwikkelaars, en met overheden, bedrijven, politie en rechters die de software gaan toepassen. En ook als samenleving. Want als algoritmes eenmaal op grote schaal zijn ingevoerd, is er geen weg meer terug.

Door Eduard Nazarski, directeur Amnesty International Nederland

Meer blogs over hoe we algoritmes kunnen controleren

• Nederlandse Politie: Technologie noodzakelijk voor aanpassing aan snel veranderende samenleving
  "Het is belangrijk te experimenteren met nieuwe technologieën, juist op veiligheid en justitie. Alleen zo komen opbrengsten en risico’s helder in beeld." Lees verder
• Medialab SETUP: We hebben beschaafde wapens nodig tegen onbeschaafde algoritmen
  Welke beslissingen willen we uitbesteden aan algoritmen? Om daar een maatschappelijk debat over te kunnen voeren, hebben we volgens medialab SETUP middelen nodig die algoritmische besluitvorming inzichtelijk en begrijpelijk maken. Lees verder
• Marlies van Eck: Algoritmes als een goochelshow; supergaaf maar onbegrijpelijk
  Het geloof in algoritmen is bij veel mensen groot. Ze kunnen beter zeggen dat ze er niets van begrijpen. Om daarna kritisch op onderzoek uit te gaan.  Lees verder

Mee­doen aan de­ze blogs­erie

Meedoen kan door onze onderzoekers Jurriën Hamer of Linda Kool te benaderen voor een reactie of gastbijdrage, en reageren kan op Twitter, LinkedIn en Facebook.

Meer le­zen

Lees meer over 'beschaafde bits' in onze publicaties hierover in 2017:

• Human Rights in the Robot Age (over mensenrechten in het digitale tijdperk)
• Eerlijk delen (over o.a. de opkomst van AirBnB en andere deelplatforms)
• Een nooit gelopen race (over o.a. cyberdreigingen)
• Opwaarderen (over publieke waarden in de digitale samenleving)

En volg deze blogserie via deze pagina.