Marlies van Eck: Algoritmes als een goochelshow; supergaaf maar onbegrijpelijk

Door Marlies van Eck, op persoonlijke titel, gepromoveerd op Geautomatiseerde ketenbesluiten & rechtsbescherming aan Tilburg University en werkzaam bij het Ministerie van Financiën.

Leestijd 2-3 minuten | Lees ook andere artikelen uit de serie Beschaafde Bits. 

In het hilarische schoolreisje van Jochem Myjer uit zijn show Yeee-Haa! voert hij plattelandsjongen Harm ten tonele. Harm snapt er allemaal niet veel van: zijn leven is als een voorstelling van Hans Klok. Hij vindt het prachtig, maar begrijpt er niets van. Zijn standaarduitdrukking luidt dan ook: ‘Ik begrijp er niks van’.

Computerwetenschapper Joseph Weizenbaum schreef al in 1976 in zijn boek ‘Computer Power And Human Reason, from judgement to calculation’ dat wij kunstmatige intelligentie met te veel ontzag en geloof benaderen terwijl we het niet begrijpen. Hij kwam tot die conclusie na de reacties op zijn publicatie over zijn ELIZA-experiment, uitgevoerd tussen 1964 en 1966. Weizenbaum maakte iets dat we nu een chatbot zouden noemen: een programma waarmee een mens kon communiceren met de computer. Hij koos voor een parodie; de computer zou net als een ‘echte’ therapeut vragen herhalen of een tegenvraag stellen. Dat leidde bijvoorbeeld tot het volgende gesprek:

Men are all alike.

ELIZA: IN WHAT WAY

They’re always bugging us about something or other.

ELIZA: CAN YOU THINK OF A SPECIFIC EXAMPLE

Well, my boyfriend made me come here.

ELIZA: YOUR BOYFRIEND MADE YOU COME HERE

He says I’m depressed much of the time.

ELIZA: I AM SORRY TO HEAR YOU ARE DEPRESSED

Voor Weizenbaum was het overduidelijk dat alleen een persoon een andere persoon kan helpen met het oplossen van emotionele problemen. Maar tot zijn grote verbazing werd ELIZA door de buitenwereld zeer enthousiast ontvangen. Op diverse universiteiten werden kopieën gemaakt van het programma en het kreeg landelijke bekendheid. Groot was de schok van Weizenbaum dat juist psychiaters geloofden dat het computerprogramma uitgebouwd kon worden tot vrijwel volledig geautomatiseerde psychotherapie.

Weizenbaum observeerde ook iets anders: mensen die gebruik maakten van ELIZA raakten aan de gesprekken verknocht en dichtten het systeem menselijke eigenschappen toe; zelfs zijn secretaresse, die hem had zien bouwen aan het script, vroeg hem de kamer te verlaten om even privé te kunnen converseren. Terwijl Weizenbaum precies het tegendeel wilde bewijzen, zagen mensen in ELIZA het bewijs dat de computer onze taal kan begrijpen terwijl hij juist het tegendeel had proberen over te brengen.

Het bracht hem tot de observatie dat de mens, hoogopgeleid of laagopgeleid, overdreven kwaliteiten toedicht aan een technologie die hij niet begrijpt. Dit vond hij ernstig, omdat hij van mening was dat sommige dingen te belangrijk zijn om aan de computer over te laten.

Niet de ambtenaar bepaalt, maar de computer

Sinds de tijd van Weizenbaum gebruikt de overheid kunstmatige intelligentie (of AI, artificiële intelligentie) om besluiten te nemen. Niet de ambtenaar bepaalt het recht op een uitkering of de hoogte van de verkeersboete, maar de computer. Ik wilde onderzoeken hoe de wet wordt omgezet in instructies aan de computer. Maar als ik al stukken te zien kreeg dan begreep ik daar net als Harm, helemaal niets van.

Ik kwam daarom tot de conclusie dat bij het geautomatiseerd nemen van besluiten, niet duidelijk is hoe de overheid de wet heeft geïnterpreteerd. Ik kon niet onderzoeken of dit goed is gegaan en welke keuzes er zijn gemaakt. Hierdoor is de rechtsbescherming voor burgers afgenomen. De burger en ook de rechter weten niet waarom de computer tot zijn besluit komt.

Hoe sterk zijn controlemechanismen nog?

De essentie van de toets door de rechter is dat er een gesprek wordt gevoerd over de redenering die de overheid heeft gehanteerd. Dit mechanisme kennen we uit de analoge samenleving: als de overheid handelingen verricht (subsidies geeft, mensen fouilleert of een kapvergunning verleent) zijn deze onderwerp van tal van controlemechanismen. Mensen kunnen bezwaar maken, een klacht indienen, een stapje hoger zetten en hun zaak voorleggen aan de Nationale of gemeentelijke ombudsman en de rechter. Bovendien moet het dagelijks bestuur over de uitvoering van zijn taken verantwoording afleggen aan het democratisch gelegitimeerde bestuur, zoals de gemeenteraad of de Tweede Kamer.

Maar hoe sterk zijn deze controlemechanismen nog als er gebruik wordt gemaakt van algoritmes? De komende jaren zal dit een hele relevante vraag worden voor de relatie tussen overheid en burger, maar ook voor de relatie tussen de uitvoerende macht en rechtsprekende macht. Misschien moeten er nieuwe mechanismen gezocht worden of moeten algoritmes zichzelf gaan uitleggen, wie het weet mag het zeggen.

Het begint met het afstappen van ons geloof in een slim algoritme dat alleen maar goede dingen doet. Want wat als het allemaal toch niet zo slim is? Of als de black box volledig leeg blijkt te zijn? Om met de woorden van Weizenbaum af te sluiten; laten we stoppen met ‘sloppy thinking’ en ook dingen die we niet begrijpen kritisch bekijken.

Door Marlies van Eck, op persoonlijke titel, gepromoveerd op Geautomatiseerde ketenbesluiten & rechtsbescherming aan Tilburg University en werkzaam bij het Ministerie van Financiën.

Ze spreekt ook op het evenement Leven met Algoritmen op 25 mei in Utrecht.

Reageren

Reageren kan op Twitter, LinkedIn en Facebook of door onze onderzoekers Jurriën Hamer of Linda Kool te benaderen.

Meer blogs over hoe we algoritmes kunnen controleren

• Amnesty International: Algoritmes moeten zich aan de mensenrechten houden
  Algoritmes zijn al diep doorgedrongen in onze samenleving, zonder dat we ons altijd bewust zijn van de risico’s. Daarom moeten we nú de discussie voeren over hoe we omgaan met kunstmatige intelligentie." Lees verder
• Nederlandse Politie: Technologie noodzakelijk voor aanpassing aan snel veranderende samenleving
  "Het is belangrijk te experimenteren met nieuwe technologieën, juist op veiligheid en justitie. Alleen zo komen opbrengsten en risico’s helder in beeld." Lees verder
• Medialab SETUP: We hebben beschaafde wapens nodig tegen onbeschaafde algoritmen
  Welke beslissingen willen we uitbesteden aan algoritmen? Om daar een maatschappelijk debat over te kunnen voeren, hebben we volgens medialab SETUP middelen nodig die algoritmische besluitvorming inzichtelijk en begrijpelijk maken. Lees verder

Meer lezen

Lees meer over 'beschaafde bits' in onze publicaties hierover in 2017:

• Human Rights in the Robot Age (over mensenrechten in het digitale tijdperk)
• Eerlijk delen (over o.a. de opkomst van AirBnB en andere deelplatforms)
• Een nooit gelopen race (over o.a. cyberdreigingen)
• Opwaarderen (over publieke waarden in de digitale samenleving)

En volg deze blogserie via deze pagina.