Medialab SETUP: We hebben beschaafde wapens nodig tegen onbeschaafde algoritmen

Door Siri Beerends, cultuursocioloog bij medialab SETUP

Leestijd 2-3 minuten | Lees ook andere artikelen uit de serie Beschaafde Bits.

Of het nu gaat om het opsporen van risicoburgers of het aannemen van een nieuwe collega; overheden en bedrijven besteden steeds meer beslissingen uit aan algoritmen. Maar welke morele aannames en wiskundige simplificaties gaan schuil achter deze algoritmen? En welke beslissingen willen we uitbesteden aan algoritmen? Om daarover een maatschappelijk debat te kunnen voeren, hebben we middelen nodig die algoritmische besluitvorming inzichtelijk en begrijpelijk kunnen maken.

Weapons of Math Destruction

Een van de grootste misverstanden over algoritmen is dat ze neutraal zijn en daardoor rechtvaardige beslissingen nemen. Met deze mythe rekent wiskundige Cathy O’Neil af in haar bestseller Weapons of Math Destruction. Volgens O’Neil is een algoritme een 'mathematisch vernietigingswapen' als:

• je niet weet welke morele aannames achter de scores en keuzes van het algoritme zitten, waardoor je je niet tegen een algoritmische beslissing kunt verzetten;
• het algoritme menselijke vooroordelen vastlegt in systemen en deze op grote schaal verspreidt; en
• de beslissingen van het algoritme een destructief effect hebben op de samenleving.             

Een voorbeeld van een ‘Weapon of Math Destruction’ is een algoritme dat door bedrijven wordt gebruikt om de beste CEO te kiezen. Omdat vrouwen ondervertegenwoordigd zijn als CEO, beschouwt het algoritme ‘vrouw zijn’ als voorspellende factor om ongeschikt te zijn als CEO.

De AVG biedt onvoldoende bescherming

Op 25 mei gaat de Algemene Verordening Gegevensbescherming (AVG) van kracht, die ons moet beschermen tegen onwenselijke besluiten van algoritmen. Het is een eerste stap, maar nog niet genoeg. De verordening blijft vaag over bedrijven en overheden die beslissingen maken op basis van afgeleide data. Ook is de AVG niet duidelijk over de mogelijkheid om onwenselijke vormen van algoritmische besluitvorming te verbieden.

De AVG geeft burgers weliswaar ruimte om bezwaren te maken. Maar dan is het kwaad doorgaans al geschied. Ook is het maar de vraag of ze dat recht effectief kunnen gebruiken. Kan een individu gemakkelijk ingrijpen bij algoritmische besluitvorming in meer complexe omgevingen en taakstellingen?

We zien nu nog een duidelijk verschil tussen bijvoorbeeld politieagenten, de apparaten die zij gebruiken en het ICT-bedrijf dat de software ontwikkelt. Maar deze werelden zijn aan het samensmelten, waarbij apparaten steeds meer autonoom beslissingen nemen. Onderzoekers waarschuwen daarom voor een black-box-samenleving, waarin niemand kan doorzien op welke manier algoritmen besluiten nemen en hoe we kunnen ingrijpen.

Wapens tegen Math Destruction

Vanwege deze ontwikkelingen is het van groot belang dat we kennis hebben van de morele waarden, wiskundige simplificaties en bias die in algoritmen verwerkt zitten. Naast een maatschappelijk debat, hebben we middelen nodig waarmee we ons kunnen wapenen tegen onwenselijke algoritmische besluitvorming. We hebben niet genoeg aan juridische normen die slechts achter de markt aanhobbelen. 

Daarom ontwikkelt medialab SETUP in samenwerking met kunstenaars en experts ‘Civil Weapons of Math Retaliation’. Deze moeten de morele implicaties van algoritmische besluitvorming inzichtelijk maken en de macht van moraliserende algoritmen eerlijker verdelen. Zodat burgers niet alleen in bezwaar kunnen gaan tegen een besluit van een algoritme, maar deze ook kunnen inzetten voor hun eigen empowerment.

Aan de hand van vier ontwerpende onderzoeksprojecten stellen we de kwesties autonomie, menselijke waardigheid, discriminatie en de wenselijkheid van algoritmische besluitvorming aan de kaak. Op 25 mei presenteren we twee resultaten tijdens het debat Leven met algoritmen, georganiseerd door SETUP en het Rathenau Instituut.

Een van deze vier projecten is van ontwerper Isabel Mager. Zij neemt ons op 25 mei mee in de wereld van de recruitment-algoritmen. Steeds meer bedrijven kiezen ervoor om sollicitanten algoritmisch te screenen. Een van de koplopers in deze industrie is het miljoenenbedrijf HireVue, met klanten als Unilever en Goldman Sachs. HireVue beoordeelt sollicitatievideo's op woordkeuze, stemklank en micro-expressies die onze ware emoties zouden verraden.

Wie denkt na zijn sollicitatie niet meer door algoritmen gemeten te kunnen worden, heeft het mis. Het Nederlandse bedrijf KeenCorp ontwikkelde een algoritme dat de betrokkenheid van werknemers meet door interne e-mails en chatberichten te doorzoeken op onbewuste taalpatronen die spanning en persoonlijke betrokkenheid aangeven. In een uitgebreid interview met SETUP legt KeenCorp uit wat hun algoritme meet en op welke manier dat bijdraagt aan verbeteringen op de werkvloer.

Consistentie is niet hetzelfde als neutraliteit

Recruitment-softwarebedrijven beweren sollicitanten te kunnen bevrijden van bevooroordeelde werkgevers. Maar deze marketingbeloftes zijn gebaseerd op de misvatting dat technologie neutraal is. Consistentie is immers niet hetzelfde als neutraliteit: dat een algoritme elke sollicitant op dezelfde manier beoordeelt, betekent niet dat dit op een neutrale manier gebeurt. Zo zitten in de scores van recruitment-algoritmen allerlei morele aannames over persoonlijkheidstyperingen. Denk aan mensen die vriendelijk kijken – zijn zij ook echt aardig?

Isabel Mager laat op 25 mei zien op welke manier recruitment-algoritmen ons classificeren en beoordelen tijdens een videosollicitatie. Hoe bepalen algoritmen welke persoonlijkheid we hebben en kunnen we dit zelf tijdens een sollicitatie naar de hand zetten?

Empowerment

Het transparanter maken van algoritmische besluitvorming is een eerste stap naar empowerment. De volgende stap is begrijpen waar we naar kijken. ‘Civil Weapons of Math Retaliation’ voorzien de samenleving van sprekende voorbeelden, ontwerpen, presentaties en een vocabulaire waarmee algoritmische besluitvorming voor een breder publiek begrijpelijk wordt.

Want niet alleen technici, maar wij allemaal moeten kunnen meepraten en meebeslissen over ons leven met algoritmen.

Door Siri Beerends, cultuursocioloog bij medialab SETUP

Meer lezen

Volg deze blogserie via deze pagina.

Lees meer over 'beschaafde bits' in onze publicaties hierover in 2017:

• Human Rights in the Robot Age (over mensenrechten in het digitale tijdperk)
• Eerlijk delen (over o.a. de opkomst van AirBnB en andere deelplatforms)
• Een nooit gelopen race (over o.a. cyberdreigingen)
• Opwaarderen (over publieke waarden in de digitale samenleving)