calendar tag arrow download print
Doorgaan naar inhoud

Discriminerende algoritmes leggen bloot wat niet klopt in de samenleving

Artikel
20 oktober 2020

Neuro-informaticus Sennay Ghebreab (Universiteit van Amsterdam) Foto: Shutterstock/Coco Olakunle

Image
Interview Sennay Ghebreab over AI en Ethiek

Artificiële Intelligentie (AI) ontwikkelt zich razendsnel en overstijgt landsgrenzen. Hoe leiden we de wereldwijde ontwikkeling van verantwoorde AI in goede banen? In deze aflevering van de blogserie #DeWereld&AI gaan we in gesprek met neuro-informaticus Sennay Ghebreab (Universiteit van Amsterdam) over de risico’s, maar ook de kansen die AI biedt voor sociale inclusie. ‘Discriminerende AI zegt veel meer over wat er niet eerlijk is in de samenleving dan over de technologie zelf.’

In het kort:

  • De komende maanden agendeert het Rathenau Instituut de belangrijkste vragen over de wereldwijde ontwikkeling van verantwoorde AI.
  • Aandachtspunten volgens Sennay Ghebreab: AI moeten we leren zien én inzetten als kans om uitsluiting en discriminatie bloot te leggen, en er moet meer aandacht komen voor de manier waarop AI juist op lokaal niveau maatschappelijke waarde toevoegt.

AI is een mondiale aangelegenheid. Vraagstukken over ethiek en AI gaan dus automatisch over internationale (culturele) waarden. Die zijn complex, omdat er veel perspectieven zijn en verschillende belangen spelen. Hoe kom je dan toch tot goede internationale afspraken? Waar zouden die over moeten gaan?

UNESCO werkt momenteel aan een internationale aanbeveling over ethiek en AI: 24 experts uit de hele wereld schrijven aan mondiale richtlijnen die in november 2021 worden voorgelegd aan de 195 lidstaten. Het Rathenau Instituut is aangewezen als nationaal waarnemer bij de totstandkoming van de internationale aanbeveling. Vanuit die rol krijgt het Rathenau de gelegenheid om mee te kijken en inhoudelijk commentaar in te brengen.

De komende maanden vragen we inspirerende denkers naar hun ideeën; welke aspecten vinden zij van belang voor deze internationale discussie? Elke blog passeert een ander thema de revue, zoals de verantwoordelijkheid van bedrijven bij de inzet van AI, de rol van overheden en beleidsmakers, het bevorderen van technologisch burgerschap en de impact van AI op werk en onderwijs.

Over Sennay Ghebreab

Sennay Ghebreab - AI en de Wereld - Interview over AI en Ethiek
Foto door Coco Olakunle

Sennay Ghebreab is universitair hoofddocent sociaal-intelligente AI aan de Universiteit van Amsterdam en oprichter en directeur van Civic AI Lab. Hij behaalde zijn MSc-graad   Informatiesystemen in 1996 en promoveerde in 2001 op automatische beeldherkenning van AI, beide aan de Universiteit van Amsterdam. Hij onderzoekt mechanismen van informatieverwerking in kunstmatige, neurale en sociale systemen. Ghebreab is ook voorzitter van BOOST, een stichting die vluchtelingen helpt inburgeren in Amsterdam en bestuurslid van stichting Civic, die zich inzet voor een beter integratiebeleid in Nederland. Zijn wetenschappelijk werk en sociale betrokkenheid komen samen in zijn Civic AI Lab, een laboratorium voor de ontwikkeling en implementatie van AI-ontwerp en -toepassing die ten dienste staat van de burger en gemeenschap.

Er bestaan wereldwijd veel zorgen over algoritmes die discrimineren en mensen uitsluiten. Deelt u die zorg?
‘Natuurlijk, niemand wil hebben dat AI discriminatie in de hand werkt. Maar het laat tegelijkertijd zien dat AI in een sociale context wordt gebouwd. Het is ontworpen en ontwikkeld door mensen en maakt zichtbaar wat er leeft in een samenleving. En nee, dat komt niet altijd overeen met het beeld dat wij van onszelf en onze maatschappij hebben.  Zo illustreren ook recente voorbeelden. Denk aan het discriminerende algoritme van Twitter dat bij de previewafbeelding systematisch de nadruk lijkt te leggen op witte mensen. Of het door AI gestuurde overheidssysteem SyRI, om fraude met sociale voorzieningen op te sporen door gegevens van burgers uit allerlei overheidsdatabases te koppelen.  Daarbij werden  onbedoeld discriminerende verbanden  gelegd. Zulke voorbeelden maken duidelijk wat er fout is in de samenleving. Laten we daarvan leren en kijken hoe we dit kunnen verbeteren.’

Discriminerende AI houdt ons een spiegel voor en legt discriminatie en ongelijkheid in de maatschappij bloot.

Dat klinkt pragmatisch en positief.
'Inderdaad, ik ben geen doemdenker. Discriminerende AI houdt ons een spiegel voor en legt discriminatie en ongelijkheid in de maatschappij bloot. Dat is waardevol. Vanuit dat perspectief gezien zijn algoritmes met discriminerende uitwerking juist goed. Het zegt namelijk veel meer over wat er leeft in de samenleving, dan over de technologie zelf. De neiging bestaat om te focussen op het reguleren van ‘foute algoritmes’. Maar dan ben je de kansen en inzichten die AI biedt aan het maskeren.’

Welke kansen biedt AI voor een eerlijke en meer inclusieve samenleving?
‘AI kan ons helpen om zaken expliciet te maken, waardoor we meer inzicht krijgen in veronderstellingen die wij onbewust hebben. Als individu, maar ook als collectief. AI geeft ons een eerlijker beeld van eigen werkelijkheden en stelt ons in staat om onszelf, en de samenleving als geheel, beter te leren kennen en doorgronden. Er schuilt een grote belofte in die zelfkennis en samenlevingskennis.

Keuzes die we als samenleving maken, zijn onderhevig aan verandering. De manier waarop we tegen bepaalde maatschappelijke kwesties aankijken, evolueert. Die nuances nemen we vaak niet waar, het vormt zich onbewust. Door dingen te meten, data te verzamelen en te analyseren, zien we patronen die we normaal gesproken niet zo snel zouden zien.’ 

Hoe verhoudt zich dat tot de kritiek dat de data waarmee AI werkt en wordt getraind te veel vooroordelen bevat?
‘Er spelen twee dingen. AI werd tot nu toe vooral ontwikkeld met de technische oplossing in de gedachte: hoe krijgen we een werkend algoritme? Vanuit die aanpak is de context nauwelijks meegenomen, met als gevolg dat veel AI-technologie die nu breed wordt toegepast helaas gebruikmaakt van data die niet per se representatief zijn. Dat is niet goed te praten, maar ik herken het vanuit mijn eigen ervaring.

Voor mijn onderzoek naar gezichtsherkenning moest ik ook een dataset gebruiken. Destijds verzamelde je meestal honderd beelden. Ik was niet zozeer bezig met de vraag of die beelden een representatie waren van de hele bevolking. Nee, ik dacht: ‘hey, ik heb eindelijk honderd beelden. Nu heb ik genoeg data om mijn algoritme een beetje te finetunen’.

We moeten ons realiseren dat AI-technologie tot dusver is ontwikkeld binnen één bepaald domein door een specifieke groep mensen.

Twintig tot dertig jaar geleden zijn op een vergelijkbare wijze veel algoritmes ontwikkeld. Het is hooguit een jaar of vijf tot tien geleden dat wetenschappers in Amerika zich voor het eerst afvroegen of de data waar algoritmes mee werken eigenlijk wel representatief waren voor de vragen die werden gesteld. Er speelt dus een tijdsaspect.

Daarnaast is sprake van een diversiteitsaspect. We moeten ons realiseren dat AI-technologie tot dusver is ontwikkeld binnen één bepaald domein door een specifieke groep mensen. Namelijk:  overwegend witte mannen met een technische achtergrond. AI zouden we, zeker in het geval van maatschappelijke toepassingen, alléén nog moeten ontwikkelen in teamverband. Met mensen uit diverse disciplines en met verschillende achtergronden, zodat het met brede blik wordt gebouwd. Discriminatie kun je nooit uitsluiten en racisme zal er ook zijn. Maar we kunnen het wel verminderen door vanaf de start op een sociale en inclusieve manier AI te ontwikkelen.’

En wat doen we in de tussentijd?
‘Vooruitkijken, focussen op de stip op de horizon. En voor nu accepteren dat wij ons bevinden in een tussenfase. Een periode waarin we te maken hebben met AI die ineens overal voor wordt ingezet, terwijl deze niet inclusief is ontworpen. Met als gevolg dat AI in sommige gevallen tot uitsluiting of discriminatie leidt. Steeds meer mensen ervaren de impact van algoritmes in hun dagelijks leven en koppelen dit terug. Zo ontdekken we fouten en kunnen de huidige AI-systemen worden verbeterd. Ja, ook AI heeft een geschiedenis. Het zij zo, laten we leren van die geschiedenis.’

We gaan een nieuwe tijd tegemoet waarin we moeten investeren in de ontwikkeling van inclusieve AI

Welke stappen moeten we nu nemen?
‘Er ligt een grote taak voor ons als wetenschappers, maar zeker ook voor overheden, om het vertrouwen bij burgers terug te brengen. Er moet openheid komen over hoe data worden verzameld, wat ermee gebeurt en wat mensen ervoor terugkrijgen. Zo lang dat niet duidelijk is, blijft AI iets abstracts en blijven burgers wantrouwend. Kansen voor maatschappelijke AI blijven hierdoor onbenut. Burgers moeten dus veel meer mee gaan doen. En overheden moeten dat veel meer gaan benadrukken. AI heeft écht die context nodig om verder door te ontwikkelen.’

Die urgentie die u schetst lijkt er niet te zijn bij overheden?
‘Het schuurt nu nog vaak als het gaat om data en privacy. Dat is begrijpelijk, omdat commerciële bedrijven daar anders mee omgaan dan academici. Maar als we het belang van de beschikbaarheid van voldoende data voor de ontwikkeling van sociale AI duidelijk maken, dan  kunnen we sneller grote stappen maken. Naast het terugwinnen van dat vertrouwen, vergt het ook een bepaalde mate van digitale geletterdheid. Burgers moeten beter begrijpen hoe AI werkt. Dat geldt overigens ook voor beleidsmakers en politici.’

Wat gaat er mis?
‘De nadruk ligt sterk op regulering, vanuit de overheid en de internationale instituties. Het gaat steeds weer over privacy, transparantie, uitlegbaarheid en veel minder over waardenkaders en hoe we met AI sociale transformaties kunnen versterken. Dat komt door een gebrek aan kennis over AI. Reguleren en kaders stellen, is het makkelijkste wat een overheid kan doen als ze niet weet wat iets is en welke impact het heeft. Maar door – zoals het nu soms lijkt- te doen alsof AI iets buitenaards is dat je moet controleren, krijgen we geen speelruimte om te komen tot nieuwe innovaties met AI. We gaan een nieuwe tijd tegemoet waarin we moeten investeren in de ontwikkeling van inclusieve AI.  Dat betekent: AI met interdisciplinaire teams gaan ontwikkelen, goed weten wat er speelt bij burgers, en hun diversiteit daarin meenemen. En lokale situaties kennen.’

Dat klinkt overzichtelijk, maar tegelijkertijd wordt ook vaak gewezen op de exponentiële werking van AI - met name bij zelflerende algoritmes - waardoor discriminatie en ongelijkheid sterk worden uitvergroot. Veel meer dan in een normale menselijke context. Hoe gaan we daarmee aan de slag?

‘Het is een terechte zorg. Juist vanwege dit risico vind ik het zo belangrijk om meer in te zetten op het ontwikkelen van lokale AI, nationaal maar ook nog meer lokaal. Natuurlijk, AI wordt overal ter wereld toegepast en Facebook en Google zitten overal, maar als we de verspreiding van fouten willen verminderen, moeten we bottom-up AI ontwikkeling stimuleren. Als er dan schade is, valt dat op schaalgrootte mee en kunnen we fouten makkelijker herstellen. Dat is een ander verhaal bij de grote techbedrijven. Vanwege de massaliteit van hun diensten zullen fouten in hun AI-systemen zich snel verspreiden met alle gevolgen van dien.

We kunnen wel degelijk nieuwe initiatieven opstarten die zich richten op het oplossen van lokale, maatschappelijke problemen.

Techreuzen zijn heel goed in het in stand houden van de perceptie dat zij inmiddels te groot zijn om om te vallen. En we dus beter met ze kunnen meedoen dan dat we zelf iets nieuws starten. Maar zij zijn vroeger ook klein begonnen, en dat kan nog steeds. Overheden realiseren zich dat onvoldoende. We kunnen wel degelijk nieuwe initiatieven opstarten die zich richten op het oplossen van lokale, maatschappelijke problemen. Ik ben meer een voorstander van lokale AI.’

Hoe kijk jij als voorstander van lokale AI naar internationale afspraken over de ethiek van AI, zoals de aanbeveling waar UNESCO aan werkt?
‘We ontkomen er niet aan om internationale afspraken te maken en dat is ook goed, AI kent tenslotte geen grenzen. Bovendien benadrukken zulke mondiale afspraken de grote impact van AI, die te lang onderschat is. AI waait niet over en heeft serieuze gevolgen voor de maatschappij. Dat bewustzijn is er bij burgers lang niet altijd. Alleen al om dat bewustwordingsproces te bevorderen, zijn internationale afspraken belangrijk. Welke afspraken er uiteindelijk worden gemaakt en wat daarvan terecht komt: dat is een andere vraag.’

U bent sceptisch?
‘Mijn belangrijkste bezwaar is dat afspraken voor verantwoorde AI op internationaal niveau nauwelijks eenduidig en concreet te maken zijn. Want wat willen we eigenlijk dichttimmeren? Waarden als gelijkheid en menselijke waardigheid leven overal. Maar in de betekenisgeving spelen culturele componenten een grote rol. Vaak kennen deze waarden een eigen lokale vorm.

Ik wil graag benadrukken dat het allemaal om context en omgeving gaat bij verantwoorde AI. Als je net als ik vind dat AI draait om het verbeteren van de samenleving, dan moeten we vooral nadenken over hoe AI van dienst kan zijn bij het vormgeven van lokale waarden. Wat gebeurt er lokaal? Mensen moeten de waarde van AI voelen en er wat aan hebben. Uiteindelijk zal het lokale aspect veel belangrijker worden op tal van gebieden, dat geldt ook voor AI.’

‘Het is mijn wens om AI écht als tool voor democratisering te gebruiken.

Lokale AI staat ook centraal in het Civic AI Lab, dat u onlangs startte. Wat zijn uw plannen en ambities met het lab?
‘Het is mijn wens om AI écht als tool voor democratisering te gebruiken. We moeten kijken naar hoe kansengelijkheid zich lokaal manifesteert. En AI vanuit die missie inzetten. Het idee is om met behulp van AI bestaande ongelijkheden in de stad zichtbaar te maken en tegelijkertijd slimme systemen te ontwikkelen die kansengelijkheid bevorderen. We kijken vanuit het Civic AI Lab naar vijf domeinen: onderwijs, welzijn, gezondheid, mobiliteit en omgevingsfactoren. Binnen al die thema’s is er een bepaalde mate van ongelijkheid aanwezig. Denk aan obesitas, schooluitval en mobiliteitsarmoede. Met de inzet van AI kunnen we meer inzichten krijgen in welke delen van een wijk zoiets vaker voorkomt. Waar ligt dat dan aan en wat kunnen we eraan doen? Dit zijn bij uitstek vraagstukken die we lokaal moeten aanpakken.’

En waarom is AI zo interessant om mee te werken als het gaat om oplossingen vinden voor sociaal-maatschappelijke problemen?
‘Het zit in het vermogen om te helpen met het ontrafelen van complexiteit. Iets wat vaak in grote mate aanwezig is bij sociale vraagstukken. Neem obesitas; het gaat om een zeer complexe gezondheidssituatie die niet gelinkt is aan slechts één factor. Maar waarbij verschillende zaken, zoals sociale, genetische, demografische, economische en historische aspecten een rol spelen. Die variabelen kun je allemaal afzonderlijk identificeren en één voor één proberen aan te pakken. Maar er is natuurlijk interactie tussen al deze elementen. Door dergelijke data te combineren kan AI helpen patronen te ontdekken die wij als mensen niet makkelijk herkennen. AI legt onderliggende dynamieken bloot, wat een nieuw beeld kan opleveren over het ontstaan van obesitas. Vervolgens kunnen we met die inzichten aan de slag om het probleem aan te pakken en te voorkomen. AI integreert allerlei data en ondersteunt het holistisch denken. Dat is de kracht van AI.’