Vijf conclusies over AI en manipulatie

In de blogserie AI en manipulatie spraken we met experts over de wenselijkheid van AI. Aan het woord waren dr. Michael Klenk (TU Delft) en dr. Tjerk Timan (TNO), Dries Cuijpers (ACM toezichthouder), Nadia Benaissa (Bits of Freedom), Richard Rogers (UvA) en tot slot Paul Nemitz en Yordanka Ivanova (beiden van de Europese Commissie).

Wat is manipulatie eigenlijk? Waarom is het een moreel probleem? Hoe ziet AI-manipulatie er in de praktijk uit? Op basis van de gesprekken trekken we vijf conclusies om AI-manipulatie effectief te reguleren.
 

De experts waren het in grote lijnen eens over wat manipulatie is en waarom manipulatie ethische bezwaren oproept: het is een ongewenste vorm van beïnvloeding, die de vrije keuze en autonomie van mensen inperkt.
 
Toch zagen we verschillen. Zo kun je kijken naar degene die beïnvloedt. Michael Klenk gaf aan dat er sprake is van manipulatie als de manipulerende partij geen rekening houdt met de ander: manipulatie gebeurt ‘achteloos’ - zonder zorg voor de ander.

Maar je kunt ook kijken naar de rol van degene die gemanipuleerd wordt. Tjerk Timan wijst erop dat de manipulerende partij iets weet wat de ander niet weet en daar misbruik van maakt: er is sprake van een onbewustheid bij degene die gemanipuleerd wordt. 
Je kunt manipulatie dus opvatten als een handeling zelf, of als de gevolgen voor het individu. 
 

De blogserie liet ook zien dat AI-manipulatie verschillende verschijningsvormen kent. Daarbij spelen diverse achterliggende mechanismen een rol. AI-manipulatie vindt bijvoorbeeld plaats door het verzamelen van enorme hoeveelheden gegevens, waarmee bedrijven specifieke personen of doelgroepen willen overtuigen een product of dienst te kopen. Daarmee wordt beïnvloeding op veel grotere schaal toepasbaar en fijnmaziger. Dit geeft bedrijven een informatievoorsprong, vertelden Dries Cuijpers en Nadia Benaissa. 

Naast beïnvloeding van consumenten door bedrijven, vindt AI-manipulatie ook op sociale media plaats. Dat gebeurt op verschillende manieren, beschreef Richard Rogers. Platformalgoritmes geven voorrang aan bepaalde content, zoals berichten die als boos zijn getagd. Daarnaast kunnen gebruikers zelf de manipulerende partij zijn, bijvoorbeeld via nep-likes, nep-volgers of nep-views. Organisaties kunnen de online mechanismen van platformen gebruiken, zoals een politieke partij die via politieke micro-targeting de publieke opinie wil beïnvloeden.

Paul Nemitz benoemde naast deze technieken nog twee andere aspecten van AI-manipulatie: computers die gebruikers doen geloven dat ze te maken hebben met een mens, en dark patterns. Dat is een vorm van persuasive design waarbij het systeem bewust geprogrammeerd is om te misleiden - bijvoorbeeld door een vinkje voor een verzekering al aan te kruisen en op een overzichtelijke plek te zetten. 
 

In de kern is AI-manipulatie vergelijkbaar met andere vormen van manipulatie: een individu wordt beperkt in zijn autonomie. 

De blogserie laat ook andere effecten zien, bijvoorbeeld de negatieve impact die AI-manipulatie kan hebben op het welzijn van individuen, zoals de Instagramcultuur. Bovendien wijzen de experts op culturele en maatschappelijke gevolgen. Zo benoemt Tjerk Timan het risico dat maatschappelijke problemen worden opgevat als een individueel probleem. Een stappenteller kan mensen stimuleren om meer te bewegen, maar kan er ook toe leiden dat gezondheid als individuele verantwoordelijkheid wordt gezien. Hij wijst ook op digitaal kolonialisme: door content filtering – het mechanisme dat bepaalt wat wel of niet mag worden getoond – gaan voornamelijk Amerikaanse waarden online de boventoon voeren. Rogers en Benaissa laten zien hoe AI op sociale media een rol speelt bij de manier waarop mensen informatie tot zich nemen, nieuws vergaren en politieke meningen vormen. AI beïnvloedt zo het maatschappelijke en politieke debat en daarmee onze democratische samenleving. 
 

Een overkoepelend probleem van AI-manipulatie is dat manipulatie (per definitie) niet transparant is. ‘Het kenmerk van veel beïnvloedingstechnieken is juist dat ze op onbewust gedrag inhaken. Soms werken ze zelfs als je weet hoe ze werken’, merkte Cuijpers op. Dat maakt het lastig voor individuen om zich hier tegen te wapenen. 

Het is daarom niet verwonderlijk dat de roep om regulering van AI de laatste jaren groeit. Een deel van de discussie gaat over het creëren van meer verantwoordelijkheden voor de beïnvloedende of manipulerende partij. Met name voor socialemediabedrijven zijn de afgelopen jaren al meer verplichtingen gekomen; voor AI-manipulatie op sociale media zijn onder meer de recent aangenomen Digital Service Act (DSA) en de Digital Market Act (DMA) van belang. Het andere deel van de discussie draait om een fundamentelere vraag: zijn bepaalde vormen van AI-manipulatie simpelweg onacceptabel? 
 

De Europese Commissie stelt met de voorgestelde AI-verordening twee verboden voor: een verbod op ‘subliminale AI’ en een verbod op AI-toepassingen voor kwetsbare groepen. Beide vormen zijn onverenigbaar met de fundamentele rechten en waarden in de EU, aldus Yordanka Ivanova. Voor minder risicovolle AI-manipulatie stelt de EU maatregelen voor om risico’s te beheersen. 

In de blogserie wierpen experts verschillende vragen op. Want wat wordt er nu precies verboden? Keurt de Europese Commissie manipulatie – de handeling als zodanig – af, of gaat het over de gevolgen? Verschillende experts concluderen dat het laatste het geval is. 

Dat is vergelijkbaar met het huidige consumentenrecht. Niet zonder reden, maakt ACM-toezichthouder Cuijpers duidelijk. Want ook als een toepassing niet bedoeld was om te misleiden, maar dat in de praktijk wel het effect van de toepassing is, kan een bedrijf verantwoordelijk worden gehouden. 

Het probleem daarbij is dat het lastig is om deze effecten aan te tonen – onder meer omdat manipulatie niet transparant is. Daarom kijkt de Europese Commissie ook naar mogelijke schade en niet alleen daadwerkelijk geleden schade. Maar ook mogelijke schade is lastig aan te tonen.

Een andere oplossing van de AI-verordening is ook eisen te stellen aan het ontwikkelproces van AI, bijvoorbeeld tijdig een ethische risico analyse uitvoeren. Tot slot benoemt Ivanova dat het voor toezichthouders mogelijkheid wordt om AI-toepassingen (vooraf) te keuren.

Diverse experts werpen de vraag op of het reguleren van de gevolgen voldoende is. We zien de verschillen in de definitie van manipulatie terug in opvattingen over hoe AI moet worden gereguleerd: is het probleem de handeling zelf of de gevolgen ervan? 
 

Onze blogserie maakte duidelijk welke onwenselijke effecten AI kan hebben. De gevolgen raken niet alleen individuen, maar ook de democratie en samenleving als geheel. 

De Europese Commissie heeft met de AI-verordening een verbod op bepaalde (schadelijke) vormen van manipulatieve AI voorgesteld. De vraag blijft: is het reguleren van de gevolgen voldoende? Of is het zaak striktere grenzen aan te geven? Daar zullen wetenschap, samenleving en politiek zich de komende tijd over moeten buigen.

Tot slot: voor alle juridische kaders geldt dat hun effectiviteit staat of valt bij effectief toezicht. Steeds vaker moeten toezichthouders intensief samenwerken, waarbij nog niet duidelijk hoe die samenwerking er precies moet uitzien. Ook de organisatie van het toezicht blijft dus een punt van aandacht. 
 

This project has received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No 813497

Andere artikelen uit de blogreeks: