calendar tag arrow download print
Doorgaan naar inhoud

Wat betekent manipulatieve AI voor de consument?

Artikel
22 april 2022
AI en manipulatie AI Ethiek

Foto: Shutterstock

Image
AI herkent de leeftijd van voorbijgangers en past daarop automatisch de inhoud van een advertentie aanutomatisch op aan

Commerciële partijen zetten artificiële intelligentie (AI) vaak in om het gedrag van consumenten te sturen. Hoe doen bedrijven dat? Welke maatschappelijke gevolgen heeft hun gebruik van AI en welk beleid is daarvoor van kracht? In deze tweede blog van onze blogserie ‘AI en manipulatie’ spreken we met Dries Cuijpers, toezichthouder bij de Autoriteit Consument & Markt (ACM).

In het kort:

  • Deze tweede blog in de blogserie ‘AI en manipulatie’ gaat over het gebruik van AI door bedrijven.
  • Consumentenbescherming richt zich op beïnvloeding die misleidend is.
  • Omdat het gebruik van AI, als nieuwe technologie, nieuwe situaties oplevert, moet de toezichthouder van geval tot geval bekijken of sprake is van een oneerlijke handelspraktijk voor de wet.

Wanneer krijgen consumenten te maken met AI?

Bedrijven kunnen AI inzetten voor tal van doelen; beïnvloeding of manipulatie van consumentengedrag is daar één van. Dries Cuijpers legt het ons uit: ‘AI wordt op veel verschillende momenten in de customer journey ingezet. AI faciliteert marketing, bepaalt wat je te zien krijgt op een website, maakt het gebruik van chatbots als klantenservice mogelijk, bepaalt wanneer je pakketje bezorgd wordt, of misschien zelfs welke prijs je voor een product of dienst gaat betalen.’

Als toezichthouder bij de ACM houdt Cuijpers zich bezig met consumentenbescherming. ‘Vanuit het oogpunt van consumentenbescherming is de eerste vraag die ik mijzelf stel: welke van deze toepassingen van AI is het meest risicovol? Beïnvloeding is volgens mij een van de meest risicovolle toepassingen.’

Wat maakt beïnvloeding middels AI zo risicovol?

Het beïnvloeden van consumentengedrag is niet nieuw. Marketing was altijd al gericht op het sturen of manipuleren van de consument. Volgens Cuijpers verschilt het gebruik van AI voor consumentenbeïnvloeding op twee manieren van traditionele marketingpraktijken. ‘Het eerste verschil is de schaalbaarheid. Met AI kan beïnvloeding op grote schaal en heel gericht worden toegepast. Dat maakt de kosten-batenanalyse heel anders.

Het tweede onderscheid is de fijnmazigheid van beïnvloeding door middel van AI. De mate waarin kan worden ingezoomd op een bepaalde groep of zelfs een individu is veel groter. Met AI kun je goedkoop en snel heel veel data verwerken, zodat je iemand heel gericht kan beïnvloeden. Een gewone verkoper zou nooit zoveel informatie over een klant kunnen verzamelen en inzetten.’

Deze verschillen dragen er aan bij dat Cuijpers het gebruik van AI om consumenten te beïnvloeden als risicovol beschouwt. ‘Consumenten zijn kwetsbaar voor beïnvloeding door de enorme informatievoorsprong die bedrijven hebben. Door de data die ze verzamelen en de psychologische inzichten die ze toepassen, zijn bedrijven steeds beter in staat specifieke personen of doelgroepen te overtuigen een product of dienst te kopen.’

Wanneer is er sprake van manipulatie?

AI versterkt dus de mogelijkheid van bedrijven om consumenten te beïnvloeden. Maar is zo’n beïnvloeding ook altijd manipulatief? Cuijpers: ‘In de huidige consumentenregelgeving wordt beïnvloeding verboden wanneer deze misleidend is. Maar het is niet altijd even duidelijk wanneer iets misleidend is. Neem het groen maken van een aankoop-knop, om de consument aan te sporen erop te klikken. Dit is een vorm van beïnvloeding, maar is het misleidend? Nee, dat denk ik niet.’

‘Met nieuwe technologie hebben we heel vaak te maken met nieuwe situaties. De regels zijn vaak nog niet toegepast op deze technieken en dus is er geen panklaar antwoord op de vraag: “Is er sprake van een oneerlijke handelspraktijk?” Als ACM hebben wij een leidraad uitgebracht waarin we proberen uiteen te zetten hoe de wet toepasbaar is op online beïnvloeding en waar ongeveer de grens ligt tussen wat mag en niet.’

Misleidende beïnvloeding kan verschillende oorzaken hebben, legt Cuijpers uit. ‘Je kunt AI bewust een opdracht geven die al niet oké is. Bijvoorbeeld door in te spelen op de zwakke plekken van mensen. Dan ben je al onethisch bezig. Maar het kan ook zo zijn dat zelflerende algoritmen dingen oppikken en incorporeren die, achteraf, misleidende effecten blijken te hebben. Dan was het niet de opzet om te misleiden, maar is dat wel het effect. De wet legt de nadruk op het effect op de consument. De intentie is niet belangrijk voor de vraag of er sprake is van een wetsovertreding. Dat lijkt me een goede zaak, want AI mag niet iets worden waar een bedrijf zich achter kan verschuilen met de smoes “ik wist ook niet wat die AI deed”.’

Wat zijn de maatschappelijke gevolgen van consumentenbeïnvloeding door AI?

Consumenten zijn dus kwetsbaar voor misleiding door AI. Wanneer de beïnvloeding misleidend is, is dat een oneerlijke handelspraktijk voor de wet. Maar wat zijn dan de gevolgen van zulke risicovolle, misleidende beïnvloeding? Cuijpers wijst ons op een onderzoek van wetenschapper Arunesh Mathur (Princeton University). ‘Hij heeft mooi inzichtelijk gemaakt hoe beïnvloedingstechnieken, ook wel dark patterns genoemd, eigenlijk schade aanrichten op drie verschillende niveaus.’, zegt Cuijpers.

‘Op de eerste plaats kunnen dergelijke beïnvloedingstechnieken voor financiële of eventuele emotionele schade bij de consument zorgen – bijvoorbeeld wanneer hij of zij het gekochte product helemaal niet nodig heeft. Het tweede niveau zijn de negatieve collectieve effecten. Beïnvloedingstechnieken kunnen namelijk effect hebben op mededinging. Wanneer een bedrijf veel oneerlijke beïnvloedingstechnieken inzet, haalt het ook meer klanten en omzet binnen. Daardoor krijgt het bedrijf dus een mededingingsvoordeel. De marktwerking overlaten aan degene die het beste kan manipuleren, dat moeten we volgens mij niet willen.’

‘Een derde niveau van schade is het gevolg voor onze democratische samenleving. Online beïnvloeding zou de autonomie van het individu aan kunnen tasten, niet alleen met betrekking tot aankoopbeslissingen maar ook wat betreft politieke meningen.’

Het EU voorstel voor een verbod op manipulatieve AI

In haar conceptverordening rond AI stelt de Europese Commissie een verbod voor op manipulatieve AI die fysieke of psychologische schade kan aanrichten. We vroegen Cuijpers wat hij van dit voorstel vindt. Cuijpers: ‘Wat mij opviel is dat de soorten AI die in marketing worden toegepast eigenlijk onder risicogroep 3 of 4 vallen, zijnde vrij risicoloze toepassingen waarop het verbod dus niet van toepassing is. Maar ik vraag me af of de toepassingen van AI in marketing inderdaad zo risicoloos zijn als de verordening doet vermoeden.’

De verordening suggereert dat zulke marketing-gerelateerde toepassingen van AI voldoende gereguleerd worden door bestaande consumentenbeschermingswetgeving. Maar deze waarborg is volgens Cuijpers niet voldoende. ‘De wet kijkt alleen naar de uitkomst van de AI. Het zegt niets over de vereisten die aan het ontwikkelingsproces van AI gesteld moeten worden. Als ACM kunnen wij nu dus alleen toezicht houden op het eindresultaat. Wat het toezicht kan vergemakkelijken zijn meer normen rond het proces en strengere grenzen.’

Kan de consument zichzelf wapenen tegen manipulatieve AI?

Naast betere wetgeving voor het gebruik van AI in de consumentensector, kunnen we ook kijken naar manieren waarop de consument zichzelf kan weren tegen manipulatieve praktijken. Cuijpers is echter sceptisch over de mogelijkheden. ‘Het kenmerk van veel beïnvloedingstechnieken is juist dat ze op onbewust gedrag inhaken. Soms werken ze zelfs als je weet hoe ze werken. Daarom lijkt het mij moeilijk je er als consument tegen te weren. Bovendien is het niet logisch om veel energie te stoppen in het mensen onderwijzen over de omgang met nieuwe technieken, als je van een aantal dingen weet dat ze eigenlijk heel onwenselijk zijn. Waarom zou je de technologie toestaan, om vervolgens mensen weerbaar te maken? Moeten we dan niet gewoon zeggen “dit willen we niet meer als maatschappij”?’

Gerichte reclames, gepersonaliseerde nieuwsoverzichten of slimme apparaten in huis: artificiële intelligentie (AI) creëert mogelijkheden om menselijk gedrag te beïnvloeden. De Europese Commissie heeft een volledig verbod op bepaalde (schadelijke) vormen van manipulatieve AI voorgesteld. In een blogserie gaat het Rathenau Instituut met experts in gesprek over manipulatieve AI en de wenselijkheid van deze opkomende technologie.

De vlag van de Europese Unie

Deze blog is geschreven door Rosalie Waelen, promovendus aan de Universiteit Twente op het gebied van de ethiek van kunstmatige intelligentie.

This project has received funding from the European Union’s Horizon 2020 research and innovation programme under the Marie Skłodowska-Curie grant agreement No 813497

Andere artikelen uit de blogreeks:

Gerelateerde publicaties: