We denken te snel dat een meekijkende computer het beter kan

Surveillancestaat, surveillancedictatuur en surveillancekapitalisten; wie het debat over surveillerende digitale technologie volgt, struikelt over de onheilspellende termen. De ernstige waarschuwingen van partijen als Amnesty International, het Brookings Instituut en de Amerikaanse denker Shoshanna Zuboff krijgen ook politiek gehoor. Zo stelt de Europese Commissie in een conceptverordening voor om het realtime biometrisch identificeren van mensen op straat door de politie te verbieden, net als andere gevaarlijke vormen van kunstmatige intelligentie.

Al deze ophef is goed en nodig. De gevaren van surveillancetechnologie zijn allang niet meer denkbeeldig. Dat bleek ook uit de recente onthullingen over de Israëlische Pegasus-software waarmee overheden in tal van landen journalisten en mensenrechtenadvocaten hadden gevolgd.

Maar het debat is veel te eenzijdig. De maatschappelijke en politieke aandacht richt zich vooral op het voorkomen van het allerergste: het tegenhouden van surveillance-excessen. Zo is er bijvoorbeeld een intense discussie over de vraag of de Europese voorstellen wel voldoende zijn om het gebruik van gezichtsherkenning aan banden te leggen. Dat is belangrijk maar onvolledig. Surveillancetechnologie brengt namelijk ook een tweede probleem met zich mee: de maatschappelijke opbrengst valt vaak flink tegen. Surveillerende computers beloven veel, maar bewijs dat deze beloftes worden waargemaakt, is er veelal niet.

Dat inzicht heeft vergaande consequenties. Want als de werking van surveillancesoftware tegenvalt, is het niet alleen de vraag of surveillancetechnologie te ver gaat. Dan is het ook de vraag of surveillancesoftware überhaupt de prijs waard is, ook als de inbreuk van rechten te overzien is.

Surveillancesoftware koppelt het observeren van mensen aan het beïnvloeden van hun gedrag. Daarom is de technologie niet alleen interessant voor dictatoriale regimes en machtige technologiegiganten, maar ook voor de buurman die met een slimme camera zijn deur wil beveiligen, de dokter die met een AI-assistent patiënten wil genezen, de werkgever die met een sollicitatietool de beste mensen wil aannemen en de onderwijzer die met learning analytics leerlingen verder wil helpen. Vrijwel iedereen heeft er weleens belang bij om anderen te observeren en te sturen.

We verwachten dat we met computers dingen beter kunnen doen: adverteerders kunnen hun doelgroep gerichter benaderen en beïnvloeden, politieagenten kunnen slimmer verdeeld worden over wijken, patiënten krijgen relevanter advies over hun leefstijl en de individuele voortgang van leerlingen wordt effectiever bevorderd. Big brother en zijn little sisters helpen ons uit de brand.

Doordat surveillancetechnologie inmiddels in veel domeinen wordt toepast, bestaat er veel onderzoek naar de werking ervan. Toch is het zo simpel niet om het nut ervan te bewijzen. Neem bijvoorbeeld politieke micro-targeting. Vrijwel alle politieke partijen betalen Facebook om gericht advertenties te sturen naar gebruikers die daarin geïnteresseerd zouden moeten zijn volgens de gegevens die algoritmes over hen hebben verzameld en geanalyseerd. Werkt dit? Dat weten we eigenlijk niet.

Aan de ene kant is er wetenschappelijk onderzoek van de Amerikaanse Northwestern University dat grote vraagtekens zet bij de effectiviteit van dit soort slimme advertenties. Het zou zelfs moeilijk zijn om aan te tonen dat het advertentiebeleid van Facebook mensen beter overtuigt dan traditionele reclamemethodes. Aan de andere kant blijkt uit onderzoek van de Universiteit van Amsterdam dat politieke micro-targeting wel een verschil kan maken. Niet omdat linkse stemmers overtuigd worden om rechts te stemmen, wel omdat ze aangezet worden om nog linkser te stemmen.

Dat de experts er nog niet over uit zijn hoe goed politieke micro-targeting werkt, is niet verrassend. Menselijke keuzes zijn complex en worden door vele variabelen beïnvloed. Om het technisch te formuleren: de probleemruimte is enorm groot. Duizenden kleine en grote factoren sturen de keuzes die we maken en het gedrag dat we vertonen, van onze genetische opmaak tot ons maandagochtendhumeur. Wat onze keuzes precies bepaalt, is moeilijk te voorspellen, en daarom moeilijk te beïnvloeden.

Die complexiteit speelt in veel contexten waarin surveillancetechnologie wordt ingezet: van het voorspellen van onze commerciële keuzes tot het inschatten van arbeidssucces. Computers kunnen dit soort sociale uitkomsten niet met enige zekerheid voorspellen.

Eigenlijk is het verbazingwekkend: talloze actoren gebruiken surveillancetechnologie waarvan de werking niet wetenschappelijk bewezen is. Gelokt door de grote beloftes van digitalisering laten politieke partijen, uitvoeringsorganisaties, bedrijven en burgers AI-systemen los op de samenleving, zonder dat ze kunnen bewijzen dat die werkelijk ergens goed voor zijn.

Dat inzicht zou onze kijk op digitale surveillance moeten bijstellen, en het politieke debat ingrijpend moeten veranderen. Want waarom zouden we surveillancetechnologie inzetten die misschien niet bijdraagt aan het oplossen van maatschappelijke uitdagingen?

Bedenk dat surveillancetechnologie altijd een prijs heeft en ook weer nieuwe veiligheidsrisico’s creëert. Wie zich bekeken voelt, gaat zich anders gedragen (het chilling effect). Digitale systemen kunnen gehackt worden. Gevoelige zaken die je op je werk, in je huiskamer of in je auto bespreekt, kunnen tegen je worden gebruikt. En wat als iemand privéfoto’s steelt en vergrendelt om je af te persen? De digitale wereld is al decennia oud maar wordt helaas steeds onveiliger.

Bovendien tast surveillancetechnologie veelal onze autonomie aan. Eigen observaties en analyses worden beïnvloed, en soms vervangen door die van een computer. Als de computer bepaalt welke kandidaten een uitnodiging krijgen voor een sollicitatiegesprek, ontlast hij een werkgever, maar verkleint hij diens autonomie om zelf te kiezen. Bovendien moet de sollicitant in het keurslijf van het AI-systeem laten zien wie hij of zij is en wat hij kan.

Het is goed om dit te laten inzinken. Want als surveillancetechnologie vrijwel altijd privacy, veiligheid en autonomie kost, moet ze die prijs wel waard zijn. Dan heeft surveillancetechnologie de samenleving iets te bewijzen, en is een zorgvuldige ethische analyse wenselijk en nodig.

Wanneer je niet precies weet of surveillancesoftware werkt, kan het gebruikmaken ervan natuurlijk ook schade opleveren. Een leidinggevende kan op basis hiervan iemand aannemen die misschien wel de verkeerde persoon op de verkeerde plaats is. Apps die leraren gebruiken, kunnen de ongelijkheid in de klas vergroten. Als surveillancetechnologie dat soort onverwachte fouten maakt, offeren we onze privacy, veiligheid en autonomie op in ruil voor een ongeluk.

Nuchterheid is geboden. Surveillancetechnologie is geen wondermiddel voor maatschappelijke problemen en brengt altijd kosten met zich mee. Dat betekent natuurlijk niet dat we alle surveillancetoepassingen maar overboord moeten gooien. Het betekent wel dat we ze kritisch en zorgvuldig op maatschappelijke meerwaarde moeten beoordelen.

Dat gebeurt nu niet. Het publieke debat verkijkt zich op de angstbeelden van machtige technologiebedrijven en gevaarlijke digitale dictaturen. Die blik is eenzijdig. Als we alleen focussen op excessieve, zeer risicovolle toepassingen, gaan we denken dat computersurveillance die onze rechten niet te zeer schendt, wel de moeite waard is. Dat is niet zo. Surveillance is alleen de moeite waard als het goed werkt, en voldoende maatschappelijke opbrengst met zich meebrengt.

Surveillancetechnologie is niet de enige manier om onze problemen op te lossen. Het is essentieel om voor ogen te houden dat er ook andere manieren zijn om onze straten veiliger te maken, de juiste medewerkers aan te nemen en advertenties en boodschappen te verspreiden. Voor de komst van AI-systemen spoorden we ook al criminelen op, waren er sollicitatieprocedures en bestond er een publieke ruimte waarin informatie rondging. Dat werk werd doorgaans op een verantwoorde manier gedaan, door professionals met eigen oordeelsvermogen.

Als AI-systemen dit oordeelsvermogen kunnen aanscherpen, zijn ze van harte welkom, maar we moeten niet op voorhand denken dat bestaande praktijken minder succesvol zijn dan geautomatiseerde. Het omgekeerde kan zomaar het geval zijn.

Of lees het opiniestuk in de Volkskrant.

Gerelateerde content: