De wereld was een paar jaar geleden geschokt toen Edward Snowden gegevens van de Amerikaanse geheime dienst bleek te hebben gehackt en wereldkundig maakte. Hoe was het mogelijk dat er zo veel gegevens waren verzameld? En dat die konden worden gehackt? We stelden onszelf al snel gerust: dat was in Amerika en het ging om gegevens van belangrijke mensen. Ons zou dat niet overkomen.
Door Melanie Peters, directeur van het Rathenau Instituut
Bij de Amerikaanse verkiezingen en het Brexit-referendum bleek dat we het mis hadden en dat het ons wél kan overkomen. Ook wij zijn een interessant doelwit. Analyse van ons online-gedrag maakt het mogelijk om ons te profileren en in te delen in bepaalde groepen. Deze informatie kan worden gebruikt om ons te beinvloeden, bijvoorbeeld door te manipuleren welke berichten we op Facebook te zien krijgen. We zijn dus interessant voor mensen met belangstelling voor het manipuleren van onze gedachten en ons gedrag, ook al kennen we hen niet en hebben ze geen belangstelling voor ons persoonlijk. Het probleem met big data, privacy en veiligheid werd dus breder. Deze incidenten lieten zien dat er verschillende datasets worden gecombineerd, geanalyseerd en buiten ons medeweten worden gebruikt om te beïnvloeden wat we te zien krijgen op sociale media, zonder daarbij gegevens vrij te geven en dus zonder direct onze privacy te schenden. Dit heeft een enorme impact op ons eigen leven en ook op onze democratische samenleving als geheel.
Mensenrechten
Bij het Rathenau Instituut hebben we verschillende use cases geanalyseerd, variërend van zorgrobots tot gemeentelijke diensten, om na te gaan hoe wij zelf door deze nieuwe technologieën worden beïnvloed – in positieve of negatieve zin. Uit ons onderzoek blijkt dat ze hoe dan ook gevolgen hebben voor ons, en ook voor de samenleving. Soms vinden we dit soort technologie handig, bijvoorbeeld om te weten dat "andere lezers van dit boek ook geïnteresseerd waren in.....". Heel vaak zijn we ons er niet van bewust dat gegevens worden bijgehouden, gecombineerd en gebruikt om ons te profileren. En heel vaak is het gebruik van deze profielen niet in ons belang.
Heel vaak zijn we ons er niet van bewust dat gegevens worden bijgehouden, gecombineerd en gebruikt om ons te profileren.
Uit ons onderzoek komt naar voren dat onze meest persoonlijke rechten – de rechten die de Europese Unie fundamenteel heeft verklaard, de rechten die door de VN zijn vastgelegd – op het spel staan. Deze nieuwe technologieën beïnvloeden onze autonomie wanneer ze beslissingen voor ons nemen, bijvoorbeeld als ze bepalen welke nieuwsberichten we te zien krijgen. Wanneer ze in de werkomgeving beslissingen van ons overnemen, kunnen ze onze professionele besluitvormingsvaardigheden aantasten. Wanneer ze ervoor zorgen dat bepaalde diensten aan sommige mensen wel worden aangeboden en aan anderen niet, kunnen ze leiden tot uitsluiting en discriminatie. Het recht om als consument te kopen wat goed voor je is en toegang te krijgen tot diensten, zonder daarvoor met je gegevens te betalen. Op die manier beïnvloeden deze technologieën onze individuele rechten en ook onze collectieve rechten als burgers: het recht om gehoord te worden, je mening te uiten en deel te nemen aan het openbare leven. Wanneer de politie gegevens gebruikt voor predictive policing, roept dat heel andere vragen op dan bij de keuze van een boek. In feite zorgen deze technologieën voor fundamentele veranderingen in allerlei relaties, bijvoorbeeld tussen werknemers en werkgevers, tussen patiënten en artsen, tussen burgers en de overheid, en beïnvloeden ze daarmee zo onze bestaande rechten.
Wat gaan we eraan doen?
Om te beginnen moeten we deze effecten op de juiste waarde schatten. Digitale technologie en data zullen niet op magische wijze in onze basisbehoeften gaan voorzien, ook al is dat wat je vaak hoort. Integendeel, er is veel misbruik mogelijk. We hebben dus behoefte aan conceptuele duidelijkheid over het feit dat de nieuwe spelers die onze gegevens verzamelen, combineren en gebruiken, alsook de ontwerpers en eigenaars van deze nieuwe technologieën, in hoge mate verantwoordelijk zijn voor ons welzijn en onze rechten niet mogen schenden. Deze conceptuele duidelijkheid betreft ook de wetten of regels die van toepassing zijn en de instanties die toezicht moeten houden. Net zoals het arrest van het Hof van Justitie van de Europese Unie heeft laten zien dat Uber wel degelijk verantwoordelijkheid heeft voor zijn chauffeurs en passagiers en voor de verkeersveiligheid. Deze verheldering is het eerste wat nodig is. Er hoeven niet altijd per se nieuwe regels te komen.
Nieuwe rechten en regels
Bij de analyse van onze use cases kwamen we tot de conclusie dat er, naast de bestaande rechten, nog twee extra rechten nodig zijn in de datasamenleving: het recht om niet te worden gemeten, geanalyseerd of gecoached, en het recht op betekenisvol menselijk contact in bepaalde belangrijke situaties. Zo kan een zorgrobot mensen weliswaar helpen om langer thuis te blijven wonen, maar in sommige situaties kan het ook mensonterend zijn om er een te gebruiken. Mensen moeten bijvoorbeeld het recht hebben om bepaalde beslissingen met een arts of verpleegkundige te bespreken. Soms kan er behoefte zijn aan politieke besluitvorming over dit soort zaken en soms gaat het om persoonlijke beslissingen. De invoering van deze technologieën vraagt om diepgaand denkwerk over het inzetten van deze nieuwe mogelijkheden op een zodanige manier dat iedereen – de maatschappij als geheel en mensen afzonderlijk – ervan meeprofiteert. Op sommige terreinen zullen aanvullende regels nodig zijn. Maar het begint ermee dat alle actoren hun verantwoordelijkheid nemen en hun zorgplicht serieus nemen.
Op sommige terreinen zullen aanvullende regels nodig zijn.
Mededingingsregels en cyberdreiging
Concurrentie is zo’n terrein waarop we moeten nadenken over nieuwe regels. De vraag is: hoe zorg je in een datasamenleving voor eerlijke concurrentie? Databedrijven en hun platforms ontwikkelen zich veelal tot monopolies. Het worden dan bijna nutsbedrijven, en de vraag is hoe ze in particuliere handen kunnen zijn en toch in het algemeen belang bestuurd kunnen worden. Dit vereist een zeer fundamentele herbezinning. Een aanverwante kwestie is de eigendom van gegevens. Op grond van de AVG zijn jouw gegevens jouw eigendom. Maar kun je die eigendom ook afdwingen? Hoe voorkom je misbruik en cybercriminaliteit? Cybercriminaliteit en zelfs cyberoorlog vragen onze volle aandacht.
En AI?
De laatste maanden is AI een buzzword geworden. Wat ik hierboven heb beschreven, is in feite AI. We noemen een kunstmatig systeem intelligent wanneer het kan waarnemen (gegevens verzamelen), beslissen (profileren) en handelen (ons adviseren of een nieuwsbericht laten zien). Iedereen heeft het nu over algoritmes en kunstmatige intelligentie alsof het iets nieuws is, maar een rekenmachine is in feite ook kunstmatige intelligentie en een IQ-test om kinderen voor een bepaalde school te selecteren is een algoritme. Algoritmes gebruiken we al eeuwen.
Het enge daaraan is niet de kunstmatige intelligentie of het algoritme zelf, maar de automatische besluitvorming waar je niets tegen kunt doen. Als je kind een toelatingstoets aflegt, bespreek je het resultaat met de leerkracht en iedereen is het erover eens dat één slechte toets niet bepalend mag zijn voor de toekomst van het kind. Daarom is het interpreteren van de toets altijd een taak voor de leerkracht. Zelfs als het toetsalgoritme zelflerend is (en dus de formule verandert), willen we dat de leerkracht de doorslag geeft.
Het enge is niet de kunstmatige intelligentie of het algoritme zelf, maar de automatische besluitvorming waar je niets tegen kunt doen.
Nieuw is dat we steeds meer gegevens kunnen verzamelen. Met 5G-netwerken kun je gegevens verzamelen van je huis, van alle apparaten, van je auto en van de bebouwde omgeving. Deze gegevens kunnen onmiddellijk worden gecombineerd, berekend door algoritmes (formule) en gebruikt om ons te profileren en ons gedrag te beïnvloeden. Dat is mogelijk als het internet snel genoeg is, zoals het 5G-netwerk.
Het gebruik van algoritmes die grote hoeveelheden data verwerken zal in veel sectoren toenemen. Denk aan de bankwereld, de gezondheidszorg, justitie, de overheid en vooral het bedrijfsleven.
Onze use cases laten zien dat 5G de huidige ontwikkeling zal versnellen. Het gebruik van algoritmes die grote hoeveelheden data verwerken zal in veel sectoren toenemen. Denk aan de bankwereld, de gezondheidszorg, justitie, de overheid en vooral het bedrijfsleven. Uit de bovenstaande voorbeelden blijkt welke mensenrechten er op het spel staan. Het is niet het gebruik van AI als zodanig, maar het feit dat gegevens op onbekende manieren worden gebruikt en gecombineerd om tot beslissingen te komen die we niet kunnen volgen of waartegen we ons niet kunnen verzetten: beslissingen die onaanvaardbare gevolgen hebben voor ons eigen leven en voor de samenleving.
AI ten behoeve van het algemeen belang
Voor de High-Level Expert Group on AI betekent dit dat ze moeten besluiten in welke gevallen AI problematisch is: wanneer moet je echt zeker weten op welke wijze en op grond van welke gegevens beslissingen zijn genomen? Wie is er verantwoordelijk? En hoe kun je commercieel of ander misbruik, zoals een cyberaanval op gegevens, voorkomen? Kunnen we onze gegevens toevertrouwen aan de overheid?
Ook hier is de vraag welke normen er reeds gelden, welke mogelijkheden er zijn om bezwaar te maken en hoe op nieuwe manieren met deze tools kan worden omgegaan. Blijf de leerkracht dus om advies vragen, ook al zal de toelating tot de school niet gebaseerd zijn op één toets, maar misschien wél op gegevens uit de hele schoolcarrière van een kind. Het gaat er in ieder geval om dat een mens beoordeelt wat het beste is voor een kind.
Net als in het onderwijs zijn er ook in de bankwereld, de gezondheidszorg, bij justitie en bij de overheid extra waarborgen nodig. Naar onze mening is in die sectoren extra zorgvuldigheid geboden bij het innoveren en genereren van gegevens en het delen daarvan met derden. Op basis van ons onderzoek vinden wij dat er sprake moet zijn van geïntegreerde innovaties, waarbij mensenrechten geen bijzaak zijn maar onderdeel van het ontwerp. Dit moet in de praktijk worden getoetst, gemonitord en ingebed in het democratische besluitvormingsproces.
Wij concluderen dat er onderscheid moet worden gemaakt tussen de publieke sector – die publieke diensten creëert en democratische controle vereist – en de private sector. Private partijen werken uiteraard in opdracht van de overheid, maar ze moeten beseffen dat er in dat geval nog meer waarborgen nodig zijn. We moeten alert zijn op dual-use-toepassingen (producten die kunnen worden gebruikt en misbruikt), die een bedreiging kunnen vormen voor de veiligheid, en ons richten op sectoren die kwetsbaar zijn, zoals energienetwerken. Als er wordt gerommeld met beslissingen die van invloed zijn op die netwerken, kan dat geopolitieke risico's opleveren.
Er is behoefte aan meer kennis over deze technologieën en over de inzet ervan in het algemeen belang.
En nu?
Dit alles betekent dat er behoefte is aan meer kennis over deze technologieën en over de inzet ervan in het algemeen belang. Ook moeten we beseffen welke impact ze kunnen hebben op ons leven als ze niet op de juiste manier worden ontworpen en gebruikt.
Bovendien is er behoefte aan goede bestuurlijke kaders voor verschillende actoren. Veel bedrijven zetten afspraken over de omgang met AI en datatechnologie bovenaan in hun MVO-gedragscodes. Overheden zijn ook al gebonden aan internationale wetgeving en soft law. Maar het punt is samenwerking. Hoe gaan al die partijen samenwerken om ons burgers te beschermen, om een wereld te creëren waarin wij niet door data worden gestuurd maar waarin data helpen om de wereld vorm te geven en in onze basisbehoeften te voorzien? Hoe zorgen we voor vertrouwen in de digitale samenleving?
Het is goed dat de VN, ISO, OESO, UNESCO, de Raad van Europa en de Europese Unie kunstmatige intelligentie en een veilige en inclusieve digitale samenleving hoog op de agenda zetten. Daarmee zorgen zij allemaal voor een deel van het bestuurlijke kader waarin bedrijven, overheden, maatschappelijke organisaties en wij als burgers verantwoordelijkheid kunnen nemen voor deze ontwikkeling.
Dit artikel is geschreven op verzoek van de High-Level Expert Group on Artificial Intelligence (AI HLEG) van de Europese Commissie.
Meer lezen?
Zie onze rapporten: