calendar tag arrow download print
Doorgaan naar inhoud

Rathenau Manifest: Stel nu 10 ontwerpeisen aan de digitale samenleving van morgen

Rapport
22 oktober 2020

Foto:Shutterstock

Image
Vrouw ziet zichzelf 3 keer in de spiegel. Wat is echt, wat is nep?
Met de doorbraak van ‘immersieve’ technologieën, zoals augmented reality, virtual reality en spraakcomputers, gaat de digitale samenleving een nieuwe fase in. De fysieke en digitale wereld raken meer dan ooit met elkaar verknoopt. Dat roept urgente maatschappelijke en politieke vragen op. In dit manifest stelt het Rathenau Instituut tien ontwerpeisen aan de digitale samenleving van morgen.

Downloads

Downloads

Het volledige manifest

De afgelopen twee jaar heeft het Rathenau Instituut onderzoek gedaan naar virtual reality (VR), augmented reality (AR) en spraaktechnologie. We noemen deze technologieën ‘immersieve technologie’, omdat ze ons dieper dan ooit onderdompelen in de digitale wereld. Zo transporteert virtual reality ons naar een volledig kunstmatige wereld, waarin alle geluiden en beelden gecreëerd worden door computers. We kunnen nu soldaten trainen op een virtueel slagveld. Augmented reality voegt juist digitale lagen aan onze ervaring toe. Met een slimme bril ziet een automonteur handige informatie terwijl hij naar de motor kijkt. En via spraaktechnologie kunnen we met computers praten, en luisteren vele apparaten, zoals onze smartphones en slimme speakers, op steeds meer plekken met ons mee.

Onze vergaande onderdompeling in digitale technologie roept urgente maatschappelijke en politieke vragen op. Immersieve technologie heeft namelijk drie eigenschappen die ten goede, maar zeker ook ten kwade ingezet kunnen worden:

  1. Biometrische surveillance: Om de toepassingen goed te laten werken, moeten camera’s, slimme speakers, VR-brillen en andere hardware delen van ons lichaam en onze omgeving digitaal opnemen. Onze gezichten, oogbewegingen, stemmen en ons gedrag moeten worden herkend en gevolgd. Dat betekent dat immersieve technologie ons voortdurend en van dichtbij surveilleert. Maar willen we wel dat onze stem, ons gezicht en zelfs onze emotie door tal van bedrijven, organisaties en overheden geobserveerd en verzameld wordt?
     
  2. Digitale modificatie: Met behulp van deze gegevens kun je de digitale wereld maken en aanpassen. Je kunt gezichten, stemmen of leefwerelden namaken, vervormen of weglaten. Zo is je stem met een opname van enkele minuten te klonen. Met gezichtsfilters in Snapchat veranderen we ons uiterlijk. En deep fake-video’s op sociale media verspreiden een vervalst beeld van de werkelijkheid. Zelfs de wereld om ons heen kan worden bijgewerkt en aangepast. Ook dit roept grote vragen op. Is nep nog van echt te onderscheiden? Wordt onze samenleving beter als de fysieke wereld digitaal wordt gemanipuleerd?
     
  3. Beïnvloeding via intuïtieve interactie: Immersieve technologie biedt nieuwe manieren om computers te bedienen en met de digitale wereld om te gaan. Tot nu toe gebruikten we vooral het toetsenbord, de muis en een scherm. Nu kunnen we onze stem en bewegingen gaan gebruiken. De bediening wordt natuurlijker. Met VR-brillen dompelen we ons onder in virtuele werelden en via AR-brillen kunnen we virtuele monsters of kunstwerken in de fysieke wereld zien en aanraken. En zo worden we, vaak zonder dat we het doorhebben, dieper de digitale wereld ingetrokken en kunnen digitale toepassingen ons nog sterker beïnvloeden. Ja, we kunnen makkelijk met een spraakassistent praten, maar die spraakassistent kan ons ook beïnvloeden, onze vriend worden en ons zelfs verslaven. Uiteindelijk dient de spraakassistent ook de belangen van degene die de assistent heeft gemaakt. Dus tot hoever willen we ons eigenlijk laten onderdompelen?

De opkomst van immersieve technologie vervaagt de grens tussen mensen en computer, tussen fysiek en digitaal en tussen nep en echt. Diverse publieke waarden zijn daardoor in het geding, waaronder privacy, autonomie, waarachtigheid en gezondheid. Daarom presenteert het Rathenau Instituut op basis van drie onderzoeksrapporten tien ontwerpeisen voor de digitale samenleving van morgen. Tien eisen die van overheden, bedrijven en burgers om urgente actie en dialoog vragen. Zodat immersieve technologie onze wereld rijker, en niet armer maakt.

Ontwerpeis 1. We willen de baas blijven over ons digitale lijf

Immersieve technologie verzamelt voortdurend gevoelige, intieme data, zoals een opname van onze stem, onze gebaren of ons gezicht. Dit levert tal van privacyrisico’s op. Onze stem en ons gezicht kunnen letterlijk gestolen worden en gebruikt worden om fraude te plegen of onze reputatie te beschadigen. Bovendien zullen we ons meer dan ooit bekeken voelen en ons gedrag daarop aanpassen. Weten we nog wie meekijkt of meeluistert, en wanneer? De bescherming van deze intieme gegevens is nog niet op orde. De overheid moet deze gegevens, met name biometrische gegevens, beter juridisch beschermen, zodat burgers meer regie krijgen over hun lichaams- en gedragsgegevens.

Ontwerpeis 2. We willen anoniem kunnen blijven

Het gebruik van spraak- en AR-technologie kan iemands anonimiteit in zowel publieke als private ruimtes bedreigen. De identiteit van toevallige voorbijgangers kan steeds accurater en op steeds grotere afstand worden achterhaald door hun gezicht, loopgedrag of stemgeluid te analyseren. Daarbij worden opnames vergeleken met databases die gevuld zijn met beeld- en audiomateriaal, dat veelal van het internet geschraapt wordt. Sommige opsporingsdiensten maken hier al gebruik van. Er zijn ook publiek toegankelijke apps waarmee je anderen kunt identificeren. Als we niet uitkijken, zijn er binnenkort tal van toepassingen beschikbaar waarmee bedrijven, overheden en burgers je anonimiteit zomaar kunnen opheffen. Dat is een onacceptabele inbreuk op de privacy van mensen, en op hun veiligheid. Toepassingen waarbij burgers in de publieke ruimte, op afstand, zijn te identificeren, moeten daarom worden verboden.

Ontwerpeis 3. We willen controle over onze virtuele identiteit

Via immersieve technologie geven we uitdrukking aan onze identiteit. Net zoals we in het fysieke domein kledingstukken of tatoeages gebruiken om ons te onderscheiden, kan dat ook in het virtuele domein. Avatars vertegenwoordigen ons in VR en met AR-veranderen we ons uiterlijk. Met sommige toepassingen kunnen we zelfs het uiterlijk van anderen aanpassen. Dat kan leiden tot zeer ongewenste en vernederende sociale situaties. Denk aan de DeepNude-app, die de kleding verwijdert uit afbeeldingen van vrouwen en hen er realistisch naakt uit laat zien. Het is daarom essentieel dat de overheid duidelijk maakt wat je wel en niet mag doen met de opname van een ander. Mensen verdienen bescherming tegen ongewenste digitale ingrepen op hun lichaam.

Ontwerpeis 4. We willen duidelijkheid over nieuwe digitale eigendomskwesties

Immersieve technologie roept ook nieuwe vragen op over ons eigendomsrecht – ten aanzien van onze eigendommen in zowel de virtuele als de fysieke wereld. Van wie is de data op sociale media precies? En van wie zijn de profielen die je daarop kan baseren? Van wie is een stemopname, een afbeelding, of informatie over onze oogopslag in VR? Is ons eigendom geschonden als iemand in AR een scheldwoord op onze muur schildert? De bestaande juridische kaders dienen daarom verhelderd en geactualiseerd te worden, met als uitgangspunt: wat offline geldt, geldt ook online.

Ontwerpeis 5. We willen leven in een inclusieve digitale wereld

Er wordt al langer gesproken over de uitdaging om onze digitale samenleving inclusief te maken, niet te discrimineren op basis van geslacht of huidskleur en geen stereotypes aan te moedigen. Deze uitdaging geldt nadrukkelijk voor de manier waarop immersieve technologie onze werkelijkheid aanpast. Zo is er al kritiek op VR-spellen en porno, die stereotypes aanmoedigen en steevast witte mannen in de hoofdrol verbeelden. Denk ook aan voice-toepassingen die vrouwen minder goed verstaan dan mannen, of een virtuele achtergrond die slechter werkt als iemand met een zwarte huidskleur in beeld komt. Bedrijven en ontwikkelaars moeten inclusie centraal stellen bij de ontwikkeling en het gebruik van hun toepassingen.

Ontwerpeis 6. We willen kunnen weten dat iets nep is

Immersieve technologie kan gebruikers flink verwarren. Zo dachten kinderen die in VR met orka’s hadden gezwommen, later dat ze dit écht hadden gedaan. Spraakassistenten spreken met levensechte stemmen. Weet je straks nog dat je een robot aan de lijn hebt? Omdat immersieve technologie steeds krachtigere simulaties produceren, wordt het op den duur lastig voor gebruikers om werkelijkheid en fictie van elkaar te scheiden. Met immersieve technologie kan de menselijke ervaring zo veranderen, dat we niet meer weten of we onze ogen en oren nog kunnen vertrouwen. Ontwikkelaars en bedrijven moeten daarom afspreken, dat gebruikers vooraf worden geïnformeerd als iets nep is, en niet voor de gek worden gehouden.

Ontwerpeis 7. We willen bescherming tegen manipulatie en beïnvloeding

Door middel van immersieve technologie kunnen mensen beïnvloed en gemanipuleerd worden. De intieme gegevens die verzameld worden, geven bedrijven tal van inzichten in iemands persoonlijkheid, gedrag en voorkeuren. Fysiek-virtuele ruimtes bieden ook nieuwe mogelijkheden voor gerichte reclames, die op een direct en onbewust niveau kunnen inspelen op iemands verlangens, voorkeuren en keuzes. Bedrijven, burgers en staten proberen de perceptie van burgers zo te sturen, dat ze bepaalde gedachtes toelaten of bepaalde keuzes maken. Denk aan de deep fakes, waarmee gebruikers elkaar op sociale media bestoken, en de complottheorieën die online rondgaan en gestut worden door gemanipuleerde audiofragmenten. Met immersieve technologie neemt propaganda nieuwe vormen aan. Je kunt andere mensen welbewust in een andere werkelijkheid laten geloven. Daarom is een samenlevingsbrede inzet nodig, met bijdragen van onafhankelijke journalistiek, investeringen in de mediavaardigheid van burgers en heldere afspraken over hoever beïnvloeding mag gaan.

Ontwerpeis 8. We willen dat onze gezondheid niet geschaad wordt

Immersieve technologie kan onze gezondheid verbeteren, maar ook schaden. De technologie kan mensen nieuwe vaardigheden bijbrengen, menselijke vaardigheden uitbreiden en leerprocessen versnellen en goedkoper maken. Maar therapieën met VR en AR zijn nog jong – er is nog onvoldoende kennis van de risico’s die gepaard gaan met het gebruik van de technologie, en van de langetermijneffecten. Van VR- en AR-toepassingen is bekend dat ze in extreme gevallen kunnen leiden tot verslaving. En met name AR-toepassingen blijken ook risico’s met zich mee te dragen ten aanzien van de fysieke veiligheid. Zo hebben spelers van het populaire mobiele spel Pokémon GO al meermaals (dodelijke) verkeersongelukken veroorzaakt. Er is meer onderzoek nodig naar negatieve effecten en bedrijven moeten meer doen om gebruikers ertegen te beschermen.

Ontwerpeis 9. We willen een digitale markt met eerlijke machtsverhoudingen

De afgelopen twintig jaar is een klein aantal technologiebedrijven uitgegroeid tot machtige commerciële giganten die de interneteconomie domineren. Dit geldt ook voor de markt voor AR, VR en spraaktechnologie. Denk aan de grote spraakassistenten Google Assistant en Amazon Alexa. Zo hebben ze grote macht ten opzichte van consumenten. Probeer als consument Google of Facebook maar eens tot de orde te roepen. Ze hebben ook macht ten opzichte van nieuwkomers op de markt, die ze vaak al snel opkopen. En hun marktmacht vertaalt zich uiteindelijk in politieke macht: de internationale giganten kunnen nationale overheden krachtig beïnvloeden en spelen met hun sociale media een sleutelrol in het politieke debat. Daarom moet de overheid effectiever tegenwicht bieden tegen de macht van de grote technologiebedrijven. En bedrijven moeten meer verantwoordelijkheid nemen om de rechten van consumenten te beschermen.

Ontwerpeis 10. We willen dat publieke ruimtes publiek blijven

Immersieve technologie zet het gemeenschappelijke karakter van de publieke ruimte onder druk. Ten eerste omdat mensen de mogelijkheid krijgen om publieke ruimtes via een persoonlijke digitale bril te bekijken.  Dat ondergraaft de sociale cohesie en versterkt de maatschappelijke fragmentatie die nu al te zien is. Ten tweede kunnen commerciële AR-ontwikkelaars zoveel virtuele lagen en toepassingen op een publieke ruimte loslaten, dat het niet meer een plek voor iedereen is. Denk aan een strand dat in Pokémon Go zoveel Pokémons toebedeeld kreeg, dat het overspoeld werd door Pokémonfans. Voor digitale uitingen in publieke ruimtes moeten heldere regels gelden, zodat de gemeenschappelijkheid bewaard blijft. Dat vraagt om het ontwikkelen van een nieuwe sociale etiquette: hoe gaan we fatsoenlijk met elkaar om in deze nieuwe wereld?

Het uitvoeren van deze tien ontwerpeisen is hard nodig om de koers van de digitale samenleving bij te sturen. Maar het is nog maar het begin. Daarom eindigen we met een oproep aan de burger: laat je horen en spreek uit wat jij nodig hebt in de digitale wereld van morgen. We moeten ons digitale lot niet uit handen geven. We moeten als democratische burgers onze digitale toekomst zelf bepalen.

Meer weten? Op 24 oktober host het Rathenau Instituut een talkshow over immersieve technologie tijdens de Dutch Design Week. Op 26 november vindt Rathenau Live plaats en gaan we online samen ontdekken hoe immersieve technologie ons en onze leefwereld verandert. De gerelateerde onderzoeksrapporten staan onderaan op deze pagina.