calendar tag arrow download print
Doorgaan naar inhoud

Digitale dreigingen voor de democratie

Rapport
13 oktober 2020
Over nieuwe technologie en desinformatie

Foto: Shutterstock

Image
Over nieuwe technologie en desinformatie
Tot voor kort kon Nederland zich koesteren met de gedachte dat desinformatie de afgelopen jaren geen grote impact op de samenleving heeft gehad. De hausse aan misleidende berichten die verspreid zijn rond de uitbraak van het coronavirus laat evenwel zien dat ook de Nederlandse samenleving hiervoor niet ongevoelig is. Tegelijkertijd is het nog te vroeg om een definitief oordeel te vellen over de betekenis hiervan voor de weerbaarheid van de Nederlandse samenleving tegen desinformatie.

De snelle technologische ontwikkelingen op het gebied van IT zouden het beeld echter op afzienbare termijn kunnen doen kantelen. Dit rapport, dat we schreven op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties en dat past bij het thema Digitale Samenleving uit ons Werkprogramma, geeft een breed overzicht van de technologische ontwikkelingen die de komende jaren een rol kunnen gaan spelen bij de productie en verspreiding van desinformatie.

Downloads

Downloads

Samenvatting

Het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft het Rathenau Instituut verzocht onderzoek te doen naar de impact van technologische ontwikkelingen op de productie en verspreiding van desinformatie en naar maatregelen die kunnen worden getroffen om de mogelijke negatieve effecten daarvan te beperken. Het gaat hierbij vooral om desinformatie die gericht is op verstoring van het publieke debat en het democratisch proces. Het onderzoek vloeit voort uit de actielijnen die minister Ollongren in haar brief van 18 oktober 2019 aan de Tweede Kamer aankondigde, als onderdeel van de beleidsinzet van de regering ter bescherming van de Nederlandse samenleving tegen desinformatie.

In het onderzoek staan de volgende vragen centraal:

  • Wat is de impact van technologische ontwikkelingen op de productie en verspreiding van desinformatie?
  • Welke maatregelen worden reeds genomen om de bedreigingen die daarvan uitgaan voor het publieke debat en het democratisch proces, te beperken?
  • Welke nieuwe maatregelen kunnen worden ontwikkeld om die bedreigingen het hoofd te bieden, met inachtneming van de vrijheid van meningsuiting en de persvrijheid?
  • Welke actoren hebben daarbij een rol?

Aanpak
Voor het onderzoek is literatuurstudie verricht, zijn interviews gehouden met deskundigen en zijn twee casestudies uitgevoerd. De casestudies betreffen belangrijke technologische ontwikkelingen op het gebied van de productie en verspreiding van desinformatie: deepfakes en psychographing. De tussenresultaten van het onderzoek zijn besproken in een online bijeenkomst met deskundigen. Dit rapport beschrijft de resultaten van het onderzoek.

De onderzochte technologische ontwikkelingen hebben alle een digitale component. De ontwikkelingen betreffen zowel huidige als in de komende jaren te verwachten ontwikkelingen. Daarbij is een tijdshorizon van vijf jaar gehanteerd. Geen van de in dit onderzoek beschreven technologieën kan als ‘geheel nieuw’ worden beschouwd. Wel brengen we in beeld hoe technologische innovaties die reeds in ontwikkeling zijn of zich beginnen af te tekenen, verder vorm kunnen krijgen, en welke impact deze innovaties kunnen hebben op de productie en verspreiding van desinformatie.

Desinformatie
In dit onderzoek sluiten we aan bij de omschrijving van desinformatie die de minister van Binnenlandse Zaken en Koninkrijksrelaties in haar eerder genoemde brief geeft: ‘het doelbewust, veelal heimelijk, verspreiden van misleidende informatie, met het doel om schade toe te brengen aan het publieke debat, democratische processen, de open economie of nationale veiligheid’. Daarbij plaatsen we de kanttekening dat dit onderzoek zich primair richt op desinformatie die leidt tot schade aan of verstoring van het publieke debat en het democratisch proces. Daarbij kan bijvoorbeeld worden gedacht aan het aanwakkeren van maatschappelijke tegenstellingen of het voeden van wantrouwen in politieke instituties.

Uit eerder onderzoek blijkt dat in Nederland vooralsnog geen grote impact van desinformatie op de samenleving zichtbaar is. De meeste voorbeelden van desinformatie in dit onderzoek zijn dan ook afkomstig uit andere landen. Die voorbeelden bieden ook zicht op wat Nederland de komende jaren mogelijk te wachten staat op het gebied van desinformatie.

Het onderzoek bestaat uit drie delen, met elk een eigen karakter: een quickscan met een overzicht van technologische ontwikkelingen; twee verdiepende casestudies; en een vooruitblik met mogelijk te nemen, nieuwe maatregelen.

Quickscan en casestudies

Deel I: Quickscan

De quickscan geeft een overzicht van technologische ontwikkelingen die de komende jaren een rol kunnen gaan spelen bij de productie en verspreiding van desinformatie. Ook wordt een beknopt overzicht gegeven van bestaande maatregelen die de negatieve effecten van desinformatie moeten tegengaan. In de quickscan maken we onderscheid tussen algemene technologieën, productietechnologieën en verspreidingstechnologieën.

Algemene technologieën

  • Databasetechnologie: op grote schaal verzamelen en analyseren van (persoons)gegevens;
  • Kunstmatige intelligentie: zelflerende algoritmes en systemen.

Technologieën waarmee desinformatie kan worden geproduceerd

  • Tekstsynthese: algoritmes die leesbare en logische (nieuws)berichten genereren;
  • Voice cloning: manipulatie van spraakberichten met behulp van kunstmatige intelligentie;
  • Beeldsynthese en deepfakes: genereren en aanpassen van video’s met behulp van kunstmatige intelligentie;
  • Augmented en virtual reality en avatars: presenteren van informatie in een virtuele omgeving;
  • Memes: afbeeldingen ontworpen om op grote schaal te worden gedeeld op sociale media.

Technologieën waarmee desinformatie kan worden verspreid

  • Socialemediaplatforms: onlineplatforms zoals Facebook, Twitter en TikTok, waarbij aanbevelingsalgoritmes berichten selecteren;
  • Micro-targeting: specifieke doelgroepen met een op hen afgestemde boodschap bereiken (met behulp van campagnesoftware, dynamic prospecting, programatic advertising, psychographing en influencer marketing);
  • Chatapps: berichten (versleuteld) uitwisselen, een-op-een of in kleine groepen; Bots: (deels) automatisch aangestuurde accounts op sociale media;
  • Zoekmachines: platforms die het internet doorzoekbaar maken;
  • Spraakassistenten: spraakgestuurde apparaten waarmee onder andere zoekmachines worden geraadpleegd;
  • Distributed autonomous applications: online platforms zonder centrale aansturing;
  • Games: online spellen;
  • Crossmediale storytelling: bereiken van een specifieke persoon of doelgroep via diverse kanalen en apparaten.

Deel II: Casestudies

Voortbouwend op de quickscan zijn twee casestudies uitgewerkt waarmee een meer samenhangend beeld wordt geschetst van hoe technologische ontwikkelingen op het gebied van desinformatie de komende jaren zouden kunnen uitpakken en welke impact ze op het publieke debat en het democratisch proces kunnen hebben. De casestudies gaan over deepfakes en psychographing.

Deepfakes
Kunstmatige intelligentie kan worden ingezet voor de bewerking van audiovisueel materiaal. Daarmee kunnen gemanipuleerde video’s – deepfakes – worden gemaakt die voor mensen lastig van echt zijn te onderscheiden. Zo kunnen met face swaps gezichten worden verwisseld of kan met digital puppetry een kunstmatig hoofd of lichaam worden gegenereerd. Met deepfakes kan bijvoorbeeld de indruk worden gewekt dat een bepaalde persoon een bepaalde uitspraak heeft gedaan, wat het publieke debat kan schaden.

Het valt te verwachten dat deepfakes door verdere technologische innovatie steeds moeilijker te onderscheiden zullen zijn van authentieke, niet-gemanipuleerde beelden. Ook zullen steeds geavanceerdere deepfake-technieken in eenvoudig te gebruiken apps en gadgets op de markt worden gebracht. Het gebruik van deepfakes zal dan ook steeds normaler worden. Gezien het groeiende belang van beeld op internet, kan dat de geloofwaardigheid aantasten van beeldmateriaal dat afkomstig is van gevestigde nieuwsmedia.

In reactie op de toenemende mogelijkheden van platformbedrijven om deepfakes te detecteren, kunnen producenten en verspreiders van deepfakes uitwijken naar niet-gemodereerde, besloten kanalen.

Psychographing
Psychographing is een geavanceerde vorm van micro-targeting. Het is een advertentietechnologie die kan worden ingezet om berichten geautomatiseerd af te stemmen op de persoonlijkheidskenmerken van een doelgroep. De gedachte erachter is dat mensen kunnen worden beïnvloed door hen informatie voor te schotelen die is afgestemd op hun psychologische kenmerken. Internetgebruikers zouden hiermee op grote schaal kunnen worden misleid of gemanipuleerd.

De casestudie schetst een scenario waarin een groepering zich ten doel stelt om het publieke debat met behulp van psychographing te beïnvloeden. Door in te spelen op maatschappelijk gevoelige kwesties beoogt de groepering maatschappelijke tegenstellingen aan te wakkeren en het vertrouwen van burgers in gevestigde instituties te ondermijnen. Om maximaal onrust te veroorzaken, kunnen de berichten worden verspreid via niet-publieke kanalen, zoals privégroepen op Facebook of Telegram. Daar is de kans immers klein dat de berichten worden tegengesproken, wat het effect van de desinformatiecampagne vergroot.

Vooruitblik

In het rapport zijn een aantal maatregelen besproken die kunnen worden genomen om de dreigingen voor het publieke debat en het democratisch proces, die uitgaan van nieuwe technologisch ontwikkelingen op het gebied van desinformatie, het hoofd te bieden. Daarvoor lijkt meer nodig dan de huidige maatregelen die worden getroffen tegen de productie en verspreiding van desinformatie. Zo zouden de nieuwe kansen kunnen worden benut die technologische ontwikkelingen bieden om desinformatie te bestrijden. Tegelijkertijd liggen veel van de door ons geopperde maatregelen in het verlengde van de bestaande maatregelen of daaraan ten grondslag liggende uitgangspunten.

In de vooruitblik beschrijven we welke nieuwe maatregelen kunnen worden genomen om de belangrijkste door technologie gedreven dreigingen voor het publieke debat en het democratisch proces tegen te gaan.

Maatregelen tegen deepfakes


Investeren in detectie van deepfakes
Platformbedrijven kunnen investeren in een actief detectiebeleid gericht op de bestrijding van deepfakes. Dat is nodig om mee te kunnen komen in de wedloop die mogelijk ontstaat tussen producenten en verspreiders van steeds geavanceerdere deepfakes aan de ene kant en de detectie daarvan door platformbedrijven aan de andere kant.

Instellen van een meldpunt tegen kwaadaardige beeldmanipulatie
Platformbedrijven als SnapChat, Instagram en TikTok, waar deepfakes steeds normaler worden, kunnen een meldpunt instellen waar gebruikers (vermoedelijk) kwaadaardige beeldmanipulatie kunnen rapporteren.

Waarmerken van beeldmateriaal en overige berichten
Het digitaal waarmerken van beeldmateriaal en overige berichten stelt internetgebruikers in staat na te gaan of materiaal afkomstig is van een in hun ogen betrouwbare informatiebron. Dat vereist een betrouwbaar systeem om digitale waarmerken te registreren. De overheid en de grote technologiebedrijven kunnen hierin vooropgaan.

Inperken mogelijkheden van micro-targeting


Monitoren van gebruik advertentietechnologie
Platformbedrijven kunnen monitoringsmogelijkheden inbouwen in hun diensten om misbruik van door hen geleverde advertentietechnologie tegen te gaan.

Technische mogelijkheden advertentietechnologie inperken
Platformbedrijven kunnen adverteerders restricties opleggen bij hun doelgroepselectie, en monitoren op een verantwoord gebruik van door hen aangeboden advertentietechnologie.

Internetgebruikers transparantie bieden
Platformbedrijven kunnen internetgebruikers meer inzicht geven in het gebruik dat adverteerders maken van advertentieprofielen.

Maatregelen tegen schadelijke effecten aanbevelingsalgoritmes


Inbouwen reflectiemoment in platformdiensten
Aanbevelingsalgoritmes van platformbedrijven versterken veelal de sociale en politieke voorkeuren van gebruikers en – in het verlengde daarvan – maatschappelijke tegenstellingen. Om de schadelijke effecten daarvan tegen te gaan, kunnen platformbedrijven een reflectiemoment inbouwen in het gebruik van hun diensten. Gebruikers worden hierdoor gestimuleerd om (des)informatie minder impulsief te delen.

Transparantie bieden over aanbevelingsalgoritmes
Om de schadelijke effecten van aanbevelingsalgoritmes tegen te gaan, kunnen platformbedrijven transparantie bieden over de werking van de algoritmes. Om te beginnen door wetenschappelijke onderzoekers daar toegang tot te geven.

Waarschuwingssysteem voor besloten en versleutelde kanalen

Om verspreiding van desinformatie op besloten en versleutelde kanalen tegen te gaan, kan een onafhankelijk waarschuwingssysteem worden ingesteld dat desinformatiecampagnes rondom gevoelige maatschappelijke kwesties signaleert, en daarvoor waarschuwt. De overheid en de platformbedrijven kunnen dit waarschuwingssysteem faciliteren.

Verdienmodel platformbedrijven kritisch tegen het licht houden
Maatregelen als het beperken van het gebruik van advertentietechnologie of het bieden van transparantie over de werking van aanbevelingsalgoritmes, kunnen op gespannen voet staan met het verdienmodel van platformbedrijven. Die kunnen dan ook weinig genegen zijn om deze maatregelen te treffen. In dat geval kan de overheid overgaan tot verdergaande maatregelen, zoals het afdwingen van meer transparantie over het gebruik van aanbevelingsalgoritmes, of het kritisch tegen het licht houden van het verdienmodel van de platformbedrijven.

Investeren in factchecken blijft van belang
Omdat factchecken van belang is om houvast te bieden aan internetgebruikers die op zoek zijn naar betrouwbare informatie, kunnen de overheid en platformbedrijven (blijven) investeren in faciliteiten voor factcheckers.

Investeren in mediawijsheid blijft van belang
Technologische maatregelen en strengere regulering van platformbedrijven kunnen de productie en verspreiding van desinformatie terugdringen. Maar er zullen altijd vrijplaatsen blijven bestaan op het internet, waardoor internetgebruikers geconfronteerd zullen blijven worden met desinformatie. De overheid moet dan ook blijven investeren in mediawijsheid.

Slotsom: platformbedrijven primair verantwoordelijk, maar overheid kan ingrijpen

Voor veel van de genoemde maatregelen ligt de verantwoordelijkheid voor de bestrijding van desinformatie primair bij de platformbedrijven. Maar gezien het publieke belang dat gemoeid is bij het tegengaan van de schadelijke effecten van desinformatie, kan de overheid ertoe besluiten op te treden als platformbedrijven hun verantwoordelijkheid onvoldoende nemen. De overheid kan bijvoorbeeld aandringen op een actief detectiebeleid gericht op het tegengaan van deepfakes, of op monitoring van een onverantwoord gebruik door adverteerders van de mogelijkheden van micro-targeting.

En als aandringen niet helpt, zouden maatregelen kunnen worden afgedwongen. Die maatregelen kunnen ook ten koste gaan van het verdienmodel van platformbedrijven. Of de overheid daartoe moet overgaan, zal mede afhangen van de ernst van de dreigingen voor het publieke debat en het democratisch proces die uitgaan van bijvoorbeeld de polariserende werking van aanbevelingsalgoritmes of door platformbedrijven gefaciliteerde desinformatiecampagnes van adverteerders. Om voldoende gewicht in de schaal te leggen, ligt het voor de hand om dwingende maatregelen binnen EU-verband te nemen.