calendar tag arrow download print
Image
artikel
23 februari 2017

Regel het digitale mensenpark beter

Kiembaanmodificatie Persuasieve technologie Ethiek IT
Dit essay stelt dat de huidige mens, vaak ongemerkt, elektronisch geteeld en getemd wordt. De afgelopen jaren is er wereldwijd een lappendeken aan regels ontwikkeld om opkomende technologieën die zo veel invloed op ons lichaam en gedrag hebben, in goede banen te leiden. De vraag is of alle regels ons wel voldoende beschermen.

Dit artikel is gebaseerd op het essay ‘Regels voor het digitale mensenpark’

Ons DNA redigeren om erfelijke ziekten uit te bannen, lijkt dichtbij. Sturen op basis van digitale profielen gebeurt al op grote schaal. Maar is het wel verantwoord om het menselijk genoom te wijzigen? En hebben we zelf eigenlijk wel iets te zeggen over de manier waarop informatietechnologie ons gedrag beïnvloedt? De uitdaging voor politiek en samenleving is hoe we menselijke waardigheid en autonomie kunnen beschermen. Deze longread verkent de ethiek van het digitale mensenpark, waarin de mens steeds meer door technologie wordt geteeld en getemd. Met twee technologieën als uitgangspunt: kiembaanmodificatie en persuasieve technologie.

Tot voor kort was technologie vooral gereedschap om onze omgeving te beheersen en te veranderen. Moderne technologieën richten zich echter op grote schaal op ons. Dit inspireerde de filosoof Peter Sloterdijk in 1999 tot zijn, indertijd in Duitsland, omstreden lezing ‘Regels voor het mensenpark’. In deze rede  schetst hij de geschiedenis van de mens als een voortdurende strijd tussen de wildheid, het beest in ons en de noodzaak om dat beest te temmen. Al vanaf de landbouwrevolutie, die zo’n 10.000 jaar geleden begon, domesticeert de mens dieren door ze te temmen en te telen. Al snel pikte men dieren met gewenste eigenschappen eruit om selectief mee verder te kruisen. Honden werden bijvoorbeeld gefokt voor de jacht of als waakhond.

Designer-baby

Wat bij dieren kan, kan ook bij mensen. Nu al zijn er genetische technieken beschikbaar, zoals pre-implantatie diagnostiek en de tripeltest om te voorkomen dat kinderen met een bepaalde genetische afwijking worden geboren. Straks kunnen we genetische eigenschappen redigeren met technieken als CRISPR-Cas 9. Niet alleen om genetische defecten te repareren, zoals bijvoorbeeld de spierziekte van Duchenne, maar ook om nakomelingen te ontwerpen met gewenste eigenschappen. Designer-baby’s, die als volwassenen die eigenschappen ook weer doorgeven aan hun nakomelingen.

Indertijd kende Sloterdijk de technieken voor het redigeren van erfelijk materiaal nog niet. Wel realiseerde hij zich dat biotechnologie kunstmatige selectie mogelijk maakt, door nakomelingen met een genetisch defect niet geboren te laten worden. In zijn rede pleitte hij daarom voor het ontwikkelen van een morele code voor het mensenpark. Op basis van die code zouden we volgens hem een grens moeten trekken. Daarmee kunnen we onder meer voorkomen dat mensen worden buitengesloten op grond van hun genetische aanleg.

Cybernetische kringloop

Het gericht telen van mensen is niet alleen een kwestie van techniek en vaardigheid, maar ook van het verzamelen en verwerken van grote hoeveelheden data: het in kaart brengen van DNA. In wezen hebben we hier te maken met een cybernetische kringloop voor het biologische systeem mens.

Dergelijke cybernetische loops spelen ook een rol in informatietechnologie. Via digitale apparaten, zoals smartphones, laptops, maar ook via camera’s, betaalautomaten en weglussen worden enorme hoeveelheden data verzameld. Lerende algoritmen analyseren patronen in die tsunami aan data en op basis daarvan doen ze voorspellingen over iemands attitude en gedrag.

Nog een stap verder is dat die algoritmen de attitude en het gedrag van mensen proberen te beïnvloeden, de laatste stap in de cybernetische kringloop. Google, Amazon en Facebook doen dat al. We hebben hier te maken met de volgende fase in het temmen van mensen: digitale apparaten en systemen die op basis van profilering ons denken en gedrag proberen te beïnvloeden, bijvoorbeeld om de verkeersveiligheid te bevorderen.

Voortbouwend op Sloterdijk zou je kunnen zeggen dat we nu inmiddels in een digitaal mensenpark leven. Een mensenpark waarin informatietechnologie wordt ingezet om mensen verder te domesticeren. Wij worden getemd door persuasieve technologie en geteeld door het manipuleren van erfelijke eigenschappen. De vraag is welke regels er nodig zijn om te komen tot een humaan digitaal mensenpark. Alvorens daarop in te gaan, gaan we op zoek naar bouwstenen voor een morele code waarop die regels gebaseerd kunnen worden. Dat doen we aan de hand van de ethische discussie rondom achtereenvolgens kiembaanmodificatie en persuasieve technologie.

Kiembaanmodificatie: van lezen naar herschrijven

Halverwege april 2015 publiceerde de Chinese onderzoeker Junjiu Huang en collega’s van de Sun Yat Sen universiteit in Guangzhou de resultaten van een poging om het menselijk genoom te herschrijven. Ze hadden de techniek van CRISPR-Cas9 gebruikt om te kijken of ze in een menselijk embryo het gen van een bloedeiwit (HBB) konden redigeren. Het experiment mislukte, maar het drukte ons met de neus op het feit dat gericht veranderingen aanbrengen in het menselijk genoom geen science fiction meer is.

Met hun experiment gaven Huang en medewerkers nieuw voedsel aan het debat over het genetisch modificeren van mensen. Voorafgaand aan het Chinese onderzoek verschenen twee artikelen over kiembaanmodificatie, het vermogen om erfelijke eigenschappen van een individu én zijn of haar nakomelingen te veranderen.

Oproep tot moratorium

Het ene was van Edward Lanphier en collega's. Zij publiceerden in Nature een commentaar onder de kop ‘Don’t edit the human germ line.’

Daarin riepen ze op tot een moratorium op zowel het onderzoek als op klinische toepassingen van de technologie. Volgens hen is overerfbare genetische modificatie een heilloze weg vanwege de ernstige risico’s, die niet opwegen tegen de therapeutische voordelen.  Ze worden daarin bijgevallen door Francis Collins, directeur van de Amerikaanse National Institutes of Health, een belangrijk financier van medisch-biologisch onderzoek. Volgens hem wordt er met kiembaanmodificatie een grens bereikt die niet overschreden mag worden. Daarbij heeft hij oog voor de gevolgen voor toekomstige generaties. Zij worden opgezadeld met eigenschappen waar ze niet om gevraagd hebben. Volgens Collins is er onvoldoende rechtvaardiging voor het gebruik van CRISPR-Cas9 in embryo’s.

Het tweede artikel was van de hand van onder andere Nobelprijswinnaar David Baltimore en verscheen in Science. Hij bepleit om met  kiembaanmodificatie voorzichtig en verstandig voorwaarts te gaan. Klinische toepassing van de technologie is voor de auteurs nog een brug te ver – vooral ook omdat de technologie nog niet veilig genoeg is – maar het moet mogelijk zijn om onderzoek te doen naar technieken om het menselijk genoom te modificeren. Niet alleen in proefdieren, maar ook in menselijke embryo’s. Dat soort onderzoek is volgens hen essentieel om het debat te kunnen voeren over de vraag welke klinische toepassingen in de toekomst toegestaan mogen worden.

Hellend vlak

De opvattingen van Lanphier en Collins aan de ene en die van Baltimore en de Europese beroepsorganisaties aan de andere kant, vertegenwoordigen twee denkrichtingen in het debat over kiembaanmodificatie. Het ene is een categorisch nee vanwege de risico’s en het gebrek aan overtuigende toepassingen, maar ook vanwege het respect voor de menselijke waardigheid, inclusief de rechten en vrijheden van toekomstige generaties. En vanwege de risico’s van een hellend vlak met de ‘designer baby’ en de eugenetica - het uitsluiten van mensen die niet aan het ideaalbeeld voldoen - als afschrikwekkende toekomstbeelden.

De andere denkrichting is ‘ja, mits…’ vanwege de mogelijkheden die genetische modificeren van mensen biedt om erfelijke ziekten te bestrijden en mogelijk zelfs geheel uit te roeien. Voorzichtigheid is geboden, maar deze technologie maakt fundamenteel onderzoek mogelijk en kan op de lange termijn voor een aantal patiënten belangrijk worden om een gezond kind te krijgen, zoals ethicus Guido de Wert het formuleert in een interview in NRC van 22 oktober.

Twee waardensystemen

Die beide denkrichtingen komen grosso modo overeen met de twee waardensystemen, die Roberta Berry onderscheidt in haar boek ‘The ethics of genetic engineering’ en die al enkele decennia de discussie over genetische modificatie van mensen bepalen. In het ene waardensysteem staat de individuele keuzevrijheid centraal. Ethische kwesties en beleidsvragen worden beoordeeld in termen van kosten (risico’s) en baten voor het individu en verschillen niet wezenlijk van elke andere biomedische technologie. In het andere waardensysteem wordt veel meer rekening gehouden met wat er op het spel staat voor de gemeenschap en voor de mensheid. In deze visies schiet een oordeel louter op basis van kosten en baten voor het individu schromelijk tekort; wijzigen van het genoom van toekomstige generaties is iets dat de hele samenleving aangaat.

De spanning tussen een op het individu gerichte en een op het collectief gerichte moraliteit vertaalt zich in twee verschillende regimes voor biomedische regelgeving. Het eerste waardensysteem zien we terug in het huidige regime van medisch-ethische commissies en de eis van bewuste instemming (informed consent) die wordt gehanteerd bij biomedisch onderzoek. Uitgaande van het recht van ouders op reproductieve vrijheid is er, als voldaan is aan voorwaarden van veiligheid en toestemming van die ouders, in principe geen bezwaar tegen kiembaanmodificatie als daardoor het lijden van een (toekomstig) individu voorkomen wordt of verzacht.

Collectief erfgoed

Centrale elementen van het andere waardensysteem zien we terug in een aantal internationale verklaringen en conventies, zoals de door UNESCO opgestelde Universele Verklaring van het Menselijk Genoom en de Mensenrechten (1997) en het Europese Verdrag van Oviedo over de rechten van de mens en de biogeneeskunde.

Ze illustreren de zoektocht naar een transnationale ethiek, die is gebaseerd op de aanname dat onze genen, net als de maan en de oceaan, een gemeenschappelijk erfgoed van de mensheid zijn. Genetisch modificeren daarvan kan de eenheid en waardigheid van de mensheid op het spel zetten.

De commissie Bio-ethiek van UNESCO heeft dan ook gepleit voor een moratorium om de mogelijke gevolgen van kiembaanmodificatie voor mensenrechten en fundamentele vrijheden te overdenken. Het Europese Verdrag is nog restrictiever en stelt dat “interventies in het menselijk genoom alleen toelaatbaar zijn als er geen opzet is om veranderingen tot stand te brengen in het genoom van nakomelingen.”

Kader schiet tekort

Onder een medisch-ethisch regime lijkt de weg vrij te zijn voor klinisch gebruik van kiembaanmodificatie, mits veilig en effectief is. De techniek is er immers op gericht om lijden te verminderen en voldoet daarmee aan de eed van Hippocrates om wel te doen. Genetisch modificeren van mensen, ook al is het met de beste bedoelingen, raakt echter ook individuen van toekomstige generaties. De vragen die dat oproept passen niet binnen het medisch-ethisch kader zoals dat zich ontwikkeld heeft en dat gericht is op individuele keuzevrijheid. Het menselijk genoom is ook gemeenschappelijk erfgoed en die notie moet meewegen in de maatschappelijke discussie en politieke besluitvorming over kiembaanmodificatie.

Daarmee is niet gezegd dat kiembaanmodificatie een grens is die we niet moeten overschrijden. Wel dat we er als samenleving grondig over moeten discussiëren. De uitdaging voor bestuurders is om het debat zo te organiseren dat er een productieve balans wordt gevonden tussen die twee waardensystemen, zodat we regels kunnen ontwikkelen voor het veilig en verantwoord telen van mensen.

Persuasieve technologie: van verzamelen naar beïnvloeden

Natuurlijk zeggen we dat de baby prachtig is, ook al vinden we hem lelijk. Of dat de zelfgemaakte soep heerlijk is, terwijl die smaakt naar afwaswater. Die leugentjes om bestwil zijn smeerolie in het maatschappelijk verkeer en voorkomen vele ruzies, en gebroken vriendschappen. De vraag is hoe lang we er nog mee weg komen. Op basis van onze gezichtsuitdrukking zijn computers in staat om in 85 procent van de gevallen echte van onechte emoties te onderscheiden. Daarmee ondergraaft technologie onze autonomie, onze vrijheid om onze ‘echte’ emoties wel of niet te laten zien, schrijft Norberto Andrade in The Atlantic Monthly (2014).

Technologie kan zaken onthullen die we zelf liever verborgen houden. We worden als individu steeds transparanter. Dat beperkt zich niet tot het ontmaskeren van leugentjes om bestwil. Via on line tracking wordt ergens geregistreerd hoe vaak we welke pagina’s op internet bezoeken, hoe lang we daar blijven en hoe ver we scrollen en welke boeken we lezen. Slimme meters registreren ons energiegebruik en daarmee ook wanneer en hoe vaak we de was doen en hoe laat we naar bed gaan. Zelf leveren we ook een aardig inkijkje in onze persoonlijke voorkeuren en meningen door het plaatsen van emoji’s, berichten en foto’s op sociale media.

Via wearables, zoals activity trackers en mobiele telefoons delen we vrijwillig gegevens over wat we aan het doen zijn, met wie en waar. Maar veel van onze gedragingen worden ook onvrijwillig vastgelegd onder meer via camera’s, microfoons, OV-scanners en pinautomaten.  Dat gebeurt niet voor niets. Surveillance-technologieën worden gelegitimeerd door de strijd tegen criminaliteit en terrorisme, maar ook voor het in goede banen leiden van mensenstromen, zoals bezoekers van een popconcert of voetbalwedstrijd. Naast deze publieke functie heeft het routinematig volgen van consumenten een commercieel-economische functie. Het is efficiënt voor bedrijven en gemakkelijk voor de klant.

Profielen

De andere kant van het verhaal is dat bedrijven en overheden niet alleen gegevens verzamelen, maar ze ook analyseren. De resultaten van die analyse worden gebruikt om iemands voorkeuren en gedrag te beïnvloeden. Centraal in deze cybernetische kringloop staan profielen, die worden opgesteld op basis van vele tienduizenden gegevens van burgers/consumenten. Jouw gegevens worden vergeleken met gegevens uit andere bronnen en van andere individuen. In dat verband stelt de Franse filosoof Deleuze (1992) dat we van individuen – letterlijk niet deelbare eenheden – dividuen zijn geworden die eindeloos digitaal gedeeld en herverdeeld kunnen worden.

Domesticatie van de mens

De cybernetische kringloop wordt gesloten door je een digitaal stempel op te plakken - een profiel - op basis waarvan slimme algoritmen proberen om je attitude en gedrag te voorspellen en te beïnvloeden. Deze persuasieve technologie maakt veelvuldig gebruik van nudging, beïnvloeding via het onderbewuste. In wezen is internet een groot psychologisch laboratorium, waarin via het testen van miljoenen bezoekers wordt vastgesteld welke keuzes we maken en waarom.

Op basis daarvan passen ‘apps’ zich automatisch aan om ons zo lang mogelijk aan die apps gekluisterd te houden, waardoor de kans groter wordt dat we op advertenties klikken en uiteindelijk besluiten om spullen of ideeën kopen.

Ondoorzichtige algoritmen

Terwijl wijzelf als individu steeds transparanter worden, worden de berekeningen en analyses die ten grondslag liggen aan onze profilering en hoe we beïnvloed worden steeds ondoorzichtiger. Wie is er nog in staat om de redeneerpatronen van slimme systemen te controleren en eventueel te corrigeren? Inmiddels zijn er legio voorbeelden van mensen die ten onrechte werden verdacht van het voorbereiden van terroristische activiteiten of die geen lening kunnen krijgen omdat het automatisch systeem voor kredietbeoordeling daarover ten onrechte negatief heeft geoordeeld. Hoewel een algoritme een schijnbaar objectieve score levert, zijn de systemen nooit neutraal en bevatten ze vaak ernstige vooroordelen.

De ondoorzichtigheid waarmee automatische systemen beslissingen nemen en ons gedrag proberen te beïnvloeden, vormt een serieuze bedreiging voor onze autonomie. Omdat we niet weten wat voor stempel (profiel) op ons is gedrukt, kunnen we ook niet weten op welke manier we beïnvloed worden. Dat kan betekenen dat we via persuasieve technieken een kant op worden gestuurd, die we anders niet gekozen zouden hebben of waarvan we ons niet bewust zijn.

Individu versus collectief

De exponentiële groei van digitale gegevens en het gebruik daarvan leidt tot stevige debatten over de vraag hoe we daarmee om moeten gaan. Ook hierbij zien we, net als in de discussie over kiembaanmodificatie, een spanning tussen individuele en collectieve belangen. Aan de ene zijde gaat het om individuele vrijheid en autonomie; het recht om met rust gelaten te worden. En aan de andere kant om  het belang van gegevens voor de economie, veiligheid tegen terroristische aanslagen, maar bijvoorbeeld ook de verkeersveiligheid.

In de loop der jaren zijn er legio verdragen, conventies, wetten en regels opgesteld om de privacy te beschermen. Vanuit mensenrechtenperspectief lag de nadruk daarbij op het beschermen van de persoonlijke levenssfeer. Toen in de jaren tachtig persoonsgegevens steeds belangrijker werden voor economische ontwikkeling, werd privacywetgeving een manier om  via adequate gegevensbescherming  het vrije verkeer van informatie en daarmee internationale handel mogelijk te maken.

Controle niet mogelijk

De vraag is of de huidige reguleringskaders wel voldoende in staat zijn om het recht om met rust gelaten te worden, veilig te stellen. Zo worden we als individu steeds transparanter en wordt het vrijwel onmogelijk om je persoonlijke gegevens nog te controleren. Zelfs als je geen gebruik maakt van sociale media en internet links laat liggen, worden er gegevens over je verzameld, hetzij via berichten van vrienden en kennissen, hetzij via de pinautomaat of de OV-scanner. Daar komt bij dat bedrijven en platforms die gegevens verzamelen vaak internationaal opereren, zodat er weinig mogelijkheden zijn om de privacy-regels ook daadwerkelijk te handhaven.

Tegelijkertijd maken niet alleen overheden, maar ook bedrijven en burgers steeds meer gebruik van technieken om ons in de gaten te houden. Dat gaat ver. In het Eindhovense uitgaanscentrum Stratums Eind bijvoorbeeld registreren camera’s en geluidsmeters afwijkend gedrag van individuen en groepen en worden sociale media in de gaten gehouden om indien nodig in te kunnen grijpen. Elders wordt gebruik gemaakt van camera’s met gezichtsherkenning, terwijl er ook al camera’s zijn die emoties herkennen, waarmee de politie kan anticiperen op eventuele ordeverstoringen. De afweging tussen enerzijds openbare orde en veiligheid en anderzijds de bescherming van de persoonlijke levenssfeer vormt een grote sociaal-culturele, politieke en juridische uitdaging.

Meer dan persoonsgegevens

Een nog fundamenteler uitdaging voor onze privacy en autonomie is de opkomst van automatische systemen voor profilering en beïnvloeding van ons gedrag. Hierbij versmelten de offline en de online wereld tot een zogeheten onlife wereld, die ons uitdaagt om verder te denken dan de huidige ideeën over gegevensbescherming. Profilering bijvoorbeeld vindt plaats op het niveau van groepen en kan daarom leiden tot discriminatie en uitsluiting. Het gebruiken van persuasieve technologie om via het onderbewuste ons gedrag te beïnvloeden, kan onze autonomie en keuzevrijheid aantasten, zonder dat we dat zelf in de gaten hebben. Dat dwingt ons om verder te kijken dan bescherming van persoonsgegevens en een morele code te ontwikkelen voor het gebruik van deze nieuwe digitale mogelijkheden om mensen te temmen.

Betere regels voor het digitale mensenpark

De afgelopen halve eeuw is het debat over telen en temmen van mensen via respectievelijk genetische modificatie en informatietechnologie meer en minder heftig gevoerd. Dit leidde tot een wereldwijde lappendeken aan beleid en regelgeving. In sommige landen is bijvoorbeeld het experimenteren met menselijke embryo’s of het klonen van dieren verboden, terwijl andere landen daar juist voordeel uit willen halen.

Er zijn dus wel regels voor het digitale mensenpark, maar ze  doen niet voldoende recht meer aan de complexe maatschappelijke en ethische vraagstukken, waarmee de nieuwe technische mogelijkheden voor het temmen en telen van mensen ons confronteren. Daarom moeten we ons het advies van Sloterdijk ter harte nemen en verder na gaan denken en debatteren over de morele codes voor het digitale mensenpark. De twee cases die hiervoor besproken zijn laten zien dat het bij het ontwikkelen van een morele code steeds gaat om het vinden van de balans tussen individuele en collectieve waarden.

Bij kiembaanmodificatie domineren tot nu toe de volgende waarden: het menselijk genoom als gemeenschappelijk erfgoed, het recht van het ongeboren kind op een open toekomst en het vermijden van commercialisering van het genoom. De laatste paar jaar zien we echter een kentering. Zo pleiten Europese organisaties van genetici en embryologen voor het opheffen van het verbod op kiembaanmodificatie en de mogelijkheid om menselijke embryo’s te kweken voor wetenschappelijk onderzoek met als uiteindelijk doel het uitbannen van erfelijke ziekten.

Op het gebied van informatietechnologie en privacy staat het mensenrecht om met rust gelaten te worden sterk onder druk. De laatste tien jaar zien we de opkomst van ondoorzichtige systemen – algoritmen - die niet alleen gegevens verzamelen en opslaan, maar die gegevens ook gebruiken om profielen te ontwikkelen en via persuasieve technologie onze attitude en ons gedrag te beïnvloeden. Die systemen tasten de autonomie, de keuzevrijheid en de menselijke waardigheid aan en dwingen ons om verder te denken dan regels voor de bescherming van persoonsgegevens.

Regel het digitale mensenpark beter

Ontwikkelingen op het terrein van kiembaanmodificatie en persuasieve technologielaten zien dat we een nieuwe fase in de domesticatie van de mens zijn ingegaan. De uitdaging voor politiek en samenleving is hoe we de menselijke waardigheid en autonomie kunnen beschermen in het digitale mensenpark. De huidige regels zijn daarvoor niet meer voldoende. Wij, de mensen van het digitale mensenpark, verdienen betere regels.