Killer robots. Waarom internationale afspraken nodig zijn

Een robot voorzien van een machinegeweer en een granaatwerper bewaakt de grenszone tussen Noord-Korea en Zuid-Korea. Het apparaat kan zonder menselijke interventie zelfstandig indringers in de gedemilitariseerde zone doden.

Mensen houden nu nog de supervisie over deze robots en nemen de finale beslissing om al dan niet te schieten. Nu nog opereert dit wapentuig binnen de handelingsruimte die mensen het hebben gegeven. Maar de Koreaanse robots geven een voorproefje van een toekomst waarin intelligente wapens in staat zijn op eigen houtje doelwitten vast te stellen en uit te schakelen.

Grootmachten als de Verenigde Staten, Rusland en China ontwikkelen zogeheten Lethal Autonomous Weapons Systems (LAWS). De Amerikaanse generaal Jack Shanahan, tot voor kort leider van het Joint Artificial Intelligence Center van het Ministerie van Defensie, stelt dat we een tijdperk van geautomatiseerde oorlogsvoering tegemoet gaan, waarin algoritme tegen algoritme vecht en autonome wapens het strijdtoneel domineren.

Zo ver is het nog niet. Maar de ontwikkelingen gaan razendsnel. Er verschijnen in hoog tempo wapensystemen die nog niet volledig, maar wel al in hoge mate autonoom zijn. Op dit moment test de Amerikaanse marine de Sea Hunter, een onbemand schip dat zoekt naar vijandelijke doelwitten op zee. China ontwikkelt met de JARI, een varende killer robot, zijn antwoord op de Sea Hunter. Rusland denkt in de nabije toekomst menselijke soldaten te kunnen vervangen door een zwerm van robotsoldaten.

De secretaris-generaal van de Verenigde Naties António Guterres oordeelt dat killer robots ‘politiek onacceptabel en moreel verwerpelijk’ zijn. Zijn hoofdargument: de menselijke verantwoordelijkheid voor beslissingen om wapensystemen te gebruiken moet behouden blijven, aangezien we de noodzaak om rekenschap af te leggen niet aan machines kunnen overdragen.

Ten grondslag aan deze visie ligt het idee dat alleen mensen ethische afwegingen kunnen maken. Alleen mensen kunnen beoordelen of de inzet van wapensystemen voldoet aan in het oorlogsrecht vastgelegde principes, waarvan de belangrijkste twee zijn:

1. Proportionaliteit. Het gebruikte geweld moet in verhouding staan tot het bereikte voordeel. Burgerslachtoffers zijn aanvaardbaar als bijkomende schade, wanneer dit in verhouding staat tot het militaire voordeel.
    
2. Onderscheid. Bij de keuze van een doel moet een onderscheid gemaakt worden tussen strijders en niet-strijders en tussen militaire doelen en burgerdoelen.

Er zijn wetenschappers, zoals Ronald Arkin van het Georgia Institute of Technology, die denken dat het mogelijk is dergelijke principes in robots te programmeren. Arkin meent dat robots ethischer kunnen zijn dan menselijke soldaten, omdat ze niet handelen op grond van angst en vooroordelen.

Onderzoeker Rinie van Est van het Rathenau Instituut stelt in het boek Just Ordinary Robots. Automation from Love to War (2015), dat een dergelijke visie het unieke, niet-reduceerbare karakter van de ethiek miskent. Het beperkt ethiek tot een oordeel over efficiëntie, tot een calculatie van kosten en baten. Ethische beslissingen zijn juist niet berekenbaar, maar vragen altijd om een menselijke afweging binnen een specifieke situatie, waarin morele gevoelens zoals empathie een belangrijke rol spelen.

Een internationaal verdrag dat LAWS verbiedt, zou een radicale manier van indamming kunnen zijn. Daarvoor pleit een coalitie van ngo’s. Achter een dergelijk verbod hebben zich ook de secretaris-generaal van de Verenigde Naties, het Europees Parlement en ongeveer dertig landen geschaard.

Maar verschillende grootmachten verzetten zich tegen internationale wetgeving tegen killer robots. Rusland meent dat het te lastig is om af te bakenen wat precies in de categorie LAWS valt en stelt dat een verbod de ontwikkeling van kunstmatige intelligentie kan schaden, gezien het feit dat veel AI-toepassingen zowel inzetbaar zijn voor militaire als voor civiele doeleinden.

De Verenigde Staten stellen dat dergelijke wapens ook gunstige humanitaire effecten kunnen hebben. Zo zouden ze door het preciezer en efficiënter gebruiken van geweld burgerslachtoffers kunnen voorkomen.

Ook de Nederlandse regering acht een internationaal verbod zinvol noch wenselijk. Het kabinet maakt een onderscheid tussen autonome wapens en volledig autonome wapens. Tot de eerste categorie rekent het systemen die zelfstandig doelen selecteren en aanvallen “nadat mensen hebben besloten het wapen in te zetten en waarbij de mens niet meer kan ingrijpen om de aanval te stoppen”. In dit geval kan het systeem zelfstandig opereren binnen door de mensen geprogrammeerde kaders. Hierbij is nog wel “betekenisvolle menselijke controle” mogelijk.

Bij volledig autonome wapensystemen staat de mens helemaal buiten spel, “vanaf het formuleren van het militaire doel tot en met het bepalen van de plaats en tijd van inzet.” In dit geval is er geen betekenisvolle menselijke controle. En, schrijft het kabinet, “daarmee zijn deze wapens in strijd met het internationaal recht.” Nieuwe wetgeving is niet nodig, oordeelt de Nederlandse regering, aangezien het huidige recht dergelijke wapensystemen al verbiedt.

Mensenrechtenorganisaties zoals Human Rights Watch kunnen zich niet vinden in deze redenering. Zij stellen dat de basisregels van het internationaal recht zijn geschreven voor mensen, niet voor machines, in een tijd dat de mogelijkheden die AI nu biedt nog niet bestonden.

Bonnie Doherty van Human Rights Watch en Harvard Law School wijst erop dat Nederland wel specifieke verdragen voor chemische wapens en landmijnen heeft ondertekend. Een apart verdrag kan naar haar inzicht ambiguïteit in de interpretatie van de huidige bepalingen in het internationale recht oplossen. Het voorkomt dat per geval een discussie nodig is of een specifiek wapensysteem de principes als proportionaliteit en onderscheid schendt. Deze principes hebben alleen betrekking op het gebruik van wapens, niet op de ontwikkeling en productie ervan. Als dergelijke wapensystemen eenmaal zijn ontwikkeld, bestaat er een groot gevaar van verspreiding, ook naar slecht functionerende staten en niet-statelijke gewapende groepen die weinig respect hebben voor het internationale recht. Ten slotte leidt een duidelijk verbod tot een negatief imago dat ook partijen buiten het verdrag beïnvloedt.

Als de Nederlandse regering van oordeel is dat volledig autonome wapensystemen niet gewenst zijn, waarom pleit zij dan niet voor de duidelijkheid die een expliciet internationaal verbod schept?

Nederland wil wel de mogelijkheid openhouden voor de ontwikkeling van semi-autonome wapensystemen, zolang er sprake is van betekenisvolle menselijke controle. Zoals het Rathenau Instituut eerder aangaf, is het van het hoogste belang scherp te krijgen wat dat begrip precies inhoudt.

Een eerste aanzet daartoe vormen de vier aspecten die Merel Ekelhof onderscheidt:

• controle door middel van programmering;
• geografische controle;
• temporele controle; en
• de mate van voorspelbaarheid.

Een dergelijke benadering wordt ook wel aangeduid als boxed autonomy. Het systeem kan autonoom opereren binnen het door de mens aangegeven kader, in territoriale en temporele zin en ook binnen de opdracht bepaalde doelwitten te kiezen, zoals indringers in de gedemilitariseerde zone tussen de twee Korea’s uitschakelen. Toch heeft deze benadering zijn beperking. Wat als een kind dat uit nieuwsgierigheid het hek overklimt binnen de zone komt? Meer in algemene zin doen zich in een oorlogssituatie altijd onverwachte ontwikkelingen voor waarop het in de fase van doelbepaling en terreinafbakening lastig is te anticiperen.

Er zijn vele pogingen gedaan om het begrip ‘betekenisvolle menselijke controle’ nader uit te werken, maar het laatste woord is nog niet gesproken. Vooralsnog is er nog geen academische of politieke overeenstemming over wat als ‘betekenisvol’ mag gelden en waarover de mens precies ‘controle’ moet houden. Zoals Maaike Verbruggen, onderzoeker naar militaire innovatie in kunstmatige intelligentie, constateert, zijn er tal van definities in omloop, die betrekking hebben op verschillende aspecten, zoals de vraag welke rol mensen heb in de beslissingscyclus, op welke momenten in het uitkiezen van een doelwit ze kunnen ingrijpen en of ze de juridische verantwoordelijkheid houden voor de uitkomst van een missie.

Ook dat is in de ogen van Bonnie Doherty van Human Rights Watch een reden om te ijveren voor een internationaal verdrag: een dergelijk verdrag kan een gemeenschappelijk begrip van ‘betekenisvolle menselijke controle’ vastleggen.

Het Europees Parlement heeft in 2018 in een resolutie de hoge vertegenwoordiger voor het buitenland van de Europese Unie opgeroepen het voortouw te nemen om te komen tot een internationaal verdrag ten aanzien van Lethal Autonomous Weapons Systems.

Maar vooralsnog heeft Josep Borrell, de huidige buitenlandchef van de EU, zich niet duidelijk uitgesproken voor een dergelijk verdrag. De EU participeert in de Group of Governmental Experts on LAWS, een in 2017 opgericht overlegorgaan van de Verenigde Naties. Daarin vertolkt de EU het standpunt dat autonome wapens moeten voldoen aan het internationale recht en dat de mens de controle moet houden over de hele levenscyclus van een wapensysteem, inclusief onderzoek, ontwikkeling en gebruik. De EU-opstelling strookt dus met het standpunt van de Nederlandse regering: zorgen voor overeenstemming met het internationale recht, verder verhelderen wat ‘betekenisvolle menselijke controle’ inhoudt, maar niet pleiten voor een apart verdrag.

Opvallend is ook dat de Europese Commissie zich op dit terrein afzijdig houdt. In februari 2020 presenteerde ze haar White Paper on Artificial Intelligence. Daarin staat expliciet dat deze strategie geen betrekking heeft op militaire toepassingen van kunstmatige intelligentie. Voorstellen voor een Europese manier van omgaan met militaire AI heeft de Commissie vooralsnog niet gedaan.

Commentatoren vinden dat een gemis. Het is van het hoogste belang dat de EU een strategie ontwerpt en regels vaststelt, niet alleen voor LAWS maar ook voor andere militaire toepassingen van AI. De EU benadrukt de afgelopen tijd dat ze soeverein wil zijn, op eigen benen wenst te staan en zich technologisch en militair wil ontwikkelen op een manier die in harmonie is met de eigen waarden en belangen. De Europese Unie zal daarom glasheldere regels moeten ontwikkelen voor disruptieve technologieën die het mondiale strijdtoneel een compleet ander karakter dreigen te geven.

Dit artikel is geschreven op verzoek van het Rathenau Instituut door gastschrijver Tomas Vanheste, die regelmatig bericht over Europese ontwikkelingen. Vanheste (1968) studeerde wijsbegeerte van wetenschap, technologie en samenleving aan de Universiteit Twente, waar hij ook promoveerde. Hij was verbonden aan Vrij Nederland en De Correspondent en schrijft nu als zelfstandig journalist voor onder meer De Groene Amsterdammer.

Gerelateerde content: