Transcript - Zetten robotrechters en AI onze democratie onder druk? - Verrekijkers (15)

In deze aflevering: 

Simone: Simone Harmsen– Onderzoeker bij het Rathenau Instituut. 
Willemine: Willemine Willems – Onderzoeker bij het Rathenau Instituut. 
Vera : Vera Prins – Onderzoeker bij Amnesty International. 
Cees: Cees Zweistra – Verbonden aan de Erasmus Universiteit en schrijver van een boek over AI in de rechtspraktijk. 

[tune] 

Cees    00:00 

Zou je dan niet een soort triagetool willen hebben die zegt: ja, dit zijn zaken die, echt daar hebben we die menselijkheid enorm nodig hebben, en deze zaken niet? Dat zijn dan zogeheten Mulderbeschikkingen bijvoorbeeld. Dus gewoon boetebeschikkingen. Als je daar nou een AI-tool op kunt zetten, wordt het dan misschien alweer anders? 

Simone    00:20 

Vreedzaam demonstreren, je recht kunnen halen bij een onafhankelijke rechter. Het zijn belangrijke pijlers onder onze democratie, maar ze veranderen ingrijpend door de inzet van technologie, zoals camera’s met gezichtsherkenning op straat en AI-gebruik door rechters. Hoe ziet vrij demonstreren en betrouwbare rechtspraak eruit in een digitale wereld? Welkom bij Verrekijkers, een podcast van het Rathenau Instituut waarin we inzoomen op de maatschappelijke kanten van wetenschap en technologie. Iedere aflevering zoomen we in op een schurende kwestie waarover je nog te weinig hoort. Ik ben Simone Harmsen en naast mij zitten vandaag welgeteld drie gasten. Welkom Willemine Willems, mijn collega bij het Rathenau Instituut. En tegenover mij Cees Zweistra: jurist, filosoof en schrijver, en verbonden aan de Erasmus Universiteit. En aan de andere kant, tegenover mij, Vera Prins, onderzoeker bij Amnesty International. Ik begin even bij Willemine. Normaal gesproken over digitalisering buitelen de experts over elkaar heen om daar wat van te vinden. Maar jullie dachten: we gaan dat anders doen. Wij gaan praten over die digitalisering en de impact op de democratie met gewone Nederlanders. Waarom is het zo belangrijk om dat te doen? 

Willemine    01:33 

Ja, nou, we gaan natuurlijk af en toe naar dat stembureau met een rood potloodje, en dan worden de stembiljetten zelfs geteld, met de hand. Maar de democratie is natuurlijk veel meer dan dat stemmen af en toe. En als je dan wat breder kijkt, dus als je ook kijkt naar hoe we ons verenigen, hoe we actie voeren, hoe we aan informatie komen, hoe we beschermd worden door de rechtsstaat, dan zie je dat er heel veel digitalisering gaande is op al deze vlakken. Het voelt als een voortdenderende trein. En daarom is het zo belangrijk om met mensen te praten. En ja, het Rathenau Instituut doet dit natuurlijk al 40 jaar. Dat is onze opdracht: om in gesprek blijven met mensen over nieuwe technologie en wat het met hun leven doet en wat het met de samenleving doet. En daar is ons project ook op gericht, om dat gesprek aan te gaan over de betekenis van digitale technologie in bijvoorbeeld de democratische samenleving, voor mensen zelf. 

Simone    02:26 

Ja, heel mooi. Daar gaan we het zeker verder over hebben. Want we duiken vandaag verder in op twee van die belangrijke pijlers van de democratie, namelijk demonstreren en de rechtspraak. Welke dynamieken kunnen er met nieuwe technologie ontstaan en hoe moeten we daar eigenlijk mee omgaan? Vera, jij bent hier vanuit Amnesty International. Waarom is demonstreren zo’n belangrijk onderdeel van onze democratie? 

Vera    02:51 

Ja, demonstreren is heel belangrijk in onze democratie. Het is een manier om je stem te laten horen. Zoals Willemine net al zei: een democratie is meer dan eens in de vier jaar een vakje rood kleuren. Het gaat erover dat je mee mag praten, dat je mee mag doen, dat je kritiek mag geven op je overheid als je het ergens niet mee eens bent. En demonstreren is daar echt een manier voor. Het is een manier om je te verenigen en de straat op te gaan en te laten weten hoe je ergens over denkt. 

Simone    03:15 

Ja. En dat demonstreren verandert door alle nieuwe online mogelijkheden die we hebben, maar die ook overheden of specifieke groepen hebben. En jullie gingen, Willemine, in gesprek daarover met burgers, over wat daar nou kan, met wel hele leuke, creatieve methodes. En je hebt hier ook iets meegenomen om dat te illustreren. Pak het er even bij. We hebben hier een soort Rad van Fortuin. 

Willemine    03:38 

Ja, dus sowieso, binnen het dialoogprogramma vragen we ons af hoe voeren we gesprekken met mensen. We willen daarbij niet te dystopisch of te utopisch zijn, dus we proberen heel veel verschillende mensen op heel veel verschillende manieren te spreken en vooral de verbeelding aan te zetten. Op het ene rad staan alle verschillende technologieën die je je kunt voorstellen, zoals spraaktechnologie, robotica, kunstmatige intelligentie, maar ook virtual reality. En op het andere rad staan allerlei maatschappelijke kwesties waarover mensen de laatste tijd hebben gedemonstreerd of actie hebben gevoerd. We hadden het eigenlijk meer over actievoeren. 

Simone    04:17 

Dan zie je bijvoorbeeld gaswinning, eenzaamheid, het leenstelsel, van alles en nog wat. 

Willemine    04:23 

Ja, dus stel: ik draai nu en hij komt bij de een op virtual reality en bij de andere op gaswinning. En dan was de opdracht: bedenk nou eens iets wat virtual reality kan doen als het over gaswinning gaat. Dus jij wilt in actie komen over gaswinning, want jij vindt het heel onrechtvaardig wat er allemaal gebeurt. Hoe kan virtual reality je dan helpen? Nou, dit is natuurlijk een beetje eentje die wel redelijk voor de hand ligt. 

Simone    04:49 

Ja, je zegt dat het voor de hand liggend is, maar waar kwamen mensen mee? 

Willemine    04:52 

Wat het dus doet, is dat mensen eerst heel praktisch denken: oh, kan ik iets gebruiken? Virtual reality – daarmee kan ik dus bij een demonstratie zijn. Ook als ik geen tijd heb. Ook als ik het spannend vind. Ook als ik geen geld heb om reiskosten te betalen. Maar er gaat toch iets verloren? Er gaat toch iets heel betekenisvols verloren. En daar gingen die gesprekken heel vaak over. 

Simone    05:13 

Er staat iets op het spel wat blijkbaar toch verloren kan gaan als het met technologie makkelijker wordt. Ik zie hier tegenover mij Vera al een beetje knikken af en toe. Herken je dat? 

Vera    05:22 

Ja, heel herkenbaar. Dat gevoel van saamhorigheid dat mensen ook hebben als ze samen de straat opgaan, dat is altijd heel bijzonder om te zien. Vanuit Amnesty gaan we vaak met waarnemersteams naar demonstraties toe, om te kijken hoe een demonstratie echt gefaciliteerd wordt. Dan valt me ook vaak op dat het echt iets bijzonders is dat zoveel mensen samen een groep vormen. En dat het dus meer is dan allemaal individuen die hun mening hebben, maar dat de burgers zich op die manier verenigen. En ik moest denken aan een heel erg niet-technologische manier waarop mensen dit soms wel doen als ze er niet bij kunnen zijn. Want demonstraties zijn natuurlijk ook heel vaak in Den Haag of Amsterdam. Als je dan in Groningen woont, is het wat moeilijker om daarheen te gaan misschien. En wat je vaak ziet, is dat er iemand met een bord staat die dan zegt: ook namens Simone en Willemine. En dat vind ik altijd zo’n leuke, creatieve manier. Dan heeft iemand dat gewoon op een bord geschreven. Het kan ook low-tech. En dan: die zijn hier eigenlijk ook, die vinden dit ook. 

Simone    06:19 

Dat vind ik altijd wel een hele toffe, creatieve manier. Maar jullie zien bij Amnesty International ook dat bij dat fysieke demonstreren technologie een steeds grotere rol gaat spelen. Wat voor trends zien jullie daar? 

Vera    06:33 

Ja, klopt. Dan gaat het vooral om de technologie die de overheid inzet om demonstranten te monitoren. Dat zien we steeds vaker. Daar krijgen we veel signalen over van mensen die zich daar zorgen om maken als ze meedoen aan demonstraties. Waar we de meeste signalen over krijgen, zijn ID-controles. Dus mensen die meedoen aan een protest en dan door de politie gevraagd worden om hun ID. Dat klinkt voor sommige mensen misschien als iets kleins of iets vanzelfsprekends. Je moet toch je ID kunnen laten zien aan de politie? Ja, ze mogen jou toch gewoon controleren? Dat wordt wel eens gedacht. Maar dat is niet zo. Dat mag alleen als je verdacht wordt van een strafbaar feit. Dus als jij door rood hebt gefietst, dan mag de politie om je ID-kaart vragen, omdat je dan een boete krijgt. Maar demonstreren is gewoon het uitvoeren van een grondrecht. En daarvoor hoef jij je ID niet te laten zien. En daar gaat ook meer achter schuil dan je denkt. Want er gaan allerlei gegevensverwerkingen achter schuil. De politie kan allerlei persoonsgegevens van jou inzien. En die ID-controles worden automatisch gelogd in de politiesystemen. En we hebben echt voorbeelden gezien dat dan in politiesystemen terechtkomt dat Anja met een bordje voor Artis stond om te protesteren voor dierenrechten. En dat staat dan in de politiesystemen. En dat is tegenwoordig digitaal, dus iedere agent in Nederland die deze persoon nog een keer aanhoudt, ziet dat verschijnen. Als jij vervolgens dus inderdaad een keer wordt aangehouden, voor hoe groot of klein vergrijp dan ook, of als jij zelf aangifte doet bij de politie, dan kan die agent terugzien dat jij hebt meegedaan aan een bepaalde demonstratie. En soms zijn er mensen die er voor meerdere keren demonstraties in staan. En dat is een grote schending van je privacy en je demonstratierecht. En aan de andere kant: een andere vorm van technologie die we steeds vaker zien, zijn de camera’s bij demonstraties. Er worden steeds vaker camera’s bij demonstraties ingezet door de overheid. 

Simone    08:17 

Ja, want veel mensen zullen zich misschien de berichtgeving rond de verboden Pride in Boedapest herinneren. Daar was veel te doen om de gezichtsherkenning die werd ingezet bij demonstranten, om ze maar even zo te noemen, die daarmee herkend werden. Maar wordt dat dus ook in Nederland al gebruikt dat soort technologie? 

Vera    08:35 

Gezichtsherkenningstechnologie is in Nederland een hele ingewikkelde, want daar is heel veel over onduidelijk. In Nederland heeft de politie videosurveillance-auto’s en daar zit een camera op. Dat is een soort robotcamera die uit het dak schuift. Heeft iemand van jullie die wel eens gezien? 

Cees    08:51 

Nee. Een soort parkeercontrole-auto, denk ik dan. 

Vera    08:56 

Ik vind hem er zelf wel iets enger uitzien dan dat. Het is een soort geavanceerd robotpoppetje met een camera erbovenop, die ook rond kan draaien. Dat geeft je al helemaal het gevoel dat je gevolgd kunt worden als je beweegt. En daar zit gezichtsherkenningstechnologie-capaciteit op. Dat zijn camera’s van Hikvision. Dat zijn hele geavanceerde camera’s en daar kun je gezichtsherkenningstechnologie mee toepassen. We hebben de politie daarover gesproken, omdat we die camera’s bij protesten zagen, en zij zeggen: die functie staat uit. Demonstranten zijn daar niet per se gerust op. Heel veel demonstranten hebben nog steeds het idee dat gezichtsherkenningstechnologie wordt ingezet. Het doet ook al iets met het gevoel dat demonstranten hebben. Ja, wij spreken dan vaak van een chilling effect. Het geeft mensen het idee dat ze in de gaten worden gehouden. En dat heeft natuurlijk al een impact. En bij camera’s gaat het er dus echt om: waarom zet je ze in? Want het is niet zo dat het privacyrecht de overheid belet om bij welke demonstratie dan ook een camera in te zetten. Daar kunnen goede redenen voor zijn. Als je dat bijvoorbeeld doet voor de veiligheid van demonstranten, in goed overleg met de organisatoren, en als je duidelijk bent over wat er wel en niet met die beelden gedaan wordt, dan kunnen daar goede redenen voor zijn. Maar het lastige is dat mensen dat vaak niet weten. Dat ze niet weten waarom die camera’s worden ingezet. Dat ze het idee hebben dat die camera’s op hen gericht zijn. Dus niet op mensen die hen kwaad willen doen – vijandig publiek – maar dat ze het idee hebben: die camera’s zijn er om mij te monitoren. Ook al ben ik een vreedzame demonstrant die volledig in zijn recht staat. 

Simone    10:27 

En zie je ook al dat mensen zich daar, ja tegen wapenen? Anders gaan demonstreren, gezichtsbedekking gaan dragen bijvoorbeeld? 

Vera    10:34 

Ja, er zijn het afgelopen jaar natuurlijk steeds meer discussies ontstaan over gezichtsbedekking. En er zijn verschillende redenen voor demonstranten om gezichtsbedekking te willen dragen, om anoniem te willen demonstreren. En dat mag ook, dat is onderdeel van je demonstratierecht: dat het anoniem mag, dat je opgaat in de groep waar we het net even over hadden. Maar sommige mensen doen dat ook door al die camera’s, omdat ze het idee hebben dat ze in de gaten worden gehouden en niet weten wat daarmee gebeurt. En dat ze dat dan als voorzorgsmaatregel treffen. 

Simone    11:02 

En Cees, jij bent expert op het gebied van die rechtspraak en hoe bijvoorbeeld AI daarin gebruikt wordt. Daar gaan we het zo dadelijk nog verder over hebben. Maar ben jij al voorbeelden tegengekomen waarbij mensen uiteindelijk vanuit demonstraties in de rechtszaal beland zijn en dit soort materiaal ook gebruikt wordt? 

Cees    11:20 

Nou, niet een specifiek voorbeeld waarbij het dan in een rechtszaak of rechtszaal gebruikt wordt. Maar wel een voorbeeld waarbij er AI-filmpjes worden gemaakt van demonstranten, van Extinction Rebellion-demonstranten, die dan allerlei woorden in de mond worden gelegd. En ja, dat circuleerde dan op social media en het ontlokte allerlei heftige reacties bij mensen. En daar zie ik dus wel inderdaad: oh ja, je kunt AI gebruiken om mensen te empoweren zeg maar, om mensen een stem te geven, wat vaak een beetje zo’n technologiebelofte is. Maar hier zie je natuurlijk dat het juist heel erg gebruikt kan worden om het demonstreren te ontwrichten eigenlijk. Want mensen denken toch dat het echt is, of hopen dat het echt is. Misschien zit dat er ook wel een beetje achter, en dan denkt men: oh, wat vreselijk, kijk wat voor vreselijke dingen die nu zegt.  

Dat was eigenlijk nog een vraag die ik aan jou had, als ik even mag: zie je ook dat mensen zouden willen demonstreren over technologieën? Dus dat ze zich enorme zorgen maken over AI of over de maatschappelijke impact daarvan? Ik bedoel: technologie kan gebruikt worden om te demonstreren, maar ik wil eigenlijk juist demonstreren over die technologische ontwikkelingen zelf. Zie je dat ook? 

Willemine    12:35 

Nou, wat we zien is dat heel veel mensen wel angstig zijn of zorgen hebben over wat het doet met vooral het sociale weefsel van de samenleving. Met sociale vaardigheden en ook dit soort dingen. Als ik met mijn beste vriend aan het videobellen ben, weet ik dan wel zeker dat het mijn beste vriend is? Want dat kan natuurlijk ook een soort digital twin zijn. Dus dat soort dingen zie je zeker. En in de sessies die we over democratie hadden, werd heel veel gepraat over dat je eigenlijk niet meer zo goed weet wat waar is en wat niet waar is. Dus daar zijn heel veel zorgen over. Maar op de een of andere manier heb ik het gevoel dat mensen bij die digitalisering niet het gevoel hebben dat demonstreren zin heeft. 

Cees    13:18 

In Amerika gebeurt het wel meer en meer. Dus dat mensen echt de straat op gaan om te demonstreren over AI en te zeggen: ja, dit is vreselijk, dit moeten we niet willen. Wat je er ook van vindt. Maar daar is echt wel een grote demonstratiebereidheid voor. 

Willemine    13:32 

Ja, maar dat is wel recent, toch? 

Cees    13:34 

Dat is recent, ja, echt recent. 

Willemine    13:36 

De gesprekken die wij gevoerd hebben, zijn alweer een half jaar geleden. En net zoals de digitalisering heel snel gaat, zie je eigenlijk dat ook de kritiek nu heel snel opkomt. Dat mensen steeds kritischer worden. En dat ze dus ook inderdaad bereid zijn om te gaan demonstreren, is ook redelijk nieuw. Dus het zou mij niet verbazen als het oversteekt. 

Simone    13:52 

En ik wil het toch ook nog even van de andere kant bekijken. Want die technologie en surveillance, om het zomaar te noemen, wordt ook ingezet omdat we daarmee misschien kunnen voorkomen dat demonstraties ontsporen. En dat mensen die zich totaal misdragen, bijvoorbeeld daarna gevonden en berecht kunnen worden als zij iets gesloopt hebben of iemand mishandeld hebben. Zit die kant er niet ook aan? 

Vera    14:19 

Oh ja, hier zit heel veel in. Ik denk dat het perspectief soms is van de overheid dat demonstreren iets risicovols is. En dat er dus niet altijd naar demonstraties of demonstranten wordt gekeken vanuit vertrouwen, maar vanuit het idee dat het zomaar kan ontsporen. Dat is misschien ook een beeld dat meer mensen hebben als je de berichtgeving ziet over bepaalde demonstraties. En wat we daar vaak in zien, is dat het dan soms helemaal niet om demonstraties gaat. Want demonstreren is geen rellen. Je kunt je beroepen op je demonstratierecht als je vreedzaam aan het demonstreren bent, en niet als je iemand, je zegt net mishandelen, als je iemand aan het mishandelen bent, dan zie ik niet hoe dat iets met demonstreren te maken heeft. Dan hebben we het niet over het demonstratierecht en niet over demonstreren, maar gewoon over strafbare feiten waar de politie tegen kan en misschien wel moet optreden. Dus dat is echt een andere kwestie. Maar ik denk wel dat we die risicobril bij overheden zien, van waaruit dan gedacht wordt: oké, dan moeten we voorbereid zijn op dat dit misschien ergens op uitloopt. Terwijl de overgrote meerderheid van de demonstraties vreedzaam verloopt en er geen incidenten zijn; 97% van de demonstraties verloopt zonder incidenten. En dat zijn natuurlijk heel veel demonstraties die we misschien niet zien, waardoor je er misschien een ander beeld van hebt. Maar dat verloopt grotendeels vreedzaam. En ik denk dat wat belangrijk is, is dat als je het hebt over termen van veiligheid, het ook gaat over het beschermen van mensen die demonstreren. Want mensen krijgen wel degelijk soms te maken met vijandig publiek. 

Simone    15:51 

Ik wil eigenlijk even een sprongetje maken. Want van dat demonstratierecht is het een klein sprongetje naar de rechtspraak. Stel nou dat de overheid jou digitaal volgt en er uiteindelijk een reden wordt gezien om jou te vervolgen. Welke rol kan en mag nieuwe technologie zoals AI daar dan eigenlijk spelen? Zoals we iedere aflevering doen, gingen we de straat op en legden we mensen een stelling voor. En dit keer vroegen we: vind jij dat de overheid kunstmatige intelligentie mag inzetten bij het opsporen en berechten van burgers? 

[tune] 

Straatinterview 1    16:28 

Absoluut niet. In Zuid-Korea of Noord-Korea is het toch een drama. Je kunt geen huis kopen als je foutje doet. Overal word je gecontroleerd toch en gevolgd. En daardoor denk ik: wij lopen meer gevaar. 

Straatinterview 2    16:43 

Opsporen ja, berechten nee. Om het opsporen efficiënter te maken. 

Simone    16:52 

En waarom berechten niet? 

Straatinterview 2    16:54 

Ja, omdat je mensen niet ten onrechte mag berechten en AI niet perfect is. 

Straatinterview 3    17:02 

Ik kan me wel voorstellen dat bij wat nu een griffier of iemand die het voorbereidend werk doet, daarbij wel misschien meegeholpen kan worden. Maar ik weet niet of dat bij het vonnis, echt de uitspraak zelf, misschien dan niet. Misschien wel bij het feitenrelaas of zoiets dergelijks. Maar dan niet echt bij het vonnis. 

[Einde straatinterviews] 

Simone    17:25 

Zo, diverse reacties, en volgens mij ook een redelijke insider hier, die weet van de griffier en een feitenrelaas. Wat vinden jullie van deze reacties, Cees? 

Cees    17:37 

Nou, ik vind het heel mooi dat je hier allerlei verschillende visies over AI en de rechtspraak voorbij ziet komen. Mensen zeggen: ja, wat we niet willen is een robotrechter, dus iemand die echt het vonnis geeft. Omdat daar denk ik intuïties achter zitten van: ja, daar komt toch wat empathie bij kijken, daar komt toch een bepaalde menselijkheid bij kijken die een AI niet heeft. Dat hoor ik iemand zeggen. Maar dan hoor ik ook mensen zeggen: ja, maar laten we dan wel kijken wat het kan doen in de ondersteuning, bijvoorbeeld aan de achterkant van het rechterswerk. En daar kan het dan misschien wel een rol spelen, bijvoorbeeld bij het ondersteunen van griffiers. Dat is eigenlijk ook wel, denk ik, een dwarsdoorsnede van hoe erover nagedacht wordt in het veld van de rechtspraak. 

Simone    18:22 

Ja, want jij schreef een boek. 

Cees    18:23 

Over AI in de rechtspraak, met collega Julie. Zij schrijft er een proefschrift over aan de Erasmus Universiteit. Wij hebben samen dat boek geschreven, inderdaad. 

Simone    18:34 

Ja, en wat zie jij daar nu al gebeuren? 

Cees    18:38 

Nou, er gebeurt heel veel. Ons boek heet ‘Sneller en beter?’, met een vraagteken, over het vraagstuk van AI in de rechtspraktijk. Dus wij hebben heel erg de belofte van het sneller en beter op de snijtafel gelegd, zoals je de stem, een van de stemmen net ook hoorde zeggen. Misschien kan het ons helpen, of griffiers helpen, om sneller werk te doen of efficiënter te werken. Al dat soort beloftes houden wij dan tegen het licht. Wat je ziet, is dat er in de commerciële advocatuur, de grote commerciële advocatuur, de Zuidas-advocatuur, ja daar worden gigantische stappen gemaakt. Daar heb je allerlei ChatGPT-achtige oplossingen. 

Simone    19:21 

Die worden nu al gebruikt? 

Cees    19:22 

Ja, die worden heel veel gebruikt. Je hebt allerlei Harvey AI, en Julie legde me uit – dat Harvey van Suits is. Kennen jullie die serie? Dat is een hele soepele, snelle dude in die serie. Een snelle jongen. Harvey AI probeert natuurlijk dat idee: ja, met deze AI ben je flitsend en innovatief en the future, je bent helemaal mee. 

Simone    19:46 

kunnen we allemaal Harvey Specter zijn, geloof ik. 

Cees    19:48 

Harvey Specter, precies. Dus zo wordt er in die grote commerciële praktijk over AI nagedacht: dit is echt een kans, dit is gewoon the future, en we moeten dat omarmen en niet te moeilijk doen. En dan zie je de sociale advocatuur. Ja, die kunnen vaak niet eens een abonnement op een juridisch tijdschrift betalen, letterlijk niet. Laat staan dat ze zich hele geavanceerde AI kunnen veroorloven. Die kijken er anders naar. En dan, bij de toga, bij het ministerie, in de rechtspraak, daar wordt heel zorgvuldig over nagedacht. Daar wordt gezegd: ja, we moeten wel kijken naar de kansen die er zijn. Dus daar wordt heel voorzichtig zo’n soort gesprek gevoerd van: oké, er zijn belangrijke kernwaarden voor rechters. Ze moeten onafhankelijk zijn, deskundig zijn, professioneel zijn, onpartijdig zijn, et cetera. En we moeten er in ieder geval voor zorgen dat AI die kernwaarden niet bedreigt. Liever nog moeten we die kernwaarden als het ware in de AI etsen of stampen, die wij krijgen. 

Simone    20:53 

Wat is nou een voorbeeld van hoe het nu al gebruikt wordt, zoals bijvoorbeeld op die Zuidas? Ik ben advocaat, ik heb toegang tot die Harvey. Wat doet hij dan voor mij? 

Cees    20:59 

Nou, die gaat teksten schrijven, memo’s schrijven, jurisprudentie samenvatten, jurisprudentie analyses maken – jurisprudentie, dus rechterlijke uitspraken. Hij ondersteunt de advocaat in zijn daadwerkelijke contact met de cliënt. Dat is dan ook altijd zo bij die kantoren, en wij hebben daar veel contacten mee vanuit ons masteronderwijs. Maar uiteindelijk blijft die advocaat altijd verantwoordelijk. Hij blijft aansprakelijk, gewoon juridisch aansprakelijk. Als hij iets verkeerds doet, dan wordt hij aansprakelijk gesteld. Maar hij blijft ook verantwoordelijk in die zin dat hij een soort eigenaarschap moet behouden over dat wat hij maakt. 

Simone    21:39 

Hij moet weten waar dat allemaal vandaan komt, en het controleren. 

Cees    21:43 

Precies, precies. En de vraag is of dat kan. Want je hebt allerlei problemen die ik dan zie, en die wij in ons boek ook zien, rondom automation bias bijvoorbeeld. Dus dat je eigenlijk denkt: ja, die Harvey is zo – ik noem maar even het voorbeeld van Harvey, er zijn veel meer AI-oplossingen, AI-tools ook – maar die AI is zo goed, zo geavanceerd, ja, dat ga ik niet meer checken. Dus ik denk dat dat eigenlijk een heel groot risico is. Die hele onafhankelijkheid is denk ik een heel groot probleem. Dat zie je dus in de commerciële advocatuur. En bij de rechtbanken zie je dat er ook geëxperimenteerd wordt met soortgelijke tools, maar dan worden die vanuit de rechtspraak zelf ontwikkeld, als schrijfhulp bij vonnissen inderdaad. Ja, ik ben daar wel wat kritisch op, moet ik zeggen. Maar bij de rechtbank Rotterdam zijn ze met zo’n experiment bezig. En je ziet heel veel pogingen – want misschien even voor de context: AI’s die direct met burgers interacteren, die dus daadwerkelijk een vonnis zouden maken, dat is sowieso een hogerrisicotoepassing volgens de AI Act. 

Simone    22:57 

Als een AI echt de beslissing zou gaan nemen. 

Cees    22:59 

Ja. Kijk, sowieso zijn AI-toepassingen binnen de rechtspraak die voor dit type doeleinden worden gebruikt, dus die rechtstreeks met burgers interacteren, hoog risico. En daarvan heeft de rechtspraak zelf gezegd: daar zetten we niet op in. Wij zetten in op laagrisicotoepassingen. Dat zijn dus toepassingen aan de achterkant. Dus bijvoorbeeld administratieve processen, en ja, ook wel feitenrelazen uiteenzetten, ook samenvattingen maken. Dat soort pilots lopen er, dat soort toepassingen zijn er al. En daar zijn de verwachtingen best wel hooggespannen rondom dat soort toepassingen. Omdat de rechtspraak zegt: kijk, een van de grote problemen – de vraag is of dat echt zo is, maar dat is wel een beetje de aanname – is de hoge werkdruk. Dus heel veel zaken, weinig rechters. 

Simone    24:01 

Het is natuurlijk vaak in het nieuws dat er lange wachtlijsten, kun je ze zo noemen, zijn. 

Cees    24:05 

Ja, en volgens ons moet je alleen AI inzetten als heel evident is dat de oorzaak een gebrek aan AI is. En dat is eigenlijk nooit zo. 

Willemine    24:14 

Het is ook echt de vraag of AI wel tijd gaat schelen. Je moet natuurlijk heel veel controleren. Er komt allerlei werk ook weer bij. 

Cees    24:23 

Precies, precies. Dus dat is eigenlijk een van de dingen die wij zeggen: achter die AI-belofte zit een hele specifieke opvatting over wat die technologie is en wat die kan. Dat het een soort chirurgisch scalpel is dat jouw probleem heel nauwkeurig eruit haalt. Nou wat jij terecht oplegt, dat is helemaal niet zo. De ironie is natuurlijk vaak dat heel veel problemen die er nu zijn, veroorzaakt zijn door eerdere technologische revoluties die ongeveer dezelfde belofte hadden. En daar proberen wij dan heel erg aandacht voor te vragen. 

Simone    24:59 

Nou, Willemine, bij jullie dialoog hebben jullie ook precies dit voorgelegd. Ik hoorde jou en Cees al over de robotrechter. Jullie hebben een robotrechter voorgelegd en dat deed nogal wat. 

Willemine    25:09 

Ja, dus wij… Het mag allemaal niet nu en het kan allemaal nog niet. Maar wij werken ook veel met speculatieve technologie, omdat wij denken: als je nadenkt over wat in de toekomst misschien wel kan en mag, en wat de reacties daarop zijn, de eerste reacties, en de uitleg daarvan, zegt iets over wat we nu belangrijk vinden. Er is een heel mooi voorbeeld uit ‘De toekomst is fantastisch’, een programma van de NPO. Dat gaat eigenlijk over een stel met een dochter, en die raken in scheiding. Die vrouw doet heel veel met digitale middelen, die heeft eigenlijk altijd een soort e-coach aanstaan bij alles wat ze doet. Maar goed, ze moeten bij een rechtbank komen om te bepalen waar het kind mag wonen. Er staat zo’n beetje een robotachtig apparaat, daar zit ze naast. En die doet dan, die vertelt dan: nou, ik heb berekend op basis van financiële gegevens, mentale en fysieke gezondheid… En de uitkomst is dat de dochter bij de vader gaat wonen. Maar wij vragen dan door, want het is een deliberatief gesprek. Dus we willen echt weten wat erachter zit. En dan kom je eigenlijk op een punt waar mensen er echt diep van overtuigd zijn dat het oordelen en het afwegen van zo’n ingrijpende situatie in je leven – waar je kind gaat wonen – dat alleen mensen dat kunnen doen. 

Simone    26:25 

Dat is iets menselijks wat we niet mogen kwijtraken. Cees, in jouw professionele opinie? 

Cees    26:30 

Ja, dus ik vind het heel mooi hoe jullie dat onderzoek doen. Op deze manier is het echt fantastisch, want je krijgt echt mooie inzichten. En het doet bij mij twee dingen – nou ja, meerdere dingen, maar twee dingen die eruit springen. Het eerste is dat ik inderdaad denk dat de rechtspraak, en mensen die vanuit de rechtspraak hier heel intensief mee bezig zijn – en daarvan weet ik dat niemand zou hier voor zijn – maar dan zullen zij zeggen, en daar wordt het wel wat spannender: ja, maar wat met al die eenvoudige zaken? Want dit is een soort ideaaltypische zaak, maar er zijn ook heel veel gevallen waarbij dat niet zo is. En zou je dan niet een soort triagetool willen hebben die zegt: ja, dit zijn zaken daar hebben we die menselijkheid enorm nodig, en deze zaken niet? Dat zijn dan zogeheten Mulderbeschikkingen bijvoorbeeld, dus gewoon boetebeschikkingen. Als je daar nou een AI-tool op kunt zetten, ja, wordt het dan misschien al anders? Dus dat vind ik wel spannend. Dat vind ik één aspect. En het andere aspect is dat je ziet – en dat hebben wij ook al wel meegemaakt – dat mensen allerlei dingen van juristen verwachten. Dus inderdaad die empathie, die medemenselijkheid, waarvan de vraag eigenlijk is: zijn juristen daar wel goed in? 

Simone    27:47 

Is dit wel de beroepsgroep waarvan je dit verwacht? 

Cees    27:50 

En worden juristen daarin getraind? Nou, het antwoord is nee. Dus misschien zijn juristen er wel goed in – ik zit er toch een beetje aarzelend in – maar we worden er sowieso niet op getraind. Dus dat vind ik wel een mooi punt. 

Willemine    28:03 

Maar goed, dat leren we eigenlijk van zulke gesprekken: precies wat we belangrijk vinden, en of we dan nu in de huidige praktijk ook niet iets moeten aanpassen. Want misschien is dat wel zo – er is natuurlijk ook veel onvrede over hoe dit soort besluiten genomen worden. 

Cees    28:15 

Zeker. 

Willemine    28:17 

Ja, en over wat je eerder zei wilde ik eigenlijk ook iets zeggen. Oh ja: als wij dit soort tools voorleggen – we hebben bijvoorbeeld ook een soort speculatief voorbeeld van een advocaat die… eh, een digitale advocaat, je kunt hem ook een uiterlijk geven en een stem en een bepaald karakter – dan zeggen mensen eigenlijk vaak dat dat bij niet-schrijnende gevallen misschien wel goed is, want dan heb je tenminste een advocaat. Maar is dat beter dan een uitgeklede sociale advocatuur die je niet meer kent? Ja, wat wat jij zegt is waar: waar is dat onderscheid? En zijn er niet juist hele kleine dingen, zoals boetes, die uiteindelijk heel schrijnend worden? 

Vera    28:57 

Ja, daar heb ik wel een voorbeeld van. Er is laatst een onderzoek geweest van de Autoriteit Persoonsgegevens naar scanauto’s die boetes uitschrijven voor verkeerd parkeren. Hebben jullie dat voorbij zien komen? Voor de luisteraar: dat bleek heel veel verkeerde boetes uit te schrijven aan mensen die bijvoorbeeld met een gehandicaptenkaart ergens parkeren. Want die kaart kan zo’n auto blijkbaar niet zien. Dus dan heb je het over technologie die een fout maakt, wat nu nog kan gebeuren. En niet alleen bij een zogenaamd niet-schrijnend geval, maar met echt grote gevolgen. En vooral ook: het doet iets met hoe je je daartegen kunt verweren. Want vervolgens vragen we van die groep mensen die met een gehandicaptenkaart ergens wil parkeren, dat ze zelf maar moeten zien uit te vogelen hoe ze daartegen in verweer komen – via chatbots, in andere ingewikkelde digitale systemen. 

Willemine    29:42 

En dat is het andere wat we natuurlijk veel horen: dat de wereld veel te complex aan het worden is voor een grote groep mensen in Nederland. En dat is met dit soort dingen natuurlijk ook zo. Want dan krijg je zo’n boete. Nou. 

Cees    29:49 

En dat vind ik een van de dingen die ik heel jammer vind. Want nogmaals, ik vind dat de rechtspraak echt veel goed bezig is op dit vlak. Behalve dan dat ze zeggen dat een van de dingen waar ze ook op zouden willen inzetten een chatbot is. En daarvan denk ik echt: kom op. Niemand denkt dat chatbots een goed idee zijn, toch? 

Simone    30:09 

Zo’n chatbot, waarvoor? 

Cees    30:10 

Ja, denk ik, om het laagdrempelig te maken. Kijk, ik snap het idee wel. Het rechtssysteem moet zo functioneren dat de juiste zaken daar belanden. En heel veel zaken die daar niet horen te belanden, moeten daar ook niet belanden. Die wil je eruit filteren, en zo’n chatbot kan daarbij helpen, is de gedachte. 

Simone    30:28 

Dan ga ik als rechter chatten met die chatbot? Hallo, ik heb deze casus, vindt u dat ik die moet behandelen? 

Cees    30:33 

Ik denk dat de hoop is dat burgers dat doen. Maar ik denk dat het eigenlijk andersom is: dat burgers denken: ik ga AI gebruiken om meer zaken aan te brengen. Dat is wat je nu heel sterk ziet al. 

Simone    30:46 

Dat kan gewoon hele nieuwe dynamieken gaan brengen, die nieuwe technologieën. Wij leggen iedere aflevering onze gasten een stelling voor, en die heb ik vandaag natuurlijk ook voor jullie.  
 

[tune] 

Simone 31:06 

Het gebruik van technologie gaat de ondergang zijn van de democratie.  

Vera    31:10 

Dat is wel een hele grote stelling. 

Het hangt helemaal af van wat voor technologie we het dan hebben. 

Simone    31:14 

Als we even kijken naar waar we het eerder over hadden, over het gebruik van bijvoorbeeld die surveillancetechnologie rondom demonstraties. 

Vera    31:24 

Het gaat natuurlijk veel over: met welk doel zet je iets in, en hoe betrek je burgers daarbij? Als je met burgers in gesprek gaat over hoe technologie voor hen werkt en hoe je het kunt gebruiken op een manier waar zij behoefte aan hebben – nou, dan merk je in dialogen dat burgers daar best wel genuanceerd over denken en daar hele goede beelden bij hebben van wat de belangrijke waarden zijn die we willen beschermen. Maar wat we nu dus zien, bijvoorbeeld met dat gedeelte over surveillance bij demonstraties, is dat dat niet ingezet wordt in gesprek met burgers, dat burgers daar niet over geïnformeerd worden, maar dat het vanuit een soort wantrouwen wordt ingezet om burgers in de gaten te houden. Dat is natuurlijk niet wat je wil in een democratie. 

Simone    32:02 

Cees, gaat die AI de ondergang zijn van onze democratische rechtsstaat? 

Cees    32:07 

Ja, de beloften zijn natuurlijk altijd dat het onze democratie versterkt en mensen een stem geeft, noem maar op. Maar ja, je ziet dat het bij sociale media natuurlijk totaal anders is uitgepakt, denk ik. Dus nu wordt het gezien als een hele grote bedreiging. En dat is ook heel tragisch. Ergens vind ik dat heel tragisch, omdat ik denk dat technologieën – als die landen binnen een bepaalde juiste houding, een bepaalde juiste ethiek – kun je er hele goede dingen mee doen. Technologieën zijn totaal niet vreemd aan de mens, totaal niet vreemd aan de democratie. Dus in principe ben ik het oneens met die stelling. Maar je ziet wel dat je steeds meer moed moet hebben, steeds meer power eigenlijk moet inbrengen, om je te verzetten tegen de negatieve affordances van technologieën, om er dan ondanks die affordances toch iets goeds mee te doen. Een affordance is een soort gedrag waartoe die technologie uitnodigt. En ik denk dat het wel moeilijker wordt om technologie in te zetten for the good, zeg maar voor de democratie. Dat dat steeds ingewikkelder wordt. 

Simone    33:19 

Ja, dus daar is het laatste woord nog lang niet over gezegd. 

Willemine    33:23 

Wat problematisch is, denk ik – en daarin sluit ik me wel een beetje bij Cees aan – is dat het ook gaat over hoe we… Het grote probleem is wat we dénken dat de technologie is. We denken namelijk allemaal dat de technologie neutraal is, dat het maar afhangt van wie hem gebruikt, en dat het dan dus wel goed kan komen als de juiste mensen maar aan de touwtjes trekken. Maar dat weten we: zo is het niet. Het heeft ook gewoon fundamenteel iets te maken met de manier waarop we naar de wereld kijken, naar elkaar kijken. Ik hoop dus dat we de democratie beschermen. En dat is ook belangrijk in ons programma: dat mensen wel het gevoel hebben dat we hierover met elkaar kunnen blijven nadenken. 

Simone    34:01 

Nou, dat klinkt als een pleidooi van jullie allemaal om echt te blijven bij wat er nou eigenlijk op het spel staat, wat is van waarde. En om niet vanuit al die technologieën te vertrekken. Ik wil jullie allemaal hartelijk danken voor jullie mooie bijdrage. En bedankt voor het luisteren. Wil je meer weten over ons onderzoek? Kijk dan op rathenau.nl en abonneer je op Verrekijkers, zodat je nooit een aflevering mist. 

 ----