Het voorzorgsprincipe en digitale beslissingsondersteunende systemen in de zorg

Stel: je hebt net een ernstig ongeluk gehad. Je toestand is kritiek. Met grote vaart rijdt het medisch personeel je naar de operatiezaal. De assistent deelt mee dat de dokter eraan komt. Die zal de knoop moeten doorhakken over de ingrepen die je de komende paar uur zal ondergaan. De beslissingen zullen cruciaal zijn voor de schade die je aan het ongeluk zal overhouden. Na een paar minuten wachten zie je vanuit je ooghoek een witte jas de hoek om fladderen. Gelukkig. De dokter is gearriveerd. Deze klapt echter een laptop open en vraagt luidop wat te doen. En een robotstem vertelt wat er gedaan moet worden.

Bovenstaand scenario is natuurlijk nog geen werkelijkheid. Echter, vergis je niet, machines, geprogrammeerd met medische kennis, spelen vandaag de dag wel degelijk al een steeds grotere rol in de besluitvorming in de gezondheidszorg. Digitale beslissingsondersteunende systemen, gebruik makend van kunstmatige intelligentie, ‘denken’ nu al mee met het medische personeel. Ze waarschuwen bijvoorbeeld zorgmedewerkers bij uitzonderlijke meetwaarden, dragen richtlijnen aan tijdens een behandeling of doen suggesties over acties die ondernomen kunnen worden.

Deze systemen, die in het Engels Clinical Decision Support Systems worden genoemd (CDSS), worden geacht het werk van medische professionals te vergemakkelijken of hun handelingen zelfs te verbeteren. Het gebruik van deze systemen maakt beslissingen sneller en preciezer, en vermindert het aantal menselijke fouten, zo is de belofte. De grotere efficiëntie in en effectiviteit van medische beslissingen zou bovendien moeten leiden tot lagere zorgkosten. De technische randvoorwaarden voor deze beloften zijn wel dat de data die deze systemen gebruiken volledig en kloppend zijn. In veel gevallen bestaan er twijfels over de vraag of er op basis van grote datasets wel beslissingen kunnen worden genomen voor individuele gevallen, bijvoorbeeld als het gaat om individuen met een complexe of meervoudige aandoening. Daarnaast moeten de gebruikte algoritmen aan veiligheidsnormen voldoen. Niet iedereen moet bijvoorbeeld het algoritme zomaar kunnen aanpassen.

Naast deze technische afwegingen, bestaan er ook veel zorgen en onzekerheden over het praktische gebruik van deze beslissingsondersteunende systemen. Hoe ver mogen deze systemen gaan in hun ondersteuning? Vervangen ze in sommige gevallen niet te veel het denken van zorgmedewerkers? En wat zijn hiervan de gevolgen voor de patiënt?

Zoals we in eerdere artikelen lieten zien over voorzorg en innovatie wordt in geval van ernstige maar onzekere risico’s vaak gebruik gemaakt van het voorzorgsprincipe. In dit stuk beschrijven we waarom een voorzorgsbenadering ook bij digitale beslissingsondersteunende systemen van belang is, en hoe zo’n benadering er in de praktijk uit kan zien. 

Er bestaat een behoorlijke variatie in de risico’s tussen verschillende digitale beslissingsondersteunende systemen in de zorg. De consequenties van een defect systeem dat gebruikt wordt om het beleid in de situatie van een epidemie te adviseren zijn natuurlijk vele malen groter dan de gevolgen van een systeem dat een huisarts-assistent ondersteunt bij het doorverwijzen van een mogelijke patiënt. Toch zijn er in algemene zin een aantal vergelijkbare risico’s te ontwaren. We zullen ze bespreken.

Omdat er inherent risico’s verbonden zijn aan het nemen van beslissingen over behandelingen binnen de medische sector, is dit ook bij het gebruik van digitale beslissingsondersteunende systemen het geval. Binnen bijvoorbeeld een ziekenhuis moeten dagelijks talloze beslissingen worden genomen die de gezondheid of levensduur van mensen bepalen. Denk aan keuzes over fysieke ingrepen en medicatie die nodig zijn na een bepaalde diagnose. De gevolgen van al deze beslissingen zijn vaak niet 100 % zeker, en daarin schuilt er altijd een zeker risico in deze keuzes.

Daarnaast brengen digitale beslissingsondersteunende systemen ook nieuwe risico’s met zich mee, omdat de manier waarop beslissingen worden genomen door het gebruik ervan verandert. En juist dat brengt ook nieuwe risico’s met zich mee. Bijvoorbeeld: de besluitvorming ontmenselijkt, er ontstaat onduidelijkheid in de verdeling van verantwoordelijkheden, en er ontstaan onopgemerkt bepaalde vooroordelen in de beslissingen.

Een eerste risico is dat besluitvorming ontmenselijkt. Een machine is immers geen mens. De besluiten van deze systemen berusten op data en computationele logica. Dit verschilt van de (impliciete) kennis en ervaring van zorgmedewerkers. Het is onmogelijk om jarenlange ervaring, intuïtie, sociaal-emotionele intelligentie en het gevoel voor context, die een rol spelen bij de besluiten van een dokter, te vertalen in machinetaal. Zeker bij psychosociale problematiek kan het belangrijk zijn dat een huisarts bijvoorbeeld informeert naar de persoonlijke omstandigheden van een patiënt. Zo kan bijvoorbeeld een depressie dieperliggende oorzaken hebben – zoals eenzaamheid, schulden, relationele problemen – die een menselijke blik en gesprek behoeven.

Het delegeren van het nemen van beslissingen naar machines (of de ondersteuning door machines) impliceert bovendien een verlies van controle bij zorgverleners. Het gevolg kan zijn dat onduidelijk is hoe verantwoordelijkheden verdeeld zijn. Als een medische beslissing in belangrijke mate bepaald wordt door een algoritme, neemt de controle van de dokter in kwestie af. In hoeverre is het behandeladvies dan nog het besluit van de dokter? Kan de dokter de verantwoordelijkheid deels afwentelen op het algoritme of de ontwikkelaar daarvan? Wanneer de adviezen van deze systemen leidend zijn, zullen de ontwikkelaars en onderhoudsmedewerkers hiervoor verantwoordelijkheid dragen. Zij hebben immers inzicht in de wijze waarop het systeem een medische beslissing neemt op basis van de ingevoerde data. En zij zullen weten hoe ze het systeem aan de hand van nieuwe, medische kennis moeten updaten.

Daarnaast is er het risico op discriminatie. Wanneer een algoritme wordt ontwikkeld op basis van big data, kan bestaande discriminatie in zorgsystemen, of in de dataverzameling in de beslissystemen, ongemerkt worden ingebouwd. Er zijn al voorbeelden bekend waarbij intelligente systemen besluiten namen die ernstig ten nadele waren van vrouwen en etnische minderheden. Veel medische datasets en kennis zijn met name gebaseerd op de gegevens van mannen, waardoor de modellen van sommige AI-systemen besluiten maken die niet goed aansluiten op het lichaam van vrouwen. En in de Verenigde Staten verminderde een bevooroordeeld algoritme de toegang tot gezondheidszorg voor Afro-Amerikaanse mensen.¹

Tot nu toe is er nog weinig onderzoek gedaan naar de risico’s van digitale beslissingsondersteunende systemen en het is ook heel lastig om de risico’s goed vast te stellen. Dat heeft grofweg drie redenen:

Allereerst zijn dit soort op AI-gebaseerde systemen complex en verlopen hun processen onvoorspelbaar met name in het geval van unsupervised machine learning. Onderzoekers waarschuwen bijvoorbeeld voor cyberaanvallen die het gedrag van unsupervised machine learning² AI-systemen kunnen veranderen door kleine hoeveelheden data aan te passen.³

Een tweede reden voor de onzekerheid over de risico’s is gelegen in de omgeving waarin beslissingsondersteunende systemen worden toegepast. De omgeving waarbinnen de gezondheidszorg plaatsvindt, zoals een ziekenhuis, worden gekenmerkt door een hoge mate aan complexiteit, onvoorspelbaarheid en ambiguïteit. Om goed en veilig te werken moeten de systemen afgestemd zijn op al de specifieke (veranderlijke) protocollen, normen, standaarden en op de praktijken van verschillende medewerkers. Ook moeten de systemen onder andere functioneren in de context van de dagelijkse werkzaamheden van een arts, de specifieke noden van een patiënt, en het toezicht op een leidinggevende en / of een privacyfunctionaris.

Een derde reden voor onzekerheid over de risico’s houdt verband met de hoge eisen die aan een goede beslissing worden gesteld. Het is moeilijk in te schatten of dergelijke systemen aan die hoge eisen kunnen voldoen. Een goede beslissing dient transparant verklaarbaar en uitlegbaar te zijn en wordt ondersteund door relevante gegevens. Ook is een goede beslissing gebaseerd op voldoende reflectie en worden de privacy, autonomie en de waardigheid van de patiënt meegewogen. Dat zijn subjectieve eisen die open staan voor verschillende interpretaties. Dit maakt het lastig in te schatten wanneer dergelijke systemen ‘voldoende’ in staat zijn goede beslissingen te maken.

Hoe moet het voorzorgprincipe worden toegepast bij het gebruik van digitale beslissingsondersteunende systemen in de zorg?

Die vraag is lastig te beantwoorden, omdat er een grote variatie bestaat binnen deze systemen. Toch lijkt het voorzorgsprincipe (‘better safe than sorry’) in sommige gevallen wel degelijk relevant. Een (voorlopig) verbod op het gebruik van dergelijke systemen is een logisch gevolg. Een onzorgvuldige ontwikkeling en gebruik van deze systemen brengen immers ernstige, onzekere risico’s met zich mee. De systemen kunnen schadelijke gevolgen hebben voor veel mensen, onder andere wanneer ze op grote schaal worden toegepast.

De beschreven risico’s en onzekerheden geven een indicatie voor de toepassing van voorzorg bij deze systemen. De technische oorzaken van de onzekere risico’s laten zien dat het van belang is om bijvoorbeeld bepaalde principes – zoals uitlegbaarheid en transparantie – een integraal onderdeel te maken van het ontwerp. De analyse van de omgeving waarin de systemen worden gebruikt, laat zien dat het in de gezondheidzorg bij uitstek van belang is om bijtijds en veelvuldig degenen te betrekken die ervan gebruik zullen maken. Tot slot wordt het duidelijk dat het van belang is om voldoende in gesprek te gaan over de criteria op basis waarvan ondersteunende systemen moet worden beoordeeld. Wat zijn de voorwaarden voor een goede beslissing in de specifieke omgeving waar een systeem zal worden toegepast? Door nog vòòr de invoering in de zorgpraktijk dergelijke vragen te beantwoorden of maatregelen te nemen, kan het voorzorgprincipe toegepast worden bij deze systemen.

Het voorzorgsprincipe biedt ruimte aan belangrijke overwegingen. Het is belangrijk om te reflecteren op de ernstige risico’s en onzekerheden. Deze reflecties kunnen weer openingen bieden voor nieuwe innovaties die beter met deze zorgen omgaan. Als het gaat om de toegankelijkheid en stabiliteit van de gezondheidszorg willen we immers geen onnodige risico’s nemen.

In het volgende artikel in deze serie staat de toepassing van het voorzorgsprincipe ten aanzien van gene drives centraal. Een overzicht van de gehele serie over het voorzorgsprincipe is hieronder te vinden.