calendar tag arrow download print
Image
Augmented reality (een Hololens) projecteert het menselijk lichaam op een skelet.
Artikel
29 oktober 2020

Augmented reality in de neurochirurgie

Augmented reality
Voorbeeld van gebruik van een Hololens in de zorg/ door: Microsoft
In de zorg wordt op verschillende manieren geëxperimenteerd met augmented reality (AR), een technologie die virtuele ‘lagen’ toevoegt aan de werkelijkheid, waardoor een fysiek-virtuele wereld ontstaat. Deze technologie wordt gebruikt voor communicatie met patiënten, maar ook voor trainingsdoeleinden en bij het stellen van diagnoses. Om beter te begrijpen hoe AR kan worden toegepast in de zorg, spraken we met neurochirurg Tristan van Doormaal van het Universitair Medisch Centrum Utrecht (UMCU) en softwareontwikkelaar Tom Mensink.

In het kort:

  • Hoe wordt AR toegepast in de neurochirurgie? Daarover gaat dit eerste deel in de webreeks ‘AR in de praktijk’.
  • In de neurochirurgie wordt AR gebruikt om een medisch probleem in de hersenen te verduidelijken en hersenoperaties te ondersteunen.
  • Uitdagingen voor het gebruik van AR in de neurochirurgie liggen op het vlak van de techniek, de eisen en procedures voor nieuwe medische apparatuur en verantwoord datagebruik.

Dit is het eerste deel van de webreeks ‘AR in de praktijk’, die laat zien hoe augmented reality wordt toegepast, welke mogelijkheden de technologie biedt en welke beperkingen gebruikers en ontwikkelaars ervaren. De webreeks is onderdeel van ons rapport Nep echt. AR voegt virtuele lagen toe aan de werkelijkheid, waardoor een ‘hybride’, fysiek-virtuele wereld ontstaat. Via smartphones, headsets of slimme brillen kunnen gebruikers allerlei handelingen verrichten. AR is een vorm van ‘immersieve technologie’, die gebruikers onderdompelt in een fysiek-virtuele wereld. Op basis van onderzoek naar de impact van immersieve technologie, roept het Rathenau Instituut dit najaar op tot een breed publiek en politiek debat over de digitale samenleving van morgen.

Een medisch probleem inzichtelijk maken

Al sinds de jaren ’70 van de vorige eeuw gebruiken artsen CT-scans en MRI-scans om de hersenen van patiënten in kaart te brengen. Die apparaten maken een reeks zwart-witplaatjes van 2D-doorsnedes van het brein. Het begrijpen en analyseren van dergelijke beelden vergt de nodige training. Neurochirurg Tristan van Doormaal vertelt dat hij niet goed kon uitleggen wat het probleem in de hersenen precies was en hoe dat er driedimensionaal uitzag. ‘Dat kon ik niet uitleggen aan patiënten’, merkt hij op, ‘maar ook niet aan jonge chirurgen ’.

Die ervaring was voor hem een reden om te gaan experimenteren met AR. Met AR is het namelijk mogelijk om op basis van data uit een CT-scan of MRI-scan een hologram te maken. Een arts kan dat hologram dan samen met een patiënt bekijken en bespreken, met behulp van een AR-headset. Chirurgen, assistenten, studenten en patiënten hebben daar baat bij, omdat het een medisch probleem inzichtelijker kan maken. AR kan bijvoorbeeld helpen bij het visualiseren van een geplande operatie. Maar de technologie kan ook als trainingsinstrument ingezet worden. In het UMC Utrecht werkt Van Doormaal aan een trainingsset met hologrammen van echte patiënten, die illustratief zijn voor ziektes die in de medische praktijk voorkomen.

Hulp tijdens het opereren

AR kan ook nuttig zijn tijdens het uitvoeren van de operatie zelf. Een hologram is een vrij precieze, virtuele kopie van de hersenen van een patiënt. Als tijdens een operatie een hologram op het hoofd van de patiënt geprojecteerd wordt, krijgt de chirurg zicht op gevaarlijke structuren en zones in het gebied waar hij opereert.

AR is een vorm van een  ‘intra-operatieve beeldvormingstechniek’. ‘Intra-operatief’ betekent dat er een tweede scan van de hersenen wordt gemaakt, nog voordat de patiënt de operatiekamer verlaat. Het hoofd wordt tijdelijk gesloten en de patiënt gaat opnieuw onder de MRI-scanner. Aan de hand van de nieuwe scan kan de chirurg bepalen of een tumor volledig verwijderd is. ‘Als we nog een resttumor zien’, vertelt van Doormaal, ‘dan maken we in vijf minuten een nieuw hologram’. Hij hoopt dat operaties met behulp van AR korter gaan duren en dat de kans op een geslaagde operatie groter wordt.

Technische uitdagingen

Bij experimenten met AR als operatief hulpmiddel, lopen gebruikers tegen technische uitdagingen aan – al gaan de ontwikkelingen snel en zijn veel problemen inmiddels opgelost. Een blijvend probleem is de batterijduur van de headset waar Van Doormaal mee werkt, die korter is dan de duur van de meeste operaties. Bij het begin van het experimenteren, was het maken van een hologram de grootste technische uitdaging. Dat vergde veel voorbereiding, waaronder heel wat tekenen. Inmiddels is een pipeline ontwikkeld voor het automatisch omzetten van een scan in een hologram. Het is nu zelfs mogelijk – dankzij een Europese onderzoekssubsidie (Eurostars Grant) – om op het hologram met behulp van kunstmatige intelligentie direct structuren te herkennen die op een tumor in de hersenen kunnen wijzen. Een andere uitdaging was, dat bij de HoloLens 1, het type headset dat Van Doormaal aanvankelijk gebruikte, het gezichtsveld van de gebruiker vrij nauw was: men keek toen als het ware door een smalle spleet. Met de HoloLens 2 is het gezichtsveld van de gebruiker sterk uitgebreid.

Omdat het hoofd van een hersenpatiënt tijdens een operatie volledig gefixeerd is, vormt de neurochirurgie een logisch startpunt voor de toepassing van AR in de operatieve praktijk. Maar bij dit soort ingrepen werken doorgaans meerdere chirurgen en assistenten samen. Een van de grote uitdagingen daarbij is ervoor te zorgen dat voor degene die opereert, het hologram (het virtuele object) en het hoofd waarop het hologram geprojecteerd wordt (het fysieke object) precies op elkaar blijven liggen – ook op het moment dat een operatieve handeling wordt uitgevoerd. Een tweede uitdaging is, dat de andere deelnemers aan de operatie die bewegingen moeten kunnen waarnemen, elk vanuit hun eigen perspectief. QR-codes die op of in de buurt van het hoofd gemonteerd worden, blijken voor beide uitdagingen uitkomst te bieden. Daarnaast wordt ook gebruik gemaakt van zogenaamde spatial anchors. Dat zijn markante plekken in de ruimte waarvan de driedimensionale positie door elke HoloLens identiek herkend worden.

Dat het hologram zo precies mogelijk geprojecteerd wordt op de locatie van de hersenen, is volgens Van Doormaal niet altijd handig. ‘Stel je voor: er gaat een bloedvat bloeden. Dan zit daar iets overheen geprojecteerd wat je moet weghalen, voordat je die bloeding aan kunt pakken.’ Zijn team heeft nu een techniek gepatenteerd om het hologram een stuk boven het hoofd van de patiënt te projecteren, zodat de projectie de operatie zelf niet in de weg zit en het hologram werkt als een soort spiekbriefje.

Eisen en procedures

Voordat een nieuwe medische technologie breed inzetbaar wordt, moet voldaan zijn aan allerlei kwaliteitseisen en formele veiligheidsregels. Het ontwikkelen van AR voor de zorg is daarom een proces van lange adem. De aanschaf van hardware is daarnaast een grote investering voor ziekenhuizen. Ook moet het nieuwe product passen in de bestaande manier van werken, en moeten studies herhaaldelijk aantonen dat het nieuwe product positieve uitkomsten biedt.

Tot slot moet medische apparatuur ook veilig zijn. Elk apparaat dat in de operatiekamer geïntroduceerd wordt, dient een CE-certificering te krijgen. Apparatuur moet bovendien voldoen aan de veiligheidseisen die gesteld worden door de Medical Device Regulation (MDR) van de Europese Unie. Het team dat betrokken was bij de ontwikkeling van AR bij het UMC Utrecht, bewandelt inmiddels deze weg en hoopt in het najaar van 2020 het eerste goedgekeurde product beschikbaar te hebben.

Zorgen om data en privacy

Bij de inzet van digitale medische beeldvormingstechnieken worden allerlei intieme gegevens van patiënten verzameld en verwerkt. Er moet dus nagedacht worden over het beheer van hun data en de bescherming van hun privacy. Voor de opslag van zorgdata gelden specifieke veiligheidseisen. Ziekenhuizen stellen ook zelf regels op over de toegang tot en de omgang met data. Maar apparaten zoals de HoloLens hebben vooralsnog niet de status van medische apparaten. Dat roept de vraag op of de gegevens die ze verzamelen goed beheerd worden. Hoe worden de rechten van patiënten gewaarborgd op het moment dat digitale medische apparaten zoals de HoloLens gebruikt worden? 

Van Doormaal stelt dat hij patiënten vooraf informeert en ze ook toestemming vraagt voor het gebruik van de AR-beelden. Hij geeft bijvoorbeeld aan dat hij de beelden wil gebruiken voor trainingsdoeleinden. Dat doet hij vervolgens uitsluitend in de context van zijn eigen ziekenhuis. De Nederlandse privacywetgeving en de AVG laten immers niet toe dat hij de data met andere zorginstellingen deelt. 

Voor het opslaan van de hologrammen wordt nu gebruik gemaakt van de Azure Cloud, een dienst van Microsoft (het bedrijf dat ook de HoloLens ontwikkelt). Dit is dezelfde cloud als waarin ziekenhuizen andere patiëntdata opslaan. Bovendien gaat het bij de opslag van hologrammen om een zelfgebouwde, gecertificeerd veilige omgeving. Voor toegang tot die omgeving wordt gebruik gemaakt van irisherkenning. De betrokkenen ervaren dit als een ‘revolutionaire’ vorm van beveiliging, die in de toekomst ook data-uitwisseling tussen ziekenhuizen mogelijk moet maken. ‘Data die lokaal opgeslagen wordt’, voegt Tom Mensink nog toe, ‘wordt voor derden onleesbaar versleuteld met moderne encryptietechnieken.’ Dat alles neemt echter niet weg, dat wie een commerciële clouddienst gebruikt, in zee gaat met een groot technologiebedrijf. Dergelijke bedrijven hebben doorgaans ook interesse voor medische data, omdat ze die zouden kunnen vermarkten. Vanuit het oogpunt van privacy is het dus nodig de gebruiksvoorwaarden van dit soort diensten voortdurend te monitoren.

Dit artikel is tot stand gekomen op basis van een interview met neurochirurg Tristan van Doormaal, dat werd afgenomen op 9 oktober 2019, en een achtergrondgesprek met softwareontwikkelaar Tom Mensink op 23 oktober 2019.

Andere artikelen in de reeks:

Gerelateerd: