Regie over AI in de wetenschap

Dit rapport brengt in kaart welke keuzes bestuurders en beleidsmakers hebben om verantwoord gebruik van generatieve AI (GenAI) in de Nederlandse wetenschap mogelijk te maken. De brede beschikbaarheid van GenAI is een disruptieve ontwikkeling voor het wetenschapssysteem. Deze technologie biedt vele nieuwe mogelijkheden voor wetenschappelijk onderzoek, maar het gebruik van GenAI kost veel energie, versterkt technologische afhankelijkheden en schept methodologische en ethische problemen.

Bestuurders en beleidsmakers besteden volop aandacht aan de impact van GenAI op de wetenschap, maar hun inspanningen zijn voornamelijk reactief en gericht op de korte termijn. Met dit rapport wil het Rathenau Instituut kennisinstellingen, onderzoeksfinanciers en de overheid in staat stellen om weloverwogen keuzes te maken over de wetenschap, door ze handvatten te bieden om de onzekerheden omtrent de ontwikkeling en inzet van GenAI in de wetenschap op de lange termijn te doordenken.

We hebben onderzoek gedaan naar de toekomstige impact van GenAI op het wetenschapssysteem, in cocreatie met stakeholders en experts op gebied van wetenschap en wetenschapsbeleid. Hoe ziet hun ideale wetenschapssysteem van de toekomst eruit, en welke plaats heeft GenAI daarin? 

Voor dit onderzoek is gebruikgemaakt van de backcasting-methodiek. Dat is een benadering uit het vakgebied van de toekomststudies waarbij deelnemers beginnen met het formuleren van een gewenst toekomstbeeld, om vervolgens terug te redeneren naar het heden en de benodigde interventies te bepalen. Gevoed door literatuuronderzoek, interviews en observaties hebben we in samenspraak met stakeholders drie wensbeelden geformuleerd voor de rol van GenAI in de wetenschap in 2040. We hebben bewust gewerkt met meerdere toekomstbeelden om het gesprek over de wenselijkheid van de technologie te stimuleren en beleidskeuzes in het heden te expliciteren.

Vervolgens hebben we in samenwerking met stakeholders vanuit elk wensbeeld stap voor stap teruggeredeneerd naar het heden. Zo identificeerden we interventies om elk van de wenselijke toekomsten van de wetenschap dichterbij te brengen. De analyse van deze interventies maakt zichtbaar welke keuzes er in het heden nodig zijn om te sturen op een wenselijke toekomst van GenAI in de wetenschap.

De gedeelde wetenschap

In het wensbeeld De gedeelde wetenschap gebruiken wetenschappers GenAI om wetenschap en samenleving met elkaar te verbinden, in lijn met de idealen van open science. Met open source GenAI-modellen worden burgerwetenschap, inter- en transdisciplinaire samenwerkingen gemakkelijker. Onderzoeksfinanciering wordt verdeeld volgens democratische principes en de Europese Unie beschikt over eigen digitale infrastructuur volgens EuroStack-principes.

Wie dit wensbeeld omarmt, zou bijvoorbeeld transdisciplinaire samenwerking kunnen bevorderen met behulp van passende loopbaanprofielen en een aangepaste insteek voor Erkennen en Waarderen. Ook zijn investeringen nodig om GenAI-tools en infrastructuur betrouwbaarder en toegankelijker te maken. Ten slotte kan scholing bijdragen aan AI-geletterdheid onder onderzoekers, burgers en professionals.

De versnellende wetenschap

In De versnellende wetenschap wordt de wetenschap fundamenteel anders ingericht om zo efficiënt mogelijk wetenschappelijke inzichten te produceren met behulp van GenAI. Wetenschappers gebruiken GenAI voor arbeidsintensieve taken zoals het verwerken en verzamelen van data. Daarnaast werken wetenschappers ook veelvuldig met GenAI voor het schrijven en beoordelen van tijdschriftartikelen en onderzoeksaanvragen. Onderzoek is georganiseerd langs discipline-overstijgende vragen en toepasbare oplossingen voor maatschappelijke vraagstukken.

Wie dit wensbeeld dichterbij wil brengen, zou nieuwe auditorganisaties kunnen inrichten en data-expertise sterker kunnen verankeren in het functiehuis. Onderzoeksfinanciers kunnen met GenAI hun selectieproces aanpassen en hun middelen meer richten op data in plaats van op personen. Er zouden ook nieuwe afspraken nodig zijn over kennisveiligheid. En er zijn investeringen nodig voor het ontwikkelen van grootschalige platformen en algoritmen om de technologische infrastructuur voor dit wensbeeld mogelijk te maken. Ten slotte zijn ook voor dit wensbeeld digitale vaardigheden cruciaal, alleen geldt dat hier vooral voor de onderzoekers zelf.

De ambachtelijke wetenschap 

In het derde wensbeeld, De ambachtelijke wetenschap, wordt GenAI met de grootst mogelijke zorg en voorzichtigheid en alleen ter ondersteuning ingezet. Onderzoekers gebruiken uitsluitend GenAI-modellen die transparant en controleerbaar zijn. De wetenschap vertraagt om zorgvuldigheid te bevorderen. De verscheidenheid aan disciplinaire tradities binnen de wetenschap blijft behouden.

Om dit wensbeeld te realiseren, zouden aanpassingen in het financieringssysteem nodig zijn die zorgvuldige wetenschap stimuleren. In aanvulling zou een maximumaantal publicaties per onderzoeker kunnen worden ingevoerd en een wettelijk verbod op onverantwoord gebruik van GenAI. Organisaties als UNL, KNAW, NWO en VH zouden slow science en kritische AI-geletterdheid kunnen adopteren in Erkennen en Waarderen.

Beleidskeuzes

Dit rapport laat zien dat er in Nederland uiteenlopende visies leven op de toekomst van het wetenschapssysteem en ook op de rol van GenAI daarin. Uit onze vergelijking van de routekaarten naar de drie wensbeelden blijkt dat er geen zogeheten no-regret-acties zijn, stappen die bij ieder van de wensbeelden passen. Wel zijn er een aantal centrale kwesties die in ieder van de wensbeelden terugkomen. De precieze invulling hiervan verschilt echter sterk.

Op basis van onze analyse hebben we voor zeven thema's in het Nederlandse wetenschapssysteem vragen opgesteld die kunnen helpen bij het maken van keuzes:

1. Gedragscode wetenschappelijke integriteit
   Welke toepassingen van GenAI worden toelaatbaar geacht? En welke eisen worden aan GenAI-modellen gesteld?
2. Scholing van onderzoekers
   Welke toepassingen van GenAI worden toelaatbaar geacht? En welke eisen worden aan GenAI-modellen gesteld?
3. Publicatiesysteem
   Wat zijn de doelen en reikwijdte van wetenschappelijke communicatie? En moet de Nederlandse wetenschap versnellen of vertragen, en moet competitie het leidende principe blijven?
4. Financieringsinstrumenten
   Moet de Nederlandse wetenschap versnellen of vertragen, en moet competitie het leidende principe blijven?
5. Erkennen en Waarderen
   Moet de Nederlandse wetenschap versnellen of vertragen? Moet de wetenschap de samenwerking met de samenleving en/of het bedrijfsleven intensiveren?
6. Relatie samenleving en bedrijfsleven
   Moet de wetenschap de samenwerking met de samenleving en/of het bedrijfsleven intensiveren?
7. Technologische infrastructuur
   Welke capaciteit is nodig? Welke toepassingen van GenAI worden toelaatbaar geacht? Wil Nederland nationaal of Europees investeren in digitale infrastructuur?

Deze keuzes gaan dus niet alleen over welke GenAI-tools onderzoekers precies mogen gebruiken, en voor welke toepassingen, maar ook over aanpalende kwesties zoals het wetenschappelijk publicatiesysteem, academische loopbanen en onderzoeksfinanciering.

De keuzes die we signaleren, hebben verstrekkende gevolgen en vragen dus om dialoog. Tegelijk zijn ze ook urgent. In de huidige situatie worden wetenschappers (halfslachtig) aangemoedigd om GenAI te gebruiken, zonder dat de randvoorwaarden aanwezig zijn om hier op een verantwoorde wijze effectief de vruchten van te plukken. Heldere keuzes kunnen de wetenschap in staat stellen om GenAI (in meer of mindere mate) in te zetten voor maatschappelijke en wetenschappelijke doelen, met inachtneming van de kosten en risico's.
 

Dit rapport laat zien dat je een discussie over de gewenste rol van generatieve AI (GenAI) in de wetenschap niet kunt voeren zonder een breder gesprek over wat voor wetenschap we wensen. Gebruik van GenAI stelt de wetenschap momenteel al voor forse uitdagingen, zoals de houdbaarheid van het publicatiesysteem, beschikbare infrastructuur en duurzaamheid. In de toekomst zal het gebruik van GenAI mogelijk een nog veel grotere impact hebben op het wetenschappelijke proces, de organisatie van wetenschap, de relatie tussen wetenschap en samenleving, en de internationale inbedding van de Nederlandse wetenschap.

Uiteraard vraagt de beschikbaarheid van GenAI om keuzes over de typen GenAI-tools die toelaatbaar worden geacht, en de activiteiten waar ze wel of niet mogen worden toegepast. De lopende trajecten om richtlijnen en kaders te formuleren juichen we dus van harte toe.

Tegelijk vragen ook aanpalende, bredere kwesties om aandacht. De systemen van academische loopbanen, publicaties en onderzoeksfinanciering waren al oververhit en omstreden, maar zijn door het gebruik van GenAI verder onder druk komen te staan. Bestaande discussies hierover krijgen nieuwe urgentie door de brede beschikbaarheid van GenAI. Wie de ontwikkelingen op hun beloop laat, loopt de kans dat deze systemen verder vastlopen of zelfs ontsporen, met mogelijke schade aan individuele onderzoekers, kennisinstellingen of de samenleving als gevolg.

Onze analyse laat zien dat het wetenschapssysteem voor ingrijpende keuzes staat op zeven thema's:

1. Gedragscode wetenschappelijke integriteit
   Welke toepassingen van GenAI worden toelaatbaar geacht? En welke eisen worden aan GenAI-modellen gesteld?
2. Scholing van onderzoekers
   Welke toepassingen van GenAI worden toelaatbaar geacht? En welke eisen worden aan GenAI-modellen gesteld?
3. Publicatiesysteem
   Wat zijn de doelen en reikwijdte van wetenschappelijke communicatie? En moet de Nederlandse wetenschap versnellen of vertragen, en moet competitie het leidende principe blijven?
4. Financieringsinstrumenten
   Moet de Nederlandse wetenschap versnellen of vertragen, en moet competitie het leidende principe blijven?
5. Erkennen en Waarderen
   Moet de Nederlandse wetenschap versnellen of vertragen? Moet de wetenschap de samenwerking met de samenleving en/of het bedrijfsleven intensiveren?
6. Relatie samenleving en bedrijfsleven
   Moet de wetenschap de samenwerking met de samenleving en/of het bedrijfsleven intensiveren?
7. Technologische infrastructuur
   Welke capaciteit is nodig? Welke toepassingen van GenAI worden toelaatbaar geacht? Wil Nederland nationaal of Europees investeren in digitale infrastructuur?

Een helder antwoord op deze vragen zal het mogelijk maken om GenAI op een verantwoorde manier te gebruiken in de wetenschap, op meer bescheiden of intensieve wijze. En ook de knelpunten in het heden waarmee we dit rapport zijn gestart, zoals het oververhitte publicatiesysteem, beperkte digitale infrastructuur en ethische dilemma's, kunnen daarmee worden opgelost.

Het maken van keuzes zal niet eenvoudig zijn. De keuzes zijn fundamenteel van aard en kunnen verstrekkende gevolgen hebben. En de opvattingen en voorkeuren met betrekking tot GenAI lopen in de wetenschap sterk uiteen, zoals onze drie wensbeelden illustreren. Overhaaste beslissingen zijn dus riskant, en een dialoog met alle betrokken partijen lijkt op zijn plaats. Tegelijk kunnen de beslissingen ook niet lang meer wachten. Want wanneer bestuurders en beleidsmakers geen keuzes maken, dreigen ze de regie over belangrijke onderdelen van het wetenschapssysteem te verliezen.

Bij het maken van normatieve keuzes kunnen onze drie wensbeelden hopelijk inspiratie bieden voor het ontwikkelen van een eigen toekomstvisie. Uiteraard kunnen elementen uit verschillende wensbeelden gecombineerd worden, voor zover deze onderling verenigbaar zijn. Wie bijvoorbeeld met overtuiging kiest voor een wettelijk verbod op het gebruik van GenAI voor het schrijven van wetenschappelijke publicaties zoals bij De ambachtelijke wetenschap, maakt de realisatie van De versnellende wetenschap onmogelijk. En wie koerst op een sterke integratie tussen wetenschap en bedrijfsleven (De versnellende wetenschap) beperkt daarmee de mogelijkheid voor publieke partijen om nog mee te beslissen over onderzoeksagenda's en methoden (De gedeelde wetenschap).

Bestuurders en beleidsmakers hoeven dus niet één van onze wensbeelden integraal te adopteren, maar het is wel belangrijk dat ze tot een eigen samenhangend toekomstbeeld komen zonder fundamentele tegenstrijdigheden.