Meer aandacht voor twijfelachtige onderzoekspraktijken nodig
Foto: Josh Olalde - Unsplash
Belangrijke beslissingen zijn vaak gebaseerd op kennis die de wetenschap heeft geleverd. Die kennis moet betrouwbaar zijn. Cruciaal daarbij is de onderzoeksmethode. Wetenschappers letten daar niet altijd voldoende op en trekken soms conclusies die verder gaan dan hun metingen en waarnemingen rechtvaardigen. Het gesprek daarover wordt vooral onder wetenschappers zelf gevoerd, maar het is belangrijk dat ook bestuurders, beleidsmakers en belanghebbenden binnen de maatschappij daarbij betrokken worden. Dat is de boodschap van het essay 'Twijfelachtige onderzoekspraktijken zijn een zorg voor de hele samenleving'.
In het kort
- In alle fasen van het onderzoeksproces kunnen wetenschappers methodologische fouten maken.
- Er zijn verschillende mogelijkheden om twijfelachtige onderzoekspraktijken tegen te gaan.
- Over de mogelijke oplossing preregistratie publiceert het Rathenau Instituut een afzonderlijk artikel.
Praktijken die de toets der methodologische kritiek niet helemaal kunnen doorstaan, kunnen in alle fasen van het onderzoeksproces plaatsvinden: bij de opzet, de dataverzameling, de analyse en de rapportage. Onderzoekers stellen soms suggestieve vragen, kiezen proefpersonen die toevallig in hun netwerk zitten, voeren experiment uit zonder een goede controlegroep waarmee ze hun resultaten kunnen vergelijken of formuleren hun onderzoeksvragen pas nadat ze hun resultaten al gevonden hebben. Uit een groot internationaal onderzoek bleek vorig jaar dat de helft van de Nederlandse wetenschappers weleens twijfelachtige onderzoekspraktijken gebruikt.
Werkdruk en achterhaalde methoden
Er zijn meerdere factoren die twijfelachtige onderzoekspraktijken bevorderen. Wetenschappers willen hun onderzoek graag publiceren en duidelijke resultaten vergroten de kans dat dit ook daadwerkelijk gebeurt. Ook de kennis van methodologie en statistiek schiet weleens tekort. De hoge werkdruk zorgt er soms voor dat wetenschappers zich daarin onvoldoende blijven scholen. Soms ook houden ze te lang vast aan onderzoekmethoden die achterhaald blijken.
Twijfelachtige manieren van onderzoek hebben niet alleen gevolgen voor de wetenschap zelf. Belangrijke beslissingen die worden genomen op basis van kennis die niet klopt, kunnen grote gevolgen hebben voor de samenleving. Ook het vertrouwen in de wetenschap kan er onder lijden. Daarnaast is het een verspilling van gemeenschapsgeld.
Het essay geeft een overzicht van mogelijke oplossingen die metawetenschappers al eerder hebben aangedragen. Zo kan het achteraf aanpassen van hypotheses worden tegengegaan door onderzoekers vooraf hun onderzoeksopzet te laten registreren (preregistratie). Het aanpassen van onderzoeksresultaten om de kans op acceptatie door een tijdschrift te vergroten, kan worden tegengegaan door meer publicatiemogelijkheden te bieden voor onderzoek dat juist niks of weinig heeft opgeleverd. Een derde mogelijkheid om wetenschap betrouwbaarder te maken is het meer herhalen van onderzoek.
Mogelijkheden van preregistratie
Wetenschappers, onderzoeksinstellingen en onderzoeksfinanciers zijn zich steeds meer bewust van twijfelachtige onderzoekspraktijken, ook in Nederland. Op een bijeenkomst van het Rathenau Instituut eind 2021 spraken ze hierover. Inzichten uit die bijeenkomst klinken in dit essay door.
Over hoe preregistratie de kwaliteit van onderzoek kan bevorderen, publiceert het Rathenau Instituut een afzonderlijk artikel.