Forskning

Studie visar att samma forskningsdata kan tolkas olika

2:00 min

Vetenskapliga resultat riskerar att se väldigt olika ut beroende på hur data har samlats in, processats och hur den sedan analyserats. Men hur pass olika kan resultaten bli?

Anna Dreber Almenberg är professor i nationalekonomi på Handelshögskolan i Stockholm, och en av initiativtagarna bakom en stor studie som publicerats i Nature.

– Vår intuition var att det skulle bli stor variation, och det blev det också, säger hon.

I ett samarbete mellan neuroforskare och nationalekonomer skapades en studie där olika forskargrupper skulle analysera samma rådata, men med valfri process och analysmetod.

Rådatan togs fram på ett laboratorium där 108 försökspersoner fick ta beslut i ekonomiska frågor samtidigt som det gjordes avbildningar av deras hjärnor. Datan skickades sedan till 70 olika forskargrupper i världen, tillsammans med nio hypoteser om hjärnaktiviteten, som forskargrupperna med deras valda metod skulle styrka eller avslå.

När resultaten rapporterades in kunde Anna Dreber Almenberg och hennes kollegor se att variationen var stor.

– Här har vi ju 70 olika analyser. Ingen av forskargrupperna gjorde exakt samma. Sedan fanns det ju vissa som låg närmare varandra. Men om vi inte hade bjudit in dem, då hade vi kunnat göra en sådan här studie, göra en analys och sedan rapportera det till världen: såhär ser det ut. Men nu ser vi att det kan se ut på 70 olika sätt, säger hon.

Problemet med olika vetenskapliga resultat beroende på urval och hur man processar data, är ett problem som finns inom många forskningsområden.

Men att genom studier som den här försöka lyfta problemet och skapa en diskussion om olika lösningar är en bra början för att skapa förändring, menar Anna Dreber Almenberg. Något som hon också tror gjorde att så många forskargrupper ville delta i projektet.

– Det är ju fantastiskt tycker jag. Nu är det så pass många som tycker att det här är viktiga frågor, säger hon.

Referens: Botvinik-Nezer, R., Holzmeister, F., Camerer, C.F. et al. Variability in the analysis of a single neuroimaging dataset by many teams. Nature (2020). https://doi.org/10.1038/s41586-020-2314-9.