Bergstrom: ”Det ser vetenskapligt ut men är bara bullshit”

2021-03-10 10:03  

Artiklar och studier som bygger på matematik, statistik och vetenskap i allmänhet kan ge intrycket av att vara mer seriösa än andra. Men inte heller de är immuna mot skitsnack. Så kan du ta dig an problemet.

Den 5 februari 2021 publicerar Bloomberg en artikel om vaccin mot covid-19. Den berättar om en genomgång som visar att 8 procent av vaccinerade israeler efter tio dagar ändå blev sjuka. Visst låter det illa? Ja, Bloomberg hade gjort en räknemiss (som de sedan rättade).

Den amerikanske biologiprofessorn och författaren Carl Bergstrom lyfter det här som ett färskt exempel när vi talas vid över Zoom om hans och kollegan Jevin Wests nya bok Calling Bullshit. För det här är precis vad boken handlar om: om hur vi kan stärka våra källkritiska förmågor när det gäller matematik, vetenskap eller statistik.

–  Det är bara att följa en regel i boken, att om något verkar för bra eller för dåligt för att vara sant, då är det antagligen så, säger Carl Bergstrom.

Läs mer: Guide: Så surfar du säkert på internet

Medier kan göra räknemissar eller tolka studier fel. Men det sprids också ren desinformation på sociala medier som folk riskerar att gå på.

– Med covid-19 har vi sett hur vissa lägger fram argument med en massa data och snygga grafer. Om du bara tittar snabbt kan det se väldigt vetenskapligt ut. Men en del av detta är bara bullshit, säger Carl Bergstrom.

Skitsnacket (”bullshit”) finns överallt. Vetenskapen är inte befriad från struntprat, trams och grundlösa påståenden. Just covidvaccin är kanske särskilt knepigt att navigera. Kunskapen om vaccin är komplex och bygger på överlappande kompetenser. Det finns många osäkerheter och mycket vi ännu inte förstår. Och ju längre vi kommer från vårt eget expertområde desto mer villiga är vi också att tro på vad vi läser, enligt Carl  Bergstrom. 

Ställ rätt frågor

Men du behöver inte vara expert för att bli bättre på att upptäcka var en studie eller artikel brister. Vi tar ett påhittat exempel från boken.

Låt oss säga att du tar del av en studie som påstår att kattägare tjänar mer, i genomsnitt, än hundägare. Det är baserat på en statistisk uträkning, och formeln finns att läsa i studien. Men du upplever det hela som utrikiska. Du behöver inte fastna där.

Börja med att titta på hur forskarna har samlat in underlaget, och varifrån det kommer. Har man gjort rätt urval för den slags undersökning man vill göra? Är datan relevant och ofärgad? Och hur är det med resultatet?  Finns det verkligen stöd för slutsatsen man drar?

Läs mer: Astrofysikern: ”I alla scenarier tar vårt universum slut” 

Vi tar ett annat, riktigt, exempel från boken. I november 2016 publicerades en artikel på Arxiv, som förhandspublicerar ännu ej expertgranskade vetenskapliga artiklar. Forskarna bakom artikeln Automated Inference on Criminality using Face Images hävdade att de hade utvecklat algoritmer som kunde detektera ansiktsdrag som är associerade med kriminalitet. Algoritmen, menade de, var fri från bias och fördomar. Men kunde det verkligen stämma?

Forskarnas  algoritmer hade tränat sig på bilder av över 1 800 män. Majoriteten av bilderna hade de hämtat från internet. Eftersom forskarna  kände till männens yrken och utbildningsbakgrund är en logisk slutsats att bilderna kom från sidor för yrkesverksamma. Resten av bilderna var på dömda kriminella och var hämtade från polisen. Kan du upptäcka något problem redan här?

Omslaget till boken Calling Bullshit. Foto: Penguin Random House

Man kan anta att bilderna på den första gruppen hade valts ut för att ge ett gott intryck. Det var knappast lika sannolikt för den andra gruppen. Att den andra uppsättningen bilder var på dömda kriminella är också knepigt. Kanske har algoritmerna egentligen bara visat vilka ansiktsdrag som kan bidra till att någon löper högre risk att bli dömd? Algoritmerna kom också fram till att de dömda kriminella bland annat hade en annan vinkel mellan näsan och mungiporna, och en högre kurva på överläppen.

När man tittar närmare på bilderna som valts ut till studien förstår man varför. De log inte i lika hög grad som den första gruppen. Det hade alltså inget att göra med skillnader i ansiktsdrag, utan olika ansiktsuttryck.

Det finns ingen data som är så ren att ai inte kan fuska. Och ai är bra på det, säger Carl Bergstrom.

–  Du kan ta ai som ska analysera röntgenbilder för att ställa rätt diagnos. Även om du tar bort den lilla markeringen i hörnet av en röntgenbild som listar vilken typ av röntgen det handlar om så kan den ändå lista ut vad det är för slags bild utifrån exempelvis pixelstorlek. Ai kommer inte nödvändigtvis att träna sig på det du vill att den ska träna sig på, förklarar han.

Att vara medveten om behovet att vara skeptisk som nyhetskonsument är viktigt, menar Carl  Bergstrom. Man behöver också förstå att siffror fungerar som verktyg för att berätta historier och inte förmedlar absoluta sanningar.

–  Även om en siffra är sann är valet av vad vi ska mäta och hur vi ska återge det, exempelvis som ett absolut tal, procent eller procentenhet eller över vilken tidsskala, allt en del av att berätta en story. Att verkligen känna till det är en viktig nyckel till att se igenom skitsnacket, säger Carl Bergstrom.

Bok, hemsida och föreläsningar

Boken Calling Bullshit: The Art of Skepticism in a Data-Driven World av Carl Berg­strom och Jevin West.

Calling Bullshit har en egen hemsida, www.callingbullshit.org, med övningsexempel av varierande svårighetsgrad.

Ania Obminska

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer

Debatt