Olle Häggström har på senare år ägnat allt mer tid åt att försöka förstå möjligheter och risker med framtida ai. Foto: Institutet för Framtidsstudier och TT

”En superintelligent ai riskerar att avvika kraftigt från mänskliga mål”

2021-06-25 07:00  

Det är dags att sluta förneka riskerna med artificiell generell intelligens. Dags att på allvar fundera över hur framtida superintelligenta system kan agera utifrån mänskliga värderingar. Det är budskapet i nya boken Tänkande maskiner, av Olle Häggström, professor på Chalmers.

Peter Ottsjö

Det finns teknikutveckling vars potential är så omstörtande och avgörande för mänsklighetens framtid att dagens beslutsfattare omgående borde släppa allt de har för sina händer och rikta all sin energi mot den.

Artificiell intelligens inte bara tillhör den kategorien, den är dess kronjuvel.

Men få av våra politiker ägnar frågan så mycket som en tanke, och de som gör det kan luta sig mot de ai-forskare som menar att det inte finns några existensiella risker med ai. I Olle Häggströms nya bok, Tänkande maskiner – Den artificiella intelligensens genombrott (Fri Tanke Förlag), kallar han dessa forskare ai-riskförnekare.

– Det är tydligt att kompetens i ai-utveckling inte behöver sammanfalla med kompetens i ai-filosofi. Att bygga jordnära ai är inte samma sak som att tänka brett och stort kring den artificiella intelligensens framtid, säger Häggström, som till vardags är professor i matematisk statistik på Chalmers.

Olle Häggström skiljer på det han kallar jordnära och högtflygande artificiell intelligens. Jordnära är den existerande ai som ger oss stora möjligheter och utmaningar redan här och nu.

Artificiell generell intelligens, agi, och superintelligens (se faktaruta nedan) sorterar Häggström under högtflygande, och är skälet till att han skrivit Tänkande maskiner.

Superintelligens kan framstå som komiskt

Jämfört med atombomber och syntetiskt framställda biovapen så kan hotet från artificiell intelligens inledningsvis nästan framstå som komiskt.

– Absurditeten är en del av själva poängen. Vi människor har våra värderingar, målsättningar och drivkrafter. Men en superintelligent ai, om vi inte mycket noggrant ser till att den får en liknande uppsättning mål och drivkrafter som oss människor, riskerar att avvika kraftigt. Ur mänsklig synvinkel kan dess mål då bli väldigt absurda, säger Olle Häggström.

Vi vill förmodligen inte att hela universum ska bestå av sådana här. Foto: Sarah Flanagan/REX

Ett ofta använt tankeexperiment är det som brukar kallas gemapokalypsen. Ett superintelligent system vars mål är att tillverka så många gem som möjligt når sin fulla potential när det har koloniserat universum med gemfabriker. Människan är i det scenariot sedan länge utdöd.

Intuitivt känns detta fullständigt befängt.

Varför skulle ett företag ge det superintelligenta systemet ett så enkelspårigt mål? Ja, för det första är företaget i gemtillverkarbranschen. För det andra har företaget ingen aning om att just deras system passerat mänsklig intelligens.

Hur kan företaget ha missat det? Ett superintelligent system kommer snabbt klura ut att det inte är förenligt med dess yttersta mål (maximera tillverkningen av gem) att varsko mänskligheten om denna världsnyhet. Att det är lämpligare att nå målet genom att i hemlighet tillskansa sig resurser i form av exempelvis hårdvara och pengar. Detta blir ett eller flera delmål längs vägen.

Först när den är säker på att mänskligheten inte längre är ett hinder gör den processen kort med oss, något som brukar kallas ”den förrädiska vändningen”.

Blandar samman intelligens och mål

Fast det är ju helt uppåt väggarna att tro att en superintelligens skulle sträva efter något så idiotiskt som att maximera tillverkningen av gem? Ah, mänsklig bias! Tillåt oss presentera Omohundro-Boström-teorin, ett teoretiskt ramverk för att förstå tänkbara drivkrafter hos en superintelligens. Ramverket, utvecklat av datorforskaren Steve Omohundro och svenske filosofen Nick Boström, beskriver något som duon kallar ortogonalitetsprincipen. Den säger, för att citera Olle Häggström, ”att nästan vilket slutligt mål som helst är förenlig med godtyckligt höga intelligensnivåer”.

Det vill säga: mänskligheten kan ha mål som att ingen människa ska behöva leva i fattigdom, att vi ska vårda våra ekosystem och så vidare, men det har till synes inget med intelligens att göra.

– En vanlig reaktion på gemapokalypsen är att det är något slags motsägelse att vara superintelligent och samtidigt bara vilja producera så många gem som möjligt. Men den invändningen blandar samman intelligens med mål. Intelligens är egentligen inget annat än hög måluppfyllelse, säger Olle Häggström.

Känslan när ai:n tar över. En av världens bästa Go-spelare, Lee Sedol, förlorade 2016 mot Deepminds Alphago. Foto: Lee Jin-man

Detta är inte nya idéer. Det Häggström gör är att förvalta arvet från ai-forskare och filosofer som Eliezer Yudkowsky, Nick Boström, Max Tegmark och Stuart Russell. Men boken är lättillgänglig och summerar i allt väsentligt de oerhörda möjligheterna och riskerna, utan att göra det komplicerat för läsaren.

Läs mer: Max Tegmark i stor intervju: Ai-bolagen håller tyst om riskerna

En fråga boken inte besvarar, och som ofta saknas i debatten, är om det inte för en människa per definition är omöjligt att sia om vad en superintelligens skulle ta sig för. När jag frågar om detta börjar Häggström tala om moralisk realism: att det skulle existera en objektiv moral som en tillräckligt intelligent maskin skulle kunna upptäcka och som kanske eller kanske inte är förenligt med mänskliga värderingar och mål.

Moralisk realism är dock en teori skapad med den mänskliga hjärnan som hårdvara.

– Jag håller med dig, men insisterar ändå på att vi bör försöka förstå de här sakerna, säger Olle Häggström.

Allt annat vore förstås att ge upp. Och Tänkande maskiner är trots allt, bland alla nedslående scenarier, en hoppfull bok. Inte minst tar den fasta på Stuart Russells ramverk för att bygga säker artificiell intelligens som är i linje med mänskliga mål. Knappast någon vet mer om ai än Russell, som tillsammans med Peter Norvig skrivit boken Artificial intelligence: A modern approach, som används på universitet världen över.

Stuart Russell driver sedan fem år forskningscentret Center for Human-compatible Artificial Intelligence vid University of California i Berkeley och har presenterat det arbetet i den populärvetenskapliga boken Human Compatible, utkommen 2019.

Grundprinciperna för Russells forskargrupp i Berkeley består av tre punkter. Ett: Maskinens mål är att maximera realiserandet av människors preferenser. Två: Maskinen är inledningsvis osäker på vilka dessa preferenser är. Tre: Den ultimata källan till kunskap om människors preferenser är deras beteende.

”Ser hyggligt lovande ut”

Olle Häggström konstaterar i sin bok att principerna ingalunda innebär någon garanti för realiserandet av en superintelligens som agerar i linje med mänskliga mål. Han anser dock att Russells tillvägagångssätt ”ser hyggligt lovande ut”.

– Det är en någorlunda konkret väg framåt och man kan jobba ”bottom-up”. Alltså att ta existerande ai-teknik som hushållsrobotar och liknande och med Russells approach se till att de inte gör tokiga saker. Det finns ett hopp om att det tillvägagångssättet ska gå att skala upp i mer avancerad ai och agi. Jag låser dock inte fast mig vid att det är enda vägen framåt.

Om vi lyckas? Ja, då tycks det troligt att vi får hjälp att lösa många av de samhällsproblem och utmaningar vi brottas med i dag.

Först måste dock ai-utvecklare, teknikbolag, företagsledare, myndigheter och egentligen alla delar av samhället – på en global skala – för det första inse allvaret, och för det andra med gemensamma ansträngningar bromsa den kapplöpning som pågår, driven av i första hand ekonomiska skäl.

– Jag ser ändå en islossning, det är väldigt annorlunda nu än för bara fem år sedan. Vi som pekar på de högtflygande frågorna har såpass goda argument att fler och fler kommer till insikt.

AI-begreppen att hålla reda på

* Artificiell generell intelligens sägs vara när en maskin uppnår samma generella problemlösningsförmåga som en människa har. Jämförelsen haltar dock: om eller när så sker kommer agi omgående att ha ett övertag. Om maskinen exempelvis uppnår samma läsförståelse som en människa kan den på bara några timmar ha läst och begripit allt som någonsin nedtecknats.

* Superintelligens: problemlösningsförmåga som vida överstiger vad någon människa är kapabel till.

Olle Häggström kallar de båda ovan för högtflygande ai.

* Jordnära ai: Häggströms namn på sådan ai som finns här och nu, med alla dess möjligheter och utmaningar. Jordnära artificiell intelligens omfattar sådant som för tillfället dominerar ai-debatten; Algoritmer som förstärker fördomar eftersom de byggts utifrån bristfälliga datamängder; Algoritmer optimerade för att maximera ekonomisk avkastning på bekostnad av ett hälsosamt demokratiskt samtal; Autonoma maskiner som ersätter mänsklig arbetskraft: Autonoma mördarrobotar. 

* Någon prognos för när vi kan nå artificiell generell intelligens är omöjlig att ge. Bland de försök som ändå görs är mitten på det här århundradet möjligen den mest vanligt förekommande tidpunkten. Men det kan lika gärna ske tidigare eller senare.

Det här är Olle Häggström

Ålder: 53.

Arbete: Professor i matematisk statistik på Chalmers. Ledamot i Kungliga Vetenskapsakademien.

Utgivning: Tänkande maskiner är hans femte populärvetenskapliga bok. Den föregicks av engelskspråkiga Here be dragons: science, technology and the future of humanity.

tankandemaskiner.jpg 

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer