Max Tegmark i stor intervju: Ai-bolagen håller tyst om riskerna

Kommer vi verkligen att kunna lita på en superintelligens? Ny Teknik har träffat berömde fysikern Max Tegmark för ett långt samtal om ett av hans favoritämnen.

Peter Ottsjö

Det är en fråga inte ens han som kallats ”världens smartaste svensk” kan svara på. Om en maskin utvecklar superintelligens så borde det rimligtvis vara bortom homo sapiens förmåga att på förhand förutse vilka val den gör? Max Tegmark, fysiker vid det prestigefulla Massachusetts Institute of Technology, MIT, försöker naturligtvis ändå.

– Det där är en jätteviktig och jättesvår fråga. Jag brukar tänka på den som del tre i en trestegsraket av svåra frågor. Om vi vill att intelligensen ska dela våra mål så måste vi först knäcka problemet med att få maskiner att över huvud taget förstå våra mål. Din mobil och din dator idag, de är för korkade för att kunna förstå ganska grundläggande mål som du har. Och sedan kommer del två: om maskinerna kan förstå våra mål, hur kan vi få dem att anamma målen? Har du barn?

Ja.

– Då vet du hur stor skillnad det är mellan att få dem att förstå vad du vill och faktiskt vilja göra som du vill.

– Det tredje steget handlar om din fråga. Det är den svåraste av alla: hur kan vi sedan få intelligensen att bibehålla de där målen? Mina söner tyckte det var otroligt spännande med lego när de var små. Nu är de tonåringar och deras legogrejer står i källaren och samlar damm, som ett monument över svunnen tid. Om vi lyckas bygga ai som har som mål att ta hand om mänskligheten så vill vi ju inte att den ska bli lika uttråkad av det målet.

Forskare i skinnpaj. Max Tegmark kallas ofta rockstjärnefysiker. Foto: Sanna Percivall

Max Tegmark säger att det inte saknas idéer och tankar kring hur de här frågorna ska hanteras, men att de i nuläget förblir obesvarade.

– Det kan hända att det tar tiotals år innan vi knäcker dem. Det är därför det är så viktigt att vi satsar ordentligt med resurser på att forska kring det här nu. Så att vi får svaren när vi behöver dem. Inte fem minuter före vi skapar en superintelligens.

Men kan vi ens knäcka dem? Det ligger ju i sakens natur att vi inte kan begripa vad en superintelligens skulle göra.

– Precis. Det är därför det är så svårt. Jag skulle bara lita på en superintelligens om jag kan bevisa det. Om jag kan bevisa att den inte kommer att göra dåliga grejer med mänskligheten. För det spelar ingen roll hur smart den är, den kan ändå aldrig göra något som är omöjligt.

Det kan vara på sin plats att reda ut begreppen här. Artificiell generell intelligens, agi, skulle, till skillnad från dagens smala och domänspecifika ai, ha samma förmåga till parallell informationsbearbetning, samma kognitiva förmåga, som en människa har.

En superintelligens skulle passera homo sapiens förmågor. Båda begreppen är än så länge hypotetiska, men Max Tegmark och en lång rad andra ai-forskare är överens att det bara är en fråga om tid innan det scenariot blir verklighet. Det ai-forskarna absolut inte är överens om är hur lång tid det tar. Prognoserna spänner från ett par årtionden till flera sekel.

För två år sedan kom Max Tegmarks bok Liv 3.0, som hade undertiteln ”att vara människa i den artificiella intelligensens tid”. Den låg på New York Times bästsäljarlista och har rekommenderats av både Elon Musk och Barack Obama.

Svensk pocketutgåva av Max Tegmarks Liv 3.0.

I boken definierar Tegmark intelligens som ”förmågan att uppnå komplexa mål”. Han noterar att minne, beräkning och inlärning – viktiga ingredienser för intelligens – är ”substratoberoende”.

”De kan börja leva sitt eget liv och är inte beroende av eller avspeglar detaljerna i det underliggande materialsubstratet”. Vad det betyder, enligt Tegmarks synsätt, är att intelligens ”inte kräver kött eller blod eller kolatomer”.

Faktum är att en av Max Tegmarks kolleger på MIT, kvantmekanikprofessorn Seth Lloyd, har räknat ut att den fysiska gränsen för hur mycket beräkning ett stycke materia kan utföra ”är kolossala 10 upphöjt till 33 bortanför dagens kunskapsnivå”.

Det stycke materia som i dag utför beräkningar med hjälp av kisel är alltså en bit från det scenariot. För även om framsteg gjorts inom bildigenkänning, språkbearbetning och röstigenkänning, och även om Deepminds algoritmer besegrat mästare i både brädspelet Go och realtidsstrategispelet Starcraft II, så är dagens artificiella intelligens inte på länga vägar att betrakta som generell.

Trots de begränsningarna har vi människor redan nu bekymmer med att klura ut hur en ai ”tänker”. Djup maskininlärning, den gren av ai-trädet som rönt de största framgångarna de senaste sju åren, består av algoritmer som delvis opererar utan insyn.

Om det blir djup maskininlärning som tar sig till agi tror jag vi är rökta.

En människa matar in data för att träna en djupinlärningsmodell att uppnå ett särskilt mål, och modellen matar ut ett resultat som i bästa fall liknar det människan förväntat sig. Men exakt hur modellen når fram till resultatet vet vi inte, och till skillnad från oss människor kan den inte heller förklara sitt beslut.

Denna brist på transparens är förmodligen godtagbar om modellen har i uppgift att skilja en hund från en katt, men om artificiell intelligens ska användas inom exempelvis rekrytering och rättsväsende är djupinlärningsarkitekturens dolda tillvägagångssätt ett stort problem.

Och om vi redan nu har bekymmer med att förstå resonemanget hos en artificiell intelligens så lär utmaningen inte bli mindre i takt med att vi närmar oss artificiell generell intelligens.

– För att kunna bevisa att den inte kommer att göra dåliga grejer med mänskligheten skulle man kunna tänka sig att vi skapar en något mer intelligent maskin där vi kan bevisa att den anammar våra mål. Sedan kan den intelligenta maskinen i sin tur bevisa att nästa generations intelligenta maskin också anammar våra mål. Men det där kräver ju att intelligensen på något vis är förståelig. Tyvärr går teknikutvecklingen i dag åt motsatt håll. Om det blir djup maskininlärning som tar sig till agi tror jag vi är rökta. Då kan vi aldrig få den typen av garantier jag hoppats på.

Max Tegmark föddes i Sverige och fram till att han flyttade till USA som 23-åring bar han sin fars, matematikern Harold Shapiro, efternamn. Då han upptäckte att M. Shapiro var ett flitigt citerat namn i den amerikanska forskarvärlden tog hans sin mors i stället.

Jag är ganska övertygad om att nyckeln till varför djup maskininlärning fungerar så bra inte beror på att den är obegriplig.

Max Tegmark har också gjort ett tvärt kast i karriären. Från att ha varit den kände kosmologen är han nu mer förknippad med området med artificiell intelligens. Som grundare av organisationen Future Life Institute har han gjort det till sin uppgift att sprida kunskap om farorna med ai.

Men det kanske mest speciella med Tegmark är att han, trots att han bättre än de flesta förstår att riskerna med artificiell intelligens utgör ett existentiellt hot, förblir positiv och hellre väljer att se möjligheterna.

– Många av mina kolleger är ganska uppgivna. ”Du måste släppa den här drömmen om att kunna förstå” (hur en ai fattar beslut, reds. anm.), säger de till mig. Men jag är faktiskt lite mer optimistisk. Jag är ganska övertygad om att nyckeln till varför djup maskininlärning fungerar så bra inte beror på att den är obegriplig, utan mer att den är differentierbar: den har möjlighet att lära sig från data. Jag tror att det går att skapa andra typer av ai-arkitektur som kombinerar djup maskininlärning med begripligheten hos klassisk ai.

Med klassisk ai menar Max Tegmark det som också brukar kallas ”good old-fashioned ai” eller symbolisk ai, en tidig typ av arkitektur som, till skillnad från de metoder som är på modet i dag, består av för människan tolkningsbara representationer.

Max Tegmark talar superintelligens med Ny Teknik. Foto: Sanna Percivall

Max Tegmark har ett visst fog för sin optimism, på så sätt att allt fler forskare – vid sidan om hans uppgivna kolleger – ser en poäng med den kombination Tegmark förespråkar. En av dem heter Murray Shanahan och jobbar på Deepmind, det Google-ägda bolaget som fått så mycket uppmärksamhet för sina framsteg de senaste åren. Shanahan har utvecklat en prototyp som är precis den förening av symbolisk ai och djupinlärning som Tegmark drömmer om.

– Det är så vi människor gör. Om du forskar på hur atomer fungerar så har du ingen riktigt koll på hur du listar ut saker och ting. Men när du väl listat ut det så kan du sammanfatta det i vissa formler och förklara på ett sätt som en annan människa kan förstå. Du destillerar den kunskap du på något obegripligt sätt införskaffat till en förståelig form. Det är så vi undervisar, det är så vi skriver läroböcker, det är så vi kommunicerar med varandra. Jag tror att vi kan göra likadant med artificiell intelligens, säger Max Tegmark.

Som en förlängning av det här resonemanget kräver han säkrare it-system.

– Om vi bortser från superintelligens ett slag: jag skulle känna mig tryggare i en framtida självkörande bil om man kunde matematiskt bevisa att den inte går att hacka. Ni skriver säkert en hel del artiklar i Ny Teknik om hacking. En ganska stor del av hacking går genom buggar som skulle kunna upptäckas av artificiell intelligens. Jag tyckte det var otroligt pinsamt med Heartbleed-buggen i Linux kommandotolk. Herregud, hur kan man vara så klantig att inte ha förstått hur koden fungerar? Och nyligen upptäcktes en bugg i SSH (Secure Shell, reds. anm.) som jag använder varje gång jag gör en säker inloggning på min server. Det är helt oursäktligt. Men om vi höjer ambitionsnivån från att bygga system som bara fungerar för det mesta till en högre nivå, där vi kan bevisa att all säkerhetskritisk teknik alltid fungerar, som inte går att hacka och som inte kan krascha, då skulle det inte bara öka min tillförsikt att vi kan skapa ett framtida samhälle med artificiell generell intelligens, utan det skulle också gynna dagens företag och användare.

Det skulle av många ses som ett mirakel.

– Ja, men det är inget mirakel! Att skylla hacking på att det finns illasinnade människor där ute är ett svepskäl.

Illasinnade människor är en sak: vi gör oss åtminstone inga illusioner om vad människan i sina mest ondskefulla stunder är kapabel till. En superintelligens vore något helt annat.

Ny Tekniks reporter Peter Ottsjö i samtal med svensk-amerikanske fysikern Max Tegmark, under ett av Tegmarks besök i Stockholm. Foto: Sanna Percivall

Den behöver inte vara illasinnad för att utrota mänskligheten. Det räcker att den, som i filosofen Nick Boströms kända tankeexperiment, har som mål att tillverka så många gem det bara är fysiskt möjligt, något vi människor gissningsvis skulle utgöra ett hinder för.

Därför höjs det då och då röster som anser att människan måste koppla upp sig mot maskinen för att om möjligt ge våra egna hjärnor samma prestandahöjning som framtida syntetisk intelligens. En av de mest kända förespråkarna är Tesla-entreprenören Elon Musk, som för ett par år sedan grundade bolaget Neuralink, ett bolag än så länge omgärdat av hemlighetsmakeri, men som sägs utforska möjligheten att koppla upp den mänskliga hjärnan.

– Jag har varit där och hälsat på.

Då måste du berätta allt.

– Haha, nej, det tänker jag inte göra. Men visst är det bra att tänka på hur teknik kan göra oss själva mer kapabla. Du har en klocka på armen...

Och ett chipp i handen.

– Så du är redan bionisk? Och det är en Apple Watch du har där. Den gör att du kan göra vissa grejer du aldrig kunde förut. Din mobil förbättrar din förmåga att göra grejer. Att använda teknik för att göra oss till de människor vi vill vara, det är klart att det är bra. Däremot tror jag inte att det är realistiskt att se det som lösningen på alla problem. Våra hjärnor kommer aldrig kunna konkurrera fullt ut med framtida superintelligens. De är begränsade av storleken på bäckenet och våra neuroner kör ungefär en miljard gånger långsammare än dagens datorchipp. Det är en orättvis konkurrens, oavsett om vi på något vis kopplar upp våra hjärnor mot en ai som är en miljard gånger snabbare och bättre.

Nu vet Larry Page allt du säger.

För att illustrera sin poäng vill Max Tegmark att jag ska tänka på en myra.

– Om du kopplar upp en myra med någon sorts "neuralink" till din hjärna så betyder inte det att myran kommer att förstå världen. Och om den gör det så är det en lek med orden. Det är inte myrans hjärna som förstår världen, utan din.

Resonemanget leder till en annan tänkbar, för många skrämmande, konsekvens i det fall maskiner utvecklar superintelligens. Människan var den som klöv atomen, åkte till månen och skickade rymdfarkoster utanför vårt eget solsystem. Vad händer med vår kollektiva självbild, den som i dag visar oss att vi är intelligentare än alla andra varelser, härskare över jorden, om våra tjänster inte längre behövdes? Vad är då poängen?

– Det där är inte bara felaktigt tänkt, utan farligt tänkt. Den här idén om att vi skapar vår mening med att vara bäst och att vi på något vis är förmer än andra grupper. Nu ska vi inte bara prata om nazister. Det finns så många människor idag som säger att vi är förmer än djuren och därför är det okej att behandla dem som i djurfabriker där man har en gris som lever hela sitt liv i en bur som är så liten att grisen inte ens kan stå upp. Titta på hur vi behandlar naturen: 60 procent av alla djur som fanns när jag föddes existerar inte längre.

Max Tegmark menar att människan redan accepterat att den inte längre är fysiskt starkast på planeten, nästan utan att ens reflektera över det.

– Jag känner ingen som har dåligt självförtroende för att de inte är lika starka som en grävskopa. Varför ska vi då få dåligt självförtroende om vi inte skulle vara lika smarta som artificiell intelligens? Idén om att man måste få sitt värde genom att vara bäst är skadlig. Jag tycker vi ska vara ödmjuka och säga att mening får vi från vårt medvetande. Från meningsfulla upplevelser. Men vårt varumärke är homo sapiens: den tänkande människan. Vi borde döpa om oss till homo sentients: den upplevande människan, den kännande människan. Tänk om vi imorgon upptäcker en annan civilisation där ute, som har superintelligens. Skulle det få dig känna att ditt liv är meningslöst helt plötsligt?

Nej.

– Precis, det tror jag inte alls.

På tal om allt det här har jag skaffat en Google Home.

– Nu vet Larry Page allt du säger.

Haha, ja. En sak som slagit mig är hur märkligt det känns att ha någon hemma som svarar med människoliknande röst, men som jag kan behandla som en slav. Den gör allt som står i dess makt för att hjälpa mig med allt jag begär av den. Vad tror du kommer att ske i takt med att artificiell intelligens beter sig mer mänskligt?

– Ytterligare en fördom vi har när vi sitter på vår piedestal är att maskiner inte kan ha något medvetande för att de är gjorda av plåt och kisel. Sanningen är att vi inte har någon som helst vetenskaplig koll på vilken typ av informationsbehandling som är medveten och vilken som inte är det. Jag har en del kolleger som säger att maskiner ska vara våra slavar. Det är det här tänket som jag ogillar så mycket. Det är det tänket som vi använt mot mänskliga slavar och mot djur. Trots det verkar en del tycka att vi ska göra samma sak mot maskiner, bara för att de är gjorda av andra atomer. Jag tycker tvärtom. Om vi skapar något som skulle kunna ha medvetande har vi ett stort ansvar på att ta reda på om det har medvetande eller inte. Vill vi ha zombiemaskiner måste vi kunna köra informationsbehandlingen så att de inte blir medvetna. Men vi kanske föredrar att de är medvetna så att vi inte känner att de lurar oss genom att bara låtsas. Och bygger vi sådana då måste vi behandla dem med samma respekt som vi behandlar andra varelser med medvetande. Det får inte bli som i Westworld.

Du släppte din bok om artificiell intelligens för snart två år sedan. Hur tycker du att debatten har varit sedan dess?

– Den största överraskningen för mig var att boken... blev mindre kontroversiell än jag väntat mig. Hade jag skrivit exakt samma bok för fem år sedan hade den blivit otroligt kontroversiell. Det ser jag som en stor framgång. Det var vårt mål med Future Life Institute, att det skulle sluta vara kontroversiellt att prata om riskerna med ai. Och att artificiell generell intelligens och superintelligens är en del av samtalet, på samma sätt som det är en naturlig del att tala om riskerna när man studerar reaktorfysik. Men jag blev ändå överraskad av att det slagit om så snabbt. Varenda gång jag besöker en nördig ai-konferens så diskuteras de här frågorna. Det är precis som det ska vara.

Men det stora arbetet återstår, anser han.

– Tyvärr har den inte nått ut i samma utsträckning till politiker. Det verkar inte vara så mycket på deras radar. Ni jobbar ju på Ny Teknik så ni har alltid väldigt bra koll på vad som händer. Men jag käkade middag med en svensk riksdagsman som påpekade att det fanns bara en eller två personer till i hela Sveriges riksdag som hade teknisk bakgrund*. I Kina har de fler ingenjörer som läser den kinesiska motsvarigheten till Ny Teknik som också leder landet och förstår att det här är viktiga grejer.

Elon Musk. Foto: TT

Boken har också fått kritik för att den skulle vara skrämselpropaganda. Men kritikerna verkar ibland förväxla riskerna här och nu med riskerna på sikt.

– Precis. De här väldigt närliggande problemen som vi står inför nu, med jobb, med mördarrobotar, med manipulation, blandas ihop med agi eller superintelligens som ligger decennier in i framtiden.

Utöver den förvirringen tror Max Tegmark att vinstdrivande bolag ogärna talar om riskerna med den teknik de utvecklar. Elon Musk är ett undantag.

– Det är ingen slump att många viftar bort det. Om du är vd på ett teknikföretag så kan du inte stå på en presskonferens och varna för riskerna med din egen produkt. Även om vd:n personligen är bekymrad. Akademiker kan vara mer frispråkiga och har ingen styrelse som klagar på att de snackat ner deras aktiepris. Det finns ett ekonomiskt intresse av att tona ner de risker som faktiskt finns. Jag känner många av de ledande ai-företagen ganska väl. Privat tar de riskerna precis lika allvarligt som professorer, det är bara att de kan inte prata om det öppet. Men det är ganska uppenbart att artificiell generell intelligens är något vi måste prata om. Inte för att det händer imorgon. Utan för att det kanske tar 30 år att förbereda sig.

 

Fotnot: Det är lite oklart vad den svenske riksdagsman syftade till när han enligt Tegmark berättade att det ”bara finns en eller två personer till i hela Sveriges riksdag som hade teknisk bakgrund”. Ny Tekniks genomgång från oktober 2018 visar att elva personer i riksdagen är ingenjörer.

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer