”Vid sidan om miljöförstöringen är ai vårt största hot”

Ögonen hade smält och runnit nerför kinderna. Männen måste ha riktat sina blickar mot himlen när atombomben detonerade, 600 meter över Hiroshima. Vittnesskildringen återfinns i John Herseys berömda reportage, som ursprungligen publicerades i tidskriften New Yorker.

Eldklotet var 370 meter i diameter. Marktemperaturen direkt under steg till 6000 grader. Nästan allt inom en radie på 1,6 kilometer raderades. Tryckvågen och eldstormen nådde ännu längre. Och det var den oerhörda värmestrålningen som fick männens ögon att smälta.

När kärnvapen används syns de. Man ska nog inte underskatta vad den visuella kraften – svampmolnet, förödelsen, de vanställda människorna – betytt för avskräckning och terrorbalans. Artificiell intelligens, däremot, är osynlig. Och om den någon gång används som massförstörelsevapen är det inte alls omöjligt att vi dör på en skala inte ens vätebomber kan matcha.

Generell artificiell intelligens – forskarnas namn på ai på ”mänsklig nivå” – kommer att uppnås 2045, hundra år efter Hiroshima. Några timmar senare har dess självförbättrande algoritmer tagit den till kognitiva höjder människan aldrig varit på. Dess yttersta mål är att producera så många rosa blommor som möjligt. Eftersom vi är i vägen för det målet ser den till att utrota mänskligheten. Vi blir kompost under ett rosa jordklot, mördade av en intelligens utan moral, utan känslor, utan vilja, utan ens en fysisk representation.

Det spelar ingen roll huruvida scenariot ovan är osannolikt eller inte. Det som betyder något är att flera ledande ai-forskare anser att scenariot inte går att utesluta. ”Kulmen för vår nuvarande kapplöpning mot ai kan bli antingen det bästa eller det sämsta som hänt mänskligheten”, skriver fysikern Max Tegmark.

Citatet kommer från Tegmarks nya bok, Livet 3.0, som släpps på svenska i oktober. Från sin position som grundare av organisationen Future of life institute har han nära kontakt med både de främsta ai-akademikerna och toppcheferna i Silicon Valley. Future of life institutes syfte är att minska riskerna för att ny teknik leder till existenstiella risker. Till dess rådgivarstab hör Elon Musk och Stephen Hawking.

Max Tegmark definierar intelligens som ”förmågan att uppnå komplexa mål”. Han noterar att minne, beräkning och inlärning – viktiga ingredienser för att skapa intelligens – är ”substratoberoende”. ”De kan börja leva sitt eget liv och är inte beroende av eller avspeglar detaljerna i det underliggande materialsubstratet”. Med andra ord är våtvaran du har under kraniet bara ett av många möjliga materialsubstrat.

En av Tegmarks kollegor på MIT, Seth Lloyd, har räknat ut att den fysiska gränsen för hur mycket beräkning ett stycke materia kan utföra ”är kolossala 10 upphöjt till 33 bortanför dagens kunskapsnivå”. Med andra ord är våtvaran du har under kraniet rätt begränsad i sin kapacitet.

Låt det som hände ifjol bli ett varnande exempel. Att Deepminds ai vann över en av världens bästa mänskliga spelare i det strategiska brädspelet Go visade att utvecklingen gått snabbare än många trott. Men det var hur den vann som fick experter som Tegmark att haja till.

Med sina självförbättrande egenskaper klurade den ut drag som ingen människa ens övervägt. Den blottade vår sårbarhet inför intelligenser som är högre än vår egen, sårbarheter inte ens böcker av Max Tegmark kan fixa: att vi helt enkelt inte är förmögna att räkna ut vad en superintelligens skulle ta sig för, hur mycket vi än försöker.

Det största existenstiella hotet – vid sidan om miljöförstöringen – under det här århundrandet är förmodligen inte sprängkraft, utan beräkningskraft.