TECH
Elon Musk tar upp kampen med Open AI – med två nya AI-superkluster
Med två nya superkluster för träning av ai-modeller är Elon Musk redo att ta täten i racet mot generell intelligens. Här är Tesla-grundarens gigantiska datacenter: Cortex och Colossus.
Vad har hänt?
Elon Musk har, tro det eller ej, inte bara fyrat av salvor mot politiska meningsmotståndare och makthavare i Brasilien den senaste tiden. Ibland har han på egna plattformen X skrivit om teknik också. Som till exempel satsningar på superdatorkluster för ai-tillämpningar, byggda på rekordtid. Det blir man ju nyfiken på!
Låt oss bena ut det. Det rör sig om datacenter som döpts till Cortex respektive Colossus.
Tesla Cortex
Fordons- och robottillverkaren Tesla färdigställer just nu Cortex, ett datacenter för ai-träning, beläget i Austin, Texas. Det tillhör Gigafactory Texas, där Model Y och Cybertruck tillverkas. Där finns även företagets huvudkontor.
Elon Musk noterade på X att Cortex kommer att bestå av en kombination av omkring 100 000 H100/H200-gpu:er från Nvidia. Den ska ha ”massiv lagring” för videoträning av Teslas FSD (total självkörningsförmåga) och roboten Optimus. Tesla kommer även att använda egenutvecklade chip.
Video of the inside of Cortex today, the giant new AI training supercluster being built at Tesla HQ in Austin to solve real-world AI pic.twitter.com/DwJVUWUrb5
— Elon Musk (@elonmusk) August 26, 2024
X AI Colossus
Parallellt med detta har X AI, ett nystartat Musk-bolag, driftsatt datacentret Colossus – som ska ha byggts på bara 122 dagar. Det är beläget i Memphis, Tennessee.
X AI utvecklar bland annat chattboten Grok (integrerad i X, men bara tillgänglig för betalande användare).
”Med 100 000 vätskekylda H100 i en enda RDMA-väv är Colossus det mest kraftfulla ai-träningscentret i världen”, skriver Elon Musk på X.
RDMA står för remote direct memory access och ”väv” indikerar här en typ av nätverksarkitektur som medger höga datatakter och låg fördröjning.
”Det kommer dessutom att bli dubbelt så stort, upp till 200 000 (50 000 H200) inom några månader”, skriver Musk. (H200 ger ungefär två gånger så mycket prestanda som H100)
This weekend, the @xAI team brought our Colossus 100k H100 training cluster online. From start to finish, it was done in 122 days.
— Elon Musk (@elonmusk) September 2, 2024
Colossus is the most powerful AI training system in the world. Moreover, it will double in size to 200k (50k H200s) in a few months.
Excellent…
Vad skiljer Cortex från Colossus?
En väldigt lös analogi är att Cortex tränar en ai-modells ”sinnen” och Colossus dess ”kognitiva” förmåga.
Autonomi för fordon och robotar kräver en uppfattning om världen de ska navigera och agera i. Elon Musk talar ofta om att Tesla ska ”lösa” utmaningen med ”ai i den verkliga världen”.
Här har Tesla en fördel gentemot andra ai- och robottillverkare: företaget har miljontals bilar (”en robot på hjul”, enligt Musk) som rullar världen över och samlar in data. Och ”så fort vi adderar data ökar prestandan”, har Ashok Elluswamy, chef för Tesla Autopilot Software, sagt.
Colossus handlar å andra sidan om att bygga modeller som ska konkurrera med Chat GPT, Gemini och Claude. Elon Musks (möjligen optimistiska) prognos är att Grok 3 – en betydligt mer avancerad modell än nyss lanserade Grok 2 – kommer före årsskiftet.
I förlängningen lär inte Grok stanna på X utan integreras i både Tesla-fordon och Optimus-robotar.
Hur mycket energi krävs för att driva superklustren?
Det finns inga exakta siffror. Elon Musk har uppgett att Cortex så småningom kommer att kräva 500 megawatt. I juni återpublicerade Elon Musk en bild av Cortex-bygget som visade de enorma fläktar som används vid vätskekylningen av superklustret. ”Vi är inget utan våra fans”, skrev han då (det engelska ordet fans betyder även fläktar).
We are nothing without our fans https://t.co/t1IAWKyyW8
— Elon Musk (@elonmusk) June 20, 2024
Vad får de nya ai-centren för konsekvenser?
Ja, bland annat att både Tesla och X AI blir alltmer potenta rivaler till Google, Microsoft, Meta, Open AI och Anthropic som allesammans också är i full färd med att träna nya, större och betydligt mer avancerade modeller.
Det innebär också att det börjar bli lättare att se alla möjliga intressanta scenarier. För att bara ta ett av dem: Optimus kan bli en hemrobot som, när den behöver ta sig en längre sträcka, tar en självkörande Tesla till och från sin destination.
Elon Musk har sagt att han tror att det kommer att finnas fler humanoida robotar än människor på planeten.