Volvo EX90 är bara början för Nvidia: ”ska ersätta föraren”

2022-11-23 06:00  
Även om människor inte är redo att bosätta sig i virtuella världar, så har åtminstone datorerna påbörjat den stora migrationen. Foto: Nvidia

Digitala tvillingar, banbrytande artificiell intelligens och systemkretsar med råstyrka. Med de ingredienserna ska Nvidia trampa gasen i botten mot en framtid med autonoma fordon. ”Det övergripande målet är att ersätta föraren.”

Metaverse är på väg att få sitt stora genombrott. Det kan framstå som en märklig sak att säga under ett år då begreppet mest förknippats med Mark Zuckerberg-floppar och mediokra Meta-demonstrationer av lågupplösta virtuella världar. Det metaverse Zuckerberg presenterat är inte ens hans egna anställda sugna på att vistas i

Men även om människor inte är redo att bosätta sig i virtuella världar, så har åtminstone datorerna påbörjat den stora migrationen. Nvidias senaste teknik är ett exempel på det. Danny Shapiro, som leder arbetet på amerikanska företaget Nvidias fordonsdivision, säger att deras version av metaverse används av storbolag för att göra digitala tvillingar av maskiner, fabriker och hela städer. 

Anledningen till vårt samtal är lanseringen av Volvo EX90, som bland annat huserar Orin, Nvidias omtalade systemkrets. Intervjun utvecklas emellertid till en diskussion om många av de tekniksprång som lär prägla 2020-talet. De stora språkmodellerna som lett till en explosion av generativ artificiell intelligens. Programvarudefinierade maskiner. Och – som sagt – metaverse. Det här är områden som kommer påverka allt och alla, inklusive nya elsuvar från Volvo. Det är områden som Nvidias själva kärnverksamhet utgör motorn för: högpresterande databearbetning i datahallar, massiv parallellberäkning och små men kraftfulla och effektiva systemkretsar.

Grafik: Jonas Askergren Fakta: Felix Björklund Källa: Volvo Cars Bilder: Volvo Cars

När Nvidia grundades för snart 30 år sedan ägnade företaget sig åt att göra gpu:er (graphics processing unit) som mest användes till datorspel. Sedan början av 2000-talet har de jobbat med fordonsindustrin. Inledningsvis användes Nvidias teknik framförallt till fordonens skärmar. Med Orin är ambitionerna något högre: Volvo EX90, Polestar 3 och de andra tillverkare som utrustas med systemkretsen har begåvats med, som Nvidia kallar det, en hjärna. 

– Vårt fokus nu är att skapa säkerhetssystem för fordon. Genom att behandla data från sensorer – kameror, lidar, ultraljud – så försöker vi bygga en mental bild av det som sker runt bilen inuti fordonets hjärna. Det övergripande målet är att ersätta föraren, säger Danny Shapiro. 

Med en prestanda på 254 tops (biljoner operationer per sekund) kan Orin analysera en bildruta – och all dess data – från video på en trettiondels sekund. Systemkretsen ska kunna hantera allt det här även under extrema temperaturer och utan att krascha. En systemkrasch får en annan innebörd när det kan leda till en högst fysisk krasch.

Nvidia Drive Orin. Foto: Nvidia

– Volvo har lärt oss vad det innebär att vara en fordonspartner. Vilka skyldigheter man har och vilka aspekter som är säkerhetskritiska. En pc kan krascha och måste startas om. Om det sker i en bil är det mycket allvarligt, så vi jobbar nära fordonsindustrin för att kunna efterleva strikta standarder, säger Danny Shapiro. 

Att Orin är hjärnan i Volvo EX90 kommer sannolikt att bli uppenbart för dess ägare. Från 1970-talet och framåt har fordon utrustas med mjukvara. För ett tiotal år sedan beslöt Tesla att deras elbilar också skulle definieras av mjukvara, på samma sätt som appar får ny funktionalitet i en smarttelefon. Sent omsider har Teslas konkurrenter hunnit anpassa sig. En EX90 kommer att få nya funktioner långt efter att bilen rullat ut från fabriken. Orin presenterades redan 2019, börjar implementeras nu och kommer sannolikt att börja ersättas först under andra halvan av 20-talet.

Danny Shapiro. Foto: Nvidia

— Vi har designat en produkt med en mycket längre livslängd än vanligt. Prestandan är så hög att vi inte räknar med att den kommer att utnyttjas till fullo i början. Traditionellt sett har chiptillverkare försett bilindustrin med chip utan manöverutrymme. Det skulle vara så billigt som möjligt och försökte man i efterhand ändra något gick det inte. Nu förstår de att det måste finnas utrymme för hårdvaran att kunna uppgraderas i framtiden, säger Danny Shapiro.

2000 biljoner operationer per sekund

Orin framstår dock som anspråkslös jämfört med bjässen Thor som Nvidia planerar att släppa 2025. Thor ska utrustas med 2000 tops (alltså 2 000 biljoner operationer per sekund). Thor kan köra operativsystem som Linux, Android och QNX samtidigt. Tanken är att driva parkeringssystem, säkerhetssystem, förarövervakning, speglar och underhållningssystem – som idag körs på separata kretsar – med en och samma dator.

Thor, Nvidias kommande systemkrets. Foto: Nvidia

– Om man tittar tillbaka ungefär åtta år så klarade vi 1 tops. En biljon operationer per sekund. Det är ändå rätt mycket databearbetning. Att vi nu rör oss mot 2 000 tops beror delvis på att våra kunder fortsätter att kräva mer och mer prestanda. Och programvaran blir bara mer och mer sofistikerad. 

Orin är utrustad med en särskild processor för djupinlärning och begåvad med algoritmer som utnyttjar fordonets alla sensorer på olika sätt. Där en algoritm är specialiserad på att känna igen människor och objekt kan en annan algoritm fokusera på att leta efter fria ytor. 

– Det är alltså avsaknaden av objekt. Tillsammans kan dessa två väsensskilda algoritmer användas för att säkerställa att inget finns framför bilen.

Läs mer: Så ska Volvo EX90 se, känna och förstå allt som händer

Thor, å sin sida, kommer förberedd för att dra vinning av de senaste årens banbrytande framsteg inom artificiell intelligens. Milstolparna har avlöst varandra och många av dem har sipprat in i det allmänna medvetandet. Språkmodeller som övertygande kan skriva, översätta och analysera. Generativ ai som kan skapa bilder utifrån text. Och Deepminds modell för att förutspå hur proteiner veckas. Samtliga bygger på versioner av en metod som kallas transformer. Tidigare ai-modeller jobbade fram ett resultat steg för steg. Den sista sekvensen i sådana modeller tog bara hänsyn till sekvensen direkt före.

Läs mer: ”Jag häpnar över ai-nyheter – varje vecka”

Transformer-modeller ”fäster sin uppmärksamhet” på all inmatningsdata. De kan sägas vara globala i stället för lokala. Metoden fick sitt genombrott i en vetenskaplig artikel döpt till ”Attention is all you need” (”uppmärksamhet är allt du behöver”), skriven av ett antal Google-forskare 2017.

Kan lära sig med få exempel

Nackdelen med en transformer är att den kräver enorma databearbetningsresurser för att initialt träna. Fördelen är att den inte kräver märkt data (alltså sådan som en människa satt en etikett på och kategoriserat) och betraktas som ett självövervakande inlärningssystem. När den väl tränats upp kan den dessutom användas till olika uppgifter bara genom att serveras ett fåtal exempel. Forskare kallar det här ”few-shot learning”. Språkmodellen GPT-3, till exempel, kan användas både till att föreslå nästa ord i en text, översätta språk eller till och med skriva kod.

Ai-forskningen på det här området har exploderat sedan Google-forskarnas artikel. En annan grupp forskare, vid universitetet i Stanford, har föreslagit att stora ai-system som transformer-modeller ska kallas ”foundation models” för att de framstår som ett grundläggande fundament för artificiell intelligens. Både Alphabet-ägda Deepmind och Beijing Academy of Artificial Intelligence jobbar med ”multimodala” system som ska kunna användas i vitt skilda domäner. ”Samma nätverk … kan spela Atari, chatta, stapla block med en robotarm och mycket därtill. Sammanhanget avgör om nätverket ska framställa text, kombinera vridmoment eller trycka på knappar”, skriver Deepmind

Vill man förklara allt det här på ett enklare sätt kan man bara konstatera att transformer-modeller är ovanligt bra på att hitta mönster i data. Vilket förstås kan komma väl till pass i ett självkörande fordon. Nvidias Thor kommer därför att vara särskilt anpassad för att hantera transformer-modeller.

Läs mer: BMW:s utvecklingschef: Ingen lidar – ingen självkörande bil

– Oavsett om det är röstdata, text eller visuella data så spelar det ingen roll för datorn. Data är data. Men alla dessa saker kan kombineras på olika sätt och till syvende och sist handlar det om mönsterigenkänning. Hur systemet kan känna igen saker det sett i det förflutna. Det kan vara sådant en människa inte kan uppfatta men som systemet förutser tack vare relationer mellan data, säger Danny Shapiro. 

Nvidia kommer att träna sina transformer-modeller i datacenter, men använda dem skarpt i framtidens fordon. Thor ska sedan vara kraftfullt nog att hitta mönster i realtidsdata. 

– Jag tror inte att det kommer att stanna vid objektigenkänning, utan blir också beteendeigenkänning.

Realistiska miljöer i Nvidias fordonsanpassade version av Omniverse. Foto: Nvidia

För att träna en ai-modell kan en simulerad digital tvilling av en verklig miljö komma väl till pass. Nvidias metaverse-plattform kallas Omniverse. Med den har Ericsson bland annat ritat upp en verklighetstrogen version av Kista för att simulera och visualisera 5g-nät, Amazon gör digitala tvillingar av sina lagerlokaler och i ett jätteprojekt har Deutsche Bahn byggt modeller av hela sin flotta och samtliga 500 stationer. Omniverse-versionen är synkroniserad med Deutsche Bahns verkliga dagliga verksamhet. 

– De kan se var alla tåg är i realtid och alla som har tillgång till systemet kan omgående teleportera sig till vilket tåg som helst och studera det i detalj, inklusive dess komponenter, säger Danny Shapiro.

Deutsche Bahn har byggt en virtuell version av sina 500 stationer. Foto: Nvidia/Deutsche Bahn

För fordonsindustrin är Omniverse sammankopplat med Nvidias ”drivesim”-simulator. Bilder från ett fordons kameror kan omgående omsättas till en virtuell representation av en väg eller stadsdel. Virtuella människor och föremål kan adderas. 

– Det ger oss en möjlighet att testa bilens ”autonoma hjärna”. Vi kan ha Stockholm eller Göteborg som digitala tvillingar med de faktiska väglagen, rätt skyltar, trafikmönster och typ av fordon. Med det kan vi testa om programvaran fungerar innan vi använder den i en verklig bil. Det är inte bara vackra bilder, utan modellerat efter den verkliga världen med fysisk och tidsmässig precision, säger Danny Shapiro, och tillägger: 

– Det är en smula ironiskt med tanke på vårt ursprung. Det börjar se ut lite som ett tv-spel. Det är en cirkel som sluts. 

Peter Ottsjö

Mer om: Nvidia Volvo Cars

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer

Debatt