Därför ska alla nya mobiler ha en 3d-kamera

2019-08-14 06:00  

5g är inte det enda mobiltillverkare vurmar för just nu. Time of flight-sensorer tycks nämligen vara minst lika hett. Och med dem kan vi vänta oss helt nya augmented reality-upplevelser.

LG G8 Thinq har en, liksom Huawei P30 Pro, Honor View 20 och aktuella Samsung Galaxy Note 10 Plus. Apple ska, ryktas det, utrusta Iphone med en från 2020. Det vi talar om är en så kallad tof-sensor (time of flight), eller flygtidssensor. Det är en teknik som funnits länge men som nu blivit så billig och kompakt att den lär bli standard i de flesta av morgondagens mobiltelefoner.

En tof-sensor sänder ut en infraröd ljuspuls som träffar objekt (människor, fingrar, hundar, möbler, prylar och så vidare) på olika avstånd i ett rum. Tiden det tar för ljuset att reflekteras (flyga) tillbaka till sensorn kommer att skilja sig åt beroende på var i rummet ljuspulsen studsat mot ett objekt. En klocka med noggrann avläsning kan därpå återge en koordinat för varje enskild pixel som återvänt till sensorn. På så sätt blir det möjligt att med förhållandevis stor precision rita upp en tredimensionell modell.

– Till skillnad från att man bara får rött, grönt och blått så får man också ett djup i varje punkt, säger Per-Erik Forssén, docent på avdelningen för datorseende på institutionen för systemteknik vid Linköpings Universitet.

Bygger på time of flight-principen

Time of flight-sensorer sorterar under kategorin 3d-kameror. Där ryms också sånt som lasertriangulering, strukturerat ljus och – kanske mest bekant – lidar. Den senare bygger på time of flight-principen, men sänder ut riktade ljuspulser medan tof-sensorer låter hela rummet bada i infrarött. Per-Erik Forssén, som just nu ägnar en del av sin arbetstid till ett forskningsprojekt tillsammans med fordonsteknikföretaget Veoneer, säger att lidar är överlägset för tillämpningar utomhus.

– Lidar har lång räckvidd och kan hantera mycket ströljus. Vi har testat att använda en tof-sensor utomhus med modifierade algoritmer och det går när det inte är direkt solljus. Men är det skarpt ljus kommer signalen att dränkas av solen. Lidar har en mycket mer fokuserad ljusstråle. Den skickar ut en stråle mot en punkt och mäter bara den punkten.

Läs mer: Nu är Samsungs nya prestigemobil lanserad

Strukturerat ljus är för många ett desto mer okänt begrepp, men chansen är hyfast stor att du använder tekniken varje dag – åtminstone om du har en Iphone X eller senare modell. Apple använder strukturerat ljus till sin biometriska id-lösning, Face Id. Strukturerat ljus fick sitt genombrott 2010, när Microsoft lanserade 3d-kameran Kinect. Den såldes som en underhållningspryl – där användarens kropp användes för att interagera med vissa spel till Xbox 360 – men blev med sitt låga pris snabbt populär bland, som Per-Erik Forssén kallar dem, ”hobbyrobotforskare”.

– Strukturerat ljus fanns redan på 90-talet och de första vetenskapliga artiklarna om time of flight kom då också. Men Kinect-sensorn var helt revolutionerande. Det var världens första massproducerade 3d-kamera.

Strukturerat ljus går ut på att sända ut ljus i känt mönster bestående av tiotusentals punkter. När mönstret träffar ett objekt ändrar det form varpå det går att återge objektet i 3d. Det här fungerar bra för ansikten – som med Apples Face Id – men tekniken brottas med att göra noggranna mätningar av objektkonturer. Dessutom är time of flight-sensorer enklare att miniatyrisera utan att förlora räckvidd.

Läs mer: Enkla linsen klarar avancerade uppdrag – med hjälp av uppvärmning

Utöver bilindustrin används time of flight bland annat för att ge robotar och drönare bättre datorseende. Det kan exempelvis röra sig om packrobotar i semiautomatiserade lager eller om städrobotar på offentliga platser med många människor. Eftersom ljuspulserna skickas ut ett stort antal gånger per sekund kan en robot läsa av en miljö som hela tiden byter karaktär.

”Algoritmerna blir bättre”

Mobiltillverkare ser andra tillämpningsområden. Med en tof-sensor kan användaren göra noggranna avståndsmätningar – åtminstone upp till och med åtta meter – och snabbt ta reda på om en möbel får plats under fönstret i vardagsrummet. Man kan få snabbare autofokus med hjälp av time of flight-teknikens direkta djupmätning. Gestbaserad inmatning är en annan möjlighet. Allt det här är funktioner som redan finns eller snart kommer att dyka upp till just din smartphone. Men ingen av dem tycks vara det verkliga skälet till att sådana som Samsung, Huawei, Sony och Apple gör sig besväret att bända in ännu fler komponenter på en redan trång yta.

Den viktigaste orsaken är troligen augmented reality, som kan översättas till utökad eller förstärkt verklighet. Augmented reality, förkortat ar, är ett snabbt växande segment. Med ar går det att peta in virtuella objekt i användarens fysiska omgivning. Sedan flera år finns det en uppsjö av ar-appar till både Android- och Ios-enheter, men samtliga lider av att de virtuella objekten inte tycks ha en susning om den fysiska miljö de placerats i. Med en tof-sensor ändras förutsättningarna dock radikalt.

– Man kan få bättre följning på hur mobiltelefonen rör sig, det blir mer precist. Men sedan kan man också uppskatta rörelsen på föremålen i scenen och stoppa in grafik framför och bakom saker. Det finns demoexempel där folk använt Kinect för att göra sådant, men på den tiden krävdes stora beräkningsresurser. Men allting miniatyriseras ju och algoritmerna blir bättre. Så jag tror det är något som kommer att dyka upp på mobiltelefoner, säger Per-Erik Forssén.

Peter Ottsjö

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

  Kommentarer

Debatt