Svenskar bakom rekordtekniken i nya Huawei-telefonen

Kamerorna i Huaweis nya P20 Pro sopar banan med konkurrenterna. Det anser bildexperterna hos DXOMark som med god marginal delar ut det högsta betyget någonsin till en mobiltelefon. När det gäller P20 Pro-modellens videostabilisering noterar DXOMark att den är ”väldigt effektiv”. Med betyget 94 slår funktionen alla sina rivaler, inklusive Googles Pixel 2.

Det här är goda nyheter för Uppsala-bolaget Imint, som av allt döma ligger bakom videostabiliseringen i nya P20 Pro. Vi skriver ”av allt att döma”, eftersom vd Andreas Lifvendahl inte vill bekräfta något.

– Vi är glada över att de fick ett så högt betyg i DXOMark. Men jag kan tyvärr inte säga något om det. Huawei är vår kund och resten får man räkna ut själv.

Från att ha levererat drönarapplikationer åt försvarsindustrin är Imint sedan fyra år mest fokuserade på konsumentmarknaden för mobiltelefoner. Det är ett skifte som skett parallellt med en explosionsartad ökning av produktion och konsumtion av rörlig bild. Både Apple, Google, Samsung och Huawei har ägnat mycket tid, kraft och pengar på att övertyga kunder om att just de har den bästa mobilkameran.

Huawei-kontraktet är förstås en stor fjäder i Imint-hatten, men svenskarna jobbar också med bland andra Sharp, Fujitsu, Xiaomi, spanska BQ och franska Wiko.

– Att vi bytte fokus handlade om både tur och skicklighet. För omkring fyra år sedan var vi på jakt efter snabbare marknader. Säljcyklerna i försvarsindustrin är väldigt långa. Vi hade sneglat på mobiltelefoner men tänkt att den marknaden är för stor och svår. Sedan fick vi lite förfrågningar från smartphonebolag och gjorde egna undersökningar som visade att stillbilder blivit väldigt bra men att video var helt bortglömt. Det fanns ett uppenbart behov av att förbättra videoinspelning för konsumenter, säger Andreas Lifvendahl.

Imint kallar sin mjukvara Vidhance. I den används en kombination av data från kamerans rörelsesensorer och bildanalys för att göra stabiliseringen. Från de fysiska sensorerna får algoritmerna information om hur telefonen faktiskt rör sig, och genom bildanalysen går det att dra ytterligare slutsatser om till exempel objekt och bakgrund.

Utmaningen är formidabel. Vidhance-algoritmen har mobiltelefonens förhållandevis blygsamma hårdvara (forskning på det här området sker ofta med superdatorer) att ta hänsyn till. Den måste optimeras för att inte dränera batteriet. Och allt måste ske inom loppet av 10-15 millisekunder.

– Med video har du ju alltid nya bilder som kommer in. Det är mycket där som vår hemliga sås finns: att göra det här snabbt, effektivt och så att slutresultatet blir väldigt mjukt och fint, säger Andreas Lifvendahl.

Denna hemliga sås har Marcus Näslund, matematiker och programvaruutvecklare på Imint, skrivit om på företagets blogg.

”För att allt det här ska fungera måste data från sensorerna uttryckas och analyseras matematiskt. Bilder är tvådimensionella men världen vi och våra kameror lever i är inte det. Vi har sex frihetsgrader i vår 3d-värld. En translation kan enkelt uttryckas med en 3d-vektor och rotation kan uttryckas med avancerad matrisalgebra eller med fyrdimensionella nummer”.

Ny Teknik träffade Andreas Lifvendahl på mobilmässan Mobile World Congress i Barcelona för en månad sedan. Då stod han bredvid en skärm som visade två versioner av samma film. Ett barn åker skidor nerför en backe och fotografen, en förälder, följer efter. I den ena versionen är filmsnutten skakig och jobbig att titta på. I den andra, Vidhance-versionen, följer kameran mjukt barnets rörelser. Imint kallar funktionen ”live auto zoom”.

– Det är en smart zoom- och följafunktion. Till vänster ser vi att det är lite skakigt och tråkigt för i det läget kan fotografen inte koncentrera sig på att göra något artistiskt. Men använder man live auto zoom klickar man på sitt barn och riktar bara kameran. Då blir det automatiskt inzoomat och mjukt stabiliserat. Och det sker i realtid. När du kommer nerför backen kan du dela filmen direkt.

De senaste årens teknikutveckling har försett amatörfotografer med allt bättre hårdvara och mjukvara. Nästa steg tycks vara att göra mobilanvändaren till en bra fotograf oavsett vilka förkunskaper den besitter. Imint är helt och hållet inne på det spåret. Parat med följ- och zoomafunktionen erbjuder de något de kallar ”auto curate”, där Vidhance automatiskt väljer ut det den bedömer vara intressanta scener i en video och klipper ner den till något, förhoppningsvis, mer intressant.

– Vi försöker ju hjälpa konsumenten bli skickligare. Att kunna skapa och bli mer artistisk utan att förstå egentligen hur det går till, säger Andreas Lifvendahl.

Under Mobile World Congress – när varken vi eller Lifvendahl visste att P20 Pro skulle slå rekord i DXOMark – frågade vi honom om han tycker att Imint är bäst i världen på det de gör.

– Haha, ja, det beror på hur ödmjuk man ska vara. Men på videostabilisering tycker vi nog att vi är bäst i världen.