Algoritmer plockar bort skaket

2017-07-17 08:00 Anders Thoresson  
Harald Klomps och Jakob Sandströms företag ska minska skakningarna i mobil konsumentvideo. Foto: Jörgen Appelgren

Med allt bättre beräkningskapacitet i en mobiltelefon finns det andra sätt att förbättra bildkvaliteten än genom att sätta in bättre optik eller bildsensor. Uppsala-företaget Imints algoritmer stabiliserar skakiga videofilmer.

Grundprincipen är enkel. Använd mobiltelefonens rörelsesensorer för att mäta telefonens skakningar. Kompensera sedan för dem genom att beskära filmen, bildruta för bildruta, så att skakningarna försvinner i filmen som sparas i telefonens minne.

– Idén kommer ursprungligen från skogs- och lantbruk. Där ville man redan för tio år sedan använda drönare för att få en snabb överblick över exempelvis stormfälld skog. Men ett problem var alla krängningar och svängningar från drönarna, berättar Andreas Lifvendahl, vd på Imint.

En lösning på det problemet är den fysiska gyron som kompenserar för de ofrivilliga rörelserna. Men Imints grundare Harald Klomp och Jakob Sandström, då forskare på Uppsala universitet, valde i stället att jobba med bildanalys.

Under åren som gått har konsumentintresset för video ökat markant, och plötsligt fanns en konsumentmarknad för företagets teknik. I tekniksviten Vidhance är videostabilisering den första lösningen.

– En stor utmaning är att kombinera begränsad prestanda och med realtidskrav, vi vill att det ska se stabilt ut även medan man filmar. I den akademiska litteraturen går det att hitta metoder som är väldigt bra, men kräver superdatorer. Vi har 5–10 millisekunder på oss, helst utan att batteriet tar slut. Så mycket av vårt utvecklingsarbete handlar om optimeringsproblem.

I Vidhance används en kombination av data från kamerans rörelsesensorer och bildanalys för att göra stabiliseringen. Från de fysiska sensorerna får algoritmerna information om hur telefonen faktiskt rör sig, och genom bildanalysen går det att dra ytterligare slutsatser om till exempel objekt och bakgrund.

För en riktigt bra stabilisering behöver algoritmerna förstå vilka rörelser som är medvetna och vilka som är ofrivilliga.

– För den film som sparas i telefonens minne gör vi en analys som kan sträcka sig många bildrutor fram i tiden, för att försöka identifiera ofrivilliga rörelser. Lyckas vi inte fullt ut kompensera för dem kan vår teknik åtminstone göra rörelserna mjukare. I takt med att sensorerna blir bättre, framför allt med allt mer precisa tidstämplar, minskar betydelsen av bildanalysen för stabiliseringen, säger Andreas Lifvendahl.

Vad har ni mer på gång?

– Två saker. Dels det vi kallar för Live Auto-zoom. Med den mjukvaran försöker vi lösa problemet med filmer som blir väldigt statiska. Om man ändå använder den digitala zoomen så blir det lätt en illamåendeframkallande film med väldigt mycket skakningar. Vi hjälper användaren att hitta och zooma in lagom på det intressanta objektet och sen följa det på rätt sätt.

– Den andra produkten kallar vi för Auto Curate. Den försöker hitta de intressanta scenerna i en längre filmsekvens och klippa ihop dem till en kortare. Problemet med många mobilfilmer är att de är för långa, eftersom det är bökigt att korta dem.

I dagsläget finns Imints programvara inte att köpa i någon av mobilplattformarnas app-butiker. Även om det inte är något som Andreas Lifvendahl utesluter för framtiden är det just nu en roll som underleverantör till Android-tillverkare som är företagets huvudstrategi.

– Vi är gynnade av att det är en väldigt konkurrensutsatt marknad, där tillverkarna har stora lanseringar varje år och kamerafunktionen ofta är det som lyfts fram. Vi har avtal med bland andra Huawei, Sharp, franska Wiko och spanska BQ. Huawei har lanserat telefoner med vår programvara, de andra är på väg ut på marknaden.

Anders Thoresson

Kommentarer

Välkommen att säga din mening på Ny Teknik.

Principen för våra regler är enkel: visa respekt för de personer vi skriver om och andra läsare som kommenterar artiklarna. Alla kommentarer modereras efter publiceringen av Ny Teknik eller av oss anlitad personal.

Här är reglerna för kommentarerna på NyTeknik

  Kommentarer

Dagens viktigaste nyheter

Aktuellt inom

Senaste inom

Debatt

SPONSRAT INNEHÅLL

ANNONS