Ögonen ljuger inte – här är svenska bolaget som drar nytta av det

Ögonen är själens spegel heter det ibland. Med allt bättre ögonspårningsteknik är de mer än så. Dessa ljuskänsliga organ som mestadels rör på sig utan vår medvetna påverkan blir då dessutom ett fönster mot våra beteenden. Alla de där små detaljerna som avslöjar vad vi faktiskt gör, till skillnad från vad vi tror eller säger att vi gör. 

Att förstå mänskligt beteende är dock blott en skärva i den rika mosaik av möjligheter som uppstår med Tobiis eyetracking.

För vissa är svenskarna snarare förknippade med datorspel och virtual reality. För andra är de kända som tillverkare av kommunikationshjälpmedel. Företaget omsätter omkring 1,5 miljarder kronor, har över tusen anställda och över 700 patent. De säljer sina produkter i 90 länder över hela jordklotet. 

Och ändå är ögonspårning som teknik fortfarande i sin linda. Även om den har redan gett ett nytt liv åt tusentals användare.

Kan hjälpa människor kommunicera

Ta till exempel Ava. Strax före sin andra födelsedag fick hon diagnosen Retts syndrom, en ärftlig åkomma, som ger svåra funktionsnedsättningar. Barn med Retts kan förlora talförmågan, sluta använda sina händer på ett meningsfullt sätt, få epilepsi och drabbas av svår ångest, för att bara nämna några av alla symtom. 

Strax före Ava fick sin diagnos fastställd hade hennes mamma i desperation googlat efter hjälp, men bara mötts av domedagsprofetior. Ava, fick hon veta av armstödsexpertisen på internet, skulle inte kunna gå. Inte kunna prata, leka eller lära.

Men så blev det inte. 

– Bland våra användare finns barn som, när de kommer i kontakt med våra produkter för första gången, i regel aldrig har kunnat kommunicera, säger Henrik Eskilsson, medgrundare på Tobii. 

Värt att notera: vid tiden för publicering planerar Tobii, som för tillfället består av affärsområdena Tech, Pro och Dynavox, att avknoppa Tobii Dynavox till att bli ett eget bolag. Om planen går igenom avser Eskilsson fortsätta sitt engagemang bland annat via styrelsen i båda bolagen.

Tillbaka till Ava: nedslående förutsägelser var inte allt hennes mamma hittade på nätet. Utan också en speciell kamera från Tobii. Den gav Ava det gränssnitt mot omvärlden som många av oss tar för givet, som vi aldrig ens tänker på. För Ava kan inte använda munnen för att tala, eller händerna för att gestikulera. Men hon kan fästa blicken. 

När en Tobii-enhet är riktad mot Avas ögon skickar den med belysare ut ett svagt nära infrarött ljus. Ljuset träffar hornhinnan och pupillen, som genererar ett reflexmönster (bokstavligt talat glimten i ögat). Mönstret fångas upp av Tobii-enhetens kamera. Sedan används geometri, baserat bland annat på vinkeln mellan hornhinnan och pupillen, för att räkna ut var Ava tittar.

– Det sker med ungefär precisionen av en tumnagel på armlängds avstånd, säger Henrik Eskilsson.

Det låter enklare än vad det är. 

– För att kunna räkna ut reflexmönstren behövs väldigt sofistikerade algoritmer, baserade på djupinlärning och datorseende för att på ett tillförlitligt sätt kunna extrahera reflexmönstren. 

Tekniken måste filtrera bort det i sammanhanget ovidkommande: mascara, hängande ögonlock, solljus. Eller okontrollerade huvudrörelser – som hos en del användare med cerebral pares. Tobii använder vad företaget självt anser vara världens mest sofistikerade programvara för att skapa en 3d-modell av användarens öga. Det sker med en kalibrering på ett tiotal sekunder där användarens öga matchas mot, och jämförs med, miljontals andra som Tobii har i sin databas.

– För användaren ska allt det där trollas bort, vara osynligt. Systemet ska alltid veta var användaren tittar. Men det är en otrolig komplexitet under ytan, säger Henrik Eskilsson. 

Att Tobii Dynavox planerar att bli ett eget bolag – 20 år efter att Tobii grundades – är kanske inte så konstigt. Ögonspårningen är ett fundament, men Dynavox kan numera bäst beskrivas som tillverkare av hjälpmedelsteknik.

Specialbyggda surfplattor

Utöver eyetracking tillhandahåller bland annat Dynavox specialbyggda surfplattor, programvara för talgenerering och ett egenutvecklat symbolspråk. Om ögonspårningen är Avas gränssnitt mot omvärlden, så ger symbolspråket henne förmåga att sätta samman det hon vill säga och talsyntesen blir hennes röst. 

Fyrverkerier på skärmen kan vara det första ett barn likt Ava möter när Tobiis symbolspråk, som Eskilsson säger utvecklas tillsammans med ”världsledande forskare”, används. Barnet fäster blicken på något ställe och just där börjar det spraka och gnistra.

– Det är extremt grundläggande grejer. Men barnen inser att de kan få saker att hända genom att fästa blicken. De kan påverka världen och ur det där kan man locka fram förmågan att kommunicera. En sådan här lösning är skillnaden mellan att nästan inte kunna kommunicera överhuvudtaget – till att faktiskt kunna kommunicera riktigt bra. Att kunna leka med kompisar, syskon, gå i skolan, alla de bitarna. Vi har exempel på personer med grava funktionsnedsättningar som till och med har universitetsexamen, säger Henrik Eskilsson. 

Och vem vet, kanske finns bland Tobii Dynavox långt över 100 000 användare nästa stora forskare, en blivande berömd fysiker? Vilket föranleder frågan om Stephen Hawking – som hade den bland Dynavox-användare ofta förekommande sjukdomen ALS – använde svensk ögonspårningsteknik? 

Ja, Hawking var åtminstone intresserad och tog kontakt med Tobii för ett tiotal år sedan. 

– Jag försökte själv få vår utrustning att fungera på Stephen Hawking. Det var väldigt nära, men han hade unika motoriska nedsättningar på sin ögonmuskulatur. De absolut flesta med ALS har inte det problemet, säger Henrik Eskilsson.

Att studera mänskligt beteende är som sagt en annan del av Tobii. De beteendeanalytiska tjänsterna, eyetrackingteknik i konsumentprylar som vr- och ar-headset, samt utveckling av själva kärntekniken är den omfattande verksamhet som sker utanför Dynavox-området.

Tunga kunder

Just Dynavox är Tobiis största affärsområde, med en omsättning på nästan en halv miljard kronor. Men Tobiis övriga delar har de mest namnkunniga kunderna: Ubisoft, HP, HTC, Seat, Ford, Coca-Cola, Nissan, Unilever och Verizon. För att nämna några. 

– Tobii har flera tusen universitet som kunder och också flera tusen företagskunder som använder eyetracking. På universitet används det till många forskningsområden: psykologi, neurologi, synforskning, barnforskning, olika typer av medicinsk forskning och så vidare. Och på företagssidan är det många bolag som använder tekniken för att optimera sin utformning av produkter, säger Henrik Eskilsson. 

Inte bara det: flera företag använder tekniken för att utbilda sin personal. Ett exempel är SJ, som Ny Teknik skrev om för en tid sedan. Ett annat är H&H Casting, ett amerikanskt gjuteri, som uppger att de med hjälp av Tobiis egenutvecklade eyetracking-glasögon sparat 400 timmar genom att med ögonspårning snabbare få nyanställda ut i produktionen.

– Det är ju det som kallas ”tyst kunskap”. Skillnaden mellan en expert och en novis kan sitta i bara hur en arbetsuppgift ska utföras motoriskt. Det är sådant som kan vara svårt att förklara för någon som är ny på jobbet, säger Lina Perdius, presschef på Tobii. 

Det H&H Casting tar fasta på är att de kan få en ”direkt, objektiv och diskret” mätning av det som sker i gjuteriet.

Ögonen ljuger inte

Ögonen ljuger nämligen inte. Dess rörelser sker mestadels omedvetet. Att studera dem kan ge insikter som andra metoder inte kan matcha. När Facebook ville ta reda på hur amerikanska familjer egentligen konsumerar media fick ett antal familjemedlemmar under en tid bära Tobiis glasögon. 

– Om Facebook inte hade kunnat använda eyetrackingglasögon skulle de förmodligen ställt frågor till familjemedlemmarna. ”Hur mycket tittar du på mobilen?” ”Hur mycket tittar du på tv:n?” Det mest problematiska med sådana frågor är att man får felaktiga svar, även om familjemedlemmen tror att den är ärlig. Vi människor tror så mycket om oss själva och vårt beteende som inte stämmer. Hjärnan är full av filtreringsmekanismer: ”vad är socialt korrekt”, ”vad borde jag tycka” och så vidare, säger Henrik Eskilsson.

Under vårt besök på Tobiis kontor i Danderyd får Ny Teknik testa att bära den senaste versionen av glasögonen, Pro Glasses 3, som, jämfört med föregångarna, har en nättare formfaktor. De fungerar dessutom utomhus, även i solsken.

De fyra kamerorna och de 16 infraröda belysningslamporna är gjutna direkt i glaset och ser ut som små insektsben, vilket ger ett något cyberpunkigt intryck. 

Glasögonen har dessutom en framåtriktad hd-scenkamera med ett kombinerat synfält på 106 grader. 

– Vi har 38 procent större synfält i kameran jämfört med tidigare och det är väldigt viktigt i många applikationer. Det perifera seendet vid bilkörning exempelvis, om man vill veta hur användaren reagerar när det kommer en fotgängare från sidan. Då är det viktigt med stora blickvinklar, har Tom Englund på Tobii tidigare berättat. 

Det krävs fortfarande en trådbunden inspelningsenhet som användaren kan bära i fickan eller fästa i bältet. Den är tillfällig lagringsplats (på väg mot vidare analys i molnet) för det inspelade material som glasögonen genererar.

Men man glömmer snabbt bort att man bär glasögonen, vilket är en stor del av poängen. 

– Den föregående modellen var lite i vägen i synfältet. Det var väldigt tydligt både för omgivningen och dig själv att du bar ett par eyetrackingglasögon, säger Henrik Eskilsson.

Digital information framför ögonen

Tobiis ögonspårning må vara nästan-i-realtidskvick men det som registreras tillhör naturligtvis det förflutna. Företagets blick är dock fäst på horisonten. Där bakom finns en framtid där inte bara människor med funktionsnedsättningar, som Ava, eller företag och forskare, använder tekniken. Där 5g, edge, ögonspårning och vidare miniatyrisering gör att de allra flesta av oss ständigt har digital information framför ögonen, istället för i den glas- och metallbricka vi bär omkring på idag. 

Det är en vision som Tobii i allra högsta grad tror på. 

– Ja. Men kanske ännu viktigare är att det är den vision som våra kunder och partners jobbar efter. Det är otroligt stora krafter i rörelse kring det här. Flera av världens ledande teknikbolag tror ju att augmented reality är nästa stora plattform. Att det är så mänskligheten kommer att konsumera information efter smartphoneeran, säger Henrik Eskilsson, men poängterar också att det här kan ta längre tid att realisera än vad många kanske tror.

Det är i vilket fall svårt att föreställa sig att ögonspårning inte är ett fundament i nästa generations informationsenheter. För det första är ögonen en tacksam ersättare till dagens tryckande och swajpande. För det andra kan eyetracking spara beräkningskraft genom att bara återge högupplöst grafik där användaren fokuserar med blicken. 

– Vi tror att eyetrackingsensorer i förlängningen kommer att sitta i alla typer av enheter. De kommer att finnas i princip i alla datorer, alla vr-headset, alla ar-glasögon, i alla bilar och i massor av medicinska applikationer, säger Henrik Eskilsson.

”Går mycket längre än gdpr”

Det är en framtid som säkert kan väcka fasa hos en del. Redan nu jobbar Tobii med stora fordonstillverkare på det som kallas DMS (driver monitoring system, eller förarövervakningssystem), där eyetracking kan användas för att upptäcka om föraren verkar sömnig eller distraherad. Tanken med DMS är att det ska leda till färre olyckor, och EU kommer framöver att kräva någon form av DMS i nytillverkade fordon.

Men är vi redo att lämna ut så oerhört integritetskänsliga data till privata företag? Är vi redo för en framtid där allt vi fäster blicken på registreras? Inte bara bakom ratten (hur goda intentionerna nu än är) utan överallt all vaken tid? Det låter kanske otänkbart nu, men vi har som bekant en tendens att offra det privata på bekostnad av enkelhet och bekvämlighet. 

Tobii är naturligtvis akut medvetna om sprängkraften i sin teknik. 

– Vi måste vara supernoga med att värna individens integritet. Under flera års tid har vi jobbat med att ta fram ett policyramverk, som jämfört med andra teknikbolag går betydligt längre. Det är krav som våra egna produkter ska leva upp till, men de ska också efterföljas av alla mjukvaruleverantörer som använder vår eyetracking, säger Henrik Eskilsson.

Ramverket har tre övergripande delar. Ett: om eyetrackingdata ska sparas eller överföras så att någon annan än användaren kan analysera denna data, så måste användaren explicit informeras om detta. 

– Det ska inte vara dolt tre mil ner i något användaravtal, utan dyka upp som en jättetydlig popup-ruta. 

Två: Användaren ska informeras om i vilket syfte ögonspårningsdata ska analyseras. Tre: Användaren måste sedan ge sitt tillstånd att så får ske. 

– Det här går mycket längre än gdpr, för den begränsar egentligen inte vad man kan samla in, utan mer om hur man kan korrelera det man samlat in till en individs identitet. Det här handlar om att överhuvudtaget få lov att samla in informationen och att vara extremt transparent gentemot användarna, säger Henrik Eskilsson. 

I en video säger Avas syster att det hon gillar bäst med Ava är ”att hon kan prata med ögonen”. Ögonen har för hennes familj blivit spegeln mot Avas själ. 

Det är personer som Ava som gör att Henrik Eskilsson och Tobii tycker det är så viktigt att ta integritetsfrågorna på största allvar, så att rädsla för och risker med tekniken inte bromsar dess framfart. 

– Vi tycker att det är viktigt att eyetracking som teknik verkligen kommer ut i samhället på ett sätt som gör gott för mänskligheten. På ett sätt som hjälper människor och gör världen bättre. Något som vi kan vara stolta över.