Innovation

Deras metod omvandlar hjärnans aktivitet till syntetiskt tal

De färgade prickarna visar den registrerade hjärnaktiviteten vid tal. Foto: Chang lab / UCSF Dept. of Neurosurgery

Amerikanska forskare har kommit ett steg på vägen mot att omvandla hjärnsignaler direkt till syntetiskt tal. Nyckeln är våra talrörelser.

Publicerad

Fysikern Stephen Hawking gjorde talsyntesapparaten Calltext världskänd. Han använde sin kind för att välja ut rätt text på en videoskärm, som sedan kunde omvandlas av apparaten till tal.

Patienter som har förlorat talförmågan på grund av en stroke eller annan neurologisk sjukdom använder liknande tekniker i dag. De kan styra en markör med sina huvud- eller ögonrörelser och på så sätt bokstavera fram ord som omvandlas till tal.

Forskare vid University of California, San Francisco, utvecklar en ny metod för syntetiskt tal. Det handlar om att kunna omvandla hjärnsignaler till syntetiskt tal direkt, utan huvud- eller ögonstyrning. Arbetet beskrivs i den vetenskapliga tidskriften Nature.

Utgångspunkten för studien är de käk-, struphuvud-, läpp- och tungrörelser som sker när vi pratar. Dessa är kopplade till specifika hjärnsignaler, en kunskap som forskarna har tagit vara på.

Testpersonerna fick säga flera hundra meningar högt

Forskargruppen började med att registrera aktiviteten i hjärnbarken hos fem deltagare när de uttalade flera hundra meningar högt. Sedan byggde forskarna upp ett system för att koppla registrerade hjärnsignaler till specifika talrörelser. Med detta som bas har forskarna kunnat syntetisera tal. Testlyssnarna ska ha kunnat identifiera och transkribera detta korrekt.

I en annan del av studien fick deltagare säga vissa meningar högt, för att därefter mima desamma. Systemet klarade inte av att tolka det mimade talet lika bra som det hörbara. Men resultatet var ändå tillräckligt för att forskargruppen ska konstatera att det är möjligt att avkoda vad någon försöker säga även om talet är ljudlöst, så länge "talet" är kopplat till vissa specifika rörelser.