Ny dansk teknologi forbedrer taleforståelsen

Fremtidens høreapparatbrugere vil kunne lytte mere præcist og målrettet takket være ny teknologi fra Aalborg.

En AAU-forsker bruger maskinlæring til at udvikle et computerprogram, der kan fjerne støj og gøre tale mere tydelig.

En af de største udfordringer for mennesker med høreproblemer er at skelne tale i støjende omgivelser.

Det kaldes for cocktailparty-effekten, fordi det især er i situationer, hvor mange mennesker taler på samme tid, at det kan være svært at forstå den man taler med.

Selv om de fleste moderne høreapparater arbejder med forskellige former for teknologi, der skal fremhæve tale fremfor baggrundsstøj, kæmper ingeniørerne stadig med at udvikle et system, der virker.

Ph.d.-studerende Mathew Kavalekalam fra Audio Analysis Lab på Aalborg Universitet (AAU) har brugt automatisk læring til at udvikle en algoritme, der kan få en computer til at skelne præcist mellem tale og støj. Forskningen sker i samarbejde med høreapparatforskere fra GN Advanced Science og er støttet af Innovationsfonden.

Computeren lytter og lærer

“Hørecenteret i vores hjerner foretager normalt en lang række meget komplicerede udregninger, som sætter os i stand til at fokusere på en enkelt stemme – selv om der er mange andre, der taler i baggrunden. Men den egenskab er meget vanskelig at genskabe maskinelt”, forklarer Mathew Kavalekalam.

Han tog udgangspunkt i en digital model, der beskriver, hvordan lyden af tale opstår – fra lungerne, over strubehovedet, mundhulen, næsehulen, tænderne, læberne og ud af munden.

Modellen brugte han til at beskrive hvilken type signal, en computer skal ’lytte’ efter for at identificere en talende stemme. Herefter satte han programmet i gang med at lytte og lære.

Støj er ikke bare støj

“Baggrundsstøj kan være meget forskellig alt efter hvor man befinder sig – det kan være gadelarm, hvis man er ude i trafikken eller lyden af andre, der taler, hvis man er på en restaurant eller et sted, hvor der er mange andre mennesker. Det er en af grundene til, at det er så vanskeligt at lave en brugbar model, der kan fremhæve det vigtige og ikke det generende”, fortæller Mathew Kavalekalam fra AAU.

Han afspillede forskellige optagelser af talende stemmer for computeren og tilsatte herefter forskellige typer baggrundsstøj, der blev afspillet højere og højere.

Med tiden ’lærte’ computerprogrammet at genkende mønstre i lyden og regne ud, hvordan talende stemmer bedst kan hæves – uden samtidig at hæve niveauet på baggrundsstøjen.

Fremgangsmåden kaldes ’automatisk læring’ – eller machine learning på engelsk.

15 procent bedre forståelse

Resultatet af Kavalekalams arbejde på AAU’s Audio Analysis Lab er blevet et stykke software, der hjælper personer med høretab til en bedre taleforståelse. Selv i situationer med meget baggrundsstøj kan den genkende tale og fremhæve den i lydbilledet.

Indtil videre har han testet modellen på 10 forsøgspersoner, der har skullet sammenligne lyden af stemmer i baggrundsstøj før og efter den er blevet behandlet med hans algoritme.

Testpersonerne skulle blandt andet udføre enkle opgaver med farver, tal og bogstaver, som blev beskrevet for dem i forskellige støjende miljøer.

Resultaterne tyder på, at Kavalekalam er ved at udvikle en løsning med et stort potentiale. Testpersonerne oplevede en forbedring på 15 procent i forhold til at skelne ord i meget støjende omgivelser.

Lynhurtig signalbehandling

Der er dog et stykke vej endnu, inden Mathew Kavalekalams program finder vej ind i nye høreapparater. Teknologien skal tilpasses og forfines yderligere, inden den reelt kan bruges.

Algoritmen skal optimeres, så den ikke fylder så meget og ikke kræver så megen datakraft. Selv om teknologien bliver hurtigere og hurtigere, er der begrænsninger i den hardware, der er plads til i et høreapparat.

“Når det kommer til taleforbedring er det vigtigt at signalbehandlingen sker lynhurtigt. Hvis lyden bliver forsinket af at blive behandlet i høreapparatet, svarer den ikke til de mundbevægelser vi ser, og så ender det med at forvirre mere end det gavner”, slutter Mathew Kavalekalam fra AAU.