Image
3 personer ved en elv, bygninger og trær

Prøver ut gründerlivet. Fv: Julie Thingwall, Oline Ranum og Jonas Lunde.

Studentgründere vil lage automatisk tegnspråk-oversetter

Med en million fra studententreprenør-programmet STUD-ENT er studievennene klare for å teste ut gründerlivet.

Med god hjelp fra organisasjonen Insj ved UiO har de etablert selskapet DeepSign, som jobber med teknologi for automatisk oversettelse av tegnspråk.

Programvare som kan oversette mellom språk og fra tale til tekst er i rivende utvikling. Instagram-post på persisk? Ett klikk gir deg norsk oversettelse. YouTube kan tekste automatisk, ihvertfall på store språk som engelsk.

Foreløpig finnes ingen lignende, vellykket teknologi for tegnspråk. Det ville Oline Ranum og de fem studievennene som utgjør DeepSign gjøre noe med. Målet er å bruke kunstig intelligens for å gjøre det enklere for tegnspråkbrukere å kommunisere med de som ikke kan språket.

Det naturlige digitale formatet for tegnspråk er videoer, som er mer komplisert og mer informasjonstett enn tekst. Fv: Julie Thingwall og Oline Ranum. Foto: H. Lynnebakken/ UiO

Med en bror som er tegnspråkbruker har Ranum god kjennskap til utfordringene som møter denne gruppa.

Koronapandemien ga startskuddet

For de som bruker tegnspråk, og som av medisinske eller andre grunner heller ikke kan lære tilstrekkelig skrift og talespråk, rammet den sosiale isolasjonen under pandemien ekstra hardt. 

– Behovet for å oversette informasjon og underholdning til tegnspråk i hjemmet skjøt i været, og jeg så hvor slitsomt det var for mange, sier Ranum.

Også i en vanlig hverdag uten pandemi er behovet for tolker stort, og større enn det som er tilgjengelig av tolketjenester.

– Men vi skal ikke lage en maskin som skal erstatte tegnspråktolker, understreker hun. – Dette handler om å gi tegnspråkbrukere tilgang til tjenester og teknologi som vi andre nyter godt av, også når tegnspråktolk ikke er tilgjengelig.

Tegnspråkbrukere må med på laget

DeepSign-gründerne legger stor vekt på å inkludere tegnspråkbrukere selv i prosessen.

– Det er nok av eksempler på prosjekter som har feilet fordi de ikke har hatt tegnspråkbrukere med, sier Ranum og legger til:

– For å bygge teknologi som med tiden kan nærme seg en reproduksjon av det rike og komplekse tegnspråket, må vi samarbeide med mennesker som har tegnspråk som førstespråk. Vi er i prat med noen gode kandidater for vårt team nå.

– Er målet at en tegnspråkbruker skal kunne ha en app på telefonen som automatisk oversetter talespråk til tegnspråk?

– En app er bare én mulig anvendelse av automatisk tolketeknologi. Vi jobber med teknologien som kan danne grunnlaget for mange ulike anvendelser, sier Jonas Lunde, som leder den tekniske utviklingen i DeepSign.

DeepSign-gründerne har kompetanse i programmering og nevrale nettverk fra fysikk- og astrofysikk-studier ved UiO. Jonas Lunde leder den tekniske utviklingen i selskapet. Foto: H. Lynnebakken/ UiO

– Vi skal utvikle den teknologiske plattformen for å gjenkjenne tegnspråk og oversette mellom norsk og norsk tegnspråk, forklarer han.

Teknologien må både kunne kjenne igjen håndbevegelser og fakter og modellere og animere tegnspråk.

Utvikling av animasjonen som brukes til å framstille tegnspråket er det Julie Thingwall som leder. Hun ser for seg flere mulige bruksområder for teknologien de utvikler i DeepSign:

– En hørende lege på et sykehus kan tilrettelegge for alle sine pasienter, og personen som bruker tegnspråk trenger ikke å vente på tolk ved akutt behov for medisinsk hjelp. Tegnspråklige barn kan få et helt nytt grunnlag for å sosialisere med hørende barn rundt seg, og følge en språklig utvikling tilsvarende den hørende barn går gjennom, sier hun.

Nevralt nettverk blir hjertet i teknologien

Hjertet i teknologien de utvikler blir et nevralt nettverk, nærmere bestemt en teknikk kalt nevral maskinoversetting, som også er brukt i Google oversetter.

Nevrale nettverk er en form for kunstig intelligens inspirert av nerveceller i hjernen, derav “nevral.” Nettverket lærer språk ved å trene på eksisterende datasett, i DeepSigns tilfelle tekstede videoer hvor det snakkes tegnspråk. Tilstrekkelig store datasett er en forutsetning for å lykkes med slik teknologi. 

Les mer om nevrale nettverk i artikkelen: Professorer lærer kunstig intelligens av rotter.

– Vi har kompetanse på maskinlæring, kunstig intelligens og programmering fra utdannelsen vår ved UiO, forteller han. Alle de seks gründerne har bakgrunn fra fysikk og astrofysikk.

Entreprenørhjelp ved UiO

De berømmer sine faglige mentorer ved universitetet, og ikke minst støtten de har fått fra studentorganisasjonen Insj i oppstarten.

– Vi har fått uvurderlig hjelp fra Insj ved UiO, sier Ranum. – De har gitt oss råd om etablering av selskapet, fordeling av aksjer, lagbygging, lønn, juss. Alt vi som fysikere ikke har tenkt så mye på.

– Dessuten fikk vi råd om hvordan vi skal fortsette å være venner, også etter å ha jobbet i et oppstartselskap sammen!