Microsoft skapar en app för att göra det lättare för dem med ALS att kommunicera

Lästid ikon 2 min. läsa


Läsare hjälper till att stödja MSpoweruser. Vi kan få en provision om du köper via våra länkar. Verktygstipsikon

Läs vår informationssida för att ta reda på hur du kan hjälpa MSPoweruser upprätthålla redaktionen Läs mer

Microsoft har utvecklat en smartphone-app som heter GazeSpeak som gör det lättare för personer med motorneuronsjuka att kommunicera med enbart ögonen.

Appen använder video inspelad i realtid av smarttelefonens kamera för att omvandla blick till tal, och använder ett klistermärke på baksidan av telefonen med ett rutnät av bokstäver som talaren tittar på för att indikera sitt val och stava sitt budskap.

Appen använder artificiell intelligens som liknar förutsägande sms för att veta vilken av bokstäverna i varje arm av rutnätet som talaren väljer. De fyra översta ordförutsägelserna visas på skärmen och den översta läses upp.

"Till exempel, för att säga ordet 'uppgift' tittar de först ner för att välja gruppen som innehåller 't', sedan upp för att välja gruppen som innehåller 'a' och så vidare", säger Xiaoyi Zhang, som utvecklade GazeSpeak medan han var praktikant på Microsoft.

"Vi använder datorseende för att känna igen ögongester och AI för att göra ordförutsägelse", säger Meredith Morris på Microsoft Research i Redmond, Washington.

Personer med motorneuronsjuka (vanligen kallad ALS) har ofta bara rörelse i ögonen, vilket lämnar detta som deras enda sätt att uttrycka sig.

"Människor kan bli riktigt frustrerade när de försöker kommunicera, så om den här appen kan göra saker enklare är det en riktigt bra sak", säger Matthew Hollis från Motor Neurone Disease Association.

Smartphone-appen är ett bra alternativ till den äldre praxis att använda brädor och manuell blickspårning av specialutbildade tolkar, vilket är svårt och mindre effektivt, med GazeSpeak i test som tar 78 sekunder i genomsnitt att slutföra en mening, mot 123 sekunder med brädorna .

”Jag älskar telefontekniken; Jag tror bara att det skulle vara så tjusigt”, sa en av tolkarna.

Microsoft kommer att presentera appen på konferensen om mänskliga faktorer i datorsystem i Colorado i maj. Appen, som endast är iOS, kommer att finnas tillgänglig i App Store, och källkoden kommer också att vara fritt tillgänglig.

Mer om ämnena: ALS, app, ios, microsoft, motorneuronsjukdom