Ny Kinect kan nemt læse menneskeligt tegnsprog

Microsoft Kinect skaber noget af en revolution inden for Natural User Interface. Det billige 3D-dybdekamera som Kinect åbner for uendelige muligheder i vores computerverden. Tegnsprog er det primære sprog for mange døve og hørehæmmede, men i øjeblikket er det ikke muligt for disse mennesker at interagere med computere ved at bruge deres modersmål. Microsoft Research Asia har udviklet et system, der bruger Kinect, som kan registrere tegnsprog, der bruges af disse mennesker, og det fungerer godt.

Her er lidt info om projektet,

Kinect, med sin evne til at give dybdeinformation og farvedata samtidigt, gør det nemmere at spore hånd- og kropshandlinger mere præcist – og hurtigt.

I dette projekt - som bliver vist i løbet af DemoFest del af Fakultetstopmøde 2013, som bringer mere end 400 akademiske forskere til Microsofts hovedkvarter for at dele indsigt i effektfuld forskning – håndsporingen fører til en proces med 3-D bevægelses-banejustering og matchning for individuelle ord på tegnsprog. Ordene genereres via håndsporing af Kinect til Windows software og derefter normaliseret, og matchende score beregnes for at identificere de mest relevante kandidater, når et underskrevet ord analyseres.

Algoritmen for denne 3D-banematchning har til gengæld muliggjort konstruktionen af ​​et system til tegnsprogsgenkendelse og -oversættelse, bestående af to tilstande. Den første, Oversættelsestilstand, oversætter tegnsprog til tekst eller tale. Teknologien understøtter i øjeblikket amerikansk tegnsprog, men har potentiale for alle varianter af tegnsprog.

Den anden, kommunikationstilstand, muliggør kommunikation mellem en hørende person og en døv eller hørehæmmet person ved brug af en avatar. Guidet af tekstinput fra et tastatur kan avataren vise den tilsvarende tegnsprogssætning. Den døve eller hørehæmmede reagerer ved hjælp af tegnsprog, og systemet konverterer det svar til tekst.

Læs mere fra linket nedenfor.

Kilde: microsoft