Ny Kinect kan enkelt lese menneskelig tegnspråk

Microsoft Kinect skaper en ganske revolusjon innen Natural User Interface. Det rimelige 3D-dybdekameraet som Kinect åpner for uendelige muligheter i vår dataverden. Tegnspråk er hovedspråket for mange døve og hørselshemmede, men foreløpig er det ikke mulig for disse menneskene å samhandle med datamaskiner ved å bruke sitt morsmål. Microsoft Research Asia har utviklet et system som bruker Kinect som kan oppdage tegnspråk som brukes av disse menneskene, og det fungerer bra.

Her er litt info om prosjektet,

Kinect, med sin evne til å gi dybdeinformasjon og fargedata samtidig, gjør det enklere å spore hånd- og kroppshandlinger mer nøyaktig – og raskt.

I dette prosjektet—som vises under DemoFest del av Fakultetstoppmøtet 2013, som bringer mer enn 400 akademiske forskere til Microsofts hovedkvarter for å dele innsikt i effektfull forskning – håndsporingen fører til en prosess med 3D-bevegelses-banejustering og matching for individuelle ord på tegnspråk. Ordene genereres via håndsporing av Kinect for Windows programvare og deretter normalisert, og matchende poengsum beregnes for å identifisere de mest relevante kandidatene når et signert ord analyseres.

Algoritmen for denne 3D-banetilpasningen har på sin side muliggjort konstruksjonen av et system for tegnspråkgjenkjenning og -oversettelse, bestående av to moduser. Den første, Oversettelsesmodus, oversetter tegnspråk til tekst eller tale. Teknologien støtter i dag amerikansk tegnspråk, men har potensial for alle varianter av tegnspråk.

Den andre, kommunikasjonsmodus, muliggjør kommunikasjon mellom en hørende person og en døv eller tunghørte person ved bruk av en avatar. Veiledet av tekstinntasting fra et tastatur, kan avataren vise den tilsvarende tegnspråksetningen. Den døve eller tunghørte svarer med tegnspråk, og systemet konverterer det svaret til tekst.

Les mer fra lenken nedenfor.

kilde: Microsoft