Microsoft utnyttjar kraften i gemenskapen för att förbättra forskningen inom teckenspråksigenkänning

Över 360 miljoner människor med svår hörselnedsättning använder teckenspråk varje dag. Eftersom de flesta av de hörande personerna inte förstår teckenspråk kan de inte engagera sig i oskriven realtidskommunikation med personer med hörselnedsättning. För att lösa detta problem startade Microsoft Research i februari 2012 projektet Kinect teckenspråk i samarbete med den kinesiska vetenskapsakademin (CAS) och Beijing Union University. De har utvecklat ett verktyg som heter Kinect Sign Language Translator som möjliggör realtidskonversationer mellan signerande och icke-signerande deltagare genom att förvandla teckenspråk till ord som talas av en dator och samtidigt ändra talade ord till teckenspråk som återges av en avatar.

Nu har de nyligen börjat Kinects arbetsgrupp för teckenspråk gemenskap för att främja forskning inom teckenspråksigenkänning.

Som ett första steg öppnar vi för akademin DEVISIGN, kinesiska teckenspråksdatabasen. Sammanställt av Visuell informationsbearbetning och lärande (VIPL)-gruppen vid Institute of Computing Technology, under sponsring av Microsoft Research Asia, täcker DEVISIGN cirka 4,400 331,050 vanliga kinesiska teckenspråksord baserade på 30 13 ordförrådsdata från 17 undertecknare (XNUMX män och XNUMX kvinnor). Ordförrådets data omfattar RGB-video (i AVI-format) och djup- och skelettinformation (i BIN-format). DEVISIGN förser alltså teckenspråksforskare med ett rikt datalager för att träna och utvärdera deras algoritmer och för att skapa toppmoderna praktiska tillämpningar, såsom lösningar för att träna systemet att anpassa sig till en okänd signerare.

Läs mer om det från länken nedan.

Källa: MSR