Microsoft benytter seg av fellesskapets kraft for å forbedre forskningen innen tegnspråkgjenkjenning

Over 360 millioner mennesker med alvorlig hørselstap bruker tegnspråk hver dag. Siden de fleste av de hørende personene ikke forstår tegnspråk, er de ikke i stand til å engasjere seg i sanntids, uskreven kommunikasjon med personer med hørselstap. For å løse dette problemet startet Microsoft Research i februar 2012 tegnespråkprosjektet Kinect i samarbeid med det kinesiske vitenskapsakademiet (CAS) og Beijing Union University. De har utviklet et verktøy kalt Kinect Sign Language Translator som muliggjør sanntidssamtaler mellom signerende og ikke-signerende deltakere ved å gjøre tegnspråk til ord som snakkes av en datamaskin og samtidig endre talte ord til tegnspråk gjengitt av en avatar.

Nå har de nylig startet Kinect tegnspråk arbeidsgruppe fellesskap for å fremme forskning innen tegnspråkgjenkjenning.

Som et første skritt åpner vi DEVISIGN, kinesisk tegnspråkdatabase for akademia. Satt sammen av Visuell informasjonsbehandling og læring (VIPL)-gruppen til Institute of Computing Technology, under sponsing av Microsoft Research Asia, dekker DEVISIGN omtrent 4,400 standard kinesiske tegnspråkord basert på 331,050 30 stykker ordforrådsdata fra 13 underskrivere (17 menn og XNUMX kvinner). Ordforrådsdataene omfatter RGB-video (i AVI-format), og dybde- og skjelettinformasjon (i BIN-format). DEVISIGN gir dermed tegnspråkforskere et rikt datalager for opplæring og evaluering av algoritmene deres og for å lage toppmoderne praktiske applikasjoner, for eksempel løsninger for å trene systemet til å tilpasse seg en ukjent signer.

Les mer om det fra lenken nedenfor.

kilde: MSR