Nový Kinect dokáže ľahko čítať ľudský posunkový jazyk

Microsoft Kinect vytvára veľkú revolúciu v oblasti prirodzeného používateľského rozhrania. Nízkonákladová 3D hĺbková kamera, ako je Kinect, otvára nekonečné možnosti v našom počítačovom svete. Posunkový jazyk je primárnym jazykom pre mnoho nepočujúcich a nedoslýchavých ľudí, no v súčasnosti nie je možné, aby títo ľudia interagovali s počítačmi pomocou svojho rodného jazyka. Microsoft Research Asia vyvinul systém využívajúci Kinect, ktorý dokáže rozpoznať posunkové jazyky používané týmito ľuďmi a funguje dobre.

Tu sú nejaké informácie o projekte,

Kinect so svojou schopnosťou poskytovať informácie o hĺbke a údaje o farbách súčasne uľahčuje presnejšie a rýchlejšie sledovanie akcií rúk a tela.

V tomto projekte, ktorý sa zobrazuje počas DemoFest časť Fakultný samit 2013, ktorá privádza do ústredia Microsoftu viac ako 400 akademických výskumníkov, aby sa podelili o pohľad na pôsobivý výskum – sledovanie rúk vedie k procesu 3D zarovnania trajektórie pohybu a porovnávania jednotlivých slov v posunkovej reči. Slová sú generované pomocou ručného sledovania Kinect pre Windows softvér a potom sa normalizujú a pri analýze podpísaného slova sa vypočítajú skóre zhody na identifikáciu najrelevantnejších kandidátov.

Algoritmus pre toto porovnávanie 3-D trajektórie zase umožnil konštrukciu systému na rozpoznávanie a preklad znakového jazyka, ktorý pozostáva z dvoch režimov. Prvý, Režim prekladu, prekladá posunkovú reč do textu alebo reči. Táto technológia v súčasnosti podporuje americký posunkový jazyk, ale má potenciál pre všetky druhy posunkového jazyka.

Druhý, komunikačný režim, umožňuje komunikáciu medzi počujúcou osobou a nepočujúcou alebo nepočujúcou osobou pomocou avatara. Na základe zadávania textu z klávesnice môže avatar zobraziť zodpovedajúcu vetu v posunkovej reči. Nepočujúci alebo nedoslýchavý odpovedá pomocou posunkovej reči a systém túto odpoveď prevedie na text.

Prečítajte si viac z odkazu nižšie.

zdroj: Microsoft