Nový Kinect dokáže snadno číst lidský znakový jazyk

Microsoft Kinect vytváří docela revoluci v oblasti přirozeného uživatelského rozhraní. Nízkonákladová 3D hloubková kamera, jako je Kinect, otevírá nekonečné možnosti v našem počítačovém světě. Znakový jazyk je primárním jazykem pro mnoho neslyšících a nedoslýchavých lidí, ale v současné době není pro tyto lidi možné komunikovat s počítači pomocí jejich rodného jazyka. Microsoft Research Asia vyvinul systém využívající Kinect, který dokáže detekovat znakové jazyky používané těmito lidmi a funguje dobře.

Zde je několik informací o projektu,

Kinect se svou schopností poskytovat informace o hloubce a barevná data současně usnadňuje přesnější a rychlejší sledování akcí rukou a těla.

V tomto projektu — který se ukazuje během DemoFest část Fakultní summit 2013, která přivádí více než 400 akademických výzkumníků do ústředí Microsoftu, aby se podělili o pohled na působivý výzkum – sledování ruky vede k procesu 3D zarovnání trajektorie pohybu a porovnávání jednotlivých slov ve znakovém jazyce. Slova jsou generována pomocí ručního sledování Kinect pro Windows software a poté normalizovány a při analýze podepsaného slova jsou vypočítány odpovídající skóre k identifikaci nejrelevantnějších kandidátů.

Algoritmus pro toto 3-D porovnávání trajektorie zase umožnil konstrukci systému pro rozpoznávání a překlad znakového jazyka, který se skládá ze dvou režimů. První, režim překladu, překládá znakový jazyk do textu nebo řeči. Tato technologie v současné době podporuje americký znakový jazyk, ale má potenciál pro všechny druhy znakového jazyka.

Druhý, Komunikační režim, umožňuje komunikaci mezi slyšící osobou a neslyšící nebo nedoslýchavou osobou pomocí avatara. Na základě zadávání textu z klávesnice může avatar zobrazit odpovídající větu ve znakovém jazyce. Neslyšící nebo špatně slyšící osoba odpovídá pomocí znakového jazyka a systém tuto odpověď převede na text.

Přečtěte si více z odkazu níže.

Zdroj: Microsoft