Microsoft využíva silu komunity na zlepšenie výskumu v oblasti rozpoznávania posunkového jazyka

Viac ako 360 miliónov ľudí s ťažkou stratou sluchu používa posunkovú reč každý deň. Keďže väčšina počujúcich jedincov nerozumie posunkovej reči, nie sú schopní nadviazať nepísanú komunikáciu v reálnom čase s ľuďmi s poruchou sluchu. Na vyriešenie tohto problému spoločnosť Microsoft Research vo februári 2012 spustila projekt posunkového jazyka Kinect v spolupráci s Čínskou akadémiou vied (CAS) a Univerzitou v Pekingu. Vyvinuli nástroj s názvom Kinect Sign Language Translator, ktorý umožňuje konverzáciu medzi podpisujúcimi a nepodpisujúcimi účastníkmi v reálnom čase tým, že premení posunkovú reč na slová hovorené počítačom a súčasne premení hovorené slová na posunkovú reč vykreslenú avatarom.

Teraz začali nedávno Pracovná skupina posunkového jazyka Kinect na pokrok vo výskume v rozpoznávaní posunkového jazyka.

Ako prvý krok otvárame pre akademickú obec DEVISIGN, databázu čínskeho posunkového jazyka. Zostavil Spracovanie a učenie vizuálnych informácií (VIPL) skupiny Inštitútu výpočtovej techniky, pod záštitou spoločnosti Microsoft Research Asia, DEVISIGN pokrýva približne 4,400 331,050 slov štandardného čínskeho posunkového jazyka na základe 30 13 údajov o slovnej zásobe od 17 signatárov (XNUMX mužov a XNUMX žien). Údaje o slovníku zahŕňajú RGB video (vo formáte AVI) a informácie o hĺbke a kostre (vo formáte BIN). DEVISIGN tak poskytuje výskumníkom v oblasti posunkového jazyka bohatú zásobu údajov na trénovanie a vyhodnocovanie ich algoritmov a na vytváranie najmodernejších praktických aplikácií, akými sú napríklad riešenia na trénovanie adaptácie systému na neznámeho podpisovateľa.

Prečítajte si viac o tom z odkazu nižšie.

zdroj: MSR