Microsoft wykorzystuje moc społeczności, aby usprawnić badania w zakresie rozpoznawania języka migowego

Ponad 360 milionów osób z ciężkim ubytkiem słuchu codziennie używa języka migowego. Ponieważ większość osób słyszących nie rozumie języka migowego, nie są one w stanie prowadzić niepisanej komunikacji w czasie rzeczywistym z osobami z ubytkiem słuchu. Aby rozwiązać ten problem, firma Microsoft Research w lutym 2012 r. rozpoczęła projekt języka migowego Kinect we współpracy z Chińską Akademią Nauk (CAS) i Beijing Union University. Opracowali narzędzie o nazwie Kinect Sign Language Translator, które umożliwia konwersację w czasie rzeczywistym między uczestnikami migowymi i nie migowymi, zamieniając język migowy na słowa wypowiadane przez komputer i jednocześnie zmieniając słowa mówione na język migowy renderowany przez awatar.

Teraz niedawno rozpoczęli Grupa robocza języka migowego Kinect społeczności do postępów w badaniach nad rozpoznawaniem języka migowego.

Jako pierwszy krok otwieramy dla środowiska akademickiego DEVISIGN, bazę danych chińskiego języka migowego. Opracowane przez Przetwarzanie i uczenie się informacji wizualnych (VIPL) grupy Institute of Computing Technology, pod patronatem Microsoft Research Asia, DEVISIGN obejmuje około 4,400 standardowych słów chińskiego języka migowego w oparciu o 331,050 30 danych słownictwa od 13 sygnatariuszy (17 mężczyzn i XNUMX kobiet). Dane słownictwa obejmują wideo RGB (w formacie AVI) oraz informacje o głębokości i szkielecie (w formacie BIN). W ten sposób projekt DEVISIGN zapewnia badaczom języka migowego bogaty magazyn danych do szkolenia i oceny ich algorytmów oraz do tworzenia najnowocześniejszych praktycznych zastosowań, takich jak rozwiązania do uczenia systemu w celu dostosowania się do nieznanego osoby podpisującej.

Przeczytaj więcej na ten temat z linku poniżej.

Źródło: MSR