Microsoft использует силу сообщества, чтобы улучшить исследования в области распознавания языка жестов

Более 360 миллионов человек с тяжелыми нарушениями слуха каждый день используют язык жестов. Поскольку большинство слышащих людей не понимают язык жестов, они не могут вступать в неписьменное общение в режиме реального времени с людьми с потерей слуха. Чтобы решить эту проблему, Microsoft Research в феврале 2012 года запустила проект Kinect Sign Language в сотрудничестве с Китайской академией наук (CAS) и Пекинским союзным университетом. Они разработали инструмент под названием Kinect Sign Language Translator, который позволяет в режиме реального времени общаться между подписывающими и не подписывающими участниками, превращая язык жестов в слова, произносимые компьютером, и одновременно изменяя произносимые слова на язык жестов, отображаемый аватаром.

Теперь они недавно начали Рабочая группа Kinect по языку жестов сообщество для продвижения исследований в области распознавания жестового языка.

В качестве первого шага мы открываем для научных кругов DEVISIGN, базу данных китайского жестового языка. Составлено Обработка визуальной информации и обучение (VIPL) Института вычислительных технологий при спонсорской поддержке Microsoft Research Asia исследование DEVISIGN охватывает около 4,400 стандартных слов китайского жестового языка на основе 331,050 30 словарных данных 13 участников (17 мужчин и XNUMX женщин). Словарные данные включают видео RGB (в формате AVI), а также информацию о глубине и скелете (в формате BIN). Таким образом, DEVISIGN предоставляет исследователям языка жестов богатый набор данных для обучения и оценки их алгоритмов, а также для создания современных практических приложений, таких как решения для обучения системы адаптации к неизвестному подписывающему лицу.

Подробнее об этом читайте по ссылке ниже.

Источник: MSR