Microsoft використовує силу спільноти, щоб покращити дослідження розпізнавання мови жестів

Понад 360 мільйонів людей із серйозною втратою слуху щодня використовують мову жестів. Оскільки більшість людей, які чують, не розуміють мову жестів, вони не можуть спілкуватися в реальному часі з людьми з втратою слуху. Щоб вирішити цю проблему, Microsoft Research у лютому 2012 року запустила проект мови жестів Kinect у співпраці з Китайською академією наук (CAS) та Пекінським університетом Союзу. Вони розробили інструмент під назвою Kinect Sign Language Translator, який дає змогу спілкуватися в режимі реального часу між учасниками, що підписують і не підписують, перетворюючи мову жестів на слова, вимовлені комп’ютером, і одночасно змінюючи вимовлені слова на мову жестів, відтворену аватаром.

Тепер вони почалися нещодавно Робоча група мови жестів Kinect спільноти для просування досліджень у сфері розпізнавання жестової мови.

Як перший крок, ми відкриваємо науковим колам DEVISIGN, базу даних китайської жестової мови. Складено за Візуальна обробка інформації та навчання Група (VIPL) Інституту обчислювальних технологій під спонсорством Microsoft Research Asia, DEVISIGN охоплює близько 4,400 стандартних слів китайської мови жестів на основі 331,050 30 словникових даних від 13 підписантів (17 чоловіків і XNUMX жінок). Дані словника включають відео RGB (у форматі AVI), а також інформацію про глибину та скелет (у форматі BIN). Таким чином, DEVISIGN надає дослідникам жестової мови багату базу даних для навчання та оцінки їхніх алгоритмів, а також для створення найсучасніших практичних застосувань, таких як рішення для навчання системи адаптації до невідомого підписувача.

Детальніше про це читайте за посиланням нижче.

джерело: MSR