Новий Kinect може легко читати людську мову жестів

Microsoft Kinect робить справжню революцію в галузі природного інтерфейсу користувача. Недорога 3D-камера глибини, як-от Kinect, відкриває безмежні можливості в нашому комп’ютерному світі. Мова жестів є основною мовою для багатьох глухих і людей із вадами слуху, але наразі ці люди не можуть взаємодіяти з комп’ютером за допомогою своєї рідної мови. Microsoft Research Asia розробила систему з використанням Kinect, яка може виявляти мови жестів, якими користуються ці люди, і вона добре працює.

Ось деяка інформація про проект,

Завдяки здатності Kinect одночасно надавати інформацію про глибину та дані про колір, точніше та швидше можна легше відстежувати дії рук і тіла.

У цьому проекті, який демонструється під час ДемоФест порція Саміт факультету 2013, яка збирає понад 400 академічних дослідників у штаб-квартирі Microsoft, щоб поділитися інформацією про вражаючі дослідження — відстеження рук призводить до процесу тривимірного вирівнювання траєкторії руху та підбору окремих слів мовою жестів. Слова генеруються за допомогою ручного відстеження Kinect для Windows програмного забезпечення, а потім нормалізується, і оцінки відповідності обчислюються для визначення найбільш релевантних кандидатів під час аналізу підписаного слова.

Алгоритм для цього тривимірного зіставлення траєкторії, у свою чергу, дозволив побудувати систему для розпізнавання мови жестів і перекладу, що складається з двох режимів. Перший, режим перекладу, перекладає мову жестів на текст або мову. Зараз ця технологія підтримує американську мову жестів, але має потенціал для всіх різновидів мови жестів.

Другий, комунікаційний режим, дозволяє спілкуватися між людиною, що чує, і людиною з вадами слуху або слуху за допомогою аватара. Керуючись введенням тексту з клавіатури, аватар може відобразити відповідне речення мовою жестів. Глуха або людина з вадами слуху відповідає мовою жестів, і система перетворює цю відповідь у текст.

Детальніше читайте за посиланням нижче.

джерело: Microsoft