کینکت جدید می تواند به راحتی زبان اشاره انسان را بخواند

مایکروسافت کینکت در حال ایجاد یک انقلاب کامل در زمینه رابط کاربری طبیعی است. دوربین عمق سه بعدی کم هزینه مانند Kinect امکانات بی نهایتی را در دنیای محاسبات ما باز می کند. زبان اشاره زبان اصلی بسیاری از افراد ناشنوا و کم شنوا است، اما در حال حاضر امکان تعامل این افراد با رایانه با استفاده از زبان مادری خود وجود ندارد. Microsoft Research Asia سیستمی را با استفاده از Kinect توسعه داده است که می تواند زبان اشاره مورد استفاده این افراد را تشخیص دهد و به خوبی کار می کند.

در اینجا برخی از اطلاعات در مورد پروژه،

Kinect، با توانایی خود در ارائه اطلاعات عمق و داده های رنگی به طور همزمان، ردیابی حرکات دست و بدن را با دقت و سرعت آسان تر می کند.

در این پروژه - که در طول نمایش داده می شود DemoFest بخشی از اجلاس سران دانشکده 2013، که بیش از 400 محقق دانشگاهی را به مقر مایکروسافت می آورد تا بینش خود را در مورد تحقیقات تأثیرگذار به اشتراک بگذارند - ردیابی دست منجر به یک روند تراز سه بعدی حرکت-مسیر و تطبیق برای کلمات فردی در زبان اشاره می شود. کلمات از طریق ردیابی دست توسط کینکت برای ویندوز نرم افزار و سپس نرمال می شود و امتیازات تطبیق برای شناسایی مرتبط ترین نامزدها هنگام تجزیه و تحلیل کلمه امضا شده محاسبه می شود.

الگوریتم این تطبیق مسیر سه بعدی، به نوبه خود، ساخت سیستمی را برای تشخیص و ترجمه زبان اشاره، متشکل از دو حالت، فعال کرده است. حالت اول، حالت ترجمه، زبان اشاره را به متن یا گفتار ترجمه می کند. این فناوری در حال حاضر از زبان اشاره آمریکایی پشتیبانی می کند اما پتانسیلی برای همه انواع زبان اشاره دارد.

حالت دوم، حالت ارتباطات، ارتباط بین یک فرد شنوا و یک فرد ناشنوا یا کم شنوا را با استفاده از آواتار امکان پذیر می کند. با هدایت متن از صفحه کلید، آواتار می تواند جمله زبان اشاره مربوطه را نمایش دهد. فرد ناشنوا یا کم شنوا با استفاده از زبان اشاره پاسخ می دهد و سیستم آن پاسخ را به متن تبدیل می کند.

ادامه مطلب را از لینک زیر بخوانید.

منبع: مایکروسافت