محققان مایکروسافت در حال کار بر روی سیستم هایی برای ردیابی دقیق حرکت دست هستند

ردیابی حرکت برای مایکروسافت چیز جدیدی نیست، ما تخصص آنها را در محصولات تجاری مانند مایکروسافت کینکت دیده ایم. تیم بینایی کامپیوتر مایکروسافت ریسرچ اکنون بر روی آخرین پیشرفت ها در ردیابی دقیق دست کار می کند. آنها سیستمی ایجاد کرده اند که می تواند دست ها را به آرامی، سریع و دقیق - در زمان واقعی - ردیابی کند، اما می تواند بر روی یک ابزار معمولی مصرف کننده اجرا شود. این سیستم را می توان با برنامه های واقعیت مجازی استفاده کرد.

این سیستم که در حال حاضر هنوز یک پروژه تحقیقاتی است، می‌تواند حرکت دقیق دست را با هدست واقعیت مجازی یا بدون آن ردیابی کند و به کاربر این امکان را می‌دهد که یک خرگوش نرم و پر شده را فشار دهد، یک دستگیره را بچرخاند یا یک صفحه را حرکت دهد.

علاوه بر این، این سیستم به شما امکان می‌دهد ببینید دست‌هایتان چه می‌کنند، یک قطع ارتباط متداول و گیج‌کننده را که زمانی اتفاق می‌افتد که افراد در حال تعامل با واقعیت مجازی هستند، اما نمی‌توانند دست خود را ببینند، برطرف می‌کند.

هولولنز قبلا شامل می شود پشتیبانی از ژست که به کاربران اجازه می دهد با هولوگرام ها تعامل داشته باشند. امیدواریم این پروژه جدید از MSR تجربه ورودی حرکتی را در هولولنز بهبود بخشد.

چکیده پروژه:

ردیابی دست کاملاً مفصل قول می دهد که تعاملات اساسی جدید با جهان های مجازی و افزوده را فعال کند، اما دقت و کارایی محدود سیستم های فعلی مانع از پذیرش گسترده شده است. پارادایم غالب امروزی از یادگیری ماشین برای مقداردهی اولیه و بازیابی و به دنبال آن بهینه سازی مدل-?tting تکراری برای دستیابی به یک حالت دقیق ?t استفاده می کند. ما از این پارادایم پیروی می‌کنیم، اما چندین تغییر در مدل‌سازی ایجاد می‌کنیم، یعنی با استفاده از: (1) یک تابع هدف متمایزتر. (2) یک مدل سطح صاف که شیب هایی را برای بهینه سازی غیر خطی فراهم می کند. و (3) بهینه سازی مشترک در هر دو حالت مدل و مطابقت بین نقاط داده مشاهده شده و سطح مدل. در حالی که هر یک از این تغییرات ممکن است در واقع هزینه هر تکرار را افزایش دهد، ما کاهش جبرانی در تعداد تکرارها خواهیم داشت. علاوه بر این، حوضه وسیع همگرایی به این معنی است که نقاط شروع کمتری برای مدل سازی موفق مورد نیاز است. سیستم ما در زمان واقعی فقط بر روی CPU اجرا می شود، که GPU معمولاً بیش از حد را برای طراحان تجربه آزاد می کند. ردیاب دستی به اندازه کافی کارآمد است که می تواند روی دستگاه های کم مصرف مانند تبلت ها کار کند. ما می‌توانیم تا چندین متر از دوربین را ردیابی کنیم تا حجم کاری زیادی برای تعامل فراهم کنیم، حتی با استفاده از داده‌های نویزدار دوربین‌های عمق نسل فعلی. ارزیابی‌های کمی روی مجموعه داده‌های استاندارد نشان می‌دهد که رویکرد جدید از نظر دقت فراتر از وضعیت هنر است. نتایج کیفی به شکل ضبط زنده طیفی از تجربیات تعاملی است که توسط این رویکرد جدید فعال شده است.

در این باره بیشتر بخوانید پروژه در اینجا