マイクロソフトの研究者は、手の動きを正確に追跡するためのシステムに取り組んでいます

モーショントラッキングはMicrosoftにとって目新しいものではなく、MicrosoftKinectなどの商用製品に関する専門知識を確認しています。 Microsoft Researchのコンピュータビジョンチームは現在、詳細な手の追跡における最新の進歩に取り組んでいます。 彼らは、手をスムーズ、迅速、正確にリアルタイムで追跡できるシステムを作成しましたが、通常の消費者向けガジェットで実行できます。 このシステムは、バーチャルリアリティアプリケーションで使用できます。

このシステムは、今のところまだ研究プロジェクトであり、バーチャルリアリティヘッドセットを使用して、または使用せずに詳細な手の動きを追跡できるため、ユーザーは柔らかいぬいぐるみを突いたり、ノブを回したり、ダイヤルを動かしたりできます。

さらに、このシステムでは、自分の手が何をしているのかを確認でき、人々が仮想現実と対話しているが自分の手を見ることができない場合に発生する、一般的で厄介な切断を修正できます。

HoloLens すでに含まれています ジェスチャーのサポート これにより、ユーザーはホログラムを操作できます。 うまくいけば、MSRからのこの新しいプロジェクトは、HoloLensでのジェスチャ入力エクスペリエンスをさらに改善するでしょう。

プロジェクトの要約：

完全に関節式のハンドトラッキングは、仮想世界および拡張世界との根本的に新しい相互作用を可能にすることを約束しますが、現在のシステムの限られた精度と効率は、広範な採用を妨げています。 今日の主なパラダイムは、初期化と回復のために機械学習を使用し、その後、反復モデル適合最適化を使用して詳細なポーズ適合を実現します。 このパラダイムに従いますが、モデルフィッティングにいくつかの変更を加えます。つまり、次のものを使用します。（1）より識別力のある目的関数。 （2）非線形最適化のための勾配を提供する滑らかな表面モデル。 （3）モデルのポーズと、観測されたデータポイントとモデルの表面との間の対応の両方に対するジョイントの最適化。 これらの変更はそれぞれ、実際にはフィッティングの反復あたりのコストを増加させる可能性がありますが、反復回数の減少を補うことがわかります。 さらに、収束の広い盆地は、モデルのフィッティングを成功させるために必要な開始点が少ないことを意味します。 私たちのシステムはCPUのみでリアルタイムに実行されるため、エクスペリエンスデザイナーが一般的に過負荷になっているGPUを解放できます。 ハンドトラッカーは、タブレットなどの低電力デバイスで実行するのに十分効率的です。 現世代の深度カメラからのノイズの多いデータを使用する場合でも、カメラから最大数メートルを追跡して、対話のための大きな作業ボリュームを提供できます。 標準データセットの定量的評価は、新しいアプローチが最新の精度を超えていることを示しています。 定性的な結果は、この新しいアプローチによって可能になったさまざまなインタラクティブな体験のライブレコーディングの形をとります。

これについてもっと読む ここでプロジェクト。