XboxOne用の次世代Kinectを作成する際の課題を見てみましょう

Playstationは、KinectのバージョンをPS4にバンドルしなかったことを真剣に後悔していると思います。 とにかくKinect2.0ほど良くないことを彼らは知っていたのかもしれません。

マイクロソフトのシリコンバレーベースのアーキテクチャおよびシリコン管理グループのマイクロソフトパートナーハードウェアアーキテクトであるサイラスバムジと彼のチームのメンバーは、XboxOneに飛行時間型カメラを組み込むことを試みていました。 

飛行時間型カメラは光信号を発し、信号が戻るまでにかかる時間を測定します。 これは、1/10,000,000,000秒の精度である必要があります。 光速。 このような測定により、カメラは部屋や周囲の環境の物体から反射する光を区別することができます。 これにより、これらのオブジェクトの形状を計算できる正確な深度推定が提供されます。

この光速機能は、Xbox OneのKinectセンサー部分にとって大きな進歩であり、来月13の発売市場にリリースされます。 Xbox Oneの競合他社に対する重要な差別化要因である新しいKinectは、より広い視野をより高い精度とより高い解像度でキャプチャする必要がありました。 赤外線センサーは、光をほとんどまたはまったく必要としない物体の識別を可能にし、手のポーズの認識を改善し、ゲーマーやよりカジュアルなユーザーが自分の手でコンソールを制御できるようにします。

「飛行時間などの比較的新しい技術を商品化すると、さまざまなことが起こります」と彼は言います。 「製品が作られるまで、それらがどれほど重要かわからなかったことがあります。 たとえば、飛行中のモーションブラーが大きな問題であることは理論的にはわかっていますが、それを使用して製品を構築する場合にのみ、モーションブラーがどれほど重要であるかを発見でき、その製品は優れたエクスペリエンスを提供する必要があります。」

新しいカメラの高解像度と広い視野を備えたさまざまなシーンでの正確な深度測定も、ユーザーエクスペリエンスの問題を引き起こし、たとえば、指などの小さなオブジェクトが背景にフェードインするのを防ぐのが困難になります。 これらの機能は、より用途の広いデバイスパフォーマンスを提供しましたが、多様で高解像度のシーンでの正確な深度測定の必要性など、実際のシナリオでも独自の問題を引き起こしました。 それには、より広い視野とモーションブラーを改善するだけでなく、クリーンなデータが迅速に必要でした。 Xbox Oneは、2013年のホリデーシーズンに備える必要がありました。

飛行時間データのアナログ性は、そのようなソリューションを提供する上で課題をもたらしました。

「センサーから出力される飛行時間データは、ピクセルごと、フレームごとであり、より多くのアナログ情報があります」とAcharya氏は言います。 「もうXNUMXつの問題は、背景オブジェクトに近い前景オブジェクトが背景に溶け込むことでした。これも、センサーがエッジに着地するピクセルの深度データを提供する方法がアナログであるためです。」

「これにより多くの情報が得られ、ソフトウェアおよびゲーム開発者が使用する前景/背景の抽出とシーンのセグメンテーションを容易にするために、パイプにソフトウェアアルゴリズムを追加することで、このデータを同時にクリーンアップする必要がありました。パフォーマンスヒット。 これは非常に重要でした。 私たちはさまざまな作業の流れから始め、最終的には問題を克服するためにシステムのパラメーターを最適化することに決めました。」

共同作業者は、オブジェクトが互いに近接している場合でも、前景と背景を明確に分離したいと考えていました。 それも難しいことがわかりました。 そして、モーションブラーがありました。

 「モーションブラー」とAcharya氏は説明します。「これは最小化する必要のあるパラメーターであり、テクノロジー固有のものではありません。 飛行時間型カメラはグローバルシャッターを使用しているため、モーションブラーが大幅に減少し、元のKinectの65ミリ秒から現在は14ミリ秒未満になっています。」

他の課題が現れました。 一つには、処理時間が問題になりました。 飛行時間システムに関する学術文献では、処理時間は問題ではありませんでした。 実験室環境では、テクノロジーはうまく機能しました。 しかし、XboxOneは毎秒6.5万ピクセルを処理する必要があります。 そして、Xbox Oneのコンピューティング能力のごく一部だけが、このタスクに利用できました。 当然のことながら、ライオンのシェアは、ゲーム、スケルトントラッキング、顔認識、オーディオなどの必需品のために予約されています。

「ピクセルごとに非常に軽い計算を行う必要があります。これが問題を困難にし、この分野の学術文献の一般的なアプローチとは異なるもののXNUMXつです。」とKrupka氏は言います。

驚くべきことに、それはすべて一緒になりました。つまり、世界中のエンターテインメント愛好家はすぐにXbox Oneの体験に満足するでしょうが、プラットフォームの開発に熱心な人もそうなるでしょう。 そのエッジデータノイズを減らすと、データ開発者の準備が整い、フォアグラウンドとバックグラウンドの間で明確にセグメント化できるため、複雑な計算問題が解決されます。 データはクリーンであり、ゲーム開発者はより簡単に吸収できます。

Xbox OneのKinectセンシングデバイスのもうXNUMXつの魅力的な機能は、完全に暗い部屋にある物体を識別できる赤外線センサーに由来します。 肉眼で光が見えなくても、人を認識して体を追跡することができます。 それはXNUMXメートル離れたところから手のポーズを識別し、子供の指を見て、部屋の照明を差し引いてもあなたのアイデンティティを覚えることができます。

視野が広いため、より多くのプレーヤーが同時にXboxOneゲームをプレイできます。 新しいコンソールでは、最大XNUMX人のプレーヤーがXNUMXつのシーンに群がることができます。 背の高い大人は、写真から押し出されることなく、小さな子供と遊ぶことができます。 ユーザーは、部屋の近く、遠く、または部屋の周辺に立っていると、より良い体験を得ることができます。

また、改善された手のポーズ認識により、ユーザーは手を使用するだけでXboxOneを操作できます。コントローラーは必要ありません。 赤外線カメラのおかげで、手の活動はどの照明でも、またはまったく照明なしで識別できます。 以前のハンドポーズソリューションは、速度または精度を提供できましたが、両方を提供することはできませんでした。 XboxチームとMicrosoftResearchが共同で考案したハンドポーズソリューションは、両方を実行できます。

情報源： マイクロソフトの公式ブログ