5台のカメラの代わりに、HoloLens2.0にはXNUMX台のカメラがある場合があります

現世代のHoloLens（上記）には、実際には5台のカメラがあります。Kinectのように赤外線ドットエミッターを使用した深度検知用に両側にXNUMX台、同時ローカリゼーションとマッピング（SLAM）に通常の周囲光を使用する中央のRGBカメラです。 Windows Mixed Realityヘッドセットのカメラが、環境内の風景に基づいて相対的な動きと位置を計算する方法と同様です。

2017年5月に申請され、本日公開された新しい特許で、Microsoftは、XNUMX台のカメラをXNUMX台だけに置き換えることができる新しいマルチスペクトルカメラについて説明しています。

アプリケーションの要約である、ヘッドトラッキング、ジェスチャ認識、および空間マッピング用のマルチスペクトル照明およびセンサーモジュールには、次のように書かれています。

デバイスと方法は、単一のマルチスペクトルイメージングセンサーを備えた複数の発光体を使用して、マルチモーダル赤外光ベースの深度検知と可視光ベースの同時ローカリゼーションおよびマッピング（SLAM）を実行します。 マルチモーダル赤外線ベースの深度検知は、例えば、赤外線ベースの空間マッピング、赤外線ベースの手追跡、および／または赤外線ベースの意味論的ラベリングの任意の組み合わせを含み得る。 可視光ベースのＳＬＡＭは、例えば、ヘッドトラッキングを含み得る。

マイクロソフトはさらに、重要な革新であるマルチスペクトル画像センサーについて次のように説明しています。

図4は、可視光とIR光の両方を検出するためのマルチスペクトルセンサーを概略的に示しています。 マルチスペクトルセンサー 400 可視光ピクセルとIR光ピクセルのXNUMX種類のセンサーピクセルが含まれています。 可視光ピクセル（それぞれ図4で「V」で示されている）は、広帯域可視光（たとえば、400nmから650nm）に敏感であり、IR光に対する感度が制限されています。 IR光ピクセル（それぞれ図4で「IR」で示されている）は、IR光に敏感であり、可視光からの光クロストークに対する感度が制限されています。 図示の実施形態では IRピクセルと可視光ピクセルがセンサーに点在しています 400 チェッカーボードのように （すなわち、二次元的に交互に）ファッション。 マルチスペクトル400センサーをIRバンドパスフィルター（図4には表示されていません）に結合して、IR光ピクセルに入射する周囲IR光の量を最小限に抑えることができます。 いくつかの実施形態では、バンドパスフィルターは、４００〜６５０ｎｍの範囲の波長およびＩＲ狭帯域（例えば、３０ｎｍ未満の波長スパン）を有する可視光を通過させる。

いくつかの実施形態では、マルチスペクトルセンサー４００の可視光ピクセルは、集合的に、可視光を収集し、グレースケール可視光画像を記録するためのパッシブイメージングセンサーとして機能する。 HMDデバイスは、ヘッドトラッキングなどのSLAM目的で可視光画像を使用できます。 マルチスペクトルセンサー４００のＩＲ光ピクセルは、集合的に深度カメラセンサーとして機能し、ＩＲ光を収集し、ハンドトラッキング、空間マッピング、および／またはなどの深度感知のためにＩＲ画像（モノクロＩＲ画像とも呼ばれる）を記録する。オブジェクトのセマンティックラベリング。

もちろん、次のHoloLensの部品数を減らすことで、デバイスのコスト、サイズ、複雑さ、消費電力を削減できる可能性があります。つまり、HoloLens 2はより小さく、より安価になる可能性があります。これは、もちろんMicrosoftが残しておく必要のあることです。競争力。

次のHoloLensは より多くのAI機能を備えた改良されたホログラフィック処理ユニット、および Kinectのような深度カメラを改善しました。 新しいHololensに関するMicrosoftの主な課題は、視野を改善することです。視野は35度で、メールスロットを通して世界を見ていると説明されています。 伝えられるところによると、Microsoftは 内部でのレンズの開発 リーズナブルなコストでこれを達成するために。

伝えられるところによると、HoloLens2は最近発表されたものを搭載しています Qualcomm SnapdragonXR1プロセッサは、「高品質」のVRおよびAR体験を提供するという明確な目的で設計されています。 デバイスはおそらく、MicrosoftのMixed RealityUIを備えたARMバージョンのWindows10を実行します。

今後6か月以内に次世代のヘッドセットが期待されていることから、これらの特許取得済みのイノベーションの多くが実際のデバイスに現れることが期待されます。

見る ここに完全な特許。