新しいキネクトは人間の手話を簡単に読むことができます

Microsoft Kinect は、Natural User Interface の分野でかなりの革命を起こしています。 Kinect のような低コストの 3D 深度カメラは、コンピューティングの世界に無限の可能性をもたらします。 手話は多くの聴覚障害者にとって主要な言語ですが、現在、これらの人々が母国語を使用してコンピューターとやり取りすることはできません。 Microsoft Research Asia は、これらの人々が使用する手話を検出できる Kinect を使用したシステムを開発し、うまく機能しています。

プロジェクトに関する情報をいくつかご紹介します。

Kinect は深度情報と色データを同時に提供する機能を備えているため、手と体の動きをより正確かつ迅速に追跡することが容易になります。

このプロジェクトでは、 デモフェスト の部分 ファカルティサミット2013では、400 人を超える学術研究者がマイクロソフト本社に集まり、影響力のある研究に関する洞察を共有しています。ハンド トラッキングは、3D モーション トラジェクトリ アラインメントと手話の個々の単語のマッチングのプロセスにつながります。 単語は、ハンド トラッキングによって生成されます。 Windows 用キネクト 符号付き単語の分析時に最も関連性の高い候補を特定するために一致スコアが計算されます。

さらに、この 3 次元軌跡マッチングのアルゴリズムにより、XNUMX つのモードからなる手話認識および翻訳システムの構築が可能になりました。 最初の翻訳モードは、手話をテキストまたは音声に翻訳します。 この技術は現在、アメリカの手話をサポートしていますが、あらゆる種類の手話に対応する可能性があります。

XNUMX つ目のコミュニケーション モードでは、アバターを使用して、聴者と聴覚障害者の間のコミュニケーションを可能にします。 アバターは、キーボードからのテキスト入力に基づいて、対応する手話文を表示できます。 聴覚障害者が手話で応答すると、システムはその応答をテキストに変換します。

以下のリンクから詳細をお読みください。

情報源： Microsoft