マイクロソフトは、ALSのある人がコミュニケーションしやすいようにアプリを作成しています

マイクロソフトは、GazeSpeakと呼ばれるスマートフォンアプリを開発しました。これにより、運動ニューロン疾患の患者は目だけで簡単にコミュニケーションをとることができます。

このアプリは、スマートフォンのカメラでリアルタイムに録画されたビデオを使用して視線を音声に変換し、電話の背面にあるステッカーを使用して、スピーカーが選択を示し、メッセージを綴るのを見る文字のグリッドを使用します。

このアプリは、予測テキストメッセージと同様の人工知能を使用して、スピーカーがグリッドの各アームのどの文字を選択しているかを認識します。 上位XNUMXつの単語の予測が画面に表示され、上位の単語が読み上げられます。

「たとえば、「タスク」という言葉を言うと、最初に下を向いて「t」を含むグループを選択し、次に上を向いて「a」を含むグループを選択します」と、GazeSpeakを開発したXiaoyiZhangは言います。マイクロソフトのインターン。

「私たちはコンピュータービジョンを使用して目のジェスチャーを認識し、AIを使用して単語の予測を行っています」とワシントン州レドモンドにあるMicrosoftResearchのMeredithMorris氏は述べています。

運動ニューロン疾患（一般にALSと呼ばれる）の人々は、しばしば目の動きしかなく、これを自分自身を表現する唯一の方法として残しています。

「人々はコミュニケーションをとろうとすると本当にイライラする可能性があるので、このアプリが物事を簡単にすることができれば、それは本当に良いことです」と運動ニューロン疾患協会のマシューホリスは言います。

スマートフォンアプリは、ボードを使用し、特別に訓練された通訳者が手動で視線を追跡するという以前の慣習に代わる優れた方法です。GazeSpeakのテストでは、文章を完成させるのに平均78秒かかりますが、ボードを使用すると123秒かかります。 。

「私は電話技術が大好きです。 とても滑らかだと思います」と通訳の一人は言いました。

マイクロソフトは、XNUMX月にコロラドで開催されるコンピューティングシステムのヒューマンファクターに関する会議でアプリを発表します。 iOS専用のアプリはAppStoreで入手でき、ソースコードも無料で入手できます。