マイクロソフトは、コンピューターのマインドコントロールに関する特許を大量に提出しています

新しい機械学習技術により、ブレイン・コンピューター・インターフェースにいくらか革命がありました。 視覚野から考えている画像を再構築する たとえば、神経活動を直接読み取ることによって。

マイクロソフトはマイクロソフトであり、これらの非侵襲的手法を使用してコンピューターを制御する方法を考えてきました。 彼らは、この点に対処する多くの特許を掲載しています。

神経学的データを使用したアプリケーション状態の変更

 特定のアプリケーション状態の特定の操作に関連する神経学的ユーザー意図データを検出し、アプリケーションの状態を変更して、意図したとおりに特定の操作を実行できるようにすることによって、アプリケーションの状態を変更するためのコンピュータシステム、方法、および記憶媒体。ユーザー。 アプリケーションの状態は、受信した神経学的ユーザー意図データによって決定されるように、意図された操作に一致するように自動的に変更され、意図された操作が実行されます。 いくつかの実施形態は、トレーニングプロセスを通じて、検出された神経学的データに従ってアプリケーションの状態を変更するために、状態機械を作成または更新するコンピュータシステムに関する。

この特許は、ユーザーの脳の活動を読み取ることにより、アプリケーションがユーザーの意図したアクションを自動的に実行する可能性があることを示唆しています。

次の特許は、少し野心的ではありませんが、ユーザーがPCの音量を制御したり、マウスを動かしたりするなど、PCのアナログコントロールとして神経活動を使用できることを示唆しています。

神経学的データを使用して操作可能な連続運動制御

神経学的データを使用して連続運動制御​​を生成し、連続運動制御​​を連続ユーザーインターフェース制御と関連付けて、ユーザーインターフェース制御のアナログ制御を可能にするためのコンピューターシステム、方法、および記憶媒体。 ユーザーインターフェイスコントロールは、連続モーションコントロールに関連付けられた連続モーション範囲内でのユーザーの物理的な動きによって変調されます。 連続モーション制御により、少数の個別設定に限定された制御とは対照的に、対応するユーザーインターフェイス制御の微調整された連続制御が可能になります。

Microsoftはまた、脳の活動がPCのモードを単純に変更する可能性があることを示唆しています（たとえば、タブレットモードまたは脳制御モードへの変更）。

ユーザーの脳活動に基づくコンピューティングデバイスのモダリティの変更

本明細書では、ユーザの脳活動に基づいてコンピューティングデバイスのモダリティを変更するための技術について説明する。 機械学習分類器は、コンピューティングデバイスを操作するためのモダリティを識別するデータと、コンピューティングデバイスのユーザーの脳活動を識別するデータを使用してトレーニングされます。 トレーニングが完了すると、機械学習分類器は、ユーザーの現在の脳活動と、場合によっては他の生物学的データに基づいて、コンピューティングデバイスの動作モードを選択できます。 次に、コンピューティングデバイスは、選択されたモダリティに従って操作することができます。 アプリケーションプログラミングインターフェイスは、コンピューティングデバイス上で実行されているオペレーティングシステムとアプリケーションプログラムが、機械学習分類器によって選択されたモダリティを識別するデータを取得できるインターフェイスを公開することもできます。 このデータを使用することにより、オペレーティングシステムとアプリケーションプログラムは、ユーザーの現在の精神状態に最も適した動作モードを変更できます。

最も興味深いことに、Microsoftは、Microsoft HoloLensなどのヘッドマウントディスプレイを使用する場合、脳の活動を使用してユーザーの視野内の関心のあるアイテムを識別することができると提案しています。

ユーザーの脳の活動と視線に基づいたユーザーインターフェースの変更

本明細書では、ユーザの脳の活動および視線に基づいてコンピューティングデバイスによって提供されるユーザインターフェース（「ＵＩ」）を変更するための技術が説明されている。 機械学習分類器は、コンピューティングデバイスによって提供されるUIの状態を識別するデータ、コンピューティングデバイスのユーザーの脳活動を識別するデータ、およびユーザーの視線の位置を識別するデータを使用してトレーニングされます。 トレーニングが完了すると、分類器は、ユーザーの脳の活動と視線に基づいて、コンピューティングデバイスによって提供されるUIの状態を選択できます。 その後、選択した状態に基づいてUIを構成できます。 APIは、オペレーティングシステムとプログラムが機械学習分類器によって選択されたUI状態を識別するデータを取得できるインターフェイスを公開することもできます。 このデータを使用することで、ユーザーの現在の精神状態と視線に適合するようにUIを構成できます。

もちろん、これについて興味深いのは、ユーザーがすでに頭に何かを着ていることです。これにより、EEGやその他のモダリティを介して神経信号を読み取ることもできます。

Microsoftの発明者は、SurfaceおよびHoloLensチームから引き出されたようですが、そのうちのXNUMX人はPerceptivePixel.ioに向けて出発しました。

特許は2017年XNUMX月に出願され、数日前に公開されました。 マイクロソフトがこれらのアイデアを支援技術として使用するつもりなのか、それともすべての人に向けたものなのかはわかりませんが、ハンズフリー制御がもはや音声だけを意味するのではない未来の味を私たちに与えてくれます。