恐ろしいマイクロソフトの特許は、より良い検索結果を得るために、Windowsにあなたが行うすべてのことを監視させ、それをBingに送信させるでしょう。

マイクロソフトの特許ライブラリを閲覧すると、実装したいアイデアに出くわすことがよくありますが、それは製品にはなりませんでした。

今日、私たちは反対のことに出くわしました–その時が決して来ないことを望んでいるアイデア。

昨日（22年9月2016日）に公開された特許「QUERY FORMULATION VIA TASK CONTINUUM」は、ユーザーの意図に関するより多くの情報が利用可能である場合、効率的な検索が強化されることを指摘し、誰かがダンスに関する学校のレポートを行っている例を示しています。ユーザーがすでにいくつかの作業を行っているにもかかわらず、ブラウザを押して検索エンジンを検索すると、検索バーに入力した内容を除いて、ユーザーが何に取り組んでいるのかわかりません。

彼らは注意します：

人々は、単一のタスクを完了するために複数のデスクトップアプリケーションを使用します。 たとえば、ユーザーが学校の「ダンス」のトピックを調査している場合、ユーザーは最初のアプリケーションを使用して物事を書き留め、XNUMX番目のアプリケーションを使用してさまざまなスタイルのダンスを検索します。 ただし、既存のシステムでは、XNUMXつのアプリケーションは互いに完全に切断されています。 最初のアプリケーションは、最初のアプリケーションからXNUMX番目のアプリケーションへの切り替えがあるときにユーザーが何を求めているかについての暗黙のヒントをブラウザーに提供しません。 ユーザーは全体としてタスクを認識します。 ただし、アプリケーションは通常切断されており、オペレーティングシステム（OS）によって仲介されないため、コンピューティングシステムはユーザーの全体的な目標を認識していません。

この難問に対するMicrosoftの解決策は、ワープロPDFリーダー、見ている写真からの画像やテキストの認識、音楽の認識などの「アクティブなサードパーティアプリケーション」でユーザーが行っていることをエージェントまたは「メディエーター」に監視させることです。サウンド、それらの場所、およびその他のコンテキストデータ、このデータから個人を特定できる情報を削除し、それを何らかの方法で検索クエリに追加して、よりランク付けされ、より焦点を絞った結果を生成します。

特許ノート：

開示されたアーキテクチャは、関与するアプリケーション（ユーザがタスク完了のために対話しているアプリケーション）を識別する仲介コンポーネント（例えば、オペレーティングシステム（ＯＳ）の一部としてのＡＰＩ（アプリケーションプログラムインターフェース））を含む。ユーザーはタスクを完了するために対話していません）、使用しているアプリケーションから情報（たとえば、ユーザーに直接表示されるテキスト、写真に埋め込まれたテキスト、曲の指紋など）を収集してアクティブに監視し、ユーザーの作業コンテキストを推測します。 次に、推測されたコンテキストをブラウザなどのアプリケーションのXNUMXつ（プライバシーの障壁を超えない形式の推測されたコンテキスト）に渡して、優先検索プロバイダーを介して提案されたクエリのランキングを向上させることができます。 コンテキストは概念に推測されるため、ユーザーの同意なしにPII（個人を特定できる情報）が伝達されることはありません。非常に高レベルのコンテキスト概念のみが検索エンジンに提供されます。
このアーキテクチャにより、信号（たとえば、ユーザーに表示されるプレーンテキスト、画像から認識されるテキスト、現在再生中の曲の音声など）をキャプチャし、これらの信号をコンテキストの概念にクラスター化できます。 これらの信号は、ユーザーが何をしているかを識別するのに役立つ高レベルのデータ（単語など）です。 信号をキャプチャするこの動作は、絶えず変化する可能性があるという点で一時的なものです（たとえば、コンテキスト概念の移動平均と同様）。 信号は、ユーザーが時間Tで何をしているか（およびユーザーがT-10から時間Tまで何をしていたか）に基づいて継続的に変化する可能性があります。
キャプチャされた信号を使用するアプリケーションとしてブラウザアプリケーションを使用する場合、ブラウザは、メディエーションコンポーネントのメディエーションAPIを介してメディエーションコンポーネントとブロードキャストおよび受信（たとえば、継続的、定期的、オンデマンドなど）して、最新のコンテキストをフェッチします。概念。
ユーザーが最終的にブラウザーと対話する、または対話することが予想される場合（頻繁に発生するものとして、および/またはユーザーが次にブラウザーと対話する結果となる一連のユーザーアクションの履歴に基づいて計算される場合があります）、コンテキストの概念クエリプレフィックスと一緒に検索プロバイダーに送信されます。 検索エンジン（たとえば、Microsoft CorporationのBing™およびCortana™（インテリジェントなパーソナルデジタル音声認識アシスタント））は、コンテキストランカーを使用して、デフォルトの提案されたクエリのデフォルトのランキングを調整し、その時点でより関連性の高い提案されたクエリを生成します。 メディエーションコンポーネントの機能を備えたオペレーティングシステムは、任意のアプリケーションによってユーザーに表示されるすべてのテキストデータを追跡し、クラスタリングを実行してユーザーの意図を（コンテキストに応じて）判断します。
クエリ提案のランキングを改善するために検索プロバイダーにシグナルとして送信される推測されたユーザーインテントは、クエリ提案がユーザーが実際に達成しようとしていることに関連しているため、ユーザーエクスペリエンスの対応する改善を可能にします。 アーキテクチャはテキストに限定されませんが、表示された写真で認識されたテキストと、写真のメタデータの一部として提供される地理的位置情報（たとえば、全地球測位システム（GPS））を利用できます。 同様に、別の信号は、現在再生中の曲のオーディオ指紋である可能性があります。
示されているように、クエリの曖昧性解消は、検索の関連性を向上させるためにさまざまなアプリケーションで利用できるコンテキストキャッシュと共有キャッシュによって解決され、あるアプリケーションから別のアプリケーションに送信される情報の量が最小限であるためプライバシーが維持され、推論されますユーザーコンテキストは、アプリケーション、コンポーネント、およびデバイス間で共有できます。
メディエーションコンポーネントは、OSの一部、および/またはOSと通信する別個のモジュールまたはコンポーネントにすることができます。 OSの一部として、メディエーションコンポーネントは、デバイス上で使用されている非OSアプリケーションを識別し、使用されているアプリケーションから情報を収集してアクティブに監視し、ユーザーの作業コンテキストを推測します。 次に、推測されたコンテキストをブラウザなどのアプリケーションのXNUMXつに安全な方法で渡して、優先検索プロバイダーを介して提案されたクエリのランキングを向上させることができます。

要するに、ステロイドのクリッピー。

このようなシステムの主な懸念事項は、もちろん、Microsoftがプライバシー保護を想定しているにもかかわらず個人データが漏洩したり、ユーザーのコンテキストを誤って読み取ったりして、フラストレーションが増えることです（別のClippyの問題）。

一方、非常にインテリジェントなエージェントは、私のことをすべて知っていれば間違いなく優れているでしょうし、プライバシーはすでに死んでいると言う人もたくさんいます。

この特許は、テキストやその他の情報のアプリケーション画面をスクレイプしてからコンテキストGoogle検索を起動するGoogleのNowonTapまたはScreenSearchにいくつかの点で似ています。 しかし、それはもう少し遠くまで届き、はるかに自律的に聞こえます。

読者はこの特許についてどう思いますか？ 以下にお知らせください。