可怕的微軟專利會讓 Windows 監視你所做的一切，將其發送到 Bing，以獲得更好的搜索結果

瀏覽 Microsoft 專利庫時，我們經常會遇到我們希望他們實施的想法，但這些想法從未成為產品。

今天我們遇到了相反的情況——我們希望它的時代永遠不會到來。

昨天（22 年 9 月 2016 日）發布的專利“QUERY FORMULATION VIA TASK CONTINUUM”指出，如果有關用戶意圖的更多信息可用，則可以增強有效搜索，例如某人在學校做舞蹈報告，以及請注意，儘管用戶已經完成了一些工作，但當他們點擊瀏覽器進行搜索時，搜索引擎不會知道用戶正在做什麼，除了他們在搜索欄中輸入的內容。

他們注意到：

人們使用多個桌面應用程序來完成一項任務。 例如，如果用戶正在為學校研究“跳舞”這個話題，那麼用戶將使用第一個應用程序來寫下事情，並使用第二個應用程序（例如瀏覽器）來搜索不同風格的舞蹈。 然而，在現有系統中，這兩個應用程序彼此完全斷開連接。 當從第一個應用程序切換到第二個應用程序時，第一個應用程序不向瀏覽器提供關於用戶可能正在尋找什麼的隱含提示。 用戶從整體上感知任務。 然而，由於應用程序通常是斷開連接的，並且不以任何方式由操作系統（OS）調解，因此計算系統不知道用戶的總體目標。

微軟對這個難題的解決方案是讓代理或“中介”觀察用戶在“活躍的 3rd 方應用程序”（如文字處理器 PDF 閱讀器）中所做的事情，從他們正在查看的照片中識別圖像或文本，識別音樂或聲音，他們的位置和其他上下文數據，從這些數據中刪除個人身份信息，並以某種方式將其添加到搜索查詢中，以產生更好的排名和更集中的結果。

專利說明：

所公開的架構包括一個中介組件（例如，作為操作系統 (OS) 一部分的 API（應用程序接口）），該組件識別參與的應用程序——用戶正在與之交互以完成任務的應用程序（與休眠應用程序相比——應用程序用戶沒有與完成任務進行交互），並收集並主動監控來自參與應用程序的信息（例如，直接顯示給用戶的文本、嵌入照片的文本、歌曲的指紋等）以推斷用戶的工作環境. 然後可以將推斷的上下文移交給應用程序之一，例如瀏覽器（推斷的上下文以不跨越隱私障礙的形式），以通過首選搜索提供者為建議的查詢提供改進的排名。 由於上下文被推斷為概念，因此未經用戶同意不會傳達任何 PII（個人身份信息）——只有非常高級的上下文概念被提供給搜索引擎。
該架構能夠捕獲信號（例如，向用戶顯示的純文本、從圖像中識別的文本、來自當前播放歌曲的音頻等），並將這些信號聚集到上下文概念中。 這些信號是幫助識別用戶正在做什麼的高級數據（例如，單詞）。 這種捕獲信號的行為是暫時的，因為它可以不斷變化（例如，類似於上下文概念的運行平均值）。 信號可以根據用戶在時間 T 所做的事情（以及用戶從 T-10 到時間 T 所做的事情）不斷變化。
當瀏覽器應用程序作為使用捕獲信號的應用程序時，瀏覽器通過中介組件的中介API與中介組件廣播和接收（例如，連續的、週期性的、點播的等）以獲取最新的上下文概念。
當用戶最終與瀏覽器交互或預期與瀏覽器交互時（可能被計算為頻繁發生和/或基於導致用戶接下來與瀏覽器交互的順序用戶操作的歷史），上下文概念與查詢前綴一起發送到搜索提供程序。 搜索引擎（例如，Microsoft Corporation 的 Bing™ 和 Cortana™（一種智能個人數字語音識別助手））使用上下文排序器來調整默認建議查詢的默認排序，以針對該時間點產生更相關的建議查詢。 操作系統，包括中介組件的功能，跟踪任何應用程序向用戶顯示的所有文本數據，然後執行聚類以確定用戶意圖（上下文）。
推斷的用戶意圖作為信號發送給搜索提供商以提高查詢建議的排名，從而能夠相應地改善用戶體驗，因為查詢建議與用戶實際嘗試實現的目標更相關。 該架構不限於文本，而是可以利用所顯示照片中的識別文本以及作為照片元數據的一部分提供的地理位置信息（例如，全球定位系統（GPS））。 類似地，另一個信號可以是當前播放歌曲的音頻指紋。
正如所指出的，由於上下文和共享緩存可以被各種應用程序用來提高搜索相關性，查詢消歧得到解決，隱私得到維護，因為從一個應用程序發送到另一個應用程序的信息量最少，並且推斷用戶上下文可以跨應用程序、組件和設備共享。
例如，中介組件可以是OS的一部分，和/或與OS通信的單獨模塊或組件。 作為 OS 的一部分，中介組件識別設備上參與的非 OS 應用程序，並從參與的應用程序收集和主動監視信息以推斷用戶的工作上下文。 然後可以將推斷的上下文以安全的方式傳遞給應用程序之一，例如瀏覽器，以通過首選搜索提供程序為建議的查詢提供改進的排名。

簡而言之，Clippy 使用了類固醇。

這種系統的主要問題當然是個人數據洩露，儘管微軟有所謂的隱私保護措施，或者讀取用戶的上下文錯誤導致更多的挫敗感（另一個 Clippy 問題）。

另一方面，如果一個非常聰明的代理知道我的一切，它肯定會更好，而且很多人說隱私已經死了。

該專利在某些方麵類似於谷歌的 Now on Tap 或 Screen Search，它會在應用程序屏幕上抓取文本和其他信息，然後啟動上下文谷歌搜索。 然而，它確實聽起來更深遠，更自主。

我們的讀者如何看待這項專利？ 請在下面告訴我們。