可怕的微软专利会让 Windows 监视你所做的一切，将其发送到 Bing，以获得更好的搜索结果

浏览 Microsoft 专利库时，我们经常会遇到我们希望他们实施的想法，但这些想法从未成为产品。

今天我们遇到了相反的情况——我们希望它的时代永远不会到来。

昨天（22 年 9 月 2016 日）发布的专利“QUERY FORMULATION VIA TASK CONTINUUM”指出，如果有关用户意图的更多信息可用，则可以增强有效搜索，例如某人在学校做舞蹈报告，以及请注意，尽管用户已经完成了一些工作，但当他们点击浏览器进行搜索时，搜索引擎不会知道用户正在做什么，除了他们在搜索栏中输入的内容。

他们指出：

人们使用多个桌面应用程序来完成一项任务。 例如，如果用户正在为学校研究“跳舞”这个话题，那么用户将使用第一个应用程序来记录事情以及第二个应用程序（例如浏览器）来搜索不同风格的舞蹈。 然而，在现有系统中，这两个应用程序彼此完全断开连接。 当从第一个应用程序切换到第二个应用程序时，第一个应用程序不向浏览器提供关于用户可能正在寻找什么的隐含提示。 用户从整体上感知任务。 然而，由于应用程序通常是断开连接的，并且不以任何方式由操作系统（OS）调解，因此计算系统不知道用户的总体目标。

微软对这个难题的解决方案是让代理或“中介”观察用户在“活跃的 3rd 方应用程序”（如文字处理器 PDF 阅读器）中所做的事情，从他们正在查看的照片中识别图像或文本，识别音乐或声音，他们的位置和其他上下文数据，从这些数据中删除个人身份信息，并以某种方式将其添加到搜索查询中，以产生更好的排名和更集中的结果。

专利说明：

所公开的架构包括一个中介组件（例如，作为操作系统 (OS) 一部分的 API（应用程序接口）），该组件识别参与的应用程序——用户正在与之交互以完成任务的应用程序（与休眠应用程序相比——应用程序用户没有与完成任务进行交互），并收集并主动监控来自参与应用程序的信息（例如，直接显示给用户的文本、嵌入照片的文本、歌曲的指纹等）以推断用户的工作环境. 然后可以将推断的上下文移交给应用程序之一，例如浏览器（推断的上下文以不跨越隐私障碍的形式），以通过首选搜索提供者为建议的查询提供改进的排名。 由于上下文被推断为概念，因此未经用户同意不会传达任何 PII（个人身份信息）——仅向搜索引擎提供非常高级的上下文概念。
该架构能够捕获信号（例如，向用户显示的纯文本、从图像中识别的文本、来自当前播放歌曲的音频等），并将这些信号聚集成上下文概念。 这些信号是帮助识别用户正在做什么的高级数据（例如，单词）。 这种捕获信号的行为是暂时的，因为它可以不断变化（例如，类似于上下文概念的运行平均值）。 信号可以根据用户在时间 T 所做的事情（以及用户从 T-10 到时间 T 所做的事情）不断变化。
当浏览器应用程序作为使用捕获信号的应用程序时，浏览器通过中介组件的中介API与中介组件广播和接收（例如，连续的、周期性的、点播的等）以获取最新的上下文概念。
当用户最终与浏览器交互或预期与浏览器交互时（可能被计算为频繁发生和/或基于导致用户接下来与浏览器交互的顺序用户操作的历史），上下文概念与查询前缀一起发送到搜索提供程序。 搜索引擎（例如，Microsoft Corporation 的 Bing™ 和 Cortana™（一种智能个人数字语音识别助手））使用上下文排序器来调整默认建议查询的默认排序，以针对该时间点产生更相关的建议查询。 操作系统，包括中介组件的功能，跟踪任何应用程序向用户显示的所有文本数据，然后执行聚类以确定用户意图（上下文）。
推断的用户意图作为信号发送给搜索提供商以提高查询建议的排名，从而能够相应地改善用户体验，因为查询建议与用户实际尝试实现的目标更相关。 该架构不限于文本，而是可以利用所显示照片中的识别文本以及作为照片元数据的一部分提供的地理位置信息（例如，全球定位系统（GPS））。 类似地，另一个信号可以是当前播放歌曲的音频指纹。
正如所指出的，由于上下文和共享缓存可以被各种应用程序用来提高搜索相关性，查询消歧得到解决，隐私得到维护，因为从一个应用程序发送到另一个应用程序的信息量最少，并且推断用户上下文可以跨应用程序、组件和设备共享。
例如，中介组件可以是OS的一部分，和/或与OS通信的单独模块或组件。 作为操作系统的一部分，中介组件识别设备上参与的非操作系统应用程序，并收集和主动监控来自参与应用程序的信息，以推断用户的工作环境。 然后可以将推断的上下文以安全的方式传递给应用程序之一，例如浏览器，以通过首选搜索提供程序为建议的查询提供改进的排名。

简而言之，Clippy 使用了类固醇。

这种系统的主要问题当然是个人数据泄露，尽管微软有所谓的隐私保护措施，或者读取用户的上下文错误导致更多的挫败感（另一个 Clippy 问题）。

另一方面，如果一个非常聪明的代理知道我的一切，它肯定会更好，而且很多人说隐私已经死了。

该专利在某些方面类似于谷歌的 Now on Tap 或 Screen Search，它会在应用程序屏幕上抓取文本和其他信息，然后启动上下文谷歌搜索。 然而，它确实听起来更深远，更自主。

我们的读者如何看待这项专利？ 请在下面告诉我们。