Пугающий патент Microsoft заставит Windows следить за всем, что вы делаете, и отправлять его в Bing для улучшения результатов поиска

Просматривая патентную библиотеку Microsoft, мы часто сталкиваемся с идеями, которые хотели бы реализовать, но так и не воплотили в продукте.

Сегодня мы столкнулись с противоположным – с идеей, время которой, как мы надеемся, никогда не придет.

В патенте «ФОРМУЛИРОВКА ЗАПРОСА ЧЕРЕЗ ПОСТОЯННУЮ ЗАДАЧУ», опубликованном вчера (22 сентября 9 г.), отмечается, что эффективность поиска повышается, если доступно больше информации о намерениях пользователя, приводя пример того, как кто-то делает школьный отчет о танцах, и отметив, что, несмотря на то, что пользователь уже выполнил некоторую работу, когда он открывает браузер для поиска, поисковая система не будет иметь никакого представления о том, над чем работает пользователь, за исключением того, что он ввел в строку поиска.

Они отмечают:

Люди используют несколько настольных приложений для выполнения одной задачи. Например, если пользователь изучает тему «танцы» для школы, он будет использовать первое приложение для записи, а второе приложение, такое как браузер, для поиска различных танцевальных стилей. Однако в существующих системах эти два приложения полностью отделены друг от друга. Первое приложение не предоставляет браузеру неявных подсказок относительно того, что может искать пользователь при переключении с первого приложения на второе. Пользователь воспринимает задачи в совокупности. Однако, поскольку приложения обычно отключены и никоим образом не опосредованы операционной системой (ОС), вычислительная система не имеет представления об общей цели пользователя.

Решение Microsoft этой головоломки состоит в том, чтобы агент или «посредник» следил за тем, что пользователь делает в «активных сторонних приложениях», таких как текстовый процессор для чтения PDF, распознавая изображения или текст из фотографий, на которые он смотрит, распознает музыку или звук, их местоположение и другие контекстуальные данные, удаляя личную информацию из этих данных и добавляя ее каким-либо образом к поисковому запросу, чтобы получить более ранжированные и более целенаправленные результаты.

В патенте отмечается:

Раскрытая архитектура содержит компонент-посредник (например, API (интерфейс прикладной программы) как часть операционной системы (ОС)), который идентифицирует задействованные приложения — приложения, с которыми взаимодействует пользователь для выполнения задачи (в отличие от бездействующих приложений — приложений, пользователь не взаимодействует для выполнения задачи), а также собирает и активно отслеживает информацию из задействованных приложений (например, текст, отображаемый непосредственно пользователю, текст, встроенный в фотографии, отпечатки песен и т. д.), чтобы сделать вывод о рабочем контексте пользователя. . Затем предполагаемый контекст может быть передан одному из приложений, например браузеру (выведенный контекст в форме, которая не пересекает барьер конфиденциальности), чтобы обеспечить улучшенное ранжирование предлагаемых запросов через предпочтительного поставщика поиска. Поскольку контекст выводится из концепций, никакая PII (личная информация) не передается без согласия пользователя — поисковым системам предоставляются только контекстуальные концепции очень высокого уровня.
Архитектура позволяет захватывать сигналы (например, обычный текст, отображаемый пользователю, текст, распознаваемый на изображениях, звук из воспроизводимой в данный момент песни и т. д.), и группировать эти сигналы в контекстуальные понятия. Эти сигналы представляют собой высокоуровневые данные (например, слова), которые помогают определить, что делает пользователь. Этот акт захвата сигналов является временным в том смысле, что он может постоянно меняться (например, подобно бегущему среднему значению контекстуальных понятий). Сигналы могут постоянно меняться в зависимости от того, что пользователь делает в момент времени T (и что пользователь делал с T-10 до момента времени T).
При использовании приложения браузера в качестве приложения, которое использует захваченные сигналы, браузер передает и получает (например, непрерывно, периодически, по запросу и т. д.) с компонентом-посредником через API-интерфейс компонента-посредника для получения последних контекстных данных. концепции.
Когда пользователь в конечном итоге взаимодействует с браузером или ожидается, что он будет взаимодействовать с ним (что может быть рассчитано как частое и/или на основе истории последовательных действий пользователя, которые приводят к следующему взаимодействию пользователя с браузером), контекстуальные концепции отправляются поставщику поиска вместе с префиксом запроса. Поисковая система (например, Bing™ и Cortana™ (интеллектуальный персональный цифровой помощник по распознаванию речи) от Microsoft Corporation) использует контекстуальные ранжировщики для корректировки ранжирования по умолчанию предлагаемых запросов по умолчанию для создания более релевантных предлагаемых запросов на определенный момент времени. Операционная система, включающая в себя функцию компонента-посредника, отслеживает все текстовые данные, отображаемые пользователю любым приложением, а затем выполняет кластеризацию для определения намерения пользователя (контекстно).
Предполагаемое намерение пользователя, отправленное в качестве сигнала поставщикам поиска для улучшения ранжирования предложений запросов, обеспечивает соответствующее улучшение взаимодействия с пользователем, поскольку предложения запросов более релевантны тому, чего на самом деле пытается достичь пользователь. Архитектура не ограничивается текстом, но может использовать распознанный текст на отображаемых фотографиях, а также информацию о географическом местоположении (например, глобальную систему позиционирования (GPS)), предоставленную как часть метаданных фотографии. Точно так же другим сигналом может быть звуковой отпечаток воспроизводимой в данный момент песни.
Как указано, устранение неоднозначности запросов разрешается благодаря контекстуальному и общему кешу, который может использоваться различными приложениями для повышения релевантности поиска, сохраняется конфиденциальность, поскольку только минимально достаточный объем информации отправляется из одного приложения в другое, а предполагаемая пользовательский контекст может совместно использоваться приложениями, компонентами и устройствами.
Посреднический компонент может быть частью ОС и/или отдельным модулем или компонентом, связанным, например, с ОС. Компонент-посредник, являющийся частью ОС, идентифицирует задействованные приложения, не относящиеся к ОС, на устройстве, а также собирает и активно отслеживает информацию из задействованных приложений, чтобы сделать вывод о рабочем контексте пользователя. Затем предполагаемый контекст может быть передан в одно из приложений, например, в браузер, безопасным способом, чтобы обеспечить улучшенное ранжирование предлагаемых запросов через предпочитаемую поисковую систему.

Короче, Клиппи на стероидах.

Основная проблема с такой системой, конечно же, утечка личных данных, несмотря на предполагаемые меры безопасности Microsoft, или неправильное чтение контекста пользователя, что приводит к еще большему разочарованию (еще одна проблема Clippy).

С другой стороны, очень умному агенту определенно было бы лучше, если бы он знал обо мне все, а многие говорят, что конфиденциальность уже мертва.

Патент в некотором роде похож на Google Now on Tap или Screen Search, который очищает экран приложения от текста и другой информации, а затем запускает контекстный поиск Google. Однако это звучит немного более далеко и намного более автономно.

Что наши читатели думают об этом патенте? Дайте нам знать ниже.