Страшний патент Microsoft змушує Windows дивитися все, що ви робите, надсилати в Bing, щоб отримати кращі результати пошуку

Переглядаючи бібліотеку патентів Microsoft, ми часто зустрічаємо ідеї, які б хотіли, щоб вони реалізували, але які так і не втілилися в продукт.

Сьогодні ми зіткнулися з протилежним – ідеєю, час якої, ми сподіваємося, ніколи не настане.

У патенті «ФОРМУЛЮВАННЯ ЗАПИТУ ЧЕРЕЗ ПЕРЕДІВ ЗАВДАННЯ», опублікованому вчора (22 р.), зазначено, що ефективний пошук покращується, якщо доступна більше інформації про наміри користувача, наводячи приклад, коли хтось робить шкільний звіт про танці та зауважуючи, що, незважаючи на те, що користувач вже зробив певну роботу, коли він натиснув браузер для пошуку, пошукова система не матиме уявлення, над чим працює користувач, крім того, що він ввів у рядок пошуку.

Вони відзначають:

Люди використовують кілька настільних програм, щоб виконати одне завдання. Наприклад, якщо користувач досліджує тему «танців» для школи, він використовуватиме першу програму, щоб записувати речі, а також другу програму, наприклад браузер, для пошуку різних стилів танців. Проте в існуючих системах ці дві програми повністю від’єднані один від одного. Перша програма не надає браузеру неявних підказок щодо того, що може шукати користувач, коли відбувається перемикання з першої програми на другу. Користувач сприймає завдання в сукупності. Однак, оскільки програми зазвичай відключені та жодним чином не опосередковані операційною системою (ОС), обчислювальна система не має уявлення про загальну мету користувача.

Рішення цієї загадки від Microsoft полягає в тому, щоб агент або «посередник» спостерігав за тим, що користувач робить у «активних сторонніх програмах», таких як програма для зчитування PDF-файлів із текстовим процесором, розпізнавав зображення або текст із фотографій, які вони переглядають, розпізнавав музику або звук, їх місцезнаходження та інші контекстуальні дані, видаляючи з цих даних інформацію, що дозволяє ідентифікувати особу, і певним чином додавати її до пошукового запиту, щоб отримати кращі й більш цілеспрямовані результати.

У патенті зазначається:

Розкрита архітектура містить компонент посередництва (наприклад, API (інтерфейс прикладної програми) як частину операційної системи (ОС)), який ідентифікує задіяні програми — програми, з якими користувач взаємодіє для виконання завдання (на відміну від неактивних програм — додатків, які користувач не взаємодіє з для виконання завдання), а також збирає та активно відстежує інформацію від задіяних програм (наприклад, текст, що відображається безпосередньо користувачеві, текст, вбудований у фотографії, відбитки пісень тощо), щоб визначити робочий контекст користувача . Виведений контекст потім можна передати одній із програм, наприклад браузеру (виведений контекст у формі, яка не перетинає бар’єр конфіденційності), щоб забезпечити покращене рейтингування запропонованих запитів за допомогою бажаного постачальника пошуку. Оскільки контекст виводиться на основі концепцій, жодна PII (персональна інформація) не передається без згоди користувача — пошуковим системам надаються лише контекстні концепції дуже високого рівня.
Архітектура дозволяє фіксувати сигнали (наприклад, звичайний текст, який відображається користувачеві, текст, розпізнаний із зображень, аудіо з пісні, що зараз відтворюється, тощо) і групує ці сигнали в контекстні концепції. Ці сигнали є даними високого рівня (наприклад, словами), які допомагають визначити, що робить користувач. Цей акт захоплення сигналів є тимчасовим, оскільки він може постійно змінюватися (наприклад, подібний до поточного середнього контекстних концепцій). Сигнали можуть постійно змінюватися залежно від того, що робив користувач у момент Т (і що робив користувач від Т-10 до моменту Т).
При використанні програми браузера як програми, яка використовує захоплені сигнали, браузер передає та отримує (наприклад, безперервно, періодично, на вимогу тощо) з компонентом посередництва через API посередництва компонента посередництва для отримання останньої контекстної концепції.
Коли користувач в кінцевому підсумку взаємодіє з браузером або очікується, що він буде взаємодіяти з браузером (як можна обчислити, що це відбувається часто та/або на основі історії послідовних дій користувача, які призводять до наступної взаємодії користувача з браузером), контекстні концепції надсилаються постачальнику пошуку разом із префіксом запиту. Пошукова система (наприклад, Bing™ і Cortana™ (інтелектуальний особистий помічник для розпізнавання цифрового мовлення) від корпорації Microsoft) використовує контекстні рейтинги, щоб налаштувати рейтинг за замовчуванням пропонованих запитів за замовчуванням, щоб створити більш релевантні запропоновані запити на певний момент часу. Операційна система, що містить функцію компонента посередництва, відстежує всі текстові дані, які відображаються користувачеві будь-якою програмою, а потім виконує кластеризацію для визначення намірів користувача (контекстуально).
Передбачуваний намір користувача, надісланий як сигнал постачальникам пошуку для покращення рейтингу пропозицій запитів, забезпечує відповідне покращення взаємодії з користувачем, оскільки пропозиції запитів більше відповідають тому, чого користувач насправді намагається досягти. Архітектура не обмежується лише текстом, але може використовувати розпізнаний текст у відображуваних фотографіях, а також інформацію про геолокацію (наприклад, глобальну систему позиціонування (GPS)), яка надається як частина метаданих фото. Аналогічно, іншим сигналом може бути аудіовідбиток пісні, яка зараз відтворюється.
Як зазначено, неоднозначність запиту вирішується завдяки контекстному та спільному кешу, який може використовуватися різними програмами для підвищення релевантності пошуку, конфіденційність зберігається, оскільки лише мінімально достатня кількість інформації надсилається з однієї програми до іншої програми, а виведена користувальницький контекст можна спільно використовувати між додатками, компонентами та пристроями.
Наприклад, компонент посередництва може бути частиною ОС та/або окремим модулем чи компонентом, що спілкуються з ОС. Як частина ОС, компонент посередництва визначає на пристрої задіяні додатки, які не належать до ОС, збирає й активно відстежує інформацію від задіяних програм, щоб визначити робочий контекст користувача. Після цього виведений контекст можна передати в одну з програм, наприклад у браузер, безпечним способом, щоб забезпечити покращене рейтингування запропонованих запитів за допомогою бажаного постачальника пошуку.

Одним словом, Clippy на стероїдах.

Основною проблемою такої системи, звичайно, є витік особистих даних, незважаючи на нібито гарантії конфіденційності Microsoft або неправильне прочитання контексту користувача, що призводить до більшого розчарування (ще одна проблема Clippy).

З іншого боку, дуже розумному агенту було б краще, якби він знав про мене все, і багато хто каже, що конфіденційність уже мертва.

Патент у чомусь схожий на Google Now on Tap або Screen Search, який очищає екран програми для пошуку тексту та іншої інформації, а потім запускає контекстний пошук Google. Однак це звучить трохи більш далекосяжно і набагато автономніше.

Що думають наші читачі про цей патент? Дайте нам знати нижче.