무서운 Microsoft 특허는 더 나은 검색 결과를 위해 Windows가 사용자가 하는 모든 것을 감시하고 Bing으로 보내도록 합니다.

Microsoft 특허 라이브러리를 검색하다 보면 구현하고 싶지만 제품으로 구현되지 않은 아이디어를 종종 접하게 됩니다.

오늘 우리는 정반대의 아이디어를 발견했습니다. 우리가 결코 오지 않기를 바라는 아이디어입니다.

어제(22년 9월 2016일) 공개된 특허 "QUERY FORMULATION VIA TASK CONTINUUM"에서는 춤에 대한 학교 보고서를 작성하는 사람의 예를 들어 사용자 의도에 대해 더 많은 정보를 사용할 수 있으면 효율적인 검색이 향상된다고 언급합니다. 사용자가 이미 일부 작업을 수행했음에도 불구하고 검색을 위해 브라우저를 눌렀을 때 검색 엔진은 검색 표시줄에 입력한 내용 외에는 사용자가 무엇을 하고 있는지 전혀 알지 못합니다.

그들은 참고:

사람들은 단일 작업을 완료하기 위해 여러 데스크톱 응용 프로그램을 사용합니다. 예를 들어, 사용자가 학교에서 "춤"이라는 주제를 검색하는 경우 사용자는 첫 번째 응용 프로그램을 사용하여 내용을 기록하고 두 번째 응용 프로그램(예: 브라우저)을 사용하여 다양한 춤 스타일을 검색합니다. 그러나 기존 시스템에서는 두 응용 프로그램이 서로 완전히 분리되어 있습니다. 첫 번째 응용 프로그램은 첫 번째 응용 프로그램에서 두 번째 응용 프로그램으로 전환할 때 사용자가 무엇을 찾고 있는지에 대한 브라우저 암시적 힌트를 제공하지 않습니다. 사용자는 작업을 전체적으로 인식합니다. 그러나 응용 프로그램은 일반적으로 연결이 끊기고 운영 체제(OS)에 의해 중재되지 않기 때문에 컴퓨팅 시스템은 사용자의 전체 목표에 대해 알지 못합니다.

이 난제에 대한 Microsoft의 솔루션은 워드 프로세서 PDF 리더와 같은 "활성 타사 응용 프로그램"에서 사용자가 보고 있는 사진의 이미지 또는 텍스트 인식, 음악 인식 또는 소리, 위치 및 기타 상황 데이터, 이 데이터에서 개인 식별 정보를 제거하고 검색 쿼리에 어떤 방식으로든 이를 추가하여 순위가 더 높고 집중된 결과를 생성합니다.

특허 참고 사항:

개시된 아키텍처는 관여된 애플리케이션(사용자가 작업 완료를 위해 상호작용하는 애플리케이션(휴면 애플리케이션과 대조적으로))을 식별하는 중재 구성요소(예: 운영 체제(OS)의 일부인 API(애플리케이션 프로그램 인터페이스))를 포함합니다. 사용자가 작업 완료를 위해 상호 작용하지 않음), 참여 애플리케이션에서 정보(예: 사용자에게 직접 표시되는 텍스트, 사진에 포함된 텍스트, 노래의 지문 등)를 수집하고 적극적으로 모니터링하여 사용자의 작업 컨텍스트를 추론합니다. . 그런 다음 추론된 컨텍스트는 브라우저(프라이버시 장벽을 넘지 않는 형식의 추론된 컨텍스트)와 같은 애플리케이션 중 하나로 전달되어 선호하는 검색 공급자를 통해 제안된 쿼리에 대해 향상된 순위를 제공할 수 있습니다. 컨텍스트가 개념으로 유추되기 때문에 사용자 동의 없이는 PII(개인 식별 정보)가 전달되지 않으며 매우 높은 수준의 컨텍스트 개념만 검색 엔진에 제공됩니다.
아키텍처는 신호(예: 사용자에게 표시되는 일반 텍스트, 이미지에서 인식된 텍스트, 현재 재생 중인 노래의 오디오 등)의 캡처를 가능하게 하고 이러한 신호를 컨텍스트 개념으로 클러스터링합니다. 이러한 신호는 사용자가 무엇을 하고 있는지 식별하는 데 도움이 되는 고급 데이터(예: 단어)입니다. 신호를 캡처하는 이 작업은 지속적으로 변경될 수 있다는 점에서 시간적입니다(예: 컨텍스트 개념의 평균 실행과 유사). 신호는 사용자가 T 시간에 무엇을 하고 있는지(T-10에서 T까지 사용자가 한 작업)에 따라 계속해서 변할 수 있습니다.
캡처된 신호를 사용하는 애플리케이션으로 브라우저 애플리케이션을 사용하는 경우 브라우저는 중개 구성요소의 중개 API를 통해 중개 구성요소와 브로드캐스트 및 수신(예: 연속, 주기적, 온디맨드 등)하여 최신 컨텍스트 정보를 가져옵니다. 개념.
사용자가 브라우저와 최종적으로 상호작용하거나 상호작용할 것으로 예상되는 경우(자주 발생하는 것으로 및/또는 사용자가 다음에 브라우저와 상호작용하게 하는 순차적 사용자 작업의 이력을 기반으로 계산될 수 있음), 컨텍스트 개념 쿼리 접두사와 함께 검색 공급자에게 전송됩니다. 검색 엔진(예: Microsoft Corporation의 Bing™ 및 Cortana™(지능형 개인 디지털 음성 인식 도우미))은 컨텍스트 랭커를 사용하여 기본 제안 쿼리의 기본 순위를 조정하여 특정 시점에 보다 관련성이 높은 제안 쿼리를 생성합니다. 중재 구성 요소의 기능을 포함하는 운영 체제는 모든 응용 프로그램에서 사용자에게 표시되는 모든 텍스트 데이터를 추적한 다음 클러스터링을 수행하여 사용자 의도를 (문맥적으로) 결정합니다.
쿼리 제안의 순위를 개선하기 위해 검색 공급자에게 신호로 전송된 추론된 사용자 의도는 쿼리 제안이 사용자가 실제로 달성하려고 하는 것과 더 관련성이 높기 때문에 해당하는 사용자 경험 개선을 가능하게 합니다. 이 아키텍처는 텍스트에 국한되지 않고 표시된 사진에서 인식된 텍스트와 사진 메타데이터의 일부로 제공되는 지리적 위치 정보(예: GPS(Global Positioning System))를 ​​활용할 수 있습니다. 마찬가지로, 다른 신호는 현재 재생 중인 노래의 오디오 지문이 될 수 있습니다.
표시된 대로 쿼리 명확성은 검색 관련성을 향상시키기 위해 다양한 응용 프로그램에서 사용할 수 있는 컨텍스트 및 공유 캐시로 인해 해결되고, 한 응용 프로그램에서 다른 응용 프로그램으로 최소한으로 충분한 양의 정보만 전송되기 때문에 개인 정보가 유지되고, 추론됩니다. 사용자 컨텍스트는 응용 프로그램, 구성 요소 및 장치 간에 공유될 수 있습니다.
중개 구성요소는 예를 들어 OS의 일부 및/또는 OS와 통신하는 별도의 모듈 또는 구성요소일 수 있습니다. OS의 일부인 중재 구성 요소는 장치에서 관련된 비 OS 응용 프로그램을 식별하고 연결된 응용 프로그램에서 정보를 수집하고 적극적으로 모니터링하여 사용자의 작업 컨텍스트를 추론합니다. 추론된 컨텍스트는 브라우저와 같은 애플리케이션 중 하나로 안전한 방식으로 전달되어 선호하는 검색 공급자를 통해 제안된 쿼리에 대해 향상된 순위를 제공할 수 있습니다.

요컨대, 스테로이드에 대한 Clippy.

이러한 시스템의 주요 관심사는 물론 Microsoft의 개인 정보 보호 장치로 간주되는 개인 데이터 누출 또는 사용자의 컨텍스트를 잘못 읽는 것이 더 큰 불만을 야기하는 것입니다(또 다른 Clippy 문제).

반면에 매우 지능적인 에이전트가 나에 대해 모든 것을 알고 있다면 분명히 더 좋을 것이고, 프라이버시는 이미 죽었다고 말하는 사람들이 많이 있습니다.

이 특허는 애플리케이션 화면에서 텍스트 및 기타 정보를 긁어낸 다음 상황에 맞는 Google 검색을 시작하는 Google의 Now on Tap 또는 Screen Search와 어떤 면에서 유사합니다. 그러나 그것은 조금 더 멀리 도달하고 훨씬 더 자율적으로 들립니다.

독자들은 이 특허에 대해 어떻게 생각합니까? 아래에서 알려주십시오.