Przerażający patent Microsoft spowodowałby, że system Windows oglądałby wszystko, co robisz, i wysyłał go do Bing, aby uzyskać lepsze wyniki wyszukiwania

Przeglądając bibliotekę patentów Microsoftu, często natrafiamy na pomysły, które chcielibyśmy wdrożyć, ale które nigdy nie trafiły do ​​produktu.

Dziś natrafiliśmy na coś przeciwnego – pomysł, którego czas, mamy nadzieję, nigdy nie nadejdzie.

W patencie „FORMULACJA ZAPYTANIA PRZEZ KONTYNUUM ZADAŃ”, opublikowanym wczoraj (22), zwraca się uwagę, że efektywne wyszukiwanie jest lepsze, jeśli dostępnych jest więcej informacji dotyczących intencji użytkownika, podając przykład osoby sporządzającej świadectwo szkolne na temat tańca, oraz zauważając, że pomimo tego, że użytkownik wykonał już pewną pracę, kiedy nacisnąłby przeglądarkę, aby wyszukać, wyszukiwarka nie miałaby pojęcia, nad czym pracuje użytkownik, z wyjątkiem tego, co wpisał w pasku wyszukiwania.

Zauważają:

Ludzie korzystają z wielu aplikacji komputerowych w celu wykonania jednego zadania. Na przykład, jeśli użytkownik bada temat „tańca” w szkole, użyje pierwszej aplikacji do zapisywania rzeczy, a drugiej aplikacji, takiej jak przeglądarka, do wyszukiwania różnych stylów tańca. Jednak w istniejących systemach te dwie aplikacje są od siebie całkowicie oddzielone. Pierwsza aplikacja nie dostarcza przeglądarce niejawnych wskazówek dotyczących tego, czego użytkownik może szukać, gdy następuje przełączenie z pierwszej aplikacji na drugą. Użytkownik postrzega zadania w całości. Ponieważ jednak aplikacje są zazwyczaj odłączane i nie pośredniczą w żaden sposób przez system operacyjny (OS), system komputerowy nie ma pojęcia o ogólnym celu użytkownika.

Rozwiązaniem Microsoftu na tę zagadkę jest posiadanie agenta lub „mediatora”, który obserwuje, co robi użytkownik w „aktywnych aplikacjach innych firm”, takich jak edytor tekstu, czytnik PDF, rozpoznający obrazy lub tekst ze zdjęć, które ogląda, rozpoznający muzykę lub dźwięku, ich lokalizacji i innych danych kontekstowych, usuwając z tych danych informacje umożliwiające identyfikację osoby i dodając je w jakiś sposób do zapytania wyszukiwania, aby uzyskać lepsze wyniki w rankingu i bardziej szczegółowe.

Uwagi patentowe:

Ujawniona architektura obejmuje komponent mediacji (np. API (interfejs programu aplikacji) jako część systemu operacyjnego (OS), który identyfikuje zaangażowane aplikacje — aplikacje, z którymi użytkownik wchodzi w interakcję w celu wykonania zadania (w przeciwieństwie do nieaktywnych aplikacji — aplikacje użytkownik nie wchodzi w interakcję w celu wykonania zadania) oraz gromadzi i aktywnie monitoruje informacje z zaangażowanych aplikacji (np. tekst wyświetlany bezpośrednio użytkownikowi, tekst osadzony na zdjęciach, odcisk palca utworów itp.), aby wywnioskować kontekst pracy użytkownika . Wywnioskowany kontekst można następnie przekazać do jednej z aplikacji, takiej jak przeglądarka (wnioskowany kontekst w formie, która nie przekracza bariery prywatności), aby zapewnić lepszą pozycję w rankingu sugerowanych zapytań za pośrednictwem preferowanego dostawcy wyszukiwania. Ponieważ kontekst jest wywnioskowany za pomocą pojęć, żadne PII (informacje umożliwiające identyfikację osoby) nie są przekazywane bez zgody użytkownika — tylko pojęcia kontekstowe bardzo wysokiego poziomu są dostarczane do wyszukiwarek.
Architektura umożliwia przechwytywanie sygnałów (np. zwykłego tekstu wyświetlanego użytkownikowi, tekstu rozpoznanego z obrazów, dźwięku z aktualnie odtwarzanego utworu itd.) i grupuje te sygnały w koncepcje kontekstowe. Sygnały te to dane wysokiego poziomu (np. słowa), które pomagają zidentyfikować, co robi użytkownik. Ten akt przechwytywania sygnałów ma charakter czasowy, ponieważ może podlegać ciągłym zmianom (np. podobnie jak średnia bieżąca pojęć kontekstowych). Sygnały mogą się ciągle zmieniać w zależności od tego, co użytkownik robi w czasie T (i tego, co robił od T-10 do czasu T).
W przypadku korzystania z aplikacji przeglądarki jako aplikacji, która wykorzystuje przechwycone sygnały, przeglądarka emituje i odbiera (np. w sposób ciągły, okresowy, na żądanie itp.) wraz z komponentem mediacji za pośrednictwem interfejsu API mediacji komponentu mediacji w celu pobrania najnowszych danych kontekstowych. koncepcje.
Gdy użytkownik w końcu wejdzie w interakcję z przeglądarką lub spodziewa się, że będzie z nią wchodzić w interakcję (co można obliczyć jako częste i/lub na podstawie historii kolejnych działań użytkownika, które skutkują następną interakcją użytkownika z przeglądarką), pojęcia kontekstowe są wysyłane do dostawcy wyszukiwania wraz z prefiksem zapytania. Wyszukiwarka (np. Bing™ i Cortana™ (inteligentny osobisty asystent cyfrowego rozpoznawania mowy) firmy Microsoft Corporation) wykorzystuje rankingi kontekstowe do dostosowania domyślnego rankingu domyślnych sugerowanych zapytań w celu wygenerowania bardziej trafnych sugerowanych zapytań dla danego momentu. System operacyjny, zawierający funkcję komponentu mediacji, śledzi wszystkie dane tekstowe wyświetlane użytkownikowi przez dowolną aplikację, a następnie przeprowadza grupowanie w celu określenia intencji użytkownika (kontekstowo).
Wywnioskowany zamiar użytkownika wysłany jako sygnał do dostawców wyszukiwania, aby poprawić ranking sugestii zapytań, umożliwia odpowiednią poprawę wrażenia użytkownika, ponieważ sugestie zapytań są bardziej odpowiednie do tego, co użytkownik faktycznie próbuje osiągnąć. Architektura nie ogranicza się do tekstu, ale może wykorzystywać rozpoznany tekst na wyświetlanych zdjęciach, a także informacje geolokalizacyjne (np. globalny system pozycjonowania (GPS)) dostarczane jako część metadanych zdjęć. Podobnie, innym sygnałem może być odcisk palca aktualnie odtwarzanego utworu.
Jak wskazano, ujednoznacznienie zapytań jest rozwiązywane dzięki kontekstowej i współużytkowanej pamięci podręcznej, która może być wykorzystywana przez różne aplikacje w celu poprawy trafności wyszukiwania, zachowywana jest prywatność, ponieważ tylko minimalnie wystarczająca ilość informacji jest wysyłana z jednej aplikacji do drugiej, a wywnioskowany kontekst użytkownika może być współużytkowany przez aplikacje, komponenty i urządzenia.
Komponent mediacji może być na przykład częścią systemu operacyjnego i/lub oddzielnym modułem lub komponentem komunikującym się z systemem operacyjnym. Jako część systemu operacyjnego składnik mediacji identyfikuje zaangażowane aplikacje inne niż system operacyjny na urządzeniu oraz zbiera i aktywnie monitoruje informacje z zaangażowanych aplikacji, aby wywnioskować kontekst pracy użytkownika. Wywnioskowany kontekst można następnie w bezpieczny sposób przekazać do jednej z aplikacji, takiej jak przeglądarka, aby zapewnić lepszą pozycję w rankingu sugerowanych zapytań za pośrednictwem preferowanego dostawcy wyszukiwania.

Krótko mówiąc, Clippy na sterydach.

Głównym problemem związanym z takim systemem jest oczywiście wyciek danych osobowych pomimo rzekomych zabezpieczeń prywatności Microsoftu lub błędne odczytanie kontekstu użytkownika, co prowadzi do większej frustracji (kolejny problem Clippy).

Z drugiej strony bardzo inteligentny agent byłby zdecydowanie lepszy, gdyby wiedział o mnie wszystko, a wielu twierdzi, że prywatność już umarła.

Patent jest pod pewnymi względami podobny do Google Now on Tap lub Screen Search, które wyszukuje z ekranu aplikacji tekst i inne informacje, a następnie uruchamia kontekstową wyszukiwarkę Google. Brzmi jednak nieco bardziej dalekosiężnie i dużo bardziej autonomicznie.

Co nasi czytelnicy sądzą o tym patencie? Daj nam znać poniżej.