Děsivý patent Microsoftu by nechal Windows sledovat vše, co děláte, a posílat to Bingu pro lepší výsledky vyhledávání

Při procházení patentové knihovny Microsoftu často narazíme na nápady, které bychom si přáli implementovat, ale které se nikdy nedostaly do produktu.

Dnes jsme narazili na opak – na myšlenku, jejíž čas, jak doufáme, nikdy nepřijde.

Patent „QUERY FORMULATION VIA TASK CONTINUUM“, zveřejněný včera (22. 9. 2016), poznamenává, že efektivní vyhledávání je vylepšeno, pokud je k dispozici více informací o záměru uživatele, uvádí příklad někoho, kdo dělá školní zprávu o tanci, a poznamenat, že ačkoli uživatel již udělal nějakou práci, když zadá prohlížeč a hledá, vyhledávač nebude mít žádnou představu, na čem uživatel pracuje, kromě toho, co zadal do vyhledávacího pole.

Berou na vědomí:

Lidé používají více desktopových aplikací, aby dokončili jeden úkol. Pokud například uživatel zkoumá téma „tanec“ pro školu, použije první aplikaci k zapisování věcí a druhou aplikaci, jako je prohlížeč, k vyhledávání různých stylů tance. Ve stávajících systémech jsou však obě aplikace od sebe zcela odpojeny. První aplikace neposkytuje prohlížeči implicitní rady ohledně toho, co může uživatel hledat, když dojde k přechodu z první aplikace na druhou. Uživatel vnímá úkoly v celku. Protože jsou však aplikace obvykle odpojeny a nejsou žádným způsobem zprostředkovány operačním systémem (OS), výpočetní systém nemá představu o celkovém cíli uživatele.

Řešením tohoto rébusu společnosti Microsoft je mít agenta nebo „zprostředkovatele“, který bude sledovat, co uživatel dělá v „aktivních aplikacích třetích stran“, jako je čtečka PDF v textovém procesoru, rozpoznávat obrázky nebo text z fotografií, na které se dívá, rozpoznávat hudbu nebo zvuk, jejich umístění a další kontextová data, odstranění osobně identifikovatelných informací z těchto dat a jejich přidání nějakým způsobem do vyhledávacího dotazu, aby se dosáhlo lepšího hodnocení a cílenějších výsledků.

Patentové poznámky:

Zveřejněná architektura obsahuje mediační komponentu (např. API (rozhraní aplikačního programu) jako součást operačního systému (OS)), která identifikuje zapojené aplikace – aplikace, se kterými uživatel komunikuje za účelem dokončení úkolu (na rozdíl od nečinných aplikací – aplikací, které uživatel neinteraguje za účelem dokončení úkolu) a shromažďuje a aktivně monitoruje informace ze zapojených aplikací (např. text zobrazený přímo uživateli, text vložený do fotografií, otisky prstů skladeb atd.), aby odvodil pracovní kontext uživatele. . Odvozený kontext lze poté předat jedné z aplikací, jako je prohlížeč (odvozený kontext ve formě, která nepřekračuje bariéru ochrany osobních údajů), aby se zajistilo lepší hodnocení navrhovaných dotazů prostřednictvím preferovaného poskytovatele vyhledávání. Vzhledem k tomu, že kontext je odvozen z konceptů, nejsou žádné PII (osobně identifikovatelné informace) sdělovány bez souhlasu uživatele – vyhledávačům jsou poskytovány pouze kontextové koncepty na velmi vysoké úrovni.
Architektura umožňuje zachycení signálů (např. prostý text zobrazený uživateli, text rozpoznávaný z obrázků, zvuk z aktuálně přehrávané skladby atd.) a seskupuje tyto signály do kontextových konceptů. Tyto signály jsou data na vysoké úrovni (např. slova), která pomáhají identifikovat, co uživatel dělá. Tento akt zachycování signálů je dočasný v tom, že se může neustále měnit (např. podobně jako průběžný průměr kontextových konceptů). Signály se mohou plynule měnit na základě toho, co uživatel dělá v čase T (a co uživatel dělal od T-10 do času T).
Při použití aplikace prohlížeče jako aplikace, která využívá zachycené signály, prohlížeč vysílá a přijímá (např. nepřetržitě, pravidelně, na vyžádání atd.) s komponentou mediace prostřednictvím mediačního rozhraní API komponenty mediace, aby načetl nejnovější kontextové koncepty.
Když uživatel nakonec interaguje s prohlížečem nebo se očekává, že bude interagovat s prohlížečem (jak lze vypočítat jako časté a/nebo na základě historie sekvenčních uživatelských akcí, které vedou k další interakci uživatele s prohlížečem), kontextové koncepty jsou odeslány poskytovateli vyhledávání spolu s prefixem dotazu. Vyhledávač (např. Bing™ a Cortana™ (inteligentní osobní digitální asistent rozpoznávání řeči) od společnosti Microsoft Corporation) používá kontextové hodnotitele k úpravě výchozího hodnocení výchozích navrhovaných dotazů tak, aby pro daný okamžik vytvořil relevantnější navrhované dotazy. Operační systém obsahující funkci mediační komponenty sleduje všechna textová data zobrazená uživateli libovolnou aplikací a poté provádí shlukování, aby určil záměr uživatele (kontextově).
Odvozený záměr uživatele zaslaný jako signál poskytovatelům vyhledávání ke zlepšení hodnocení návrhů dotazů umožňuje odpovídající zlepšení uživatelské zkušenosti, protože návrhy dotazů jsou relevantnější pro to, čeho se uživatel ve skutečnosti snaží dosáhnout. Architektura není omezena na text, ale může využívat rozpoznaný text na zobrazených fotografiích i informace o zeměpisné poloze (např. globální polohový systém (GPS)) poskytované jako součást metadat fotografie. Podobně dalším signálem může být zvukový otisk právě přehrávané skladby.
Jak bylo naznačeno, jednoznačnost dotazů je vyřešena díky kontextové a sdílené mezipaměti, kterou mohou různé aplikace využívat ke zlepšení relevance vyhledávání, je zachováno soukromí, protože z jedné aplikace do druhé je odesíláno pouze minimální množství informací a uživatelský kontext lze sdílet napříč aplikacemi, komponentami a zařízeními.
Komponenta zprostředkování může být součástí operačního systému a/nebo například samostatný modul nebo komponent v komunikaci s operačním systémem. Komponenta zprostředkování jako součást operačního systému identifikuje v zařízení zapojené aplikace mimo operační systém a shromažďuje a aktivně monitoruje informace ze zapojených aplikací, aby odvodila pracovní kontext uživatele. Odvozený kontext pak může být předán jedné z aplikací, jako je prohlížeč, bezpečným způsobem, aby se zajistilo lepší hodnocení navrhovaných dotazů prostřednictvím preferovaného poskytovatele vyhledávání.

Zkrátka Clippy na steroidech.

Hlavním problémem takového systému je samozřejmě únik osobních údajů navzdory předpokládaným zárukám ochrany soukromí společnosti Microsoft nebo nesprávné čtení kontextu uživatele, což vede k větší frustraci (další problém Clippy).

Na druhou stranu velmi inteligentnímu agentovi by bylo rozhodně lépe, kdyby o mně věděl všechno, a mnozí říkají, že soukromí je již mrtvé.

Patent je v některých ohledech podobný Google Now on Tap nebo Screen Search, které škrábou z obrazovky aplikace text a další informace a poté spouští kontextové Google Search. Zní to však trochu dalekosáhleji a mnohem autonomněji.

Co si o tomto patentu myslí naši čtenáři? Dejte nám vědět níže.