Strašidelný patent Microsoftu by mal systém Windows sledovať všetko, čo robíte, posielať to Bingu pre lepšie výsledky vyhľadávania

Pri prehliadaní patentovej knižnice Microsoftu často narazíme na nápady, ktoré by sme chceli implementovať, ale ktoré sa nikdy nedostali do produktu.

Dnes sme narazili na opak – na myšlienku, ktorej čas, dúfame, nikdy nepríde.

Patent „QUERY FORMULATION VIA TASK CONTINUUM“, zverejnený včera (22. 9. 2016), poznamenáva, že efektívne vyhľadávanie je vylepšené, ak je k dispozícii viac informácií o zámere používateľa, pričom uvádza príklad niekoho, kto robí školskú správu o tanci a poznamenávajúc, že ​​napriek tomu, že používateľ už vykonal nejakú prácu, vyhľadávací nástroj pri vyhľadávaní v prehliadači nebude mať žiadnu predstavu o tom, na čom používateľ pracuje, okrem toho, čo zadal do vyhľadávacieho panela.

Poznamenávajú:

Ľudia používajú viacero desktopových aplikácií na dokončenie jednej úlohy. Napríklad, ak používateľ skúma tému „tanec“ pre školu, používateľ použije prvú aplikáciu na zapisovanie vecí, ako aj druhú aplikáciu, napríklad prehliadač, na vyhľadávanie rôznych štýlov tanca. V existujúcich systémoch sú však tieto dve aplikácie od seba úplne odpojené. Prvá aplikácia neposkytuje prehliadaču implicitné rady o tom, čo môže používateľ hľadať, keď dôjde k prechodu z prvej aplikácie na druhú. Používateľ vníma úlohy v celku. Keďže sú však aplikácie zvyčajne odpojené a nie sú žiadnym spôsobom sprostredkované operačným systémom (OS), počítačový systém nemá predstavu o celkovom cieli používateľa.

Riešením tohto rébusu od Microsoftu je mať agenta alebo „sprostredkovateľa“, ktorý bude sledovať, čo používateľ robí v „aktívnych aplikáciách tretích strán“, ako je napríklad čítačka PDF s textovým procesorom, rozpoznávať obrázky alebo text z fotografií, ktoré si prezerajú, rozpoznávať hudbu alebo zvuk, ich polohu a ďalšie kontextové údaje, pričom z týchto údajov sa odstránia informácie umožňujúce identifikáciu osôb a nejakým spôsobom sa pridajú k vyhľadávaciemu dopytu, aby sa dosiahli lepšie zoradené a cielenejšie výsledky.

Patentové poznámky:

Zverejnená architektúra obsahuje sprostredkovateľský komponent (napr. API (rozhranie aplikačného programu) ako súčasť operačného systému (OS)), ktorý identifikuje zapojené aplikácie – aplikácie, s ktorými používateľ interaguje pri dokončení úlohy (na rozdiel od nečinných aplikácií – aplikácií používateľ neinteraguje s cieľom dokončiť úlohu) a zhromažďuje a aktívne monitoruje informácie zo zapojených aplikácií (napr. text zobrazený priamo používateľovi, text vložený do fotografií, odtlačky prstov skladieb atď.) s cieľom odvodiť pracovný kontext používateľa . Vyvodený kontext možno potom odovzdať jednej z aplikácií, ako je prehliadač (odvodený kontext vo forme, ktorá neprekračuje bariéru ochrany osobných údajov), aby sa zabezpečilo lepšie hodnotenie navrhovaných dopytov prostredníctvom preferovaného poskytovateľa vyhľadávania. Keďže kontext sa odvodzuje z pojmov, žiadne PII (osobne identifikovateľné informácie) sa nekomunikujú bez súhlasu používateľa – vyhľadávacím nástrojom sa poskytujú len kontextové koncepty na veľmi vysokej úrovni.
Architektúra umožňuje zachytávanie signálov (napr. obyčajný text zobrazený používateľovi, text rozpoznaný z obrázkov, zvuk z aktuálne prehrávanej skladby atď.) a zoskupuje tieto signály do kontextových konceptov. Tieto signály sú údaje na vysokej úrovni (napr. slová), ktoré pomáhajú identifikovať, čo používateľ robí. Tento akt zachytávania signálov je dočasný v tom, že sa môže neustále meniť (napr. podobne ako bežný priemer kontextových konceptov). Signály sa môžu priebežne meniť na základe toho, čo používateľ robil v čase T (a čo robil používateľ od T-10 do času T).
Pri použití aplikácie prehliadača ako aplikácie, ktorá používa zachytené signály, prehliadač vysiela a prijíma (napr. nepretržite, pravidelne, na požiadanie atď.) s komponentom mediácie prostredníctvom rozhrania API mediácie komponentu mediácie, aby získal najnovšie kontextové pojmov.
Keď používateľ nakoniec interaguje s prehliadačom alebo sa očakáva interakcia s prehliadačom (čo sa dá vypočítať ako časté a/alebo na základe histórie postupných akcií používateľa, ktoré vedú k ďalšej interakcii používateľa s prehliadačom), kontextové koncepty sa odosielajú poskytovateľovi vyhľadávania spolu s predponou dopytu. Vyhľadávací nástroj (napr. Bing™ a Cortana™ (inteligentný osobný digitálny asistent rozpoznávania reči) od spoločnosti Microsoft Corporation) používa kontextové poradovníky na úpravu predvoleného poradia predvolených navrhovaných dopytov, aby sa vytvorili relevantnejšie navrhované dopyty pre daný časový bod. Operačný systém, ktorý obsahuje funkciu sprostredkovateľského komponentu, sleduje všetky textové údaje zobrazené používateľovi ľubovoľnou aplikáciou a potom vykonáva klastrovanie, aby určil zámer používateľa (kontextovo).
Vyvodený zámer používateľa odoslaný ako signál poskytovateľom vyhľadávania na zlepšenie hodnotenia návrhov dopytov umožňuje zodpovedajúce zlepšenie používateľskej skúsenosti, pretože návrhy dopytov sú relevantnejšie vzhľadom na to, čo sa používateľ skutočne snaží dosiahnuť. Architektúra nie je obmedzená na text, ale môže využívať rozpoznaný text na zobrazených fotografiách, ako aj informácie o geografickej polohe (napr. globálny polohový systém (GPS)) poskytované ako súčasť metadát fotografie. Podobne ďalším signálom môže byť zvukový odtlačok práve prehrávanej skladby.
Ako už bolo uvedené, jednoznačnosť dopytov je vyriešená vďaka kontextovej a zdieľanej vyrovnávacej pamäti, ktorú môžu využívať rôzne aplikácie na zlepšenie relevantnosti vyhľadávania, zachováva sa súkromie, pretože z jednej aplikácie do druhej sa odosiela len minimálne dostatočné množstvo informácií a používateľský kontext možno zdieľať medzi aplikáciami, komponentmi a zariadeniami.
Komponent sprostredkovania môže byť súčasťou OS a/alebo samostatným modulom alebo komponentom napríklad v komunikácii s OS. Komponent sprostredkovania ako súčasť operačného systému identifikuje na zariadení zapojené aplikácie mimo operačného systému a zhromažďuje a aktívne monitoruje informácie zo zapojených aplikácií, aby odvodil pracovný kontext používateľa. Vyvodený kontext sa potom môže odovzdať jednej z aplikácií, ako je napríklad prehliadač, bezpečným spôsobom, aby sa zabezpečilo lepšie hodnotenie navrhovaných dopytov prostredníctvom preferovaného poskytovateľa vyhľadávania.

Skrátka Clippy na steroidoch.

Hlavným problémom takéhoto systému je samozrejme únik osobných údajov napriek údajným zárukám ochrany osobných údajov spoločnosti Microsoft alebo nesprávnemu čítaniu kontextu používateľa, čo vedie k väčšej frustrácii (ďalší problém Clippy).

Na druhej strane veľmi inteligentný agent by bol určite lepší, keby o mne vedel všetko a mnohí tvrdia, že súkromie je už mŕtve.

Patent je v niektorých ohľadoch podobný funkciám Google Now on Tap alebo Screen Search, ktoré zbierajú text a ďalšie informácie na obrazovke aplikácie a potom spúšťa kontextové vyhľadávanie Google. Znie to však o niečo ďalekosiahlejšie a oveľa autonómnejšie.

Čo si o tomto patente myslia naši čitatelia? Dajte nám vedieť nižšie.