Skrämmande Microsoft-patent skulle få Windows att titta på allt du gör, skicka det till Bing för bättre sökresultat

När vi bläddrar genom Microsofts patentbibliotek stöter vi ofta på idéer som vi önskar att de implementerade, men som aldrig nådde en produkt.

Idag stötte vi på motsatsen – en idé vars tid vi hoppas aldrig kommer.

Patentet, "QUERY FORMULATION VIA TASK CONTINUUM", som publicerades igår (22-9-2016), noterar att effektiv sökning förbättras om mer information finns tillgänglig om användarens avsikt, med exempel på någon som gör en skolrapport om dans, och noterar att trots att användaren redan har gjort en del arbete, när de trycker på webbläsaren för att söka, så skulle sökmotorn inte ha någon aning om vad användaren arbetar med förutom vad de har skrivit i sökfältet.

De noterar:

Människor använder flera skrivbordsprogram för att slutföra en enda uppgift. Till exempel, om en användare undersöker ämnet "dans" för skolan, kommer användaren att använda ett första program för att skriva ner saker och ett andra program som en webbläsare för att söka efter olika dansstilar. Men i befintliga system är de två applikationerna helt bortkopplade från varandra. Den första applikationen ger inte webbläsaren implicita ledtrådar om vad användaren kan leta efter när det sker en byte från den första applikationen till den andra applikationen. Användaren uppfattar uppgifter i helheten. Men eftersom applikationer vanligtvis kopplas bort och inte förmedlas på något sätt av operativsystemet (OS), har datorsystemet ingen aning om användarens övergripande mål.

Microsofts lösning på denna gåta är att ha en agent eller "förmedlare" som tittar på vad användaren gör i "aktiva applikationer från tredje part" som en ordbehandlare PDF-läsare, känner igen bilder eller text från foton de tittar på, känner igen musik eller ljud, deras plats och andra kontextuella data, ta bort personligt identifierbar information från denna data och lägga till den på något sätt till sökfrågan för att ge bättre rankade och mer fokuserade resultat.

Patentet noterar:

Den avslöjade arkitekturen innefattar en förmedlingskomponent (t.ex. ett API (applikationsprogramgränssnitt) som en del av operativsystemet (OS)) som identifierar engagerade applikationer - applikationer som användaren interagerar med för att utföra uppgiften (i motsats till vilande applikationer - applikationer användaren inte interagerar med för att utföra uppgiften), och samlar in och övervakar aktivt information från de engagerade applikationerna (t.ex. text som visas direkt för användaren, text inbäddad i foton, fingeravtryck av låtar, etc.) för att härleda en användares arbetskontext . Det härledda sammanhanget kan sedan överlämnas till en av applikationerna, såsom en webbläsare (det härledda sammanhanget i en form som inte passerar sekretessbarriären) för att ge förbättrad rangordning för de föreslagna frågorna genom den föredragna sökleverantören. Eftersom sammanhanget härleds till begrepp, kommuniceras ingen PII (personligt identifierbar information) utan användarens samtycke – endast mycket högnivåkontextuella begrepp tillhandahålls till sökmotorerna.
Arkitekturen möjliggör infångning av signaler (t.ex. vanlig text som visas för användaren, text som känns igen från bilder, ljud från en låt som spelas och så vidare), och grupperar dessa signaler i kontextuella koncept. Dessa signaler är data på hög nivå (t.ex. ord) som hjälper till att identifiera vad användaren gör. Denna handling att fånga signaler är tidsmässig, eftersom den ständigt kan förändras (t.ex. liknar löpande medelvärde av kontextuella begrepp). Signalerna kan kontinuerligt förändras baserat på vad användaren gör vid tidpunkt T (och vad användaren gjorde från T-10 upp till tidpunkt T).
När webbläsarapplikationen används som applikation som använder de fångade signalerna, sänder och tar webbläsaren emot (t.ex. kontinuerligt, periodiskt, on-demand, etc.) med medlingskomponenten genom ett medlings-API för medlingskomponenten för att hämta den senaste kontextuella begrepp.
När användaren så småningom interagerar med, eller förväntas interagera med, webbläsaren (som kan beräknas som förekommande ofta och/eller baserat på en historik av sekventiella användaråtgärder som resulterar i att användaren interagerar med webbläsaren nästa), de kontextuella koncepten skickas till sökleverantören tillsammans med frågeprefixet. Sökmotorn (t.ex. Bing™ och Cortana™ (en intelligent personlig digital taligenkänningsassistent) från Microsoft Corporation) använder kontextuella rangordnare för att justera standardrankningen av de föreslagna standardfrågorna för att producera mer relevanta föreslagna frågor för den aktuella tidpunkten. Operativsystemet, som innefattar funktionen av medlingskomponent, spårar all textdata som visas för användaren av vilken applikation som helst och utför sedan klustring för att bestämma användarens avsikt (kontextuellt).
Den härledda användaravsikten som skickas som en signal till sökleverantörer att förbättra rankningen av frågeförslag, möjliggör en motsvarande förbättring av användarupplevelsen eftersom frågeförslagen är mer relevanta för vad användaren faktiskt försöker uppnå. Arkitekturen är inte begränsad till text, utan kan använda igenkänd text i visade foton såväl som geo-platsinformation (t.ex. globalt positioneringssystem (GPS)) som tillhandahålls som en del av fotometadata. På liknande sätt kan en annan signal vara ljudfingeravtrycket för en låt som spelas.
Som nämnts löses frågedisambiguering på grund av den kontextuella och delade cachen som kan användas av olika applikationer för att förbättra sökrelevansen, integriteten upprätthålls eftersom endast en minimalt tillräcklig mängd information skickas från en applikation till en annan applikation, och den härledda användarkontext kan delas mellan applikationer, komponenter och enheter.
Förmedlingskomponenten kan vara en del av OS, och/eller en separat modul eller komponent i kommunikation med OS, till exempel. Som en del av operativsystemet identifierar medlingskomponenten engagerade icke-OS-applikationer på enheten och samlar in och övervakar aktivt information från de engagerade applikationerna för att härleda användarens arbetskontext. Det härledda sammanhanget kan sedan skickas till en av applikationerna, såsom webbläsaren på ett säkert sätt för att ge förbättrad rankning för de föreslagna frågorna genom den föredragna sökleverantören.

Kort sagt, Clippy på steroider.

Det största problemet med ett sådant system är förstås att personlig data läcker trots Microsofts förmodade integritetsskydd eller att läsa användarens sammanhang felaktigt vilket leder till mer frustration (ett annat Clippy-problem).

Å andra sidan skulle en mycket intelligent agent definitivt vara bättre om den visste allt om mig, och det finns många som säger att integriteten redan är död.

Patentet liknar på vissa sätt Googles Now on Tap eller Screen Search, som skrapar en ansökningsskärm för text och annan information och sedan startar en kontextuell Google-sökning. Det låter dock lite mer långtgående och mycket mer autonomt.

Vad tycker våra läsare om detta patent? Låt oss veta nedan.