Skræmmende Microsoft-patent ville få Windows til at se alt, hvad du gør, sende det til Bing for bedre søgeresultater

Når vi gennemser Microsofts patentbibliotek, støder vi ofte på ideer, som vi gerne ville have implementeret, men som aldrig nåede frem til et produkt.

I dag stødte vi på det modsatte – en idé, hvis tid vi håber aldrig kommer.

Patentet, "QUERY FORMULATION VIA TASK CONTINUUM", offentliggjort i går (22/9/2016), bemærker, at effektiv søgning forbedres, hvis der er mere information tilgængelig om brugerens hensigt, hvilket giver eksemplet med en person, der laver en skolerapport om dans, og bemærker, at på trods af at brugeren allerede har udført noget arbejde, når de trykker på browseren for at søge, ville søgemaskinen ikke have nogen idé om, hvad brugeren arbejder på, bortset fra hvad de har indtastet i søgefeltet.

De bemærker:

Folk bruger flere desktop-applikationer for at udføre en enkelt opgave. For eksempel, hvis en bruger undersøger emnet "dans" til skolen, vil brugeren bruge en første applikation til at skrive ting ned såvel som en anden applikation, såsom en browser, til at søge i forskellige dansestile. Men i eksisterende systemer er de to applikationer fuldstændig adskilt fra hinanden. Den første applikation giver ikke browseren implicitte hints om, hvad brugeren søger, når der skiftes fra den første applikation til den anden applikation. Brugeren opfatter opgaver i helheden. Men da applikationer typisk er afbrudt og ikke på nogen måde medieret af operativsystemet (OS), har computersystemet ingen idé om det overordnede mål for brugeren.

Microsofts løsning på denne gåde er at have en agent eller "mægler", der ser, hvad brugeren laver i "aktive tredjepartsapplikationer", såsom en tekstbehandlings-PDF-læser, genkender billeder eller tekst fra de billeder, de ser på, genkender musik eller lyd, deres placering og andre kontekstuelle data, fjerner personligt identificerbare oplysninger fra disse data og tilføjer dem på en eller anden måde til søgeforespørgslen for at producere bedre rangerede og mere fokuserede resultater.

Patentet noterer:

Den beskrevne arkitektur omfatter en formidlingskomponent (f.eks. en API (applikationsprogramgrænseflade) som en del af operativsystemet (OS)), der identificerer engagerede applikationer - applikationer, som brugeren interagerer med til opgavefuldførelse (i modsætning til sovende applikationer - applikationer brugeren ikke interagerer med for at udføre opgaven), og indsamler og overvåger aktivt information fra de engagerede applikationer (f.eks. tekst vist direkte til brugeren, tekst indlejret i billeder, fingeraftryk af sange osv.) for at udlede en brugers arbejdskontekst . Den udledte kontekst kan derefter overdrages til en af ​​applikationerne, såsom en browser (den udledte kontekst i en form, der ikke krydser privatlivsbarrieren) for at give forbedret rangering af de foreslåede forespørgsler gennem den foretrukne søgeudbyder. Da konteksten udledes i begreber, kommunikeres ingen PII (personligt identificerbar information) uden brugerens samtykke - kun kontekstuelle begreber på meget højt niveau leveres til søgemaskinerne.
Arkitekturen muliggør indfangning af signaler (f.eks. almindelig tekst, der vises til brugeren, tekst genkendt fra billeder, lyd fra en sang, der afspilles i øjeblikket, og så videre), og grupperer disse signaler i kontekstuelle begreber. Disse signaler er data på højt niveau (f.eks. ord), der hjælper med at identificere, hvad brugeren gør. Denne handling med at fange signaler er tidsmæssig, idet den konstant kan ændre sig (f.eks. svarende til løbende gennemsnit af kontekstuelle begreber). Signalerne kan løbende ændre sig baseret på, hvad brugeren laver på tidspunkt T (og hvad brugeren gjorde fra T-10 op til tidspunkt T).
Når du bruger browserapplikationen som den applikation, der bruger de opfangede signaler, udsender og modtager browseren (f.eks. kontinuerligt, periodisk, on-demand osv.) med formidlingskomponenten gennem en formidlings-API af formidlingskomponenten for at hente den seneste kontekst. begreber.
Når brugeren til sidst interagerer med eller forventes at interagere med browseren (som kan beregnes som at forekomme hyppigt og/eller baseret på en historik med sekventielle brugerhandlinger, der resulterer i, at brugeren interagerer med browseren næste gang), de kontekstuelle begreber sendes til søgeudbyderen sammen med forespørgselspræfikset. Søgemaskinen (f.eks. Bing™ og Cortana™ (en intelligent personlig digital talegenkendelsesassistent) fra Microsoft Corporation) bruger kontekstuelle rangordninger til at justere standardrangeringen af ​​de foreslåede standardforespørgsler for at producere mere relevante foreslåede forespørgsler for det pågældende tidspunkt. Operativsystemet, der omfatter funktionen som formidlingskomponent, sporer alle tekstdata, der vises til brugeren af ​​enhver applikation, og udfører derefter klyngedannelse for at bestemme brugerhensigten (kontekstuelt).
Den udledte brugerhensigt, der sendes som et signal til søgeudbydere om at forbedre rangeringen af ​​forespørgselsforslag, muliggør en tilsvarende forbedring af brugeroplevelsen, da forespørgselsforslagene er mere relevante i forhold til, hvad brugeren rent faktisk forsøger at opnå. Arkitekturen er ikke begrænset til tekst, men kan bruge genkendt tekst i viste fotos samt geo-placeringsoplysningerne (f.eks. Global Positioning System (GPS)), der leveres som en del af fotometadataene. På samme måde kan et andet signal være lydfingeraftrykket af en sang, der afspilles i øjeblikket.
Som angivet er forespørgselsdisambiguation løst på grund af den kontekstuelle og delte cache, som kan bruges af forskellige applikationer til at forbedre søgerelevansen, privatlivets fred bevares, da kun en minimalt tilstrækkelig mængde information sendes fra den ene applikation til den anden applikation, og den udledte brugerkontekst kan deles på tværs af applikationer, komponenter og enheder.
Mediationskomponenten kan fx være en del af OS og/eller et separat modul eller komponent i kommunikation med OS. Som en del af operativsystemet identificerer formidlingskomponenten engagerede ikke-OS-applikationer på enheden og indsamler og overvåger aktivt information fra de engagerede applikationer for at udlede brugerens arbejdskontekst. Den udledte kontekst kan derefter videregives til en af ​​applikationerne, såsom browseren, på en sikker måde for at give forbedret rangering af de foreslåede forespørgsler gennem den foretrukne søgeudbyder.

Kort sagt, Clippy på steroider.

Den største bekymring med et sådant system er naturligvis, at personlige data lækker på trods af Microsofts formodede beskyttelse af privatlivets fred eller at læse brugerens kontekst forkert, hvilket fører til mere frustration (et andet Clippy-problem).

På den anden side ville en meget intelligent agent helt sikkert være bedre, hvis den vidste alt om mig, og der er mange, der siger, at privatlivet allerede er dødt.

Patentet ligner på nogle måder Googles Now on Tap eller Screen Search, som skraber en ansøgningsskærm for tekst og anden information og derefter lancerer en kontekstuel Google-søgning. Det lyder dog lidt mere vidtrækkende og meget mere autonomt.

Hvad synes vores læsere om dette patent? Fortæl os nedenfor.