Skremmende Microsoft-patent ville få Windows til å se alt du gjør, sende det til Bing for bedre søkeresultater

Når vi blar gjennom Microsofts patentbibliotek, kommer vi ofte over ideer som vi skulle ønske de implementerte, men som aldri ble til et produkt.

I dag kom vi over det motsatte – en idé hvis tid vi håper aldri kommer.

Patentet, "QUERY FORMULATION VIA TASK CONTINUUM", publisert i går (22/9/2016), bemerker at effektivt søk forbedres hvis mer informasjon er tilgjengelig om brukerens hensikt, og gir et eksempel på at noen lager en skolerapport om dans, og bemerker at til tross for at brukeren allerede har gjort noe arbeid, når de trykker på nettleseren for å søke, ville søkemotoren ikke ha noen anelse om hva brukeren jobber med bortsett fra det de har skrevet inn i søkefeltet.

De bemerker:

Folk bruker flere skrivebordsapplikasjoner for å fullføre en enkelt oppgave. For eksempel, hvis en bruker forsker på temaet "dans" for skolen, vil brukeren bruke en første applikasjon for å skrive ned ting, samt en annen applikasjon, for eksempel en nettleser, for å søke i forskjellige dansestiler. I eksisterende systemer er imidlertid de to applikasjonene fullstendig frakoblet hverandre. Den første applikasjonen gir ikke nettleseren implisitte hint om hva brukeren kan være ute etter når det er en overgang fra den første applikasjonen til den andre applikasjonen. Brukeren oppfatter oppgaver i helheten. Siden applikasjoner vanligvis er frakoblet og ikke mediert på noen måte av operativsystemet (OS), har datasystemet ingen anelse om brukerens overordnede mål.

Microsofts løsning på denne gåten er å ha en agent eller «formidler» som ser på hva brukeren gjør i «aktive tredjepartsapplikasjoner» som en tekstbehandler PDF-leser, gjenkjenner bilder eller tekst fra bildene de ser på, gjenkjenner musikk eller lyd, deres plassering og andre kontekstuelle data, fjerner personlig identifiserbar informasjon fra disse dataene, og legger den til på en eller annen måte i søket for å gi bedre rangerte og mer fokuserte resultater.

Patentet bemerker:

Den beskrevne arkitekturen omfatter en formidlingskomponent (f.eks. et API (applikasjonsprogramgrensesnitt) som en del av operativsystemet (OS)) som identifiserer engasjerte applikasjoner – applikasjoner brukeren samhandler med for å fullføre oppgaven (i motsetning til sovende applikasjoner – applikasjoner brukeren ikke samhandler med for å fullføre oppgaven), og samler inn og overvåker aktivt informasjon fra de engasjerte applikasjonene (f.eks. tekst vist direkte til brukeren, tekst innebygd i bilder, fingeravtrykk av sanger osv.) for å utlede arbeidskonteksten til en bruker . Den utledede konteksten kan deretter overleveres til en av applikasjonene, for eksempel en nettleser (den utledede konteksten i en form som ikke krysser personvernbarrieren) for å gi forbedret rangering for de foreslåtte søkene gjennom den foretrukne søkeleverandøren. Siden konteksten er utledet til konsepter, kommuniseres ingen PII (personlig identifiserbar informasjon) uten brukerens samtykke – bare kontekstuelle konsepter på svært høyt nivå blir gitt til søkemotorene.
Arkitekturen muliggjør fangst av signaler (f.eks. ren tekst som vises til brukeren, tekst gjenkjent fra bilder, lyd fra en sang som spilles, og så videre), og grupperer disse signalene i kontekstuelle konsepter. Disse signalene er data på høyt nivå (f.eks. ord) som hjelper til med å identifisere hva brukeren gjør. Denne handlingen med å fange signaler er tidsmessig, ved at den kan være i konstant endring (f.eks. lik løpende gjennomsnitt av kontekstuelle konsepter). Signalene kan endres kontinuerlig basert på hva brukeren gjør på tidspunkt T (og hva brukeren gjorde fra T-10 til tidspunkt T).
Når du bruker nettleserapplikasjonen som applikasjonen som bruker de fangede signalene, kringkaster og mottar nettleseren (f.eks. kontinuerlig, med jevne mellomrom, on-demand, etc.) med medieringskomponenten gjennom en medierings-API for medieringskomponenten for å hente siste kontekst. begreper.
Når brukeren til slutt interagerer med, eller forventes å samhandle med, nettleseren (som kan beregnes som å forekomme ofte og/eller basert på en historie med sekvensielle brukerhandlinger som resulterer i at brukeren samhandler med nettleseren neste gang), de kontekstuelle konseptene sendes til søkeleverandøren sammen med søkeprefikset. Søkemotoren (f.eks. Bing™ og Cortana™ (en intelligent personlig digital talegjenkjenningsassistent) fra Microsoft Corporation) bruker kontekstuelle rangeringer for å justere standardrangeringen av standard foreslåtte spørringer for å produsere mer relevante foreslåtte spørringer for tidspunktet. Operativsystemet, som omfatter funksjonen som formidlingskomponent, sporer alle tekstdata som vises til brukeren av en hvilken som helst applikasjon, og utfører deretter gruppering for å bestemme brukerens hensikt (kontekstuelt).
Den utledede brukerintensjonen som sendes som et signal til søkeleverandører om å forbedre rangeringen av søkeforslag, muliggjør en tilsvarende forbedring i brukeropplevelsen ettersom søkeforslagene er mer relevante for hva brukeren faktisk prøver å oppnå. Arkitekturen er ikke begrenset til tekst, men kan bruke gjenkjent tekst i viste bilder, så vel som informasjonen om geografisk plassering (f.eks. globalt posisjoneringssystem (GPS)) gitt som en del av fotometadataene. På samme måte kan et annet signal være lydfingeravtrykket til en sang som spilles.
Som antydet løses disambiguering av spørringer på grunn av den kontekstuelle og delte hurtigbufferen som kan brukes av forskjellige applikasjoner for å forbedre søkerelevansen, personvernet opprettholdes siden bare en minimalt tilstrekkelig mengde informasjon sendes fra en applikasjon til en annen applikasjon, og den utledede brukerkontekst kan deles på tvers av applikasjoner, komponenter og enheter.
Formidlingskomponenten kan for eksempel være en del av OS, og/eller en egen modul eller komponent i kommunikasjon med OS. Som en del av operativsystemet identifiserer medieringskomponenten engasjerte ikke-OS-applikasjoner på enheten, og samler og overvåker aktivt informasjon fra de engasjerte applikasjonene for å utlede brukerens arbeidskontekst. Den utledede konteksten kan deretter overføres til en av applikasjonene, for eksempel nettleseren på en sikker måte for å gi forbedret rangering for de foreslåtte søkene gjennom den foretrukne søkeleverandøren.

Kort sagt, Clippy på steroider.

Hovedproblemet med et slikt system er selvfølgelig at personopplysninger lekker til tross for Microsofts antatte personverntiltak eller feillesing av brukerens kontekst som fører til mer frustrasjon (et annet Clippy-problem).

På den annen side ville en veldig intelligent agent definitivt vært bedre hvis den visste alt om meg, og det er mange som sier at privatlivet allerede er dødt.

Patentet ligner på noen måter Googles Now on Tap eller Screen Search, som skraper en applikasjonsskjerm for tekst og annen informasjon og deretter starter et kontekstuelt Google-søk. Det høres imidlertid litt mer vidtrekkende ut og mye mer autonomt.

Hva synes våre lesere om dette patentet? Gi oss beskjed nedenfor.