Eng Microsoft-patent zou ervoor zorgen dat Windows alles wat je doet zou bekijken, naar Bing zou sturen voor betere zoekresultaten

Als we door de Microsoft-octrooibibliotheek bladeren, komen we vaak ideeën tegen die we graag zouden willen implementeren, maar die nooit tot een product zijn gekomen.

Vandaag kwamen we het tegenovergestelde tegen - een idee waarvan we hopen dat het nooit komt.

Het patent, "QUERY FORMULATION VIA TASK CONTINUUM", gisteren gepubliceerd (22/9/2016), merkt op dat efficiënt zoeken wordt verbeterd als er meer informatie beschikbaar is over de intentie van de gebruiker, met als voorbeeld iemand die een schoolrapport over dansen maakt, en opmerkend dat ondanks dat de gebruiker al wat werk heeft gedaan, wanneer ze op de browser klikken om te zoeken, de zoekmachine geen idee zou hebben waar de gebruiker aan werkt, behalve wat ze in de zoekbalk hebben getypt.

Ze merken op:

Mensen gebruiken meerdere desktop-applicaties om een ​​enkele taak uit te voeren. Als een gebruiker bijvoorbeeld onderzoek doet naar het onderwerp 'dansen' voor school, zal de gebruiker een eerste applicatie gebruiken om dingen op te schrijven en een tweede applicatie zoals een browser om verschillende dansstijlen te doorzoeken. In bestaande systemen zijn de twee applicaties echter volledig losgekoppeld van elkaar. De eerste applicatie geeft de browser geen impliciete hints over wat de gebruiker zou kunnen zoeken wanneer er wordt overgeschakeld van de eerste applicatie naar de tweede applicatie. De gebruiker neemt taken waar in het geheel. Omdat applicaties echter meestal losgekoppeld zijn en op geen enkele manier worden bemiddeld door het besturingssysteem (OS), heeft het computersysteem geen idee van het algemene doel van de gebruiker.

De oplossing van Microsoft voor dit raadsel is om een ​​agent of "bemiddelaar" te laten kijken wat de gebruiker doet in "actieve toepassingen van derden" zoals een tekstverwerker PDF-lezer, afbeeldingen of tekst te herkennen van de foto's waarnaar ze kijken, muziek of geluid, hun locatie en andere contextuele gegevens, waarbij persoonlijk identificeerbare informatie uit deze gegevens wordt verwijderd en op de een of andere manier aan de zoekopdracht wordt toegevoegd om beter gerangschikte en meer gerichte resultaten te produceren.

Het patent merkt op:

De onthulde architectuur omvat een bemiddelingscomponent (bijv. een API (application program interface) als onderdeel van het besturingssysteem (OS)) die betrokken applicaties identificeert - applicaties waarmee de gebruiker interactie heeft voor taakvoltooiing (in tegenstelling tot slapende applicaties - applicaties die de gebruiker communiceert niet met voor taakvoltooiing), en verzamelt en controleert actief informatie van de betrokken applicaties (bijv. tekst die rechtstreeks aan de gebruiker wordt weergegeven, tekst ingebed in foto's, vingerafdruk van liedjes, enz.) om de werkcontext van een gebruiker af te leiden . De afgeleide context kan vervolgens worden overgedragen aan een van de applicaties, zoals een browser (de afgeleide context in een vorm die de privacybarrière niet overschrijdt) om een ​​betere rangschikking van de voorgestelde zoekopdrachten via de voorkeurszoekprovider te bieden. Aangezien de context wordt afgeleid in concepten, wordt er geen PII (persoonlijk identificeerbare informatie) gecommuniceerd zonder toestemming van de gebruiker - alleen contextuele concepten op zeer hoog niveau worden aan de zoekmachines verstrekt.
De architectuur maakt het mogelijk om signalen op te vangen (bijv. platte tekst die wordt weergegeven aan de gebruiker, tekst die wordt herkend uit afbeeldingen, audio van een nummer dat momenteel wordt afgespeeld, enzovoort), en clustert deze signalen in contextuele concepten. Deze signalen zijn gegevens op hoog niveau (bijvoorbeeld woorden) die helpen identificeren wat de gebruiker doet. Deze handeling van het vastleggen van signalen is tijdelijk, in die zin dat het constant kan veranderen (bijvoorbeeld vergelijkbaar met het lopende gemiddelde van contextuele concepten). De signalen kunnen continu veranderen op basis van wat de gebruiker doet op tijd T (en wat de gebruiker deed van T-10 tot tijd T).
Wanneer de browsertoepassing wordt gebruikt als de toepassing die de vastgelegde signalen gebruikt, zendt en ontvangt de browser (bijv. continu, periodiek, on-demand, enz.) met de bemiddelingscomponent via een bemiddelings-API van de bemiddelingscomponent om de nieuwste contextuele concepten.
Wanneer de gebruiker uiteindelijk interactie heeft met, of naar verwachting interactie zal hebben met de browser (zoals kan worden berekend als frequent voorkomend en/of gebaseerd op een geschiedenis van opeenvolgende gebruikersacties die ertoe leiden dat de gebruiker vervolgens interactie heeft met de browser), zijn de contextuele concepten worden samen met het zoekvoorvoegsel naar de zoekmachine gestuurd. De zoekmachine (bijv. Bing™ en Cortana™ (een intelligente persoonlijke assistent voor digitale spraakherkenning) van Microsoft Corporation) gebruikt contextuele rangschikkingen om de standaardrangschikking van de standaard voorgestelde zoekopdrachten aan te passen om relevantere voorgestelde zoekopdrachten voor dat moment te produceren. Het besturingssysteem, dat de functie van bemiddelingscomponent omvat, volgt alle tekstuele gegevens die door een toepassing aan de gebruiker worden weergegeven, en voert vervolgens clustering uit om de gebruikersintentie (contextueel) te bepalen.
De afgeleide gebruikersintentie die als signaal naar zoekmachines wordt gestuurd om de rangschikking van zoekopdrachtsuggesties te verbeteren, zorgt voor een overeenkomstige verbetering van de gebruikerservaring omdat de zoekopdrachtsuggesties relevanter zijn voor wat de gebruiker daadwerkelijk probeert te bereiken. De architectuur is niet beperkt tot tekst, maar kan herkende tekst in weergegeven foto's gebruiken, evenals de geolocatie-informatie (bijv. Global Positioning System (GPS)) die wordt geleverd als onderdeel van de fotometadata. Evenzo kan een ander signaal de audiovingerafdruk zijn van een nummer dat momenteel wordt afgespeeld.
Zoals aangegeven, wordt het ondubbelzinnig maken van zoekopdrachten opgelost dankzij de contextuele en gedeelde cache die door verschillende applicaties kan worden gebruikt om de zoekrelevantie te verbeteren, de privacy wordt gehandhaafd omdat er slechts een minimaal voldoende hoeveelheid informatie wordt verzonden van de ene applicatie naar de andere applicatie, en de afgeleide gebruikerscontext kan worden gedeeld tussen applicaties, componenten en apparaten.
De bemiddelingscomponent kan bijvoorbeeld onderdeel zijn van het OS, en/of een aparte module of component in communicatie met het OS. Als onderdeel van het besturingssysteem identificeert de bemiddelingscomponent betrokken niet-besturingssysteem-applicaties op het apparaat en verzamelt en bewaakt het actief informatie van de betrokken applicaties om de werkcontext van de gebruiker af te leiden. De afgeleide context kan vervolgens op een veilige manier worden doorgegeven aan een van de applicaties, zoals de browser, om een ​​betere rangschikking van de voorgestelde zoekopdrachten via de voorkeurszoekprovider te bieden.

Kortom, Clippy aan de steroïden.

De grootste zorg bij een dergelijk systeem is natuurlijk het lekken van persoonlijke gegevens ondanks de vermeende privacywaarborgen van Microsoft of het verkeerd lezen van de gebruikerscontext, wat tot meer frustratie leidt (nog een Clippy-probleem).

Aan de andere kant zou een zeer intelligente agent zeker beter zijn als hij alles over mij wist, en er zijn velen die zeggen dat privacy al dood is.

Het patent lijkt in sommige opzichten op Google's Now on Tap of Screen Search, dat een applicatiescherm doorzoekt op tekst en andere informatie en vervolgens een contextuele Google Search start. Het klinkt echter wat verder reikend en een stuk autonomer.

Wat vinden onze lezers van dit octrooi? Laat het ons hieronder weten.