Lo spaventoso brevetto Microsoft farebbe sì che Windows guardi tutto ciò che fai, lo invii a Bing, per risultati di ricerca migliori

Sfogliando la libreria dei brevetti Microsoft ci imbattiamo spesso in idee che vorremmo implementassero, ma che non sono mai arrivate a un prodotto.

Oggi ci siamo imbattuti nell'opposto, un'idea il cui momento speriamo non arrivi mai.

Il brevetto, "QUERY FORMULATION VIA TASK CONTINUUM", pubblicato ieri (22/9/2016), rileva che la ricerca efficiente è migliorata se sono disponibili maggiori informazioni sull'intento dell'utente, facendo l'esempio di qualcuno che fa una pagella scolastica sul ballo, e notando che, nonostante l'utente abbia già svolto del lavoro, quando ha colpito il browser per cercare il motore di ricerca non avrebbe avuto idea di cosa stia lavorando l'utente tranne che di ciò che ha digitato nella barra di ricerca.

Notano:

Le persone utilizzano più applicazioni desktop per completare una singola attività. Ad esempio, se un utente sta ricercando l'argomento "ballare" per la scuola, l'utente utilizzerà una prima applicazione per annotare le cose e una seconda applicazione come un browser, per cercare diversi stili di ballo. Tuttavia, nei sistemi esistenti, le due applicazioni sono completamente disconnesse l'una dall'altra. La prima applicazione non fornisce al browser suggerimenti impliciti su ciò che l'utente potrebbe cercare quando si passa dalla prima applicazione alla seconda applicazione. L'utente percepisce i compiti nella totalità. Tuttavia, poiché le applicazioni sono generalmente disconnesse e non mediate in alcun modo dal sistema operativo (OS), il sistema informatico non ha idea dell'obiettivo generale dell'utente.

La soluzione di Microsoft a questo enigma è avere un agente o un "mediatore" che osserva ciò che l'utente sta facendo in "applicazioni attive di terze parti" come un lettore PDF di elaboratori di testi, riconoscendo immagini o testo dalle foto che stanno guardando, riconoscendo musica o suono, la loro posizione e altri dati contestuali, rimuovendo le informazioni di identificazione personale da questi dati e aggiungendole in qualche modo alla query di ricerca per produrre risultati meglio classificati e più mirati.

Le note sul brevetto:

L'architettura divulgata comprende un componente di mediazione (ad es. un'API (Application Program Interface) come parte del sistema operativo (OS)) che identifica le applicazioni coinvolte, le applicazioni con cui l'utente interagisce per il completamento dell'attività (a differenza delle applicazioni dormienti, le applicazioni l'utente non interagisce per il completamento dell'attività) e raccoglie e monitora attivamente le informazioni dalle applicazioni coinvolte (ad es. testo visualizzato direttamente dall'utente, testo incorporato nelle foto, impronte digitali di brani, ecc.) per dedurre il contesto di lavoro di un utente . Il contesto dedotto può quindi essere passato a una delle applicazioni, come un browser (il contesto dedotto in un modulo che non supera la barriera della privacy) per fornire un ranking migliore per le query suggerite tramite il provider di ricerca preferito. Poiché il contesto è dedotto in concetti, nessuna PII (informazioni di identificazione personale) viene comunicata senza il consenso dell'utente: ai motori di ricerca vengono forniti solo concetti contestuali di livello molto alto.
L'architettura consente l'acquisizione di segnali (ad es. testo normale visualizzato dall'utente, testo riconosciuto dalle immagini, audio da un brano attualmente in riproduzione e così via) e raggruppa questi segnali in concetti contestuali. Questi segnali sono dati di alto livello (es. parole) che aiutano a identificare ciò che l'utente sta facendo. Questo atto di acquisizione dei segnali è temporale, in quanto può cambiare costantemente (ad esempio, simile alla media corrente di concetti contestuali). I segnali possono cambiare continuamente in base a ciò che l'utente sta facendo all'ora T (e ciò che l'utente ha fatto da T-10 fino all'ora T).
Quando si utilizza l'applicazione browser come l'applicazione che utilizza i segnali acquisiti, il browser trasmette e riceve (ad esempio, continuamente, periodicamente, su richiesta, ecc.) con il componente di mediazione tramite un'API di mediazione del componente di mediazione per recuperare l'ultima versione contestuale concetti.
Quando l'utente alla fine interagisce con, o si prevede che interagirà con il browser (come può essere calcolato che si verifica frequentemente e/o sulla base di una cronologia di azioni sequenziali dell'utente che si traducono nella successiva interazione dell'utente con il browser), i concetti contestuali vengono inviati al provider di ricerca insieme al prefisso della query. Il motore di ricerca (ad es. Bing™ e Cortana™ (un assistente di riconoscimento vocale digitale intelligente) di Microsoft Corporation) utilizza le classificazioni contestuali per regolare la classifica predefinita delle query suggerite predefinite per produrre query suggerite più pertinenti per il momento specifico. Il sistema operativo, che comprende la funzione di componente di mediazione, tiene traccia di tutti i dati testuali visualizzati all'utente da qualsiasi applicazione, quindi esegue il clustering per determinare l'intento dell'utente (contestualmente).
L'intento dell'utente dedotto inviato come segnale ai fornitori di ricerca per migliorare il ranking dei suggerimenti di query, consente un corrispondente miglioramento dell'esperienza dell'utente poiché i suggerimenti di query sono più pertinenti rispetto a ciò che l'utente sta effettivamente cercando di ottenere. L'architettura non è limitata al testo, ma può utilizzare il testo riconosciuto nelle foto visualizzate, nonché le informazioni di geolocalizzazione (ad esempio, il sistema di posizionamento globale (GPS)) fornite come parte dei metadati delle foto. Allo stesso modo, un altro segnale può essere l'impronta audio di un brano attualmente in riproduzione.
Come indicato, la disambiguazione delle query viene risolta grazie alla cache contestuale e condivisa che può essere utilizzata da varie applicazioni per migliorare la pertinenza della ricerca, la privacy viene mantenuta poiché solo una quantità minima di informazioni viene inviata da un'applicazione all'altra e il il contesto utente può essere condiviso tra applicazioni, componenti e dispositivi.
Il componente di mediazione può essere parte del sistema operativo e/o un modulo separato o un componente in comunicazione con il sistema operativo, ad esempio. Come parte del sistema operativo, il componente di mediazione identifica le applicazioni non del sistema operativo impegnate sul dispositivo e raccoglie e monitora attivamente le informazioni dalle applicazioni coinvolte per dedurre il contesto di lavoro dell'utente. Il contesto inferito può quindi essere passato a una delle applicazioni, come il browser, in modo sicuro per fornire un posizionamento migliore per le query suggerite tramite il provider di ricerca preferito.

In breve, Clippy sotto steroidi.

La preoccupazione principale di un tale sistema è ovviamente la perdita di dati personali nonostante le presunte salvaguardie della privacy di Microsoft o la lettura errata del contesto dell'utente che porta a una maggiore frustrazione (un altro problema di Clippy).

D'altra parte un agente molto intelligente sarebbe sicuramente meglio se sapesse tutto di me, e ci sono molti che dicono che la privacy è già morta.

Il brevetto è in qualche modo simile a Now on Tap o Screen Search di Google, che raschia la schermata dell'applicazione per testo e altre informazioni e quindi avvia una ricerca Google contestuale. Tuttavia suona un po' più lontano e molto più autonomo.

Cosa ne pensano i nostri lettori di questo brevetto? Facci sapere di seguito.