La aterradora patente de Microsoft haría que Windows observara todo lo que haces y lo enviara a Bing para obtener mejores resultados de búsqueda

Al navegar por la biblioteca de patentes de Microsoft, a menudo nos encontramos con ideas que desearíamos que implementaran, pero que nunca llegaron a convertirse en un producto.

Hoy nos encontramos con lo contrario, una idea cuyo momento esperamos que nunca llegue.

La patente, “FORMULACIÓN DE CONSULTA A TRAVÉS DEL CONTINUO DE TAREAS”, publicada ayer (22/9/2016), señala que la búsqueda eficiente mejora si hay más información disponible sobre la intención del usuario, dando el ejemplo de alguien haciendo un informe escolar sobre baile, y teniendo en cuenta que a pesar de que el usuario ya ha hecho algo de trabajo, cuando presiona el navegador para buscar, el motor de búsqueda no tiene idea de en qué está trabajando el usuario, excepto lo que ha escrito en la barra de búsqueda.

Ellos notan:

Las personas usan múltiples aplicaciones de escritorio para completar una sola tarea. Por ejemplo, si un usuario está investigando el tema de “baile” para la escuela, el usuario utilizará una primera aplicación para anotar cosas y una segunda aplicación, como un navegador, para buscar diferentes estilos de baile. Sin embargo, en los sistemas existentes, las dos aplicaciones están completamente desconectadas entre sí. La primera aplicación no proporciona sugerencias implícitas al navegador sobre lo que el usuario podría estar buscando cuando hay un cambio de la primera aplicación a la segunda aplicación. El usuario percibe las tareas en su totalidad. Sin embargo, dado que las aplicaciones generalmente están desconectadas y no están mediadas de ninguna manera por el sistema operativo (SO), el sistema informático no tiene idea del objetivo general del usuario.

La solución de Microsoft a este dilema es tener un agente o "mediador" que observe lo que el usuario está haciendo en "aplicaciones activas de terceros", como un lector de PDF de procesador de texto, que reconozca imágenes o texto de las fotos que está mirando, que reconozca música o sonido, su ubicación y otros datos contextuales, eliminando la información de identificación personal de estos datos y agregándola de alguna manera a la consulta de búsqueda para producir resultados mejor clasificados y más enfocados.

La patente señala:

La arquitectura divulgada comprende un componente de mediación (p. ej., una API (interfaz de programa de aplicación) como parte del sistema operativo (SO)) que identifica las aplicaciones involucradas: aplicaciones con las que el usuario interactúa para completar la tarea (en contraste con las aplicaciones inactivas, aplicaciones que el el usuario no está interactuando para completar la tarea) y recopila y monitorea activamente la información de las aplicaciones involucradas (por ejemplo, texto que se muestra directamente al usuario, texto incrustado en fotos, huella digital de canciones, etc.) para inferir el contexto de trabajo de un usuario . Luego, el contexto inferido se puede transferir a una de las aplicaciones, como un navegador (el contexto inferido en una forma que no cruza la barrera de la privacidad) para proporcionar una clasificación mejorada para las consultas sugeridas a través del proveedor de búsqueda preferido. Dado que el contexto se infiere en conceptos, no se comunica PII (información de identificación personal) sin el consentimiento del usuario; solo se proporcionan conceptos contextuales de muy alto nivel a los motores de búsqueda.
La arquitectura permite la captura de señales (por ejemplo, texto sin formato que se muestra al usuario, texto reconocido de imágenes, audio de una canción que se está reproduciendo, etc.) y agrupa estas señales en conceptos contextuales. Estas señales son datos de alto nivel (por ejemplo, palabras) que ayudan a identificar lo que está haciendo el usuario. Este acto de capturar señales es temporal, ya que puede cambiar constantemente (por ejemplo, similar al promedio móvil de conceptos contextuales). Las señales pueden cambiar continuamente según lo que esté haciendo el usuario en el momento T (y lo que haya hecho el usuario desde T-10 hasta el momento T).
Cuando se usa la aplicación del navegador como la aplicación que usa las señales capturadas, el navegador transmite y recibe (p. ej., de forma continua, periódica, a pedido, etc.) con el componente de mediación a través de una API de mediación del componente de mediación para obtener la información contextual más reciente. conceptos.
Cuando el usuario finalmente interactúa con el navegador, o se anticipa que interactuará con él (como puede calcularse como algo que ocurre con frecuencia y/o en base a un historial de acciones secuenciales del usuario que dan como resultado que el usuario interactúe con el navegador a continuación), los conceptos contextuales se envían al proveedor de búsqueda junto con el prefijo de consulta. El motor de búsqueda (p. ej., Bing™ y Cortana™ (un asistente de reconocimiento de voz digital personal inteligente) de Microsoft Corporation) utiliza clasificadores contextuales para ajustar la clasificación predeterminada de las consultas sugeridas predeterminadas para producir consultas sugeridas más relevantes para el momento dado. El sistema operativo, que comprende la función del componente de mediación, rastrea todos los datos textuales que cualquier aplicación muestra al usuario y luego realiza la agrupación para determinar la intención del usuario (contextualmente).
La intención del usuario inferida enviada como una señal a los proveedores de búsqueda para mejorar la clasificación de las sugerencias de consulta, permite una mejora correspondiente en la experiencia del usuario, ya que las sugerencias de consulta son más relevantes para lo que el usuario realmente está tratando de lograr. La arquitectura no está restringida al texto, sino que puede utilizar texto reconocido en las fotos mostradas, así como la información de ubicación geográfica (p. ej., sistema de posicionamiento global (GPS)) proporcionada como parte de los metadatos de la foto. De manera similar, otra señal puede ser la huella digital de audio de una canción que se está reproduciendo actualmente.
Como se indicó, la desambiguación de consultas se resuelve debido a la memoria caché contextual y compartida que pueden utilizar varias aplicaciones para mejorar la relevancia de la búsqueda, se mantiene la privacidad ya que solo se envía una cantidad de información mínimamente suficiente de una aplicación a otra, y el inferido El contexto del usuario se puede compartir entre aplicaciones, componentes y dispositivos.
El componente de mediación puede ser parte del sistema operativo y/o un módulo o componente separado en comunicación con el sistema operativo, por ejemplo. Como parte del sistema operativo, el componente de mediación identifica las aplicaciones que no pertenecen al sistema operativo en el dispositivo y recopila y monitorea activamente la información de las aplicaciones involucradas para inferir el contexto de trabajo del usuario. Luego, el contexto inferido se puede pasar a una de las aplicaciones, como el navegador, de manera segura para proporcionar una clasificación mejorada para las consultas sugeridas a través del proveedor de búsqueda preferido.

En resumen, Clippy con esteroides.

La principal preocupación con un sistema de este tipo es, por supuesto, la filtración de datos personales a pesar de las supuestas garantías de privacidad de Microsoft o la lectura incorrecta del contexto del usuario, lo que genera más frustración (otro problema de Clippy).

Por otro lado, un agente muy inteligente definitivamente sería mejor si supiera todo sobre mí, y hay muchos que dicen que la privacidad ya está muerta.

La patente es en cierto modo similar a Now on Tap o Screen Search de Google, que raspa la pantalla de una aplicación en busca de texto y otra información y luego inicia una búsqueda contextual de Google. Sin embargo, suena un poco más de largo alcance y mucho más autónomo.

¿Qué opinan nuestros lectores de esta patente? Háganos saber a continuación.