Paten Microsoft yang menakutkan akan membuat Windows menonton semua yang Anda lakukan, mengirimkannya ke Bing, untuk hasil pencarian yang lebih baik

Menjelajah melalui perpustakaan paten Microsoft, kami sering menemukan ide yang kami harap dapat diterapkan, tetapi tidak pernah berhasil menjadi produk.

Hari ini kami menemukan yang sebaliknya – sebuah ide yang waktunya tidak akan pernah datang.

Paten, “FORMULASI QUERY VIA TASK CONTINUUM”, yang diterbitkan kemarin (22/9/2016), mencatat bahwa pencarian yang efisien ditingkatkan jika lebih banyak informasi tersedia mengenai niat pengguna, memberikan contoh seseorang melakukan laporan sekolah tentang menari, dan mencatat bahwa meskipun pengguna telah melakukan beberapa pekerjaan, ketika mereka menekan browser untuk mencari, mesin pencari tidak akan tahu apa yang sedang dikerjakan pengguna kecuali apa yang telah mereka ketik di bilah pencarian.

Mereka mencatat:

Orang menggunakan beberapa aplikasi desktop untuk menyelesaikan satu tugas. Misalnya, jika pengguna sedang meneliti topik "menari" untuk sekolah, pengguna akan menggunakan aplikasi pertama untuk menuliskan berbagai hal serta aplikasi kedua seperti browser, untuk mencari gaya menari yang berbeda. Namun, dalam sistem yang ada, kedua aplikasi benar-benar terputus satu sama lain. Aplikasi pertama tidak memberikan petunjuk implisit kepada browser tentang apa yang mungkin dicari pengguna ketika ada peralihan dari aplikasi pertama ke aplikasi kedua. Pengguna merasakan tugas dalam totalitas. Namun, karena aplikasi biasanya terputus, dan tidak dimediasi dengan cara apa pun oleh sistem operasi (OS), sistem komputasi tidak mengetahui tujuan keseluruhan pengguna.

Solusi Microsoft untuk teka-teki ini adalah memiliki agen atau "mediator" yang mengawasi apa yang dilakukan pengguna di "aplikasi pihak ketiga yang aktif" seperti pengolah kata pembaca PDF, mengenali gambar atau teks dari foto yang mereka lihat, mengenali musik atau suara, lokasinya, dan data kontekstual lainnya, menghapus informasi pengenal pribadi dari data ini, dan menambahkannya dalam beberapa cara ke kueri penelusuran untuk menghasilkan peringkat yang lebih baik dan hasil yang lebih fokus.

Catatan paten:

Arsitektur yang diungkapkan terdiri dari komponen mediasi (misalnya, API (antarmuka program aplikasi) sebagai bagian dari sistem operasi (OS)) yang mengidentifikasi aplikasi yang terlibat—aplikasi yang berinteraksi dengan pengguna untuk penyelesaian tugas (berbeda dengan aplikasi yang tidak aktif—aplikasi yang pengguna tidak berinteraksi dengan untuk penyelesaian tugas), dan mengumpulkan dan secara aktif memantau informasi dari aplikasi yang terlibat (misalnya, teks yang ditampilkan langsung ke pengguna, teks yang disematkan dalam foto, sidik jari lagu, dll.) untuk menyimpulkan konteks kerja pengguna . Konteks yang disimpulkan kemudian dapat diserahkan ke salah satu aplikasi, seperti browser (konteks yang disimpulkan dalam bentuk yang tidak melewati batasan privasi) untuk memberikan peringkat yang lebih baik untuk kueri yang disarankan melalui penyedia pencarian pilihan. Karena konteks disimpulkan ke dalam konsep, tidak ada PII (informasi pengenal pribadi) yang dikomunikasikan tanpa persetujuan pengguna—hanya konsep kontekstual tingkat sangat tinggi yang diberikan ke mesin telusur.
Arsitektur memungkinkan penangkapan sinyal (misalnya, teks biasa yang ditampilkan kepada pengguna, teks yang dikenali dari gambar, audio dari lagu yang sedang diputar, dan sebagainya), dan mengelompokkan sinyal-sinyal ini ke dalam konsep kontekstual. Sinyal-sinyal ini adalah data tingkat tinggi (misalnya, kata-kata) yang membantu mengidentifikasi apa yang dilakukan pengguna. Tindakan menangkap sinyal ini bersifat temporal, karena dapat terus berubah (misalnya, mirip dengan rata-rata menjalankan konsep kontekstual). Sinyal dapat terus berubah berdasarkan apa yang dilakukan pengguna pada waktu T (dan apa yang dilakukan pengguna dari T-10 hingga waktu T).
Saat menggunakan aplikasi browser sebagai aplikasi yang menggunakan sinyal yang ditangkap, browser menyiarkan dan menerima (misalnya, terus menerus, berkala, sesuai permintaan, dll.) dengan komponen mediasi melalui API mediasi dari komponen mediasi untuk mengambil kontekstual terbaru konsep.
Ketika pengguna akhirnya berinteraksi dengan, atau diantisipasi untuk berinteraksi dengan, browser (seperti yang dapat dihitung sebagai sering terjadi dan/atau berdasarkan riwayat tindakan pengguna berurutan yang mengakibatkan pengguna berinteraksi dengan browser berikutnya), konsep kontekstual dikirim ke penyedia pencarian bersama dengan awalan kueri. Mesin pencari (misalnya, Bing™ dan Cortana™ (asisten pengenalan suara digital pribadi yang cerdas) oleh Microsoft Corporation) menggunakan pemeringkat kontekstual untuk menyesuaikan peringkat default dari kueri yang disarankan default untuk menghasilkan kueri yang disarankan yang lebih relevan untuk saat itu. Sistem operasi, yang terdiri dari fungsi komponen mediasi, melacak semua data tekstual yang ditampilkan kepada pengguna oleh aplikasi apa pun, dan kemudian melakukan pengelompokan untuk menentukan maksud pengguna (secara kontekstual).
Maksud pengguna yang disimpulkan yang dikirim sebagai sinyal ke penyedia pencarian untuk meningkatkan peringkat saran kueri, memungkinkan peningkatan yang sesuai dalam pengalaman pengguna karena saran kueri lebih relevan dengan apa yang sebenarnya ingin dicapai pengguna. Arsitekturnya tidak terbatas pada teks, tetapi dapat memanfaatkan teks yang dikenali dalam foto yang ditampilkan serta informasi lokasi geografis (misalnya, sistem penentuan posisi global (GPS)) yang disediakan sebagai bagian dari metadata foto. Demikian pula, sinyal lain dapat berupa sidik jari audio dari lagu yang sedang diputar.
Seperti yang ditunjukkan, disambiguasi kueri diselesaikan karena cache kontekstual dan bersama yang dapat digunakan oleh berbagai aplikasi untuk meningkatkan relevansi pencarian, privasi dipertahankan karena hanya sedikit informasi yang dikirim dari satu aplikasi ke aplikasi lain, dan kesimpulan konteks pengguna dapat dibagikan di seluruh aplikasi, komponen, dan perangkat.
Komponen mediasi dapat menjadi bagian dari OS, dan/atau modul atau komponen terpisah dalam komunikasi dengan OS, misalnya. Sebagai bagian dari OS, komponen mediasi mengidentifikasi aplikasi non-OS yang terlibat pada perangkat dan, mengumpulkan dan secara aktif memantau informasi dari aplikasi yang terlibat untuk menyimpulkan konteks kerja pengguna. Konteks yang disimpulkan kemudian dapat diteruskan ke salah satu aplikasi, seperti browser dengan cara yang aman untuk memberikan peringkat yang ditingkatkan untuk kueri yang disarankan melalui penyedia pencarian pilihan.

Singkatnya, Clippy pada steroid.

Perhatian utama dengan sistem seperti itu tentu saja adalah kebocoran data pribadi meskipun Microsoft seharusnya menjaga privasi atau salah membaca konteks pengguna yang menyebabkan lebih banyak frustrasi (masalah Clippy lainnya).

Di sisi lain agen yang sangat cerdas pasti akan lebih baik jika tahu segalanya tentang saya, dan ada banyak yang mengatakan privasi sudah mati.

Paten dalam beberapa hal mirip dengan Google Now on Tap atau Pencarian Layar, yang menggores layar aplikasi untuk teks dan informasi lainnya dan kemudian meluncurkan Pencarian Google kontekstual. Namun itu terdengar sedikit lebih jauh jangkauannya dan jauh lebih otonom.

Apa pendapat pembaca kami tentang paten ini? Beri tahu kami di bawah ini.