Peneliti Microsoft sedang mengerjakan sistem untuk pelacakan gerakan tangan yang tepat

Pelacakan gerak bukanlah hal baru bagi Microsoft, kami telah melihat keahlian mereka dalam produk komersial seperti Microsoft Kinect. Tim visi komputer Microsoft Research sekarang sedang mengerjakan kemajuan terbaru dalam pelacakan tangan yang terperinci. Mereka telah menciptakan sistem yang dapat melacak tangan dengan lancar, cepat dan akurat – secara real time – tetapi dapat berjalan pada gadget konsumen biasa. Sistem ini dapat digunakan dengan aplikasi Virtual Reality.

Sistem tersebut, yang masih merupakan proyek penelitian untuk saat ini, dapat melacak gerakan tangan secara mendetail dengan atau tanpa headset realitas virtual, memungkinkan pengguna untuk menyodok boneka kelinci yang lembut, memutar kenop, atau memutar tombol.

Terlebih lagi, sistem memungkinkan Anda melihat apa yang dilakukan tangan Anda, memperbaiki pemutusan umum dan membingungkan yang terjadi ketika orang berinteraksi dengan realitas virtual tetapi tidak dapat melihat tangan mereka sendiri.

HoloLens sudah termasuk dukungan gerakan yang memungkinkan pengguna untuk berinteraksi dengan Hologram. Semoga, proyek baru dari MSR ini akan semakin meningkatkan pengalaman input gestur di HoloLens.

Abstrak Proyek:

Pelacakan tangan yang diartikulasikan sepenuhnya menjanjikan untuk memungkinkan interaksi baru yang mendasar dengan dunia virtual dan augmented, tetapi akurasi dan efisiensi yang terbatas dari sistem saat ini telah mencegah adopsi yang meluas. Paradigma dominan saat ini menggunakan pembelajaran mesin untuk inisialisasi dan pemulihan diikuti oleh optimasi model-?tting iteratif untuk mencapai pose ?t yang terperinci. Kami mengikuti paradigma ini, namun melakukan beberapa perubahan pada model-?tting, yaitu menggunakan: (1) fungsi tujuan yang lebih diskriminatif; (2) model permukaan halus yang menyediakan gradien untuk optimasi non-linier; dan (3) optimasi gabungan atas pose model dan korespondensi antara titik data yang diamati dan permukaan model. Sementara masing-masing perubahan ini sebenarnya dapat meningkatkan biaya per iterasi, kami menemukan penurunan kompensasi dalam jumlah iterasi. Selanjutnya, cekungan konvergensi yang luas berarti bahwa titik awal yang lebih sedikit diperlukan untuk keberhasilan model. Sistem kami berjalan secara real-time pada CPU saja, yang membebaskan GPU yang biasanya terlalu terbebani untuk desainer berpengalaman. Pelacak tangan cukup efisien untuk dijalankan pada perangkat berdaya rendah seperti tablet. Kami dapat melacak hingga beberapa meter dari kamera untuk memberikan volume kerja yang besar untuk interaksi, bahkan menggunakan data yang bising dari kamera kedalaman generasi saat ini. Penilaian kuantitatif pada kumpulan data standar menunjukkan bahwa pendekatan baru ini melebihi keadaan seni dalam hal akurasi. Hasil kualitatif berupa rekaman langsung dari berbagai pengalaman interaktif yang dimungkinkan oleh pendekatan baru ini.

Baca lebih lanjut tentang ini proyek di sini.