Alih-alih 5 kamera, HoloLens 2.0 mungkin hanya memiliki satu

HoloLens generasi saat ini (di atas) sebenarnya memiliki 5 kamera – dua di setiap sisi untuk penginderaan kedalaman menggunakan pemancar titik infra-merah, seperti Kinect, dan kamera RGB tengah yang menggunakan cahaya ambient biasa untuk Simultaneous Localization and Mapping (SLAM), mirip dengan bagaimana kamera di headset Windows Mixed Reality dapat menghitung gerakan dan posisi relatif Anda berdasarkan pemandangan di lingkungan Anda.

Dalam paten baru yang diterapkan pada Maret 2017 dan diterbitkan hari ini, Microsoft menjelaskan kamera multi-spektral baru yang dapat menggantikan 5 kamera hanya dengan satu.

Abstrak untuk aplikasi, MULTI-SPECTRUM ILLUMINATION-AND-SENSOR MODUL UNTUK HEAD TRACKING, GESTURE RECOGNITION DAN SPASIAL MAPPING, berbunyi:

Perangkat dan metode menggunakan beberapa pemancar cahaya dengan sensor pencitraan multi-spektrum tunggal untuk melakukan penginderaan kedalaman berbasis cahaya inframerah multi-modal dan Pemetaan dan Pemetaan Simultan berbasis cahaya tampak (SLAM). Penginderaan kedalaman berbasis inframerah multi-modal dapat mencakup, misalnya, kombinasi apa pun dari pemetaan spasial berbasis inframerah, pelacakan tangan berbasis inframerah dan/atau pelabelan semantik berbasis inframerah. SLAM berbasis cahaya tampak mungkin termasuk pelacakan kepala, misalnya.

Microsoft lebih lanjut menjelaskan inovasi utama, sensor pencitraan multi-spektrum, seperti:

Gambar 4 secara skematis mengilustrasikan sensor multi-spektrum untuk mendeteksi cahaya tampak dan cahaya IR. Sensor multi-spektrum 400 mencakup dua jenis piksel sensor yang berbeda: piksel cahaya tampak dan piksel cahaya IR. Piksel cahaya tampak (masing-masing dilambangkan dengan "V" pada Gambar 4) sensitif terhadap cahaya tampak broadband (misalnya, dari 400 nm hingga 650 nm) dan memiliki kepekaan terbatas terhadap cahaya IR. Piksel cahaya IR (masing-masing dilambangkan dengan "IR" pada Gambar 4) sensitif terhadap cahaya IR dan memiliki sensitivitas terbatas terhadap crosstalk optik dari cahaya tampak. Dalam perwujudan yang diilustrasikan piksel IR dan piksel cahaya tampak diselingi pada sensor 400 seperti papan catur (yaitu, dua dimensi bolak-balik) mode. Sensor 400 multi-spektrum dapat digabungkan ke filter bandpass IR (tidak ditunjukkan pada Gambar 4) untuk meminimalkan jumlah cahaya IR sekitar yang masuk pada piksel cahaya IR. Dalam beberapa perwujudan, filter jalur pita melewatkan cahaya tampak dengan panjang gelombang dalam kisaran 400-650 nm dan pita sempit IR (misalnya, rentang panjang gelombang kurang dari 30 nm).

Dalam beberapa perwujudan, piksel cahaya tampak dari sensor multi-spektrum 400 secara kolektif berfungsi sebagai sensor pencitraan pasif untuk mengumpulkan cahaya tampak dan merekam gambar cahaya tampak skala abu-abu. Perangkat HMD dapat menggunakan gambar cahaya tampak untuk tujuan SLAM, seperti pelacakan kepala. Piksel cahaya IR dari sensor multi-spektrum 400 secara kolektif berfungsi sebagai sensor kamera kedalaman untuk mengumpulkan cahaya IR dan merekam gambar IR (juga disebut sebagai gambar IR monokrom) untuk penginderaan kedalaman, seperti untuk pelacakan tangan, pemetaan spasial dan/atau pelabelan semantik objek.

Mengurangi jumlah bagian dari HoloLens berikutnya, tentu saja, berpotensi mengurangi biaya, ukuran, kerumitan, dan konsumsi daya perangkat, yang dapat berarti HoloLens 2 yang lebih kecil dan lebih murah, yang tentu saja merupakan kebutuhan Microsoft untuk tetap bertahan. kompetitif.

HoloLens berikutnya diharapkan memiliki Unit Pemrosesan Holografik yang ditingkatkan dengan lebih banyak kemampuan AI, Dan peningkatan kamera kedalaman seperti Kinect. Tantangan utama Microsoft dengan Hololens baru adalah untuk meningkatkan bidang pandang, yang pada 35 derajat telah digambarkan sebagai melihat dunia melalui slot surat. Microsoft dilaporkan membawa pengembangan lensa secara internal untuk mencapai ini dengan biaya yang wajar.

HoloLens 2 dilaporkan akan didukung oleh yang baru-baru ini diumumkan Prosesor Qualcomm Snapdragon XR1, yang telah dirancang dengan tujuan memberikan pengalaman VR dan AR "berkualitas tinggi". Perangkat mungkin akan menjalankan versi ARM Windows 10 dengan Microsoft Mixed Reality UI.

Dengan generasi headset berikutnya diharapkan dalam 6 bulan ke depan, mudah-mudahan, kita akan melihat banyak inovasi yang dipatenkan ini muncul di perangkat yang sebenarnya.

Lihat paten lengkap di sini.