Замість 5 камер HoloLens 2.0 може мати лише одну

Поточне покоління HoloLens (вгорі) насправді має 5 камер – по дві з кожного боку для визначення глибини за допомогою інфрачервоних точкових випромінювачів, схожих на Kinect, і центральну камеру RGB, яка використовує звичайне навколишнє світло для одночасної локалізації та відображення (SLAM). подібно до того, як камери в гарнітурах Windows Mixed Reality здатні обчислювати відносний рух і положення на основі пейзажу у вашому оточенні.

У новому патенті, на який було подано заявку в березні 2017 року та опубліковано сьогодні, Microsoft описує нову мультиспектральну камеру, яка може замінити 5 камер лише однією.

Анотація до програми, МОДУЛЬ БАГАТОСПЕКТРАЛЬНОГО ОСВІТЛЕННЯ І ДАТЧИКІВ ДЛЯ ВІДТЕЖЕННЯ ГОЛОВИ, РОЗПОЗНАВАННЯ ЖЕСТОВ ТА ПРОСТОРОВОГО МАПЕРУВАННЯ:

Пристрій і метод використовують кілька випромінювачів світла з одним, багатоспектральним датчиком зображення, щоб виконувати мультимодальне зондування глибини на основі інфрачервоного світла та одночасну локалізацію та відображення на основі видимого світла (SLAM). Мультимодальне інфрачервоне зондування глибини може включати, наприклад, будь-яку комбінацію просторового відображення на основі інфрачервоного випромінювання, відстеження рук на основі інфрачервоного випромінювання та/або семантичного маркування на основі інфрачервоного випромінювання. SLAM на основі видимого світла може включати, наприклад, відстеження голови.

Microsoft далі пояснює ключову інновацію, багатоспектральний датчик зображення, як такий:

На малюнку 4 схематично показано багатоспектральний датчик для виявлення як видимого світла, так і ІЧ-світла. Багатоспектральний датчик 400 включає два різних типи пікселів сенсора: пікселі видимого світла та пікселі ІЧ світла. Пікселі видимого світла (кожен позначений буквою «V» на малюнку 4) чутливі до широкосмугового видимого світла (наприклад, від 400 нм до 650 нм) і мають обмежену чутливість до ІЧ-світла. Пікселі ІЧ-світла (кожен позначений «ІК» на малюнку 4) чутливі до ІЧ-світла та мають обмежену чутливість до оптичних перехресних перешкод від видимого світла. У ілюстрованому варіанті ІЧ-пікселі та пікселі видимого світла перемежовуються на сенсорі 400 в шаховому порядку (тобто двовимірно чергується) мода. Багатоспектральний датчик 400 можна під’єднати до смугового ІЧ-фільтра (не показано на малюнку 4), щоб мінімізувати кількість навколишнього ІЧ-світла, яке падає на пікселі ІЧ-світла. У деяких варіантах здійснення смуговий фільтр пропускає видиме світло з довжинами хвиль у діапазоні 400-650 нм і ІЧ-вузьким діапазоном (наприклад, діапазон довжини хвилі менше 30 нм).

У деяких варіантах здійснення пікселі видимого світла багатоспектрального датчика 400 разом служать як пасивний датчик зображення для збору видимого світла та запису зображень видимого світла у відтінках сірого. Пристрій HMD може використовувати зображення видимого світла для цілей SLAM, наприклад, для відстеження голови. Пікселі ІЧ-світла багатоспектрального датчика 400 разом служать датчиком камери глибини для збору ІЧ-світла та запису ІЧ-зображень (також званих монохромними ІЧ-зображеннями) для визначення глибини, наприклад для відстеження рук, просторового відображення та/або смислове маркування об’єктів.

Зменшення кількості деталей наступного HoloLens, звичайно, має потенціал зниження вартості, розміру, складності та енергоспоживання пристрою, що може означати менший і дешевший HoloLens 2, що, звісно, ​​є саме тим, що Microsoft має залишитися. конкурентоспроможний.

Очікується, що наступний HoloLens буде вдосконалений блок голографічної обробки з більшими можливостями AI, І покращена камера глибини, подібна до Kinect. Основна проблема Microsoft із новими Hololens — покращити поле зору, яке під кутом 35 градусів описується як погляд на світ через поштовий слот. Повідомляється, що Microsoft приносить розвиток внутрішніх лінз досягти цього за розумну вартість.

Як повідомляється, HoloLens 2 буде працювати на нещодавно анонсованому Процесор Qualcomm Snapdragon XR1, який був розроблений з метою надання «високої якості» VR та AR. Імовірно, пристрій працюватиме під керуванням ARM-версії Windows 10 з інтерфейсом Microsoft Mixed Reality UI.

Сподіваюся, що наступне покоління гарнітури очікується протягом наступних 6 місяців, ми побачимо, що багато з цих запатентованих інновацій з’являться в реальному пристрої.

Читати повний патент тут.