Співпраця Microsoft і Volkswagen: історія функції рухомої платформи HoloLens 2

Гарнітури змішаної реальності можуть бути дійсно корисними, але їх здатність стикається з обмеженнями, якщо вони використовуються в одному конкретному сценарії: рухомому середовищі. Microsoft та Volkswagen знайшли рішення для цього спільними зусиллями, які принесли нам режим «рухомої платформи». HoloLens 2.

Volkswagen бачить доповнену реальність як основний компонент майбутніх концепцій мобільності. Отже, почалися різні кроки для вивчення технології. У 2015 році вона провела дослідницький проект із використанням самопілотованих транспортних засобів та доповненої реальності для свого Система Race Trainer навчати водінню на гоночній трасі. Він також представив проекционний дисплей доповненої реальності у його ідентифікаторі. сімейство електромобілів 2020 року, де різна інформація про навколишнє середовище перед транспортним засобом (наприклад, навігаційні стрілки та розмітка смуги руху) проектується на лобове скло.

«Ми вважаємо, що інформація змішаної реальності – це найбільш інтуїтивно зрозуміла інформація, яку ми можемо надати для покращення користувацького досвіду наших клієнтів», – сказав Microsoft, голова групи Data Science Dr. Volkswagen Group Innovation Андро Клін. «Тому що те, що ви там бачите і що вам потрібно обробити, дуже близьке до того, що люди зазвичай бачать і обробляють. Це не так абстрактно».

Прагнучи отримати більше від технологій, німецький виробник автомобілів використав HoloLens для іншого дослідницького проекту, де його помістили в рухомий автомобіль. Справи йшли не добре, на жаль. Датчики втрачали здатність відстежувати, а голограми зникали. Проблема вказувала на те, що два датчики, пов’язані з рухом пристрою, відчували плутанину в сигналах, які вони вловлювали під час руху автомобіля. У цьому Volkswagen звернувся за допомогою до Microsoft, і шлях компаній почався в 2018 році.

«У нас були широкі дискусії, — каже Марк Поллефейс, науковий директор Microsoft і експерт з 3D-комп’ютерного бачення та машинного навчання, а нині директор лабораторії змішаної реальності та штучного інтелекту Microsoft у Цюріху, Швейцарія. «Вони представили свої варіанти використання та те, що вони сподівалися увімкнути. Вони прагнули працювати з нами, щоб знайти рішення та мати можливість використовувати HoloLens у таких ситуаціях».

Оскільки пандемія спричинила хаос по всьому світу, дослідження, очевидно, зіткнулися з різними проблемами. Обмеження Covid-19 у Швейцарії не дозволили команді протестувати технологію в транспортному засобі з іншими пасажирами, тому Джошуа Елсдон, старший інженер-програміст Microsoft, який брав участь у проекті, мав працювати над цим і проводити тести у своїй квартирі в Цюріху.

«Нам довелося зробити багато тестів у моїй квартирі. Це не ідеальні умови розвитку», – каже Елсдон. «Все це робилося дистанційно та розповсюджувалося в різних країнах, що було цікаво».

Пізніше команда випробувала прототип на Пьюджет-Саунд, катаючись на човнах для відпочинку, а потім із Volkswagen всередині транспортних засобів.

«Ми підключили систему позиціонування, яка відстежує місцезнаходження автомобіля», — каже Майкл Вітткампер, експерт з доповненої реальності Volkswagen. «Таким чином ми також змогли розмістити 3D-елементи, такі як інформація про визначні місця за межами автомобіля. Це відкриває абсолютно нові можливості для відображення голограм не лише в полі зору водія, спрямованому вперед, але й усюди, куди дивиться користувач в окулярах».

Усе стало успішним, дозволивши Microsoft запровадити функцію рухомої платформи. В даний час ця технологія є великою привабливістю для морських компаній, які використовують HoloLens для підключення екіпажів технічного обслуговування на кораблі для консультацій з експертами з інших місць. Microsoft має більші плани щодо нової функції в майбутньому, зокрема, коли це стосується рухомого середовища. Поллефейс також сказав, що компанія сподівається зробити його функціональним у повсякденному житті за допомогою портативних розумних окулярів. Проте з поточним цінники HoloLens 2 (від 3,500 до 5,199 доларів), план все ще може бути далеким від реальності, особливо якщо Microsoft хоче, щоб пристрій охопив звичайних споживачів на ринку.