Сотрудничество Microsoft и Volkswagen: история создания функции подвижной платформы HoloLens 2

Гарнитуры смешанной реальности могут быть действительно полезными, но их возможности сталкиваются с ограничениями при использовании в одном конкретном сценарии: в движущейся среде. Microsoft и Volkswagen нашли решение для этого совместными усилиями, которые принесли нам режим «движущейся платформы» для HoloLens 2.

Volkswagen рассматривает дополненную реальность как основной компонент концепций мобильности будущего. Таким образом, он начал различные шаги для изучения технологии. В 2015 году компания провела исследовательский проект с использованием беспилотных транспортных средств и дополненной реальности. Система гоночного тренера научить вождению на гоночной трассе. Он также представил проекционный дисплей дополненной реальности в его идентификаторе. семейство электромобилей в 2020 году, в котором различная информация об окружающей среде перед автомобилем (например, навигационные стрелки и разметка полосы движения) проецируется на лобовое стекло.

«Мы думаем, что информация смешанной реальности — это наиболее интуитивно понятная информация, которую мы могли бы предоставить для улучшения пользовательского опыта наших клиентов», — сказал Microsoft Андро Клин, руководитель отдела исследований данных Dr. Volkswagen Group Innovation. «Потому что то, что вы там видите и что вам нужно обработать, очень близко к тому, что люди обычно видят и обрабатывают. Это не так абстрактно».

Стремясь получить больше от технологий, немецкий производитель автомобилей использовал HoloLens для другого исследовательского проекта, в котором он был помещен в движущееся транспортное средство. Дела пошли не очень, к сожалению. Сенсоры теряли способность отслеживать, а голограммы исчезали. Проблема указывала на то, что два связанных с движением датчика устройства испытывали путаницу в сигналах, которые они улавливали во время движения автомобиля. С этим Volkswagen обратился за помощью к Microsoft, и путешествие компаний началось в 2018 году.

«У нас были обширные обсуждения», — говорит Марк Поллефейс, научный директор Microsoft и эксперт в области трехмерного компьютерного зрения и машинного обучения, а ныне директор Microsoft Mixed Reality and AI Lab в Цюрихе, Швейцария. «Они представили свои варианты использования и то, что они надеялись реализовать. Они стремились работать с нами, чтобы найти решение и иметь возможность использовать HoloLens в таких ситуациях».

Поскольку пандемия вызвала хаос во всем мире, исследование, по-видимому, столкнулось с различными проблемами. Ограничения Covid-19 в Швейцарии не позволили команде протестировать технологию в автомобиле с другими пассажирами, поэтому Джошуа Элсдон — старший инженер-программист Microsoft, участвовавший в проекте, — должен был работать над ней и проводить испытания в своей квартире в Цюрихе.

«Нам пришлось провести много тестов в моей квартире. Это не идеальные условия для разработки», — говорит Элсдон. «Все это делалось удаленно и распространялось по разным странам, что было интересно».

Позже команда протестировала прототип в Пьюджет-Саунд, катаясь на прогулочных лодках, а затем на автомобилях Volkswagen.

«Мы подключили систему позиционирования, которая отслеживает местоположение автомобиля, — говорит Михаэль Витткампер, эксперт Volkswagen по дополненной реальности. «Таким образом, мы смогли также разместить 3D-элементы, такие как информация о достопримечательностях, за пределами автомобиля. Это открывает совершенно новые возможности для отображения голограмм не только в пределах поля зрения водителя, обращенного вперед, но и везде, куда смотрит пользователь в очках».

Все увенчалось успехом, что позволило Microsoft развернуть функцию подвижной платформы. В настоящее время эта технология очень привлекательна для морских компаний, которые используют HoloLens для связи ремонтных бригад на корабле с целью консультирования экспертов из других мест. У Microsoft большие планы на новую функцию в будущем, особенно в том, что касается движущихся сред. Поллефейс также сказал, что компания надеется сделать его функциональным в повседневной жизни с помощью портативных смарт-очков. Однако с текущим Ценники HoloLens 2 (от 3,500 до 5,199 долларов), план может быть далек от реальности, особенно если Microsoft хочет, чтобы устройство достигло рядовых потребителей на рынке.