Spolupráca Microsoftu a Volkswagenu: Príbeh funkcie pohyblivej platformy HoloLens 2

Slúchadlá so zmiešanou realitou môžu byť skutočne užitočné, ale ich schopnosti čelia obmedzeniam pri použití v jednom špecifickom scenári: v pohybujúcom sa prostredí. Microsoft a Volkswagen našli na to riešenie spoločným úsilím, ktoré nám prinieslo režim „pohyblivá platforma“. HoloLens 2.

Volkswagen si predstavuje rozšírenú realitu ako hlavnú súčasť budúcich konceptov mobility. Začalo sa teda s rôznymi krokmi na preskúmanie technológie. V roku 2015 uskutočnila výskumný projekt s využitím samopilotovaných vozidiel a rozšírenej reality Systém Race Trainer naučiť jazdiť na pretekárskom okruhu. Zaviedla tiež head-up displej s rozšírenou realitou vo svojom ID. rodiny elektrických áut v roku 2020, kde sa na čelné sklo premietajú rôzne informácie o prostredí pred vozidlom (ako sú navigačné šípky a značenie jazdných pruhov).

„Myslíme si, že informácie o zmiešanej realite sú najintuitívnejšie informácie, ktoré môžeme poskytnúť na zlepšenie používateľského zážitku našich zákazníkov,“ povedal spoločnosti Microsoft Andro Kleen, vedúci tímu pre výskum údajov Dr. Volkswagen Group Innovation. „Pretože to, čo tam vidíte a čo potrebujete spracovať, je veľmi blízko tomu, čo ľudia bežne vidia a spracúvajú. Nie je to také abstraktné."

S túžbou vyťažiť z technológie viac použil nemecký výrobca motorových vozidiel HoloLens na ďalší výskumný projekt, kde bol umiestnený do pohybujúceho sa vozidla. Veci nedopadli dobre, bohužiaľ. Senzory strácali schopnosť sledovať a hologramy mizli. Problém poukázal na to, že dva snímače zariadenia súvisiace s pohybom zažívali zmätok v signáloch, ktoré zachytávali počas pohybu vozidla. Volkswagen s tým požiadal Microsoft o pomoc a cesta spoločností začala v roku 2018.

„Mali sme rozsiahle diskusie,“ hovorí Marc Pollefeys, vedecký riaditeľ spoločnosti Microsoft a odborník na 3D počítačové videnie a strojové učenie a teraz riaditeľ laboratória zmiešanej reality a AI spoločnosti Microsoft v Zürichu vo Švajčiarsku. „Predstavili svoje prípady použitia a to, čo dúfali, že umožnia. Dychtivo s nami spolupracovali pri hľadaní riešenia a boli schopní použiť HoloLens v týchto situáciách.“

Vzhľadom na pandémiu spôsobujúcu zmätok po celom svete, výskum zjavne čelil rôznym problémom. Obmedzenia COVID-19 vo Švajčiarsku zabránili tímu testovať technológiu vo vozidle s ostatnými cestujúcimi, takže Joshua Elsdon – senior softvérový inžinier spoločnosti Microsoft, ktorý je súčasťou projektu – na tom musel pracovať a vykonávať testy vo svojom byte v Zürichu.

„V mojom byte sme museli urobiť veľa testov. Nie sú to ideálne podmienky na rozvoj,“ hovorí Elsdon. "Všetky tieto veci sa robili na diaľku a distribuovali sa do rôznych krajín, čo bolo zaujímavé."

Neskôr tím testoval prototyp na Puget Sound jazdou na rekreačných lodiach, potom s Volkswagenom vo vozidlách.

„Pripojili sme polohovací systém, ktorý sleduje polohu vozidla,“ hovorí Michael Wittkämper, expert spoločnosti Volkswagen na rozšírenú realitu. „Takto sa nám podarilo umiestniť aj 3D prvky, ako sú informácie o bodoch záujmu mimo auta. To otvára úplne nové možnosti zobrazenia hologramov nielen v zornom poli vodiča smerujúceho dopredu, ale aj všade tam, kam sa používateľ s okuliarmi pozerá.“

Všetko sa stalo úspechom, čo umožnilo spoločnosti Microsoft zaviesť funkciu pohyblivej platformy. V súčasnosti je táto technológia veľkým lákadlom pre námorné spoločnosti, ktoré pomocou HoloLens spájajú posádky údržby na lodi, aby sa poradili s odborníkmi z iných lokalít. Microsoft má v budúcnosti s novou funkciou väčšie plány, konkrétne tam, kde ide o pohyblivé prostredia. Pollefeys tiež uviedol, že spoločnosť dúfa, že bude fungovať v každodennom živote prostredníctvom prenosných inteligentných okuliarov. Avšak s prúdom cenovky HoloLens 2 (3,500 5,199 až XNUMX XNUMX USD), plán môže byť stále ďaleko od reality, najmä ak Microsoft chce, aby sa zariadenie dostalo k bežným spotrebiteľom na trhu.