Microsoft och Volkswagen Collaboration: The Story Behind HoloLens 2:s Moving Platform Feature

Mixed reality-headset kan vara riktigt användbara, men deras förmåga möter begränsningar när de används i ett specifikt scenario: en rörlig miljö. Microsoft och Volkswagen har hittat en lösning för detta genom en gemensam satsning som gav oss läget "rörlig plattform" för HoloLens 2.

Volkswagen föreställer sig utökad verklighet som en viktig komponent i framtida mobilitetskoncept. Så det började med olika steg för att utforska tekniken. Under 2015 genomförde det ett forskningsprojekt med hjälp av självstyrda fordon och förstärkt verklighet för sina Race Trainer system att lära ut körning på en racingbana. Det introducerade också förstärkt verklighet head-up display i sitt ID. familj av elbilar 2020, där olika information om miljön framför fordonet (som navigationspilar och filmarkeringar) projiceras på vindrutan.

"Vi tror att mixed reality-information är den mest intuitiva informationen vi kan tillhandahålla för att förbättra våra kunders användarupplevelse", säger Dr. Volkswagen Group Innovations datavetenskapsteamchef Andro Kleen till Microsoft. "Eftersom det du ser där, och det du behöver bearbeta, är väldigt nära det som människor normalt ser och bearbetar. Det är inte så abstrakt.”

Med en strävan att få ut mer av tekniken använde den tyska motorfordonstillverkaren HoloLens för ett annat forskningsprojekt, där den placerades i ett fordon i rörelse. Det gick inte bra, tyvärr. Sensorerna förlorade sin spårningsförmåga och hologram försvann. Problemet påpekades för de två rörelserelaterade sensorerna på enheten som upplevde förvirring i signalerna de plockade upp medan fordonet rörde sig. Med detta bad Volkswagen Microsoft om hjälp och företagens resa startade 2018.

"Vi hade omfattande diskussioner", säger Marc Pollefeys, Microsofts vetenskapschef och expert på 3D-datorseende och maskininlärning och nu chef för Microsofts Mixed Reality och AI Lab i Zürich, Schweiz. "De presenterade sina användningsfall och vad de hoppades kunna möjliggöra. De var ivriga att arbeta med oss ​​för att hitta en lösning och kunna använda HoloLens i de situationerna.”

Eftersom pandemin orsakade förödelse runt om i världen, ställdes forskningen tydligen inför olika problem. Covid-19-restriktionerna i Schweiz hindrade teamet från att testa tekniken i ett fordon med andra passagerare, så Joshua Elsdon – en senior mjukvaruingenjör från Microsoft i projektet – var tvungen att arbeta med det och utföra tester i sin lägenhet i Zürich.

"Vi var tvungna att testa mycket i min lägenhet. Det är inte idealiska utvecklingsförhållanden, säger Elsdon. "Allt det här gjordes på distans och distribuerades över olika länder, vilket var intressant."

Senare testade teamet prototypen på Puget Sound genom att åka fritidsbåtar, sedan med Volkswagen inuti fordon.

"Vi kopplade in ett positioneringssystem som spårar platsen för fordonet", säger Michael Wittkämper, Volkswagens augmented reality-expert. "På detta sätt kunde vi också placera 3D-element som information om intressanta platser utanför bilen. Detta öppnar helt nya möjligheter att inte bara visa hologram inom förarens framåtvända synfält, utan även vart användaren som bär glasögonen tittar.”

Allt blev en framgång, vilket gjorde att Microsoft kunde rulla ut den rörliga plattformsfunktionen. För närvarande är tekniken en stor attraktion för maritima företag, som använder HoloLens för att koppla ihop underhållsbesättningar på fartyget för att konsultera experter från andra platser. Microsoft har större planer för den nya funktionen i framtiden, speciellt där rörliga miljöer är inblandade. Pollefeys sa också att företaget hoppas kunna göra det funktionellt i det dagliga livet genom bärbara smarta glasögon. Dock med nuvarande prislappar av HoloLens 2 ($3,500 5,199 till $XNUMX XNUMX), kan planen fortfarande vara långt ifrån verkligheten, särskilt om Microsoft vill att enheten ska nå vanliga konsumenter på marknaden.