Samenwerking tussen Microsoft en Volkswagen: het verhaal achter de bewegende platformfunctie van HoloLens 2

Mixed reality-headsets kunnen echt nuttig zijn, maar hun mogelijkheden worden geconfronteerd met beperkingen wanneer ze in één specifiek scenario worden gebruikt: een bewegende omgeving. Microsoft en Volkswagen hebben hiervoor een oplossing gevonden door een gezamenlijke inspanning die ons de modus "bewegend platform" heeft opgeleverd voor HoloLens 2.

Volkswagen ziet augmented reality als een belangrijk onderdeel van toekomstige mobiliteitsconcepten. Dus begon het verschillende stappen om de technologie te verkennen. In 2015 voerde het een onderzoeksproject uit met behulp van zelfbestuurde voertuigen en augmented reality voor zijn Race Trainer-systeem om les te geven op een racecircuit. Het introduceerde ook de augmented reality head-updisplay in zijn ID. familie van elektrische auto's in 2020, waarbij verschillende informatie over de omgeving voor het voertuig (zoals navigatiepijlen en rijstrookmarkeringen) op de voorruit wordt geprojecteerd.

"We denken dat mixed reality-informatie de meest intuïtieve informatie is die we kunnen bieden om de gebruikerservaring van onze klanten te verbeteren", vertelde Andro Kleen, hoofd van het Data Science Team van Dr. Volkswagen Group Innovation, aan Microsoft. “Want wat je daar ziet en wat je moet verwerken, komt heel dicht in de buurt van wat mensen normaal zien en verwerken. Het is niet zo abstract.”

Met de ambitie om meer uit technologie te halen, gebruikte de Duitse autofabrikant de HoloLens voor een ander onderzoeksproject, waarbij hij in een rijdend voertuig werd geplaatst. Het ging helaas niet goed. De sensoren verloren hun volgvermogen en hologrammen verdwenen. Het probleem wees op de twee bewegingsgerelateerde sensoren van het apparaat die verwarring ondervonden in de signalen die ze oppikten terwijl het voertuig in beweging was. Hiermee vroeg Volkswagen Microsoft om hulp, en in 2018 begon de reis van de bedrijven.

"We hadden uitgebreide discussies", zegt Marc Pollefeys, Microsoft-directeur wetenschap en een expert in 3D-computervisie en machine learning en nu de directeur van Microsoft's Mixed Reality en AI Lab in Zürich, Zwitserland. “Ze presenteerden hun use-cases en wat ze hoopten mogelijk te maken. Ze wilden graag met ons samenwerken om een ​​oplossing te vinden en HoloLens in die situaties te kunnen gebruiken.”

Met de pandemie die over de hele wereld verwoesting veroorzaakte, had het onderzoek blijkbaar te maken met verschillende problemen. De Covid-19-beperkingen in Zwitserland verhinderden het team om de technologie in een voertuig met andere passagiers te testen, dus Joshua Elsdon – een senior software-engineer van Microsoft die deel uitmaakt van het project – moest eraan werken en tests uitvoeren in zijn appartement in Zürich.

“We moesten veel testen in mijn appartement. Dit zijn geen ideale ontwikkelingsomstandigheden”, zegt Elsdon. "Al deze dingen werden op afstand gedaan en verspreid over verschillende landen, wat interessant was."

Later testte het team het prototype op Puget Sound met plezierboten en vervolgens met Volkswagen in voertuigen.

"We hebben een positioneringssysteem aangesloten dat de locatie van het voertuig volgt", zegt Michael Wittkämper, augmented reality-expert van Volkswagen. “Zo konden we 3D-elementen zoals informatie over bezienswaardigheden ook buiten de auto plaatsen. Dit opent volledig nieuwe mogelijkheden om niet alleen hologrammen weer te geven binnen het naar voren gerichte gezichtsveld van de bestuurder, maar ook waar de gebruiker met de bril kijkt.”

Alles werd een succes, waardoor Microsoft de functie voor het bewegende platform kon uitrollen. Momenteel is de technologie een grote attractie voor maritieme bedrijven, die HoloLens gebruiken om onderhoudsploegen op het schip aan te sluiten om experts van andere locaties te raadplegen. Microsoft heeft grotere plannen voor de nieuwe functie in de toekomst, met name waar het gaat om bewegende omgevingen. Pollefeys zei ook dat het bedrijf hoopt het functioneel te maken in het dagelijks leven door middel van draagbare slimme brillen. Echter, met de huidige prijskaartjes van HoloLens 2 ($ 3,500 tot $ 5,199), is het plan misschien nog verre van realiteit, vooral als Microsoft wil dat het apparaat gewone consumenten op de markt bereikt.