Zusammenarbeit von Microsoft und Volkswagen: Die Geschichte hinter der beweglichen Plattformfunktion von HoloLens 2

Mixed-Reality-Headsets können wirklich nützlich sein, aber ihre Fähigkeiten sind begrenzt, wenn sie in einem bestimmten Szenario verwendet werden: einer sich bewegenden Umgebung. Microsoft und Volkswagen haben durch eine gemeinsame Anstrengung eine Lösung dafür gefunden, die uns den „Moving Platform“-Modus für gebracht hat HoloLens 2.

Volkswagen sieht Augmented Reality als wesentlichen Bestandteil zukünftiger Mobilitätskonzepte. Also begannen verschiedene Schritte, um die Technologie zu erforschen. 2015 führte es ein Forschungsprojekt mit selbstgesteuerten Fahrzeugen und Augmented Reality durch Race-Trainer-System das Fahren auf einer Rennstrecke zu lehren. Es führte auch die ein Augmented-Reality-Head-up-Display in seiner ID. Familie von Elektroautos im Jahr 2020, bei der verschiedene Informationen über die Umgebung vor dem Fahrzeug (wie Navigationspfeile und Fahrbahnmarkierungen) auf die Windschutzscheibe projiziert werden.

„Wir glauben, dass Mixed-Reality-Informationen die intuitivsten Informationen sind, die wir bereitstellen können, um das Benutzererlebnis unserer Kunden zu verbessern“, sagte Andro Kleen, Data Science Team Head von Dr. Volkswagen Group Innovation, gegenüber Microsoft. „Denn das, was Sie dort sehen und was Sie verarbeiten müssen, kommt dem sehr nahe, was Menschen normalerweise sehen und verarbeiten. Es ist nicht so abstrakt.“

Mit dem Anspruch, mehr aus der Technologie herauszuholen, nutzte der deutsche Automobilhersteller die HoloLens für ein weiteres Forschungsprojekt, bei dem sie in ein fahrendes Fahrzeug eingebaut wurde. Die Dinge liefen leider nicht gut. Die Sensoren verloren ihre Tracking-Fähigkeit und Hologramme verschwanden. Das Problem wies darauf hin, dass die beiden bewegungsbezogenen Sensoren des Geräts Verwirrung in den Signalen erfuhren, die sie aufgriffen, während sich das Fahrzeug bewegte. Damit bat Volkswagen Microsoft um Hilfe, und die Reise der Unternehmen begann 2018.

„Wir hatten ausführliche Diskussionen“, sagt Marc Pollefeys, Microsoft Director of Science und Experte für 3D-Computervision und maschinelles Lernen und jetzt Direktor von Microsofts Mixed Reality and AI Lab in Zürich, Schweiz. „Sie präsentierten ihre Anwendungsfälle und was sie zu ermöglichen hofften. Sie wollten unbedingt mit uns zusammenarbeiten, um eine Lösung zu finden und HoloLens in solchen Situationen einsetzen zu können.“

Da die Pandemie weltweit Verwüstungen anrichtet, stand die Forschung offenbar vor verschiedenen Problemen. Die Covid-19-Beschränkungen in der Schweiz hinderten das Team daran, die Technologie in einem Fahrzeug mit anderen Passagieren zu testen, also musste Joshua Elsdon – ein leitender Microsoft-Softwareingenieur, der Teil des Projekts war – daran arbeiten und Tests in seiner Wohnung in Zürich durchführen.

„Wir mussten viele Tests in meiner Wohnung durchführen. Das sind keine idealen Entwicklungsbedingungen“, sagt Elsdon. „All diese Dinge wurden aus der Ferne erledigt und über verschiedene Länder verteilt, was interessant war.“

Später testete das Team den Prototyp auf dem Puget Sound, indem es Freizeitboote fuhr, dann mit Volkswagen in Fahrzeugen.

„Wir haben ein Ortungssystem angeschlossen, das den Standort des Fahrzeugs verfolgt“, sagt Michael Wittkämper, Augmented-Reality-Experte von Volkswagen. „So konnten wir 3D-Elemente wie beispielsweise Informationen zu Sonderzielen auch außerhalb des Autos platzieren. Damit eröffnen sich völlig neue Möglichkeiten, Hologramme nicht nur im nach vorne gerichteten Sichtfeld des Fahrers anzuzeigen, sondern auch dort, wo der Brillenträger hinschaut.“

Alles wurde ein Erfolg, sodass Microsoft die Funktion zum Verschieben der Plattform einführen konnte. Derzeit ist die Technologie eine große Attraktion für maritime Unternehmen, die HoloLens verwenden, um Wartungsmannschaften auf dem Schiff zu verbinden, um Experten von anderen Standorten zu konsultieren. Microsoft hat größere Pläne für die neue Funktion in der Zukunft, insbesondere wenn es um Umzugsumgebungen geht. Pollefeys sagte auch, dass das Unternehmen hofft, es durch tragbare Smart Glasses im täglichen Leben funktionsfähig zu machen. Allerdings mit dem Strom Preisschilder von HoloLens 2 (3,500 bis 5,199 US-Dollar) könnte der Plan noch weit von der Realität entfernt sein, insbesondere wenn Microsoft möchte, dass das Gerät normale Verbraucher auf dem Markt erreicht.