Statt 5 Kameras kann HoloLens 2.0 nur eine haben

Die HoloLens der aktuellen Generation (oben) hat tatsächlich 5 Kameras – zwei auf jeder Seite für die Tiefenmessung mit Infrarot-Punktemittern, ähnlich wie die Kinect, und eine zentrale RGB-Kamera, die normales Umgebungslicht für Simultaneous Localization and Mapping (SLAM) verwendet. ähnlich wie die Kameras in Windows Mixed Reality-Headsets Ihre relative Bewegung und Position basierend auf der Szenerie in Ihrer Umgebung berechnen können.

In einem neuen Patent, das im März 2017 angemeldet und heute veröffentlicht wurde, beschreibt Microsoft eine neue Multispektralkamera, die die 5 Kameras durch nur eine ersetzen kann.

Die Zusammenfassung für die Anwendung MULTI-SPEKTRUM-BELEUCHTUNGS-UND-SENSOR-MODUL FÜR KOPFVERFOLGUNG, GESTENERKENNUNG UND RÄUMLICHE KARTIERUNG lautet:

Eine Vorrichtung und ein Verfahren verwenden mehrere Lichtemitter mit einem einzigen Multispektrum-Bildgebungssensor, um eine multimodale, auf Infrarotlicht basierende Tiefenerfassung und eine auf sichtbarem Licht basierende Simultaneous Localization and Mapping (SLAM) durchzuführen. Die multimodale infrarotbasierte Tiefenerfassung kann beispielsweise eine beliebige Kombination aus infrarotbasierter räumlicher Kartierung, infrarotbasierter Handverfolgung und/oder infrarotbasierter semantischer Kennzeichnung umfassen. Das auf sichtbarem Licht basierende SLAM kann beispielsweise eine Kopfverfolgung umfassen.

Microsoft erklärt die Schlüsselinnovation, den Multispektrum-Bildsensor, weiter so:

Fig. 4 veranschaulicht schematisch einen Multispektrumsensor zum Erfassen sowohl von sichtbarem Licht als auch von IR-Licht. Der Multispektrumsensor 400 umfasst zwei verschiedene Arten von Sensorpixeln: sichtbare Lichtpixel und IR-Lichtpixel. Die sichtbaren Lichtpixel (jeweils durch ein „V“ in Fig. 4 bezeichnet) sind empfindlich für breitbandiges sichtbares Licht (z. B. von 400 nm bis 650 nm) und haben eine begrenzte Empfindlichkeit für IR-Licht. Die IR-Lichtpixel (in Abbildung 4 jeweils mit „IR“ gekennzeichnet) sind empfindlich für IR-Licht und haben eine begrenzte Empfindlichkeit gegenüber optischem Übersprechen aus dem sichtbaren Licht. Im dargestellten Ausführungsbeispiel die IR-Pixel und die Pixel des sichtbaren Lichts sind auf dem Sensor eingestreut 400 in einem schachbrettartigen (dh zweidimensional alternierend) Mode. Der Multispektrumsensor 400 kann mit einem IR-Bandpassfilter (in Fig. 4 nicht gezeigt) gekoppelt werden, um die Menge an Umgebungs-IR-Licht zu minimieren, die auf die IR-Lichtpixel einfällt. In einigen Ausführungsformen lässt der Bandpassfilter sichtbares Licht mit Wellenlängen im Bereich von 400–650 nm und IR-Schmalband (z. B. Wellenlängenspanne von weniger als 30 nm) durch.

In einigen Ausführungsformen dienen die sichtbaren Lichtpixel des Multispektrumsensors 400 gemeinsam als ein passiver Bildgebungssensor, um sichtbares Licht zu sammeln und Graustufenbilder mit sichtbarem Licht aufzuzeichnen. Die HMD-Vorrichtung kann die sichtbaren Lichtbilder für einen SLAM-Zweck verwenden, wie beispielsweise eine Kopfverfolgung. Die IR-Lichtpixel des Multispektrumsensors 400 dienen gemeinsam als Tiefenkamerasensor zum Sammeln von IR-Licht und zum Aufzeichnen von IR-Bildern (auch als monochrome IR-Bilder bezeichnet) zur Tiefenerfassung, wie z. B. zur Handverfolgung, räumlichen Kartierung und/oder semantische Kennzeichnung von Objekten.

Die Reduzierung der Teileanzahl der nächsten HoloLens hat natürlich das Potenzial, die Kosten, Größe, Komplexität und den Stromverbrauch des Geräts zu reduzieren, was eine kleinere und billigere HoloLens 2 bedeuten kann, was natürlich genau das ist, was Microsoft bleiben muss wettbewerbsfähig.

Die nächste HoloLens wird voraussichtlich zu haben sein eine verbesserte holografische Verarbeitungseinheit mit mehr KI-FähigkeitenUnd ein verbesserte Kinect-ähnliche Tiefenkamera. Die größte Herausforderung von Microsoft bei der neuen Hololens besteht darin, das Sichtfeld zu verbessern, das bei 35 Grad als Blick auf die Welt durch einen Briefschlitz beschrieben wurde. Microsoft bringt angeblich Entwicklung der Linsen intern um dies mit vertretbarem Aufwand zu erreichen.

HoloLens 2 wird Berichten zufolge von dem kürzlich angekündigten angetrieben Qualcomm Snapdragon XR1-Prozessor, das mit dem ausdrücklichen Ziel entwickelt wurde, ein „hochwertiges“ VR- und AR-Erlebnis zu bieten. Auf dem Gerät läuft vermutlich die ARM-Version von Windows 10 mit Microsofts Mixed Reality UI.

Da die nächste Generation des Headsets hoffentlich in den nächsten 6 Monaten erwartet wird, werden wir viele dieser patentierten Innovationen im eigentlichen Gerät sehen.

See das vollständige Patent hier.