Ein Blick auf die Herausforderungen bei der Entwicklung der nächsten Kinect-Generation für die Xbox One

Ich denke, Playstation wird es ernsthaft bereuen, ihre Version von Kinect nicht mit der PS4 gebündelt zu haben. Vielleicht wussten sie sowieso, dass es nicht so gut sein würde wie Kinect 2.0.

Cyrus Bamji, Hardware-Architekt von Microsoft für die im Silicon Valley ansässige Architecture and Silicon Management-Gruppe von Microsoft, und Mitglieder seines Teams versuchten, eine Time-of-Flight-Kamera in die Xbox One zu integrieren. 

Eine Time-of-Flight-Kamera sendet Lichtsignale aus und misst dann, wie lange es dauert, bis sie zurückkehren. Das muss auf 1/10,000,000,000 Sekunde genau sein; die Lichtgeschwindigkeit. Mit solchen Messungen ist die Kamera in der Lage, Licht zu unterscheiden, das von Objekten in einem Raum und der Umgebung reflektiert wird. Dies liefert eine genaue Tiefenschätzung, die es ermöglicht, die Form dieser Objekte zu berechnen.

Diese Lichtgeschwindigkeitsfähigkeit wäre ein großer Fortschritt für den Kinect-Sensorteil der Xbox One, der nächsten Monat für 13 Markteinführungsmärkte veröffentlicht wird. Das neue Kinect, ein wichtiges Unterscheidungsmerkmal für die Xbox One gegenüber der Konkurrenz, musste ein größeres Sichtfeld mit größerer Genauigkeit und höherer Auflösung erfassen. Ein Infrarotsensor ermöglicht die Objekterkennung, die wenig bis gar kein Licht benötigt, und eine verbesserte Erkennung der Handhaltung, wodurch Spieler und Gelegenheitsnutzer die Möglichkeit haben, die Konsole mit ihren Händen zu steuern.

„Wenn wir eine relativ neue Technologie wie Time-of-Flight in ein kommerzielles Produkt einbauen, passiert eine ganze Reihe von Dingen“, sagt er. „Es gibt Dinge, von denen wir nicht wussten, wie wichtig sie sind, bis das Produkt hergestellt wurde. Theoretisch wissen wir zum Beispiel, dass Bewegungsunschärfe während der Flugzeit ein großes Problem ist, aber wie wichtig das ist, lässt sich nur feststellen, wenn man damit ein Produkt baut und dieses Produkt ein hervorragendes Erlebnis bieten muss.“

Die genaue Tiefenmessung in verschiedenen Szenen mit der hohen Auflösung der neuen Kamera und einem breiteren Sichtfeld wirft auch Probleme mit der Benutzererfahrung auf, was es schwierig macht, kleine Objekte wie beispielsweise einen Finger davon abzuhalten, in den Hintergrund zu treten. Während diese Funktionen eine vielseitigere Geräteleistung lieferten, verursachten sie in realen Szenarien auch eigene Probleme, wie z. B. die Notwendigkeit einer genauen Tiefenmessung in verschiedenen hochauflösenden Szenen. Dies erforderte neben der Verbesserung des größeren Sichtfelds und der Bewegungsunschärfe schnell saubere Daten. Die Xbox One musste für die Weihnachtszeit 2013 bereit sein.

Die analoge Natur der Flugzeitdaten stellte die Bereitstellung einer solchen Lösung vor Herausforderungen.

„Die Time-of-Flight-Daten, die von unserem Sensor kommen, sind pro Pixel, pro Frame, und es gibt viel mehr analoge Informationen“, sagt Acharya. „Ein weiteres Problem war, dass die Vordergrundobjekte in der Nähe der Hintergrundobjekte mit dem Hintergrund verschmolzen – wiederum aufgrund der analogen Art, wie unser Sensor die Tiefendaten für Pixel liefert, die auf Kanten landen.“

„Dies führte zu einer Menge Informationen, und um die Verwendung von Vordergrund-/Hintergrundextraktion und Szenensegmentierung durch Software- und Spieleentwickler zu vereinfachen, bestand die Anforderung darin, diese Daten gleichzeitig durch Hinzufügen von Softwarealgorithmen in der Pipe zu bereinigen, jedoch ohne dass es zu Problemen kommt ein Performance-Hit. Das war entscheidend. Wir begannen mit verschiedenen Arbeitsabläufen und entschieden uns am Ende dafür, die Parameter im System zu optimieren, um das Problem zu lösen.“

Die Mitarbeiter wollten eine klare Trennung von Vorder- und Hintergrund liefern, auch wenn die Objekte nahe beieinander liegen. Auch das gestaltete sich schwierig. Und dann gab es Bewegungsunschärfe.

 „Bewegungsunschärfe“, erklärt Acharya, „ist ein Parameter, der minimiert werden muss und nicht technologiespezifisch ist. Die Time-of-Flight-Kamera verwendet Global Shutter, was dazu beigetragen hat, die Bewegungsunschärfe erheblich zu reduzieren – von 65 Millisekunden in der ursprünglichen Kinect auf jetzt weniger als 14 Millisekunden.“

Andere Herausforderungen stellten sich. Zum einen wurde die Bearbeitungszeit zu einem Problem. In der wissenschaftlichen Literatur über Time-of-Flight-Systeme war die Verarbeitungszeit kein Thema. In der Laborumgebung funktionierte die Technologie einwandfrei. Aber die Xbox One muss satte 6.5 Millionen Pixel pro Sekunde verarbeiten. Und nur ein kleiner Teil der Rechenleistung der Xbox One konnte für diese Aufgabe genutzt werden. Der Löwenanteil ist verständlicherweise für wesentliche Funktionen wie Spiele, Skelettverfolgung, Gesichtserkennung und Audio reserviert.

„Sie müssen für jedes Pixel sehr, sehr leichte Berechnungen durchführen“, sagt Krupka, „und dies ist einer der Gründe, die das Problem herausfordernd und anders als den typischen Ansatz in der akademischen Literatur auf diesem Gebiet gemacht haben.“

Bemerkenswerterweise kam alles zusammen, und das bedeutet, dass Unterhaltungsliebhaber auf der ganzen Welt bald von der Xbox One-Erfahrung begeistert sein werden, aber auch diejenigen, die begierig darauf sind, für die Plattform zu entwickeln. Das Reduzieren dieses Kantendatenrauschens macht den Datenentwickler bereit, und die Möglichkeit, klar zwischen dem Vordergrund und dem Hintergrund zu segmentieren, löst ein komplexes Rechenproblem. Die Daten sind sauber und können von Spieleentwicklern leichter aufgenommen werden.

Ein weiteres faszinierendes Merkmal des Kinect-Sensors in Xbox One stammt von seinem Infrarotsensor, der Objekte in einem vollständig abgedunkelten Raum identifizieren kann. Es kann Personen erkennen und Körper verfolgen, auch ohne Licht, das mit bloßem Auge sichtbar ist. Es kann eine Handhaltung aus vier Metern Entfernung erkennen, die Finger eines Kindes sehen und sich selbst ohne Raumbeleuchtung an Ihre Identität erinnern.

Das breitere Sichtfeld ermöglicht es mehr Spielern, gleichzeitig ein Xbox One-Spiel zu spielen. Mit der neuen Konsole können sich bis zu sechs Spieler in eine Szene drängen. Ein großer Erwachsener kann mit einem kleinen Kind spielen, ohne dass eines aus dem Bild gequetscht wird. Benutzer erhalten ein besseres Erlebnis, wenn sie in der Nähe, weiter entfernt oder am Rand des Raums stehen.

Und die verbesserte Handhaltungserkennung ermöglicht es Benutzern, mit der Xbox One zu interagieren, indem sie einfach ihre Hände verwenden – kein Controller erforderlich. Dank der Infrarotkamera können Handaktivitäten bei jeder oder keiner Beleuchtung erkannt werden. Frühere Handposen-Lösungen waren in der Lage, Geschwindigkeit oder Genauigkeit zu liefern, aber nicht beides. Die gemeinsam vom Xbox-Team und Microsoft Research entwickelte Handpose-Lösung kann beides.

Quelle: Der offizielle Microsoft-Blog